CN102625044A - 摄像装置 - Google Patents

Abstract

本发明提供一种摄像装置。因为伴随着光学变焦倍率变更而产生的光学特性变化，输入图像的景深会从用户所希望的景深偏离(从输入图像400向输入图像420的变化；从离焦特性405向离焦特性425的变化)。该情况下，按照抵消上述偏离的方式对光学变焦倍率变更后的输入图像(420)实施基于距离图的特定图像处理。由此能够抵消伴随着光学变焦倍率的变更引起的景深变化。

Description

摄像装置

技术领域

本发明涉及数码相机等摄像装置。

背景技术

在数码相机等摄像装置中大多具备光学变焦功能，用户可以通过变焦操作变更光学变焦倍率来调整摄影视场角。

另外，提出一种在图像摄影之后通过图像处理而能够调整摄影图像的对焦状态的方法(例如，参照下述专利文献1～3)。

专利文献1：日本特开2009-224982号公报

专利文献2：日本特开2010-81002号公报

专利文献3：日本特开2010-252293号公报

然而，因为光学变焦倍率的变更伴随着摄像部的光学特性的变化，所以若光学变焦倍率变更，则摄影图像的对焦状态(包括景深)也会变化。用户通过光圈值的设定等而将摄影图像的对焦状态调整至所希望的程度之后，为了进行构图调整，有时会使光学变焦倍率变更，但是此时伴随着光学变焦倍率的变更，摄影图像的对焦状态会从用户所希望的程度开始发生变化，因此可以说不是优选的。

发明内容

本发明的目的在于：提供一种能有助于抑制伴随着光学变焦倍率的变更而产生的对焦状态变化的摄像装置。

本发明涉及的摄像装置，其特征在于包括：输入图像生成部，其根据经由变焦透镜而入射的被摄体的光学像来生成输入图像；和输出图像生成部，其在因所述变焦透镜的位置变化而导致光学变焦倍率发生了变更时，通过利用图像处理对所述输入图像进行调整，从而生成输出图像。

由此，例如能够抑制伴随光学变焦倍率的变更而产生的对焦状态变化。

具体是例如所述输出图像生成部可以在所述光学变焦倍率发生了变更时对所述输入图像实施所述图像处理，以便在所述输出图像中能够抑制因所述光学变焦倍率的变更而产生的所述输入图像的对焦状态变化。

另外，例如也可以在该摄像装置中还设置用户界面，其接受所述光学变焦倍率的变更指示以及指定景深的设定指示。而且，例如也可以在所述指定景深的设定指示之后依据所述变更指示而变更了所述光学变焦倍率时，所述输出图像生成部按照使所述输出图像的景深成为与所述指定景深对应的景深的方式对所述输入图像实施所述图像处理。

再有，例如在该摄像装置中还设置被摄体距离信息取得部，其取得表示所述输入图像的各像素的被摄体距离的被摄体距离信息。而且，例如所述输出图像生成部还可以利用所述被摄体距离信息来执行所述图像处理。

还有，例如在所述光学变焦倍率增大的情况下，所述输出图像生成部也可以基于所述被摄体距离信息，在所述光学变焦倍率增大之后得到的输入图像内设定处理对象区域，将使所述处理对象区域鲜明化的鲜明化处理作为所述图像处理来执行。

或者，例如在所述光学变焦倍率减小的情况下，所述输出图像生成部还可以基于所述被摄体距离信息，在所述光学变焦倍率减小之后得到的输入图像内设定处理对象区域，将使所述处理对象区域模糊的模糊化处理作为所述图像处理来执行。

(发明的效果)

根据本发明，能够提供一种有助于抑制伴随着光学变焦倍率的变更而产生的对焦状态变化的摄像装置。

附图说明

图1是本发明实施方式涉及的摄像装置的整体示意框图。

图2是图1的摄像部的内部构成图。

图3是用于说明对焦、景深及视场距离等的意义的图。

图4是图1的摄像装置中的、别是与实现特征性动作相关的部位的框图。

图5是表示输入图像及该输入图像的离焦特性的图。

图6是表示图5的输入图像所对应的距离图的图。

图7是表示摄像装置与多个被摄体之间的位置关系的图。

图8是表示摄像装置与多个被摄体之间的位置关系的图。

图9是表示输入图像的离焦特性的图。

图10是表示变焦操作前后的输入图像及输出图像的图。

图11是表示光学变焦倍率增加之后的输入图像与该输入图像的离焦特性的图。

图12是表示对焦状态调整图像与该对焦状态调整图像的离焦特性的图。

图13是表示光学变焦倍率增加前后的输入图像及基于光学变焦倍率增加后的输入图像的对焦状态调整图像以及这些图像的离焦特性的图。

图14是表示图11(a)的输入图像所对应的距离图的图。

图15是表示光学变焦倍率增加前后的输入图像的景深以及基于光学变焦倍率增加后的输入图像的对焦状态调整图像的景深的图。

图16是在图10中附加了指定景深的设定指示定时的图。

图17是本发明第一实施例涉及的动作流程图。

图18涉及本发明的第三实施例，是表示在光学变焦倍率增加后的输入图像内设定处理对象区域的情形的图。

图19涉及本发明的第四实施例，是表示光学变焦倍率减少后的输入图像与该输入图像的离焦特性的图。

图20是表示图19(a)的输入图像所对应的距离图的图。

图21涉及本发明的第四实施例，表示在光学变焦倍率减少后的输入图像内设定处理对象区域的情形的图。

图22是表示本发明第四实施例涉及的对焦状态调整图像与该对焦状态调整图像的离焦特性的图。

符号说明：

1摄像装置

11摄像部

30变焦透镜

31聚焦透镜

32光圈

33摄像元件

51输入图像生成部

52 UI(用户界面)

53光学变焦控制部

54被摄体距离检测部

55距离图生成部

56对焦状态设定部

57对焦状态调整部

58选择部

61数据保存部

具体实施方式

以下参照附图具体说明本发明实施方式。在所参照的各图中，对同一部分赋予同一符号标记，并在原则上省略与同一部分相关的重复说明。再有，在本说明书中，在简化记载的基础上，有时通过对信息、物理量、状态量或部件等附记所参照的记号或符号标记，从而省略或略记该记号或符号标记所对应的信息、物理量、状态量或部件等的名称。例如，在利用记号Lo表示对焦基准距离的情况下，有时将对焦基准距离Lo记为距离Lo或者单记为Lo，在利用符号57来参照对焦状态调整部的情况下，有时将对焦状态调整部57记为调整部57。

图1是本发明的实施方式涉及的摄像装置1的整体示意框图。摄像装置1是能够对静止图像及运动图像进行摄影及记录的数码摄像机。其中，摄像装置1也可以是仅能对静止图像进行摄影及记录的数码静态相机。再有，摄像装置1还可以是被搭载于移动电话机等移动终端上的装置。

摄像装置1具备：摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16和操作部17。其中，显示部15也可以解释为设置于摄像装置1的外部设备(未图示)上的部件。

摄像部11利用摄像元件进行被摄体的摄影。图2是摄像部11的内部构成图。摄像部11具有光学系统35、光圈32、由CCD(Charge CoupleDevice)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成的摄像元件(固体摄像元件)33、用于驱动控制光学系统35及光圈32的驱动器34。光学系统35由包含调节摄像部11的视场角用的变焦透镜30及使焦点对准用的聚焦透镜31在内的多个透镜形成。变焦透镜30及聚焦透镜31能够沿着光轴方向移动。基于来自主控制部13的控制信号，对光学系统35内的变焦透镜30及聚焦透镜31的位置以及光圈32的开度进行控制。

摄像元件33通过在水平方向及垂直方向上排列多个受光像素而形成。摄像元件33的各受光像素对经由光学系统35及光圈32而入射的被摄体的光学像进行光电变换，将通过该光电变换而得到的电信号输出到AFE(Analog Front End)12。

AFE12对从摄像部11(摄像元件33)输出的模拟信号进行放大，将放大后的模拟信号变换为数字信号之后输出到主控制部13。AFE12中的信号放大的放大程度由主控制部13来控制。主控制部13针对由AFE12的输出信号表示的图像实施必要的图像处理，并生成与图像处理后的图像相关的影像信号。主控制部13也具备作为对显示部15的显示内容进行控制的显示控制部的功能，对显示部15进行显示所需的控制。

内部存储器14由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，暂时存储摄像装置1内生成的各种数据。

显示部15是具有液晶显示面板等的显示画面的显示装置，在主控制部13的控制之下对所摄影的图像或者存储在记录介质16中的图像等进行显示。在本说明书中，在单纯地言及显示及显示画面的情况下，这些指的就是显示部15中的显示及显示画面。在显示部15中设有触摸面板19，用户通过以操作体(手指或触摸笔)接触显示部15的显示画面，从而可以向摄像装置1发出特定的指示。其中，也能够省略触摸面板19。

记录介质16是卡状半导体存储器或磁盘等非易失性存储器，在主控制部13的控制之下，对摄像图像的影像信号等进行记录。操作部17具备接受静止图像的摄影指示的快门按钮20以及接受变焦倍率的变更指示的变焦按钮21等，接受来自外部的各种操作。与操作部17对应的操作内容被传达给主控制部13。可以将操作部17及触摸面板19称为接受来自用户的任意指示及操作的用户界面。快门按钮20及变焦按钮21也可以是触摸面板19上的按钮。

摄像装置1的动作模式中包含：能够进行图像(静止图像或运动图像)的摄影及记录的摄影模式；在显示部15上再现显示记录介质16所记录的图像(静止图像或运动图像)的再现模式。根据与操作部17对应的操作来实施各模式之间的迁移。

在摄影模式中，以规定的帧周期，周期性地进行被摄体的摄影，依次取得被摄体的摄影图像。将表示图像的影像信号也称为图像数据。影像信号例如包括亮度信号及色差信号。有时也将与某一像素对应的图像数据称为像素信号。也将某一图像的大小或图像区域的大小称为图像尺寸。可以用形成关注图像的像素个数或者属于关注图像区域的像素个数来表现关注图像或关注图像区域的图像尺寸。另外，在本说明书中，有时也将某一图像的图像数据单称为图像。因此，例如输入图像的生成、记录、加工、编辑或保存指的是输入图像的图像数据的生成、记录、加工、编辑或保存。

参照图3(a)～(d)，说明对焦等的意义。如图3(a)所示，设想在摄像部11的摄影范围内作为被摄体而包含有理想的点光源310的状态。在摄像部11中，来自点光源310的入射光经由光学系统35而在成像点成像，但是在该成像点位于摄像元件33的摄像面上之时，摄像面上的点光源310的像的直径实际上为零，比摄像元件33的允许弥散圈直径还小。另一方面，在该成像点并未处于摄像元件33的摄像面上之时，在摄像面上，点光源310的光学像模糊，结果摄像面上的点光源310的像的直径会变得比允许弥散圈直径还大。在摄像面上的点光源310的像的直径在允许弥散圈直径以下时，作为点光源310的被摄体在摄像面上对焦，在摄像面上的点光源310的像的直径比允许弥散圈直径还大时，作为点光源310的被摄体在摄像面上不对焦。

同样地进行考虑，如图3(b)所示，作为被摄体的像而在任意的二维图像、即关注图像320中包含有点光源310的像310’的情况下，在像310’的直径为与允许弥散圈直径对应的基准直径R_REF以下时，在关注图像320中，作为点光源310的被摄体对焦，在像310’的直径比该基准直径R_REF还大时，在关注图像320上作为点光源310的被摄体不对焦。基准直径R_REF是关注图像320上的允许弥散圈直径。在关注图像320中，将对焦的被摄体称为对焦被摄体，而将未对焦的被摄体称为非对焦被摄体。将关注图像320的所有图像区域内的、对焦被摄体的图像数据存在的图像区域称为对焦区域，而将非对焦被摄体的图像数据存在的图像区域成为非对焦区域。

再有，将像310’的直径所对应的指标称为对焦度。在关注图像320中，像310’的直径越大，则作为点光源310的被摄体的对焦度(换言之像310’的对焦度)就越低，像310’的直径越小，则作为点光源310的被摄体的对焦度(换言之像310’的对焦度)就越高。因此，非对焦区域内的对焦度要比对焦区域内的对焦度还低。其中，本说明书中言及的任意图像在没有特别描述的情况下为二维图像。

将任意的被摄体330与摄像装置1(更具体的是摄像元件33)之间的实际空间上的距离称为被摄体距离(参照图3(d))。在任意的被摄体330位于关注图像320的景深内的情况下(换言之被摄体330的被摄体距离属于关注图像320的景深的情况下)，被摄体330在关注图像320上为对焦被摄体。在被摄体330并未位于关注图像320的景深内的情况下(换言之被摄体330的被摄体距离并不属于关注图像320的景深的情况下)，被摄体330在关注图像320上为非对焦被摄体。

如图3(c)所示，像310’的直径在基准直径R_REF以下的被摄体距离的范围是关注图像320的景深，关注图像320的对焦基准距离Lo、近点距离Ln、远点距离Lf属于关注图像320的景深。对像310’的直径赋予最小值的被摄体距离是关注图像320的对焦基准距离Lo，关注图像320的景深内的最小距离及最大距离分别是近点距离Ln及远点距离Lf。近点距离Ln及远点距离Lf之间的长度被称为景深的深度。

以下，若没有特别限定，对摄影模式下的摄像装置1的动作及摄像模式中有效地起作用的摄像装置1的构成进行说明。

图4是对摄像装置1中的尤其参与实现特征性动作的部位的框图。由符号51-58参照的各部位设于摄像装置1中。输入图像生成部51形成为包含摄像部11及AFE12，用户界面52(以下略记为UI52)形成为包含操作部17及触摸面板19(参照图1)。可以将由符号52-58参照的各部位例如设于主控制部13中。

输入图像生成部51基于AFE12的输出信号来生成输入图像。1幅输入图像是根据1帧周期的AFE12的输出信号而生成的静止图像。通过对1帧周期的AFE12的输出信号实施规定的图像处理(去马赛克处理、降噪处理等)，从而获得输入图像，但是也可以将AFE12的输出信号本身作为输入图像的图像数据来生成。

UI52接受包含变焦操作及对焦状态设定操作在内的、来自用户的各种操作。变焦操作是指定摄像部11的光学变焦倍率的操作，依据变焦操作能够变更摄像部11的光学变焦倍率。因此，变焦操作相当于用户进行的光学变焦倍率的变更指示。另外，在摄像装置1中设有数字变焦功能的情况下，变焦操作也能够作为指定数字变焦倍率的操作而发挥作用。以下，忽略数字变焦功能的存在。根据后述的说明能够明白对焦状态设定操作的意义。

光学变焦控制部53按照利用通过变焦操作而指定的光学变焦倍率进行输入图像的摄影的方式控制变焦透镜30的位置。由于变焦透镜30的位置变化，光学变焦倍率改变。众所周知，摄像部11的摄影中的视场角(即输入图像的视场角)随着光学变焦倍率增大而减小，随着光学变焦倍率减小而增大。

被摄体距离检测部54通过被摄体距离检测处理对输入图像的各像素中的被摄体的被摄体距离进行检测，生成表示该检测结果(输入图像的各像素中的被摄体的被摄体距离的检测值)的距离数据。作为被摄体距离的检测方法，能够利用包含公知方法在内的任意方法。例如，可以利用立体照相机或测距传感器来检测被摄体距离，还可以通过利用了输入图像中的边沿信息的推测处理来求取被摄体距离。

距离图生成部55基于由被摄体距离检测部54生成的距离数据来生成距离图。距离图是形成该图自身的各像素值具有被摄体距离的检测值的距离图像。根据距离图，能够确定输入图像或基于输入图像的图像(后述的对焦状态调整图像或者输出图像)的任意像素中的被摄体的被摄体距离。其中，距离数据本身也可以是距离图，此时不需要距离图生成部55。

向对焦状态设定部56提供基础对焦状态数据。基础对焦状态数据是用于确定输入图像中的对焦基准距离Lo及景深的深度的数据(参照图3(c))。以下用记号M_DEP来表示景深的深度。例如，作为基础对焦状态数据而提供输入图像的摄影时的摄像部11的焦距及光圈值等，对焦状态设定部56基于基础对焦状态数据，求取输入图像中的距离Lo及深度M_DEP。焦距是根据光学系统35内的各透镜的位置而确定的，光圈值是根据光圈32的开口量而确定的。

对焦状态设定部56基于输入图像中的距离Lo及深度M_DEP或者对焦状态设定操作来生成对焦状态设定信息。对焦状态设定信息是确定由对焦状态调整部57生成的对焦状态调整图像的距离Lo及深度M_DEP的信息，包含对焦状态调整图像的距离Lo及深度M_DEP的目标值、即设定距离Lo*及设定深度M_DEP*。

在对焦状态设定部56中设有用于保存距离Lo’及深度M_DEP’的数据保存部61。用户根据需要可以对UI52进行对焦状态设定操作。在对焦状态设定操作中，用户可以指定数据保存部61应保存的Lo’及M_DEP’，在进行了对焦状态设定操作的情况下在数据保存部61中保存通过对焦状态设定操作而指定的Lo’及M_DEP’。用户在对焦状态设定操作中也可以仅指定Lo’及M_DEP’中的任一方。在通过对焦状态设定操作而未指定Lo’的情况下，数据保存部61可以将任意时刻的输入图像的距离Lo作为距离Lo’来保存，在通过对焦状态设定操作而未指定M_DEP’的情况下，数据保存部61可以将任意时刻下的输入图像的深度M_DEP作为深度M_DEP’来保存。对焦状态设定部56输出对焦状态设定信息，该信息将数据保存部61所保存的Lo’及M_DEP’作为Lo*及M_DEP*来包含。

因此，在未进行对焦状态设定操作的情况下，将基于基础对焦状态数据的Lo’及M_DEP’设定为Lo*及M_DEP*，在通过对焦状态设定操作而指定了Lo’及M_DEP’的情况下，将基于对焦状态设定操作的Lo’及M_DEP’设定为Lo*及M_DEP*。在进行了对焦状态设定操作的情况下，主控制部13(例如对焦状态设定部56)可以按照使通过对焦状态设定操作后的摄影而得到的输入图像的距离Lo及深度M_DEP分别与Lo*及M_DEP*一致的方式，控制摄像部11的焦距及光圈值等(但是，该控制并不是必须的)。

对焦状态调整部57可以通过基于距离图的图像处理来调整输入图像的对焦状态。将调整对焦状态后的输入图像称为对焦状态调整图像，将根据输入图像来生成对焦状态调整图像用的图像处理称为特定图像处理。特定图像处理中的对焦状态的调整包含景深的调整。特定图像处理中的景深的调整至少包含深度M_DEP的调整，进而还能包含距离Lo的调整。更具体的是，对焦状态调整部57按照使对焦状态调整图像中的距离Lo及深度M_DEP分别成为与设定距离Lo*及设定深度M_DEP*对应的距离Lo及M_DEP的方式(理想的是对焦状态调整图像中的Lo及M_DEP分别与Lo*及M_DEP*一致的方式)，基于距离图，对输入图像进行特定图像处理。

也向对焦状态调整部57输入光学变焦倍率的值。也可以按照仅在光学变焦倍率改变了的情况下执行特定图像处理的方式来形成对焦状态调整部57(后面对伴随于光学变焦倍率的变更的特定图像处理的执行的意义进行描述)。

选择部58将输入图像及对焦状态调整图像的一方作为输出图像来选择，然后输出。输出图像被显示部15显示，并且能被记录在记录介质16中。选择部58进行的选择动作是基于光学变焦倍率的值来执行的，该选择动作的详细内容及意义根据后述的说明会更加清楚。

其中，由于光学变焦倍率的变更伴随着摄像部11的光学特性的变化，因此若光学变焦倍率变更，则输入图像的对焦状态(景深)也会变化。用户有时在将景深设定为所希望的值之后使光学变焦倍率变更，但是此时伴随着光学变焦倍率的变更，景深会从用户所希望的景深开始变化，所以不能说是优选的。在摄像装置1中具备以下功能，即利用图4所示的各部位，抑制在光学变焦倍率发生了变更之际产生的对焦状态(景深)的变化的功能，将可实现该功能的摄影模式称为特殊摄影模式。

以下，参照图5(a)及(b)等，对特殊摄影模式下的摄影装置1的动作进行说明。以下为了方便说明，假设在任意的二维图像、即关注图像320中对焦基准距离Lo为景深内的中心距离(参照图3(b)及(c))。即，假设“Lo＝(Ln+Lf)/2”成立。输入图像、对焦状态调整图像或输出图像是关注图像320的一种。再有，在关注图像320中，所谓非对焦距离(参照图5(b))指的是关注图像320的景深外的距离，所谓非对焦距离的被摄体指的是位于关注图像320的景深外的被摄体。再有，将对焦基准距离Lo与任意的被摄体的被摄体距离之差称为差分距离。

在图5(a)中示出作为输入图像的例子的输入图像400。在图6中示出在对输入图像400进行摄影时进行被摄体距离检测处理而得到的距离图410。距离图410是与输入图像400的视场角对应的距离图。输入图像400中存在着被摄体401、402、以及403的图像，如图7所示，在被摄体401的被摄体距离d₄₀₁、被摄体402的被摄体距离d₄₀₂与被摄体403的被摄体距离d₄₀₃之间，不等式“0＜d₄₀₁＜d₄₀₂＜d₄₀₃”成立。在图5(a)中，通过被摄体的轮廓线的粗细度来表现被摄体像的模糊程度(即使在后述的图11(a)等中也同样)。

图5(b)的折线405表示输入图像400上的各被摄体的模糊量与差分距离之间的关系。在关注图像320中，所谓关注被摄体的模糊量是表示关注图像320上的关注被摄体的模糊的程度的指标，关注被摄体的模糊的程度越大，则关注被摄体的模糊量就越大，关注被摄体的对焦度越低，则关注被摄体的模糊量就越大。在本例中，关注被摄体例如是被摄体401、402或403。因此，例如在被摄体401、402或403均被认为是理想的点光源的情况下，在关注图像320中可以将被摄体401、402及403的像的直径分别是认为是被摄体401、402及403的模糊量。

图5(b)所示的距离DIF_O是输入图像400中的景深的深度的一半(即(Lf-Ln)/2)。在此，将属于景深内的被摄体的模糊量、即与允许弥散圈直径相当的基准直径R_REF以下的像的模糊量视为零(参照图3(c))。于是，如图5(b)所示，在输入图像400中，具有距离DIF_O以下的差分距离的被摄体的模糊量为零，具有比距离DIF_O大的差分距离的被摄体的模糊量比零还大，且具有比距离DIF_O大的差分距离的被摄体的模糊量随着所对应的差分距离增大而增大。在输入图像400中，比距离DIF_O大的差分距离为非对焦距离。

在输入图像400中，以DIF₄₀₁、DIF₄₀₂及DIF₄₀₃分别表示与被摄体401、402及403相关的差分距离。而且，当前如图8及图9所示，输入图像400中的对焦基准距离Lo与被摄体距离d₄₀₁一致(即DIF₄₀₁＝0)，且DIF₄₀₁＜DIF₄₀₂＝DIF_O＜DIF₄₀₃。这样，在输入图像400中，被摄体401是对焦被摄体且被摄体403是非对焦被摄体，因此被摄体401的模糊量为零且被摄体403的模糊量为P₄₀₃(P₄₀₃＞0)。再有，因为DIF₄₀₂＝DIF_O，所以在输入图像400中，被摄体402为对焦被摄体，被摄体402的模糊量为零。

包含输入图像400的以时间序列排列的多幅输入图像是通过规定帧周期内的依次摄影而依次生成的。目前如图10所示，设想：在时刻t₁输入图像400的摄影之后，在时刻t₂及t₃的期间内进行变焦操作来变更光学变焦倍率。设时刻t_i+1为比时刻t_i更靠后的时刻(i为整数)。在时刻t₁，输入图像400被选择部58选择而作为输出图像从选择部58输出。

图10及图11(a)所示的图像420是在时刻t₄得到的输入图像、即光学变焦倍率变更之后的输入图像。但是，在此设想了在时刻t₂及t₃之间光学变焦倍率增大。于是，输入图像420的视场角比输入图像400的视场角还小。再有，通过光学变焦倍率变更后的聚焦透镜31的位置调整，输入图像420的距离Lo也与输入图像400的距离Lo同样地和被摄体距离d₄₀₁一致。将在后面叙述图10所示的图像440。

因为伴随于光学变焦倍率增大而产生的摄像部11的光学特性变化，输入图像420的景深变得要比输入图像400的景深还浅。图11(b)的折线425表示在输入图像420上各被摄体的模糊量与差分距离的关系。另外，在图13中集中示出图5(a)及(b)的输入图像400及折线405、图11(a)及(b)的输入图像420及折线425和后述的对焦状态调整图像440及折线445。图13表示特殊摄影模式下的动作的流程。

在图11(b)中，如上所述距离DIF_O与输入图像400中的景深的深度的一半一致并且与差分距离DIF₄₀₂一致。与此相对，距离DIF_S为输入图像420中的景深的深度的一半。由于输入图像420的景深要比输入图像400的景深还浅，因此DIF_S＜DIF_O。其结果，在输入图像400上作为对焦被摄体的被摄体402，在输入图像420上成为非对焦被摄体。以记号Q₄₀₂来表示输入图像420上的被摄体402的模糊量。再有，以记号Q₄₀₃来表示输入图像420上的被摄体403的模糊量。因为DIF₄₀₂＜DIF₄₀₃，所以Q₄₀₃＞Q₄₀₂＞0，被摄体403即使在输入图像403上也是非对焦被摄体。还有，因为伴随于光学变焦倍率增大而产生的摄像部11的光学特性变化，输入图像420中的被摄体403的模糊量Q₄₀₃要比输入图像400中的被摄体403的模糊量P₄₀₃更大(参照图11(b)及图9)。因为假设输入图像420的距离Lo与被摄体距离d₄₀₁一致，所以被摄体401在输入图像420中也是对焦被摄体。

对焦状态调整部57可以针对光学变焦倍率变更后得到的输入图像420实施特定图像处理。在图12(a)中示出通过对输入图像实施特定图像处理而得到的对焦状态调整图像440。图12(b)的折线445表示对焦状态调整图像440上的各被摄体的模糊量与差分距离的关系。

调整部57为了得到图像440，通过采用了距离图的特定图像处理来扩大输入图像420的景深(换言之使输入图像420的景深的深度增大)。在与输入图像420对应的特定图像处理中采用的距离图既可以是从图6的距离图410中提取输入图像420的视场角部分而得到的距离图，也可以是在输入图像420的摄影时进行被摄体距离检测处理而得到的距离图430(参照图14)。距离图430是与输入图像420的视场角对应的距离图。

在图15中示出图像400、420及440之间的景深的关系。在图15中，范围DEP₄₀₀、DEP₄₂₀及DEP₄₄₀分别表示图像400、420及440中的景深的距离范围。理想的是，例如按照图像440中的景深与图像400中的景深一致的方式通过特定图像处理扩大图像420的景深。“在图像400及440之间景深一致”指的是在图像400及440之间距离Lo及深度M_DEP一致。因此，在相当于理想例子的图12(a)及(b)中，即使在图像440中距离Lo也会与被摄体距离d₄₀₁一致，且图像440中的景深的深度的一半与输入图像400的景深深度一半相等，即为DIF_O，而且在图像440中DIF_O＝DIF₄₀₂＜DIF₄₀₃。因此，在图像440中，与输入图像400同样，被摄体401及402为对焦被摄体，而被摄体403为非对焦被摄体。

再有，随着景深的扩大，图像440中的被摄体403的模糊量Q₄₀₃’变得比输入图像420中的被摄体403的模糊量Q₄₀₃还小(参照图11(b)及图12(b))。理想的是，例如只要按照图12(b)的折线445与图5(b)的折线405相同的方式(也参照图13)，即各被摄体的模糊量与差分距离的关系在图像400及440之间相同的方式，进行特定图像处理即可。

基于在时刻t₂及t₃之间光学变焦倍率发生了变更的状况(参照图10)，图4的选择部58在时刻t₄可以选择对焦状态调整图像440，而不是输入图像420，将对焦状态调整图像440作为输出图像来输出。由此，如图10所示，因光学变焦倍率的变更而产生的输入图像的对焦状态的变化在输出图像中被抑制。换言之，因光学变焦倍率的变更而产生的输入图像列的景深的变化在输出图像列中被抑制。所谓图像列指的是以时间序列排列的多个静止图像的集合。此处的输入图像列由包含输入图像400及420在内的多幅输入图像构成，此处的输出图像列由包含输出图像400及440在内的多幅输出图像构成。

虽然到此为止并未特别关注，但是上述的动作在用户进行了指定景深的设定指示的情况下尤其有益。所谓指定景深指的是由用户指定的用户所希望的景深，通过针对UI52的规定的深度设定操作，用户可以进行指定景深的设定指示(以下也称为深度设定指示)。上述的对焦状态设定操作是该深度设定操作的一种。

在图16中示出进行深度设定指示的时刻t_A与t₁～t₄的关系例。如图16所示，将在时刻t₁之后且在时刻t₂之前的时刻设想为时刻t_A。在时刻t_A将通过深度设定指示而示出的用户所希望的对焦基准距离Lo及景深的深度M_DEP作为Lo’及M_DEP’保存在图4的数据保存部61中。假设：在图像400、420及440的例子中，用户满足输入图像400中的距离Lo及M_DEP，用户通过深度设定操作指示应该将输入图像400中的距离Lo及M_DEP作为Lo’及M_DEP’保存到数据保存部61。

在用户通过这种深度设定操作而指定了所希望的景深之后，用户为了调整摄影构图，有时进行变焦操作。此时，通过变焦操作的执行，输出图像的景深会从用户指定的深度开始变更，因此不是优选的。在本实施方式中，在深度设定操作后进行了变焦操作时，按照使对焦状态调整图像的景深成为与指定被摄体深度对应的景深的方式(理想的是输出图像的景深与指定被摄体深度一致的方式)，对输入图像实施特定图像处理，向用户提示将所得到的对焦状态调整图像作为输出图像。因此，即使在变焦操作之后也能完全或者大致维持用户所希望的景深，满足用户的希望。

以下，对以上述的动作及构成为基础的几个实施例进行说明。只要没有矛盾，也能组合后述的多个实施例。

第一实施例

对第一实施例进行说明。在第一实施例中，参照图17对摄像装置1的动作顺序进行说明(也参照图4)。图17是特殊摄影模式下的摄像装置1的动作流程图。

若开始特殊摄影模式下的动作，则在步骤S11中，开始输入图像的依次摄影，并且开始输出图像的依次显示。输入图像的依次摄影及输出图像的依次显示一直持续到特殊摄影模式结束。执行步骤S11～S18的处理的期间相当于从时刻t1到时刻t4之前为止的期间，执行步骤S19及S20的期间相当于包含时刻t4在内的时刻t4以后的期间(参照图16)。因此，在执行步骤S11～S18的处理的期间内，可以将依次摄影的输入图像依次作为输出图像来显示。

在输入图像的依次摄影开始之后，在步骤S12中，图4的被摄体距离检测部54检测当前时刻的输入图像的各像素中的被摄体的被摄体距离，以生成距离数据，距离图生成部55根据该距离数据来生成距离图。另一方面，在步骤S13中，主控制部13(例如对焦状态设定部56)根据与当前时刻的输入图像对应的基础对焦状态数据来求取当前时刻的输入图像的对焦基准距离Lo及景深的深度M_DEP。与当前时刻的输入图像一起显示所求得的距离Lo及深度M_DEP。Lo及M_DEP的显示既可以是数值显示(例如Lo＝5m，M_DEP＝3m这样的显示)，还可以是利用了图标等的显示。

一边进行Lo及M_DEP的显示，一边在步骤S14中，摄像装置1等待用户的确定操作。用户在所显示的Lo及M_DEP适于所希望的对焦基准距离及景深的深度的情况下，可以对UI52进行确定操作，否则可以进行对焦状态设定操作。在进行了确定操作的情况下，将在步骤S13中显示的Lo及M_DEP作为Lo’及M_DEP’保存到数据保存部61中，并且从步骤S14移行至步骤S16，在进行了对焦状态设定操作的情况下从步骤S14移行至步骤S15。

如上所述，在对焦状态设定操作中，用户可以指定应保存在数据保存部61中的Lo’及M_DEP’，将Lo’及M_DEP’作为Lo*及M_DEP*从对焦状态设定部56输出。在步骤S15中，主控制部13(例如对焦状态设定部56)按照使通过对焦状态设定操作后的摄影而得到的输入图像的距离Lo及深度M_DEP分别与通过对焦状态设定操作而被指定的Lo’及M_DEP’(即Lo*及M_DEP*)一致的方式，通过聚焦透镜31的控制来控制摄像部11的焦点距离及光圈值等。在该控制之后，从步骤S15返回到步骤S13，重复进行步骤S13及S14的处理。在经由步骤S15返回到步骤S13的情况下，在步骤S13中显示的Lo及M_DEP分别与通过对焦状态设定操作而指定的Lo’及M_DEP’一致。

确定操作作为参照图16进行过说明的、用于进行指定景深的设定指示的深度设定操作而起作用。未进行对焦状态设定操作而直接进行的确定操作是第一深度设定操作，进行了对焦状态设定操作之后进行的确定操作是第二深度设定操作。

第一深度设定操作中的确定操作可以说是指定以下内容的操作：将未经由对焦状态设定操作而直接得到的输入图像的景深作为指定景深，在以后的摄影中也应维持。在进行了第一深度设定操作中的确定操作的情况下，将未经由对焦状态设定操作而直接得到的输入图像的Lo及M_DEP作为Lo’及M_DEP’保存到数据保存部61中，并且作为Lo*及M_DEP*输出。

第二深度设定操作中的确定操作可以说是指定以下内容的操作：将通过对焦状态设定操作指定的景深作为指定景深，在以后的摄影中也应维持。在进行了第二深度设定操作中的确定操作的情况下，将通过对焦状态设定操作指定的Lo’及M_DEP’保存到数据保存部61中，并且作为Lo*及M_DEP*输出。

在步骤S16中，等待用户进行的变焦操作。若进行变焦操作，则会发生从步骤S16向步骤S17的移行，以后执行步骤S17～S20的处理。

在步骤S17中，通过依据变焦操作的变焦透镜30的位置控制，光学变焦倍率被变更。因为伴随着变焦透镜30的位置变更而产生的光学特性变化会导致输入图像的对焦基准距离Lo发生变化，所以在步骤S18中，主控制部13(例如对焦状态设定部56)进行抵消对焦基准距离Lo的变化的控制。即，按照使光学变焦倍率变更后的输入图像的对焦基准距离Lo和数据保存部61中所保存的Lo’(＝Lo*)一致的方式控制聚焦透镜31的位置。

然后，在步骤S19中，对焦状态调整部57通过对当前时刻的输入图像(最新的输入图像)实施采用了距离图的特定图像处理，从而生成对焦状态调整图像。所生成的对焦状态调整图像在步骤S20中作为输出图像而被显示。对焦状态调整图像的生成方法如上所述。例如(参照图12)在进行了步骤S14的确定操作的时刻的输入图像为输入图像400，且在步骤S19中被实施特定图像处理的输入图像为输入图像420的情况下，步骤S19中得到对焦状态调整图像440。

在步骤S17及S18的处理之后，可以在每次得到新的输入图像时执行步骤S19及S20的处理。因此，可以对光学变焦倍率变更后依次得到的输入图像依次实施特定图像处理，将由此获得的对焦状态调整图像列作为输出图像列来显示。如上所述，可以在记录介质16中记录任意的输出图像或输出图像列。

再有，在图17的流程图中，虽然是在步骤S11及S13之间生成距离图，但也可以利用在步骤S13的处理之后且步骤S19的处理为止的期间内生成的距离图来进行步骤S19的特定图像处理。

根据第一实施例，可以抑制伴随着光学变焦倍率变更而产生的景深的变化，用户可以得到即使在光学变焦倍率变更之后也具有所希望的对焦状态的输出图像。

第二实施例

对第二实施例进行说明。在第二实施例以及后述的第三及第四实施例中，例示特定图像处理的方法。

特定图像处理也可以是能够任意地调整输入图像的景深的图像处理α₁。图像处理α₁的一种也可以称为数字聚焦，作为实现数字聚焦的图像处理的方法，提出各种各样的图像处理方法。可以将能任意地调整输入图像的景深的公知方法(例如JP特开2010-81002号公报、国际公开第06/039486号国际公开文本或者JP特开2009-224982号公报所记载的方法)作为图像处理α₁的方法来利用。

第三实施例

对第三实施例进行说明。在光学变焦倍率的变更是光学变焦倍率的增加时，特定图像处理也可以是对与非对焦距离对应的像素实施的鲜明化处理α₂。

以上述的图像400、420及440为例，对具体方法进行说明。在通过输入图像400的摄影后的变焦操作而使得光学变焦倍率增加之后，得到输入图像420。对焦状态调整部57利用距离Lo*及DIF_S与距离图410或430(参照图6或图14)，计算与输入图像420的各像素所对应的差分距离，并且将输入图像420的各像素分类为对焦距离像素及非对焦距离像素的其中一个。在第三实施例中，对焦距离像素是输入图像420上的对焦被摄体的图像数据所存在的像素、即与距离DIF_S以下的差分距离所对应的像素，非对焦距离像素是输入图像420上的非对焦被摄体的图像数据所存在的像素、即与比距离DIF_S还大的差分距离所对应的像素。调整部57能够根据输入图像420的摄影时的摄像部11的基础对焦状态数据(参照图4)来识别距离DIF_S的值。

在此，与图11(b)中所设想的同样，距离Lo*与被摄体距离d₄₀₁相等(即DIF₄₀₁＝0)且距离DIF_S比与差分距离DIF₄₀₂一致的距离DIF_O还小。于是，输入图像420的像素中、被摄体401的图像数据所存在的像素被分类为对焦距离像素，而被摄体402及403的图像数据所存在的像素被分类为非对焦距离像素。

调整部57将由所有的非对焦距离像素构成的图像区域作为处理对象区域而设定在输入图像420内。在图18中，斜线区域427表示设定在输入图像420内的处理对象区域。处理对象区域427包含被摄体402及403的图像数据所存在的图像区域，而不包含被摄体401的图像数据所存在的图像区域。

调整部57通过对输入图像420的处理对象区域427实施鲜明化处理α₂，从而生成对焦状态调整图像。即，执行使输入图像420的处理对象区域427内的图像鲜明化的鲜明化处理α₂，将鲜明化处理α₂之后的输入图像420作为对焦状态调整图像来生成。鲜明化处理α₂例如可以通过采用了适于图像鲜明化的任意鲜明化滤波器的滤波来实现。

通过实施鲜明化处理α₂，从而可以获得非对焦距离的像素的模糊量有所减少这样的视觉性作用，结果，可以获得景深变深这样的视觉性作用。理想的是，通过鲜明化处理α₂，能够得到与对焦状态调整图像440同等的对焦状态调整图像(当然也可以考虑通过鲜明化处理α₂来获得图像440)。在特定图像处理中采用了第二实施例的图像处理α₁的情况下，虽然可以通过特定图像处理来扩大输入图像的实际的景深，但是在特定图像处理中采用了第三实施例的鲜明化处理α₂的情况下，通过特定图像处理能够扩大输入图像的外观上的景深(使得外观上的景深扩大的图像是第三实施例的对焦状态调整图像)。

在光学变焦倍率增大之前可以将输入图像400作为输出图像进行显示或记录，在光学变焦倍率增大之后可以将基于输入图像420的对焦状态调整图像作为输出图像进行显示或记录。因此，即使将特定图像处理用作鲜明化处理α₂，在输出图像中也可以抑制因光学变焦倍率增大而产生的输入图像的对焦状态的变化。换言之，可以在外观上在输出图像列中抑制因光学变焦倍率增大而产生的输入图像列的景深的变化。

第四实施例

对第四实施例进行说明。在光学变焦倍率的变更是光学变焦倍率的减少时，特定图像处理也可以是对与非对焦距离对应的像素实施的模糊化处理α₃。

以上述的输入图像400为例，说明具体的方法。虽然具有与图10所示的状况不同的部分，但是在第四实施例中，设想为：在时刻t₁对输入图像400进行摄影之后，根据时刻t_A的指定景深的设定指示(深度设定操作)而将输入图像400的距离Lo及深度M_DEP作为距离Lo’及深度M_DEP’保存到数据保存部61中，进而在之后的时刻t₂及t₃的期间内光学变焦倍率减少。

图19(a)的图像520是在光学变焦倍率减少之后在时刻t₄得到的输入图像，图19(b)的折线525表示输入图像520上的各被摄体的模糊量与差分距离的关系。输入图像400及520上的对焦基准距离Lo均为d₄₀₁。由于伴随着光学变焦倍率减少而产生的摄像部11的光学特性变化，输入图像520的景深变得比输入图像400的景深还深。在此，由于伴随着光学变焦倍率减少而产生的景深的扩大，在输入图像520中被摄体距离d₄₀₁～d₄₀₃全部属于景深内。图20中示出输入图像520的摄影时进行被摄体距离检测处理而得到的距离图530。距离图530是与输入图像520的视场角对应的距离图。

调整部57利用与距离Lo’及深度M_DEP’一致的距离Lo*及深度M_DEP*和距离图530，计算与输入图像520的各像素对应的差分距离，并且将输入图像520的各像素分类为对焦距离像素及非对焦距离像素的其中一个。在第四实施例中，对焦距离像素是输入图像400上的对焦被摄体的图像数据存在的像素、即与距离DIF_O以下的差分距离所对应的像素，非对焦距离像素是输入图像400上的非对焦被摄体的图像数据所存在的像素、即与比距离DIF_O还大的差分距离所对应的像素。如上所述，因为假设了将输入图像400的距离Lo及深度M_DEP作为距离Lo’及深度M_DEP’保存到数据保存部61中，所以根据Lo’及M_DEP’，可以确定分类所需的距离DIF_O。

调整部57将由所有的非对焦距离像素构成的图像区域作为处理对象区域而设定在输入图像520内。在图21中，斜线区域527表示设定在输入图像520内的处理对象区域。处理对象区域527包含被摄体403的图像数据所存在的图像区域，而不包含被摄体401及402的图像数据所存在的图像区域。

调整部57通过对输入图像520的处理对象区域527实施模糊化处理α₃，从而生成对焦状态调整图像540(参照图22(a))。即，执行使输入图像520的处理对象区域527内的图像模糊的鲜明化处理α₃，将模糊化处理α₃之后的输入图像520作为对焦状态调整图像540来生成。模糊化处理α₃例如可以通过采用了适于图像模糊化的任意平滑化滤波器(高斯滤波器(Gaussian filter)等)的滤波来实现。

图22(b)的折线545表示对焦状态调整图像540上的各被摄体的模糊量与差分距离的关系。因为仅对非对焦距离像素实施模糊化处理α₃，所以在图像520及540之间对焦基准距离Lo未产生变化，但是因为对比距离DIF_O大的差分距离对应的像素(即非对焦距离像素)实施模糊化处理α₃，所以对焦状态调整图像540的景深变得比输入图像520的景深还浅。理想的是，图像540的景深与输入图像400的景深一致。

在光学变焦倍率减少之前可以将输入图像400作为输出图像进行显示或记录，在光学变焦倍率减少之后将基于输入图像520的对焦状态调整图像540作为输出图像进行显示或记录。因此，即使将特定图像处理用作模糊化处理α₃，也能在输出图像中抑制因光学变焦倍率减少而产生的输入图像的对焦状态的变化。换言之，可以在外观上在输出图像列中抑制因光学变焦倍率减少而产生的输入图像列的景深的变化。

变形例等

本发明的实施方式在技术方案范围所示的技术思想的范围内能够适当地进行各种各样的变更。以上的实施方式毕竟只是本发明的实施方式的例子，本发明乃至各构成要件的用语的含义并未限于以上的实施方式所记载的内容。上述的说明文字中示出的具体数值是单纯的例示，当然也可以将这些变更为各种各样的数值。作为能够适用于上述实施方式的注释事项，以下记载了注释1～注释3。各注释所记载的内容只要不互相矛盾就能够任意地进行组合。

[注释1]

在图17的流程图中，在进行了对焦状态设定操作时，按照利用输入图像而能够得到依据对焦状态设定操作的景深的方式，在步骤S15中实际控制聚焦透镜31等，但是取而代之，也可以在步骤S15中利用特定图像处理。即，例如在步骤S14中进行了对焦状态设定操作时，也可以通过特定图像处理，根据输入图像来生成具有依据对焦状态设定操作的景深的对焦状态调整图像，以显示所生成的对焦状态调整图像的状态，等待用户所进行的确定操作的输入(步骤S14)。

[注释2]

可以通过硬件或硬件与软件的组合来构成图1的摄像装置1。在利用软件来构成摄像装置1的情况下，与通过软件实现的部位相关的框图表示该部位的功能框图。也可以将利用软件来实现的功能作为程序来描述，通过在程序执行装置(例如计算机)上执行该程序，从而实现该功能。

[注释3]

例如，可以如下这样考虑。可以考虑摄像装置1包括：输出图像生成部，其通过利用特定图像处理来调整输入图像的对焦状态(包含景深)来生成输出图像；以及被摄体距离取得部，其取得表示输入图像的各像素的被摄体距离的被摄体距离信息。输出图像生成部的构成要素包含图4的对焦状态调整部57，还可以包含选择部58。上述的距离数据及距离图均相当于被摄体距离信息。被摄体距离信息取得部形成为包含图4的被摄体距离检测部54及距离图生成部55的至少一方。

Claims (6)

1.一种摄像装置，其特征在于，包括：

输入图像生成部，其根据经由变焦透镜入射的被摄体的光学像来生成输入图像；和

输出图像生成部，在因所述变焦透镜的位置变化而导致光学变焦倍率发生了变更时，通过图像处理对所述输入图像的对焦状态进行调整，由此生成输出图像。

2.根据权利要求1所述的摄像装置，其特征在于，

所述输出图像生成部在所述光学变焦倍率发生了变更时对所述输入图像实施所述图像处理，以便在所述输出图像中抑制因所述光学变焦倍率的变更而产生的所述输入图像的对焦状态的变化。

3.根据权利要求1或2所述的摄像装置，其特征在于，

该摄像装置还包括用户界面，其接受所述光学变焦倍率的变更指示以及指定景深的设定指示，

在所述指定景深的设定指示之后依据所述变更指示而变更了所述光学变焦倍率时，所述输出图像生成部按照使所述输出图像的景深成为与所述指定景深对应的景深的方式对所述输入图像实施所述图像处理。

4.根据权利要求1～3中任一项所述的摄像装置，其特征在于，

该摄像装置还包括被摄体距离信息取得部，其取得表示所述输入图像的各像素的被摄体距离的被摄体距离信息，

所述输出图像生成部利用所述被摄体距离信息来执行所述图像处理。

5.根据权利要求4所述的摄像装置，其特征在于，

在所述光学变焦倍率增大的情况下，所述输出图像生成部基于所述被摄体距离信息，在所述光学变焦倍率增大之后得到的输入图像内设定处理对象区域，将使所述处理对象区域鲜明化的鲜明化处理作为所述图像处理来执行。

6.根据权利要求4所述的摄像装置，其特征在于，

在所述光学变焦倍率减小的情况下，所述输出图像生成部基于所述被摄体距离信息，在所述光学变焦倍率减小之后得到的输入图像内设定处理对象区域，将使所述处理对象区域模糊的模糊化处理作为所述图像处理来执行。

Images