CN103139476A

CN103139476A - 图像摄取装置及图像摄取装置的控制方法

Info

Publication number: CN103139476A
Application number: CN2012105204699A
Authority: CN
Inventors: 池田紘一郎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-30
Filing date: 2012-11-29
Publication date: 2013-06-05
Anticipated expiration: 2032-11-29
Also published as: RU2531632C2; RU2012151307A; US20130135492A1; KR101521441B1; US9113059B2; EP2608527B1; EP2608527A2; EP2608527A3; KR20130061083A; CN103139476B

Abstract

本发明提供图像摄取装置及图像摄取装置的控制方法。即使图像数据在被摄体和背景之间的深度差不足，所述图像摄取装置也准确地辨别包括被摄体的区域和包括背景的区域。所述图像摄取装置包括：生成单元，被配置为生成图像数据；以及辨别单元，被配置为基于当对焦位置位于被摄体为对焦状态的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置时、由所述生成单元生成的第一图像数据，以及当对焦位置位于背景为对焦状态的焦点位置的远距离侧的第三焦点位置时、由所述生成单元生成的第二图像数据，来辨别包括所述被摄体的第一区域和包括所述背景的第二区域。

Description

图像摄取装置及图像摄取装置的控制方法

技术领域

本发明涉及图像摄取装置、图像摄取装置的控制方法以及存储单元。更特别地，本发明涉及诸如电子静态照相机或者摄像机的图像摄取装置和图像摄取装置的控制方法以及存储用于控制图像摄取装置的程序的存储介质。

背景技术

近年来，诸如数字照相机或者数字摄像机的许多图像摄取装置配设有对关注被摄体之外的区域进行图像处理的功能。例如，作为这些功能之一，具有例如对摄取的图像数据的背景区域赋予假模糊效果的功能。

通常来说，如果图像摄取装置具有像单镜头反射照相机一样的大的图像传感器，则通过打开孔径以使焦距更长，景深会变浅，摄取如上所述的具有处于焦点的被摄体之外的模糊背景的图像数据变得相对容易。

另一方面，在诸如紧凑型数字照相机的具有小的图像传感器的图像摄取装置中，即使使用上述方法，景深也趋于变得更深，其结果是，难以摄取具有模糊背景的图像数据。

鉴于该事实，已知通过从摄取的图像数据的背景区域中辨别被摄体区域，并且对背景区域进行滤波处理，即使诸如紧凑型数字照相机的具有小的图像传感器的摄像装置，也能够获取具有模糊背景的图像数据。

日本专利申请特开第2007-124398号公报讨论了一种技术，用于从摄取的图像数据中获取空间频率分量，以辨别被摄体区域和背景区域。也就是说，在日本专利申请特开第2007-124398号公报中讨论的技术中，通过调整聚焦透镜的位置，使得被摄体位于景深的后端，来提高摄取的图像数据的背景侧的模糊量。然后，计算多个分割块中的各个的空间频率分量，并且辨别值等于或大于阈值的块为被摄体区域。

然而，在日本专利申请特开第2007-124398号公报中讨论的技术中，存在如下问题：由于根据图像数据的一个帧的空间频率分量的量来进行区域之间的辨别，因此如果背景区域侧的模糊量小，则无法获得足够的精度。特别是，在近年来广泛使用的像紧凑型数字照相机一样的具有小的图像传感器的图像摄取装置中，存在即使在进行上述处理时，也获得不了足够的模糊量的趋势。其结果是，难以根据图像数据的一个帧的空间频率分量的量来进行区域之间的辨别。

发明内容

本发明旨在提供一种图像摄取装置、图像摄取装置的控制方法以及存储单元，所述摄像装置、摄像装置的控制方法以及存储单元即使在图像数据在被摄体和背景之间的深度差不足的情况下，也能够准确地辨别包含被摄体的区域与包含背景的区域。

根据本发明的一个方面，提供一种图像摄取装置，所述图像摄取装置包括：生成单元，被配置为在对焦位置是被摄体处于聚焦状态的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置时，生成第一图像数据，并且在焦点对准位置是背景处于聚焦状态的焦点位置的远距离侧的第三焦点位置时，生成第二图像数据；以及辨别单元，被配置为基于由所述生成单元生成的所述第一图像数据和所述第二图像数据，在包括所述被摄体的第一区域和包括所述背景的第二区域之间进行辨别。

根据本发明的另一方面，提供一种图像摄取装置的控制方法，所述控制方法包括以下步骤：基于在作为被摄体处于聚焦状态的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置的对焦位置获得的第一图像数据，以及在作为使背景聚焦的焦点位置的远距离侧的第三焦点位置的对焦位置获得的第二图像数据，来辨别包含所述被摄体的第一区域和包含所述背景的第二区域。

根据本发明的又一方面，提供一种存储用于控制图像摄取装置的程序的存储介质，其中，所述程序经由计算机执行处理，所述处理包括：基于在作为使被摄体聚焦的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置的焦点对准位置获得的第一图像数据，以及在作为使背景聚焦的焦点位置的远距离侧的第三焦点位置的焦点对准位置获得的第二图像数据，来辨别包括所述被摄体的第一区域和包括所述背景的第二区域。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

被并入说明书并构成说明书的一部分的附图，示出了本发明的示例性实施例、特征及方面，并与文字描述一起用来说明本发明的原理。

图1是示出根据本发明的示例性实施例的图像摄取装置100的配置的框图。

图2是示出根据本发明的示例性实施例的图1中的区域辨别电路112的配置的框图。

图3是示出根据本发明的示例性实施例的图像摄取装置100的图像摄取处理的操作的流程图。

图4是示出根据本发明的示例性实施例的图像摄取装置100的区域辨别处理的操作的流程图。

图5是示出根据本发明的示例性实施例的图像摄取装置500的配置的框图。

图6是示出根据本发明的示例性实施例的图5中的背景模糊图像生成单元513的配置的框图。

图7是示出根据本发明的示例性实施例的图像摄取装置500的背景模糊处理的操作的流程图。

图8A和8B示出了根据本发明的示例性实施例的图像摄取装置500的扫描像素与被摄体区域的距离和增益值之间的关系的示例。

图9示出了根据本发明的示例性实施例的图像摄取装置500的扫描像素与被摄体区域的距离和增益值之间的关系的另一示例。

图10是根据本发明的示例性实施例的图像摄取装置500的距离图。

图11A、11B和11C示出了在传统图像处理中出现的模糊和洇渗。

具体实施方式

下面，参照附图，详细描述本发明的各种示例性实施例、特征和方面。

首先，参照图1，描述根据本发明的示例性实施例的图像摄取装置的总体配置。图1是示出根据本发明的示例性实施例的图像摄取装置100的配置的框图。

图像摄取装置100包括控制单元117，控制单元117对整个图像摄取装置100进行控制。控制单元117由中央处理单元(CPU)或者微处理单元(MPU)构成，并且对下面描述的各个电路的操作进行控制。控制单元117对用于调节光圈(未示出)的驱动进行控制。图像摄取控制电路116根据来自控制单元117的信号，对用于改变光圈的孔径直径的光圈驱动机构(未示出)进行控制。

此外，控制单元117对用于调节摄像镜头101内的聚焦透镜(未示出)的驱动进行控制。图像摄取控制电路116根据来自控制单元117的信号，对通过在光轴方向上驱动聚焦透镜来进行聚焦的透镜驱动机构(未示出)进行控制。透镜驱动机构包括步进电机或者直流(DC)电机作为驱动源。除了配设聚焦透镜之外，还配设了可变放大率透镜和固定透镜，作为摄像镜头101内的透镜，并且镜头单元被配置为包括这些透镜。

图像传感器102由电荷耦合器件(CCD)传感器或者互补金属氧化物半导体(CMOS)或者其他传感器构成，图像传感器102的表面覆盖有例如像拜耳阵列(Bayer array)一样的RGB彩色滤光器，这使得能够进行彩色图像摄取。在图像传感器102上，形成经由包括聚焦透镜的摄像镜头101入射的被摄体图像。图像传感器102对被摄体图像进行光电转换，以生成图像数据。然后，将生成的图像数据存储在存储器103中。

控制单元117计算使得整个图像数据具有正确的曝光的快门速度和孔径值，并且计算用于在被摄体上进行聚焦的摄像镜头101的驱动量。然后，将由控制单元117计算的曝光值(快门速度和孔径值)以及指示摄像镜头101的驱动量的信息输出到图像摄取控制电路116。基于各个值，进行曝光控制和焦点调节。

颜色转换矩阵电路104对要以最佳颜色再现的摄取的图像数据应用颜色增益，并将图像数据转换为色差信号R-Y和B-Y。使用低通滤波器(LPF)电路105来限制色差信号R-Y和B-Y的频带。使用色度抑制(CSUP)电路106，来抑制由LPF电路105限制了频带的图像数据中的、饱和部分的伪色信号。

另一方面，还将摄取的图像数据输出到辉度信号生成电路107。辉度信号生成电路107根据输入的图像数据生成辉度信号Y。边缘增强电路108对生成的辉度信号Y进行边缘增强处理。

RGB转换电路109将从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路108输出的辉度信号Y，转换为RGB信号。伽马校正电路110对转换后的RGB信号进行灰度级校正。之后，颜色辉度转换电路111将经过灰度级校正的RGB信号转换为YUV信号。

区域辨别电路112针对被转换为YUV信号的图像数据，在被摄体区域和背景区域之间进行辨别。下面将描述区域辨别电路112的详细配置。图像处理单元113对背景区域进行诸如模糊处理的图像处理。联合图像专家组(JPEG)压缩电路114通过JPEG方法等对经过图像处理单元113进行的图像处理的图像数据进行压缩，并且将压缩之后的图像数据存储在外部或者内部记录介质115中。

然后，描述区域辨别电路112的具体配置。图2是示出图1中的区域辨别电路112的配置的框图。如图2所示，区域辨别电路112包括边缘检测单元201、边缘减法单元202、边缘积分值计算单元203、边缘积分值评价单元204和区域图生成单元205。

下面，参照图3和4，详细描述根据本示例性实施例的图像摄取装置100的操作。下面的处理过程作为计算机程序(软件)存储在控制单元117中的存储器(未示出)中，控制单元117中的CPU(未示出)读出并执行该计算机程序。

首先，参照图3描述由图像摄取装置100进行的图像摄取处理的操作。图3是示出由图像摄取装置100进行的图像摄取处理的操作的流程图。

在用于进行诸如曝光控制和焦点调节的摄像待机操作的开关1(SW1)的状态转变为“ON(开)”，并且进行了用于聚焦在被摄体上并且获得正确的曝光的摄像待机操作之后，用于进行摄像操作的开关2(SW2)的状态转变为“ON”。这时，在步骤S301中，控制单元117获取到当前被摄体的距离。在该处理中，例如，可以基于被摄体处于聚焦状态的透镜位置，来计算到被摄体的距离。

在步骤S302中，控制单元117驱动摄像镜头101，以在背景上聚焦。这时，摄影者可以任选地通过操作图像摄取装置100确定背景的对焦位置，或者图像摄取装置100可以自动进行视角内的多个区域的焦点检测，由此确定背景的对焦位置。

在步骤S303中，控制单元117获取到当前背景的距离。在该处理中，例如，可以基于背景处于对焦状态的透镜位置，来计算到背景的距离。在步骤S304中，控制单元117驱动摄像镜头101，使得背景位于景深的前端。也就是说，使摄像镜头101移动到背景在景深中的范围内的、背景的对焦位置的远距离侧的位置(第三焦点位置)。

在步骤S305中，控制单元117进行控制，以进行摄像操作。将通过摄像操作由图像传感器102生成的图像数据存储在存储器103中。此外，通过摄像操作获得的图像数据在处于焦点位置的景深范围内的背景侧对焦，但是因为向前定位的被摄体在焦点位置的景深外部，所以被摄体比背景更模糊，并且被摄体的模糊量比在背景对焦时更大。

在步骤S306中，控制单元117基于事先获取的到背景的距离和到被摄体的距离(基于摄像条件)，来确定当使被摄体进入对焦状态时，背景是否存在于与被摄体相同的景深内。如果背景存在于与被摄体相同的景深内(步骤S306中的“是”)，则处理进行到步骤S307。另一方面，如果背景没有存在于与被摄体相同的景深内(步骤S306中的“否”)，则处理进行到步骤S309。

首先，描述步骤S307中的处理。在步骤S307中，控制单元117驱动摄像镜头101，以在被摄体上聚焦。在步骤S308中，图像摄取装置100进行摄像操作，并且将通过摄像操作生成的图像数据存储在存储器103中。

接下来，描述步骤S309中的处理。在步骤S309中，控制单元117驱动摄像镜头101，使得被摄体位于景深的后端。也就是说，使摄像镜头101移动到被摄体在景深内部的范围内的、被摄体的对焦位置(第一焦点位置)的近距离侧的位置(第二焦点位置)。在步骤S310中，图像摄取装置100进行摄像操作，并且将通过摄像操作生成的图像数据存储在存储器103中。

接下来，参照图4，描述由图像摄取装置100进行的区域辨别处理的操作。图4是示出由区域辨别电路112进行的区域辨别处理的流程图。更具体来说，图4是示出图像数据的被摄体区域和背景区域之间的辨别处理的流程图。

在步骤S401中，边缘检测单元201对通过图3所示的处理获取的、在被摄体侧对焦的图像数据和在背景侧对焦的图像数据，进行带通滤波处理，以取得绝对值，并且获取各个图像数据的边缘。

“在被摄体侧对焦的图像数据”是在步骤S308或者S310中获取的图像数据。此外，“在背景侧对焦的图像数据”是在步骤S305中获取的图像数据。在被摄体侧对焦的图像数据是第一图像数据的示例，而在背景侧对焦的图像数据是第二图像数据的示例。

在步骤S402中，边缘减法单元202针对各个像素，从在被摄体侧对焦的图像数据的边缘中，减去在背景侧对焦的图像数据的边缘，以生成图像数据的边缘差(下文中称为边缘差图像数据)。在步骤S403中，边缘积分值计算单元203将在步骤S402中生成的边缘差图像数据划分为多个区域，并且对各个区域的边缘量进行积分。

在步骤S404中，边缘积分值评价单元204将在步骤S403中计算的各个区域的边缘量的积分值，与预定阈值进行比较。如果边缘量的积分值等于或大于预定阈值，则边缘积分值评价单元204确定该区域是被摄体区域。另一方面，如果边缘量的积分值小于预定阈值，则边缘积分值评价单元204确定该区域是背景区域。上述预定阈值可以是事先定义的固定值，或者可以根据图像数据的边缘的直方图分布自适应地获得。

在步骤S405中，区域图生成单元205基于步骤S404中的确定结果，生成能够辨别被摄体区域和背景区域的区域图。在上述区域图中，例如，用图像数据本身的像素值表示合成比率。为了使边界的不均匀不引人注意，对于该区域图，可以对被摄体区域和背景区域之间的边界应用低通滤波器。上述被摄体区域是第一区域的示例，并且上述背景区域是第二区域的示例。

接下来，描述根据本示例性实施例的背景区域的模糊处理。图像处理单元113对摄取的图像数据进行特殊滤波处理，以生成模糊图像数据IMG 2。作为要进行特殊滤波处理的目标的图像数据是在步骤S305、S308和S310中的任一个中摄取的图像数据。

在上述特殊滤波处理中，基于指定的滤波形状，对摄取的图像数据进行滤波处理。在该滤波处理中，通过将具有预定辉度值的像素乘以任意设置的增益值K，来进行饱和像素的辉度值的插值。

接下来，图像处理单元113基于上述区域图，将在步骤S308或者S310中获取的在被摄体侧对焦的图像数据IMG 1和模糊图像数据IMG 2合成。下面描述图像数据的合成处理的示例。图像处理单元113基于根据上述区域图的像素值获得的α(0≤α≤1)，将在被摄体侧对焦的图像数据IMG 1和模糊图像数据IMG 2合成，并且生成合成图像数据“B”。也就是说，图像处理单元113使用下面的方程式1，计算合成图像数据B的各个像素B[i，j]。

B[i，j]＝IMG 1[i，j]*α[i，j]+IMG 2[i，j]*(1-α)

方程式1

获取通过上述处理获得的合成图像数据“B”，作为背景模糊图像数据。此外，本示例性实施例中的背景模糊图像数据的生成处理不限于上述示例性实施例。

例如，可以通过基于区域图，仅对在被摄体侧对焦的图像数据的背景区域进行特殊滤波处理，来获取背景模糊图像数据。可以通过缩小摄取的图像数据，并且放大缩小后的图像数据以使其还原到其原始尺寸，来生成模糊图像数据IMG 2。

作为另选方案，可以通过对摄取的图像数据应用低通滤波，来生成模糊图像数据IMG 2。“摄取的图像数据”是在步骤S305、S308和S310中的任一个中摄取的图像数据。

结果，能够对通过上述处理分割的背景区域进行特殊图像处理。

此外，本发明不限于这些示例性实施例，在本发明的范围内可以进行各种变化和变型。例如，在背景侧对焦的图像数据、在被摄体上对焦的图像数据或者在被摄体侧对焦的图像数据的摄像操作的顺序可以互换。

此外，使用在被摄体侧对焦的图像数据和在背景侧对焦的图像数据，进行根据本示例性实施例的区域辨别处理，但是不限于此。例如，当进一步对存在于主被摄体的近距离侧的被摄体进行其他处理时，可以使用包括通过使对焦位置移动到被摄体的近距离侧而摄取的图像数据的三个或更多个图像数据。在这种情况下，通过进行将主被摄体视为背景的根据本示例性实施例的区域辨别处理，能够根据景深将图像数据划分为多个区域。

此外，在上述示例性实施例中，在步骤S305、S308和S310中示出了摄取图像数据的示例，但是不限于此。例如，在摄取了在被摄体上对焦的图像数据之后，可以通过进行图像处理，使得图像数据更接近如下图像的对焦状态，来生成在背景侧对焦的图像数据，其中，所述图像是在摄像镜头位于背景处于对焦状态的位置的情况下将获得的图像。类似地，可以通过进行图像处理，使得图像数据更接近如下图像的聚焦状态，来生成在被摄体侧对焦的图像数据，其中，所述图像是在被摄体位于景深的后端的情况下将获得的图像。

根据本示例性实施例，针对在被摄体的对焦位置或者通过偏移到被摄体的对焦位置的近距离侧的位置而摄取的图像数据，以及通过偏移到背景的对焦位置的远距离侧的位置而摄取的图像数据，在获取这两个图像数据各自的边缘之后，基于边缘的差值进行区域辨别。相应地，即使在被摄体和背景之间的深度差不足的图像数据中，也能够以高精度在被摄体和背景之间度进行区域辨别。

可以将通过用于估计饱和像素的实际曝光量、并且根据所估计的实际曝光量应用增益的曝光量校正处理而赋予了模糊效果的背景区域的图像数据，与未赋予模糊效果的被摄体区域的图像数据合成。在这种情况下，可能在靠近被摄体区域的背景区域中，出现由于被摄体区域上的饱和像素的模糊而导致的模糊和洇渗。

下面，参照图11A到11C，具体描述该现象。图11A示出了在使被摄体聚焦时摄取的图像数据。图11B示出了通过对图11A所示的图像数据进行曝光量校正处理而赋予了模糊效果的图像数据。在仅分割图11A所示的图像数据的被摄体区域，并且将该被摄体区域与图11B所示的图像数据合成的情况下，出现如图11C所示的模糊和洇渗。

因此，在本示例性实施例中，将描述用于获得在紧密靠近被摄体区域的背景区域上、模糊和洇渗的发生受到抑制的图像数据的图像摄取装置的配置以及图像摄取装置的操作。

首先，参照图5，描述图像摄取装置的总体配置。图5是示出图像摄取装置500的配置的框图。

图像摄取装置500包括控制单元517，控制单元517对整个图像摄取装置500进行控制。控制单元517由CPU、MPU等构成，并且对下面描述的各个电路的操作进行控制。摄像镜头501经由安装单元(未示出)可拆卸地附装到图像摄取装置500。在安装单元中配设了电接触单元521。

图像摄取装置500中的控制单元517经由电接触单元521与摄像镜头501进行通信，并且对用于调节摄像镜头501内的聚焦透镜518和光圈522的驱动进行控制。透镜控制电路520根据来自控制单元517的信号，对沿光轴方向驱动聚焦透镜518以进行聚焦的透镜驱动机构519进行控制。

透镜驱动机构519具有步进电机或者直流(DC)电机作为驱动源。此外，光圈控制驱动电路524根据来自控制单元517的信号，对用于改变光圈522的孔径直径的光圈驱动机构523进行控制。在图5中，作为摄像镜头501内的透镜，仅示出了聚焦透镜518，但是除此之外，还配设了可变放大率透镜或者固定透镜，镜头单元被配置为包括这些透镜。

在图5中，图像传感器502由CCD传感器、CMOS传感器或者其他传感器构成，图像传感器502的表面覆盖有诸如拜耳阵列的RGB彩色滤光器，并且能够进行彩色摄像。当在图像传感器502上形成经由摄像镜头501入射的被摄体图像时，生成图像数据，并且将图像数据存储在存储器503中，其中，摄像镜头501包括能够在图像摄取装置500上拆装的聚焦透镜518。

控制单元517计算使得整个图像数据示出正确的曝光的快门速度和孔径值，并且计算聚焦透镜518的驱动量，以便在位于对焦区域内的被摄体上对焦。然后，将指示由控制单元517计算的曝光值(快门速度和孔径值)以及聚焦透镜518的驱动量的信息，输出到图像摄取控制电路516、光圈控制驱动电路524和透镜控制电路520。基于各个值，进行曝光控制和焦点调节。

颜色转换矩阵电路504应用颜色增益，使得以最佳颜色再现摄取的图像数据，并将图像数据转换为色差信号R-Y和B-Y。使用低通滤波器(LPF)电路505来限制色差信号R-Y和B-Y的频带。使用色度抑制(CSUP)电路506来抑制由LPF电路505限制了频带的图像数据中的、饱和部分的伪色信号。

另一方面，还将摄取的图像数据输出到辉度信号生成电路507。辉度信号生成电路507根据输入的图像数据生成辉度信号Y。边缘增强电路508对生成的辉度信号Y进行边缘增强处理。

RGB转换电路509将从CSUP电路506输出的色差信号R-Y和B-Y以及从边缘增强电路508输出的辉度信号Y转换为RGB信号。伽马校正电路510对转换后的RGB信号进行灰度级校正。之后，颜色辉度转换电路515将经过灰度级校正的RGB信号转换为YUV信号。

背景模糊图像生成单元513对转换后的图像数据，进行用于产生模糊效果的图像处理。下面将描述背景模糊图像生成单元513的详细配置。JPEG压缩电路514使用JPEG方案等对经过背景模糊图像生成单元513进行的图像处理的图像数据进行压缩，并且将压缩之后的图像数据存储在外部或者内部记录介质515中。

接下来，描述背景模糊图像生成单元513的具体配置。图6示出了背景模糊图像生成单元513的配置。如图6所示，背景模糊图像生成单元513包括边缘检测单元601、边缘减法单元602、边缘积分值计算单元603、边缘积分值评价单元604、区域图生成单元605、模糊处理单元606和图像合成单元607。

接下来，参照图7中的流程图，描述由背景模糊图像生成单元513进行的背景模糊处理。

在步骤S701中，图像摄取装置500在被摄体上进行聚焦的同时，进行摄像操作。接下来，图像摄取装置500通过将聚焦透镜偏移预定量，以使得聚焦在背景上，来进行摄像操作。在这些不同的对焦位置摄取了多个图像数据之后，在步骤S702中，边缘检测单元601检测通过聚焦在被摄体上而摄取的图像数据的边缘，并且检测通过聚焦在背景上而摄取的图像数据的边缘。

边缘检测方法的示例包括通过在摄取的图像数据上进行带通滤波以取得绝对值，来检测图像数据的边缘的方法。检测边缘的方法不限于此，可以使用其他方法。下面，将从通过聚焦在被摄体上而摄取的图像数据中检测到的边缘称为被摄体对焦侧边缘图像数据，而将从通过聚焦在背景上而摄取的图像数据中检测到的边缘称为背景对焦侧边缘图像数据。

在步骤S703中，边缘减法单元602针对各个像素，从被摄体对焦侧边缘图像数据中，减去背景对焦侧边缘图像数据，以生成图像数据的边缘的差(下文中称为边缘差图像数据)。在步骤S704中，边缘积分值计算单元603将在步骤S703中生成的边缘差图像数据划分为多个区域，并且对各个区域的边缘量进行积分。

在步骤S705中，边缘积分值评价单元604将在步骤S704中计算的各个区域的边缘量的积分值，与预定阈值进行比较。如果边缘量的积分值等于或大于预定阈值，则边缘积分值评价单元604确定该区域为被摄体区域。另一方面，如果边缘量的积分值小于预定阈值，则边缘积分值评价单元604确定该区域为背景区域。上述预定阈值可以是预先确定的固定值，或者可以根据图像数据的边缘的直方图分布自适应地获得。

在步骤S706中，区域图生成单元605基于步骤S705中的确定结果，生成使得能够辨别被摄体区域和背景区域的分割图。例如，在分割图中，用图像数据本身的像素值表示合成比率。为了使边界的不均匀不引人注意，对于分割图，可以对被摄体区域和背景区域之间的边界应用低通滤波器。

在步骤S707中，模糊处理单元606对在被摄体处于对焦状态的同时摄取的图像数据，进行基于分割图的模糊处理，以生成模糊图像数据。

下面描述步骤S707中的模糊处理的详情。在模糊处理中，基于指定的滤波形状，对在被摄体处于对焦状态的同时摄取的图像数据，进行滤波处理。在该滤波处理中，在将具有预定辉度值的像素乘以从图8A所示的表中获得的增益值K，并且对饱和像素的辉度值进行插值之后，进行滤波处理。下面，将在滤波处理中当前扫描的像素(目标部分)称为扫描像素。

代替表形式，图8A示出了扫描像素到被摄体区域的距离与增益值之间的关系。然而，实际上，在表中设置了与扫描像素到被摄体区域的各个距离相对应的增益值。能够根据上述分割图来辨别被摄体区域。

如图8A所示，扫描像素的增益值K取值0或者更大，并且是依据扫描像素和被摄体区域之间的距离“r”确定的值。例如，如图8B所示，假设存在距离被摄体区域的距离为ra和rb(ra＜rb)的扫描像素。这时，在图8A所示的表中，针对具有距离被摄体区域更近的距离ra的扫描像素设置增益值Kh，并且针对具有距离被摄体区域更远的距离rb的扫描像素设置比Kh更高的增益值K。

在扫描像素位于被摄体区域上的情况下，将增益值设置为Kmin。基于滤波器的抽头数或者波形，来确定要在图8A所示的表中设置的增益值。例如，如果滤波器的抽头数大，则将“r”设置为具有较大值的增益值，以使“r”免受被摄体区域上的像素的影响。

然而，本发明不限于此，并且，可以使用如图9所示的具有固定值的增益值K和Kmin。增益值K是预定第二增益值的示例，并且增益值Kmin是预定第一增益值的示例。

下面描述使用具有固定值的增益值K和Kmin时的优点。例如，如果以每个像素为基础准确地进行被摄体区域的分割，则总是针对被辨别为背景区域的像素设置增益值K，并且总是针对被辨别为被摄体区域的像素设置增益值Kmin。其结果是，将被摄体区域的饱和像素的模糊抑制到最小，因此，能够防止合成之后的图像数据的模糊和洇渗。如图9所示，满足K＞Kmin。

接下来，描述使用如图8A所示的表确定增益值的优点。例如，如果出现被摄体区域的实际位置和分割的被摄体区域的位置之间的误差，则在仅针对误差的合成之后的图像数据中，出现由于被摄体区域的饱和像素的模糊而导致的模糊和洇渗。在这种情况下，通过针对靠近被摄体区域的像素设置较低的增益值，能够防止合成之后的图像数据的模糊和洇渗。

上述滤波特征或者增益值可以基于包括摄取的图像数据的深度信息的距离图自适应地改变。图10示出了将图像数据的深度分解为多个等级的距离图的示例。通过参照如图10所示的距离图，针对深度深的区域，将滤波器形状设置为大，或者将增益值设置为高。另一方面，针对深度浅的区域，将滤波器形状设置为小，或者将增益值设置为低。

返回到对图7的描述，在步骤S708中，图像合成单元607基于分割图，从在被摄体处于对焦状态的同时摄取的图像数据中分割被摄体区域，并且将被摄体区域与在步骤S707中生成的模糊图像数据合成。

在该处理中，仅需要例如以与上述第一示例性实施例类似的方式，进行图像数据的合成处理。换句话说，图像合成单元607基于根据分割图的像素值获得的α[i，j](0≤α≤1)，将在被摄体处于对焦状态的同时摄取的图像数据IMG 1[i，j]的被摄体区域，与模糊图像数据IMG 2[i，j]合成，以生成合成图像数据B[i，j]。也就是说，图像合成单元607使用第一示例性实施例中的方程式1计算合成图像数据B[i，j]。[i，j]指示各个像素。

通过上述处理，图像合成单元607能够在抑制在紧密地靠近被摄体区域的背景区域中出现模糊和洇渗的同时，获取通过对饱和像素的辉度值进行插值而获得的模糊图像数据。此外，本示例性实施例中的扫描像素和被摄体区域之间的距离“r”是从在中心的扫描像素到最接近的被摄体区域的距离，但是通过获得主被摄体的重心坐标，距离“r”也可以是从重心坐标到扫描像素的距离。

此外，根据在被摄体处于对焦状态的同时摄取的图像数据和在背景处于对焦状态的同时摄取的图像数据，而生成了本示例性实施例中的分割图，但是，也可以根据包括在被摄体的前侧处于对焦状态的同时摄取的图像数据的三个或更多个图像数据，来生成本示例性实施例中的分割图。

如上所述，根据本示例性实施例，基于分割图，将通过根据距被摄体区域的距离切换针对饱和像素的增益值而经过滤波处理的图像数据，与在尖锐被摄体处于对焦状态的同时摄取的图像数据合成。相应地，能够在抑制在被摄体的高辉度区域的外围出现模糊和洇渗的同时，生成以估计的实际曝光量对背景的高辉度区域赋予了模糊效果的图像数据，并且能够提供摄影者希望的图像数据。

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。在这种情况下，系统或装置以及存储有程序的记录介质包含在本发明的范围内。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有变型、等同结构及功能。

Claims

1.一种图像摄取装置，所述图像摄取装置包括：

生成单元，被配置为在对焦位置是被摄体处于聚焦状态的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置时，生成第一图像数据，并且在焦点对准位置是背景处于聚焦状态的焦点位置的远距离侧的第三焦点位置时，生成第二图像数据；以及

辨别单元，被配置为基于由所述生成单元生成的所述第一图像数据和所述第二图像数据，在包括所述被摄体的第一区域和包括所述背景的第二区域之间进行辨别。

2.根据权利要求1所述的图像摄取装置，其中，所述第二焦点位置是所述被摄体落在景深内部的范围内的位置，并且是所述第一焦点位置的近距离侧的位置。

3.根据权利要求1所述的图像摄取装置，其中，所述第三焦点位置是所述背景落在景深内部的范围内的位置，并且是使所述背景聚焦的焦点位置的远距离侧的位置。

4.根据权利要求1所述的图像摄取装置，其中，所述生成单元根据摄像条件，通过将聚焦透镜定位在所述第一焦点位置和所述第二焦点位置中的任意一个，来生成所述第一图像数据。

5.根据权利要求1所述的图像摄取装置，所述图像摄取装置还包括：

处理单元，被配置为对所述第一图像数据或者所述第二图像数据进行预定滤波处理；以及

合成单元，被配置为基于所述辨别单元的辨别结果，将经过所述处理单元的所述预定滤波处理的所述第一图像数据或者所述第二图像数据，与由所述生成单元生成的所述第一图像数据合成。

6.根据权利要求5所述的图像摄取装置，所述图像摄取装置还包括：

确定单元，被配置为根据图像数据中的目标部分和包括所述被摄体的区域之间的距离，来确定增益值，其中，所述处理单元在使用由所述确定单元确定的所述增益值对所述目标部分进行插值之后，对所述图像数据进行所述预定滤波处理。

7.根据权利要求6所述的图像摄取装置，其中，所述确定单元被配置为使得随着所述目标部分与包括所述被摄体的所述区域之间的距离减小，所确定的增益值变小。

8.根据权利要求6所述的图像摄取装置，其中，所述确定单元在所述目标部分被包含在包括所述被摄体的所述区域中的情况下，确定预定第一增益值，并且在所述目标部分被包含在除包括所述被摄体的所述区域以外的区域中的情况下，确定预定第二增益值。

9.根据权利要求8所述的图像摄取装置，其中，所述预定第一增益值小于所述预定第二增益值。

10.根据权利要求6所述的图像摄取装置，其中，所述确定单元根据在所述预定滤波处理中使用的滤波器的特征，来改变要确定的所述增益值。

11.根据权利要求6所述的图像摄取装置，其中，所述确定单元根据所述目标部分的景深，来改变要确定的所述增益值。

12.根据权利要求10所述的图像摄取装置，其中，所述处理单元根据所述目标部分的景深，来改变所述滤波器的特征。

13.根据权利要求1所述的图像摄取装置，所述图像摄取装置还包括：

处理单元，被配置为缩小所述第一图像数据或者所述第二图像数据的尺寸，并且放大缩小后的图像数据，以使该图像数据返回至该图像数据的原始尺寸；以及

合成单元，被配置为基于所述辨别单元的辨别结果，将由所述处理单元处理过的所述第一图像数据或者所述第二图像数据，与由所述生成单元生成的所述第一图像数据合成。

14.根据权利要求1所述的图像摄取装置，所述图像摄取装置还包括：

处理单元，被配置为对所述第一图像数据或者所述第二图像数据应用低通滤波器；以及

15.一种图像摄取装置的控制方法，所述控制方法包括以下步骤：

基于在作为被摄体处于聚焦状态的第一焦点位置或者所述第一焦点位置的近距离侧的第二焦点位置的对焦位置获得的第一图像数据，以及在作为使背景聚焦的焦点位置的远距离侧的第三焦点位置的对焦位置获得的第二图像数据，来辨别包含所述被摄体的第一区域和包含所述背景的第二区域。