CN107615747A - 图像处理设备、摄像设备、图像处理方法和存储介质 - Google Patents

Abstract

摄像设备的图像处理单元获取具有不同拍摄时刻的多组图像数据。散焦图生成单元通过使用两组或更多组图像数据来生成表示散焦量的空间分布的多个散焦图中的各散焦图。位置偏离校正单元通过使用从位置偏离校正控制参数计算单元所获取到的控制参数，经由几何变形处理来进行多个散焦图的对准。合成单元对经过了对准的多个散焦图进行合成。散焦图整形单元对合成处理后的散焦图进行整形处理，并且输出沿着被摄体的轮廓平滑地变化的散焦图数据。

Description

图像处理设备、摄像设备、图像处理方法和存储介质

技术领域

本发明涉及通过使用具有不同拍摄时刻的多个图像来获取与散焦分布有关的信息的图像处理技术。

背景技术

在诸如计算机视觉等的领域中，存在用于获取表示针对所拍摄图像的散焦量的空间分布的散焦图的技术。专利文献1公开了如下的技术，其中该技术对从具有不同曝光时间的三个图像的数据中所获取的散焦图进行合成，以使得即使在视角中的图像信号之间的亮度差较大的情况下也生成更正确的散焦图。

引用列表

专利文献

专利文献1：日本特开2012-182731

然而，在日本特开2012-182731中所公开的传统技术领域中，如果在具有不同曝光时间的三个图像中发生了照相机抖动等，则要计算的散焦图的精度可能降低。另外，在高感光度摄像期间，图像数据中的噪声量增加，因而要计算的散焦图的精度可能降低。

发明内容

本发明是为了提供如下的图像处理设备，其中该图像处理设备可以通过使用具有不同拍摄时刻的多个图像数据来生成具有更正确的散焦分布的数据。

根据本发明的实施例的一种图像处理设备，包括：获取单元，其被配置为获取具有不同拍摄时刻的第一组图像数据和第二组图像数据；生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示散焦量的空间分布的第一图数据和第二图数据；对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；以及合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理。

根据以下参考附图对典型实施例的说明，本发明的其它特征将变得显而易见。

附图说明

图1是示出根据本发明的实施例的数字照相机的功能结构示例的框图。

图2A示出根据本发明的实施例的摄像单元的像素排列的结构示例。

图2B是光瞳分割的概念的说明图。

图3是示出根据本发明的实施例的图像处理单元的功能结构示例的框图。

图4是示出根据本发明的第一实施例的图像处理单元的处理的流程图。

图5示出第一实施例中的以适当曝光时间拍摄的图像。

图6示出以比适当曝光时间短的曝光时间拍摄的图像。

图7示出时刻T和T+1的全开口图像。

图8示出散焦图的合成比率。

图9示出散焦图的整形处理。

图10A示出整形图像的截面图中的信号值轮廓。

图10B示出散焦图的整形处理的效果。

图11是示出根据本发明的第二实施例的图像处理单元的处理的流程图。

具体实施方式

以下，将参考附图来说明本发明的优选实施例。注意，将说明适用于作为根据下述的实施例的图像处理设备的数字照相机的示例。

第一实施例

在根据本发明的第一实施例的摄像设备中，将说明即使在视角中的图像信号之间的亮度差较大的情况下也可以生成更正确的散焦图的图像处理设备。

图1是示出根据本实施例的数字照相机100的功能结构的框图。系统控制单元101例如包括CPU(中央处理单元)。系统控制单元101从ROM(只读存储器)102读出用于控制数字照相机100中所包括的各组成单元的操作和处理的程序，将该程序展开在RAM(随机存取存储器)103中，并且执行该程序。ROM 102是使得能够重写数据的非易失性存储器，并且除了用于控制数字照相机100的操作和处理的程序之外，还存储各组成单元的操作所需的参数。例如，ROM 102中存储有包括用作焦点检测所需的透镜信息的出射光瞳距离的数据。RAM103是使得能够重写数据的易失性存储器，并且被用作在数字照相机100的处理中已经输出的数据的临时存储区域。

摄像光学系统104在摄像单元105上形成来自被摄体的光。摄像光学系统104包括透镜和光圈，并且光圈通过调节摄像光学系统104的开口直径进行摄像期间的光量调节。摄像单元105包括摄像元件，例如CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器。摄像单元105对摄像光学系统104已经形成的光学图像进行光电转换，并且将已获取的模拟图像信号输出至A(模拟)/D(数字)转换单元106。A/D转换单元106对已经输入的模拟图像信号进行A/D转换处理，并将数字图像数据输出至RAM 103以将该数字图像数据存储在RAM 103中。

图像处理单元107对RAM 103中所存储的图像数据进行包括白平衡调节、颜色插值、缩小/放大和滤波等的处理。图像处理单元107还进行各种图像处理，诸如散焦图的生成、多个图像的对准以及合成处理等。记录介质108是可安装且可拆卸的存储卡等，并且记录利用RAM 103中所存储的图像处理单元107进行了处理的图像数据以及利用A/D转换单元106进行了A/D转换的图像数据等作为记录图像数据。总线109用于在各组成单元之间发送和接收信号。

图2A是示出图1中的摄像单元105的像素排列的结构示例的示意图。在图2A中，将与图正交的方向定义为z方向，并且将前侧定义为+z方向。将与z方向正交的第一方向定义为x方向，并且将图2A中的向右方向定义为+x方向。另外，将与z方向正交的第二方向定义为y方向，并且将图2A中的向上方向定义为+y方向。图2A示出放大了像素200的示意图。像素200包括微透镜201、一对光电转换单元202A和203B(以下称为光瞳分割像素202A和203B)。在摄像单元105中，多个像素200以二维阵列状态规则地排列。在本实施例中，分别输出A图像和B图像作为来自规则排列的光瞳分割像素202A和203B的一对图像。在以下说明中，作为一对图像的A图像和B图像被称为“光瞳分割图像”。

图2B是光瞳分割的示意说明图。在图2B的下侧，示出从+y方向观看的沿图2A所示的像素200的线S-S的截面时的截面图，并且在上侧，在x-y面中示出从-z方向观看时的摄像光学系统104的出射光瞳面。在图2B中，为了与出射光瞳面的坐标轴相对应，以相对于图2A反转的方式示出截面图中的x方向。

摄像单元105配置在摄像光学系统104的成像面附近，并且来自被摄体的光束穿过摄像光学系统104的出射光瞳800并进入彼此对应的像素。出射光瞳800的大小根据光圈的大小或用于保持透镜的透镜框的大小而改变。光瞳部分区域801A和802B由于在x方向被分割为两个部分的光瞳分割像素202A和203B的光接收表面以及微透镜，而处于大致共轭的关系。因此，已经穿过各光瞳部分区域的光束由具有相邻关系的各光瞳分割像素接收。如果将水平方向的光瞳分割数表示为“M”并且将垂直方向的光瞳分割数表示为“N”，则摄像光学系统104的出射光瞳800被分割为光瞳分割数是Np＝M×N的不同光瞳部分区域。如果将摄像光学系统104的光圈值表示为“F”，则光瞳部分区域的有效光圈值一般表示为(√(M×N))×F。另外，光瞳区域803是在将被分割为M×N个的光电转换单元全部组合时的像素200整体中可接收到的光瞳区域(全开口区域)。例如，如果将光瞳分割数表示为“M＝2,N＝1”，则光瞳部分区域的有效光圈值是F的√2倍。即，与全开口图像相比，一个光瞳分割图像的一段景深较深，并且可以获取暗图像。根据以上结构，各自穿过图1中的摄像光学系统104的光瞳中的不同区域的一对光束形成为一对光学图像，并且该对光束可被输出为作为一对图像的A图像和B图像。

接着，将说明图1中的图像处理单元107的结构和处理。图3是示出图像处理单元107的具体结构的示例的框图。图像处理单元107包括附图标记300～306所示的各处理单元(以下将详细说明各处理单元)。另外，图4是示出图像处理单元107所进行的处理的流程图。以下，将沿着图4中的流程图进行说明。

首先，在S400中，摄像单元105通过摄像操作以适当曝光时间获取作为一对图像的光瞳分割图像。图5中示出S400中所获取的第一组图像的示例。在图5的图中，将左右方向定义为x方向，并且将向右的方向定义为+x方向。另外，在图5的图中，将与x方向正交的上下方向定义为y方向，并且将向上的方向定义为+y方向。图5中的图A和B各自示出在时刻T拍摄的图像，并且示出存在处于逆光状态的人并且该人和背景之间的亮度差较大的场景。照相机上所安装的测光传感器测量人500和502各自的亮度，并且系统控制单元101控制曝光时间以使得针对人具有适当曝光。

在图5中，尽管分别拍摄了建筑物501和503，但是由于曝光时间被控制成使得针对人具有适当曝光，因此存在被称为“高光溢出”的像素，并且作为结果，边缘是不清楚的。“高光溢出”是指原本具有亮的强度的图像区域变为白色的状态。在生成后述的散焦图数据时，如果存在具有高光溢出的区域，则无法计算出正确的散焦量。图5中的A所示的图像是从通过在水平方向将光瞳分割为两个部分而获取的像素中的光瞳分割像素202A输出的图像，该图像是通过聚焦在人500上所拍摄的图像。图5中的B中的图像是从作为通过在水平方向将光瞳分割为两个部分所获取的像素中的另一像素的光瞳分割像素203B输出的图像。人502的位置与图5中的A中的人500的位置相同。相比之下，由于用作背景的建筑物503在水平方向具有视差，因此与图5中的A中的建筑物501的图像相比，建筑物503沿-x轴的方向发生偏离。在以下说明中，将以适当曝光时间拍摄的光瞳分割图像被为“适当曝光图像”。注意，可以在同一时刻获取作为一对图像的光瞳分割图像。另外，可以将以适当曝光预先拍摄的光瞳分割图像记录在记录介质108上，并读出该图像。在本实施例中，尽管光瞳在水平方向被分割成两个部分，但是本发明不限于此，并且可以在任何方向并且以任何分割数进行光瞳分割。

接着，在图4的S401中，摄像单元105通过摄像操作以比适当曝光时间短的曝光时间来获取光瞳分割图像。图6中示出S401中所获取的第二组图像的示例。在图6的图中，将左右方向定义为x方向，并且将向右的方向定义为+x方向。另外，在图6的图中，将与x方向正交的上下方向定义为y方向，并且将向上的方向定义为+y方向。图6中的A示出在时刻T+1拍摄到的光瞳分割像素202A的输出图像。在图6中的A所示的图像中，由于曝光时间比S400中设置的曝光时间短，因此人的图像上发生被称为“暗部缺失”的现象，并且作为结果，边缘是不清楚的。“暗部缺失”是指暗图像区域变黑的状态。在具有暗部缺失的区域中，无法在散焦图数据的生成处理中计算出正确的散焦量。相比之下，用作背景的建筑物的图像上没有发生高光溢出，并且边缘是清楚的。另外，在图6中的A所示的图像中，聚焦在人600上，并且与图5中的A相比，由于照相机抖动的影响，因此构图沿-x方向和-y方向发生偏离。

图6中的B示出在时刻T+1拍摄到的光瞳分割像素203B的输出图像。与图6中的A相比，由于建筑物603具有视差，因此发生偏离，另外，与图5中的B相比，构图由于拍摄者的照相机抖动的影响而沿-x方向和-y方向发生偏离。在以下说明中，将以比适当曝光时间短的曝光时间拍摄的光瞳分割图像被称为“低曝光图像”。在S400和S401中，执行用于在不同时刻获取具有不同曝光时间的多对图像的处理。即，尽管第一组图像数据和第二组图像数据的拍摄时刻和曝光时间不同，但是在数据具有两组或更多组的情况下也不会限制拍摄的数量。

在图4的S402中，针对S400和S401的各步骤中所拍摄的光瞳分割图像，像素计数单元300对具有高光溢出的像素的数量和具有暗部缺失的像素的数量进行计数。具有高光溢出的像素的数量是具有比第一阈值大的像素值的像素的数量，以及具有暗部缺失的像素的数量是具有比第二阈值小的像素值的像素的数量。针对适当曝光图象和低曝光图像，测量具有高光溢出的像素的数量和具有暗部缺失的像素的数量，并输出各计数的数量。

在步骤S403中，图像处理单元107将S402中获取的计数与预先设置的阈值进行比较。如果具有高光溢出的像素的数量或具有暗部缺失的像素的数量大于预先设置的阈值，则处理进入S404，以及如果具有高光溢出的像素的数量和具有暗部缺失的像素的数量小于阈值，则处理进入S411。

在S404中，相加图像生成单元301通过使用下式来对通过S400和S401中的拍摄所获取的光瞳分割图像的信号进行相加。

G(x,y)＝A(x,y)+B(x,y)…(1)

在式(1)中，G(x,y)表示利用已穿过摄像光学系统104的光瞳的整个区域的光束以数字方式重构光学图像的信号(全开口信号)。另外，A(x,y)表示光瞳分割像素202A(A图像信号)的输出信号，以及B(x,y)表示光瞳分割像素203B(B图像信号)的输出信号。以下，由全开口信号G(x,y)构成的图像被称为“全开口图像”。

图7示出图像示例。图7中的A示出通过将图5中的A和B的图像相加所获取的时刻T的图像。图7中的B示出通过将图6中的A和B的图像相加所获取的时刻T+1的图像。将图7的图中的左右方向定义为x方向，并且将向右的方向定义为+x方向。另外，在图7的图中，将与x方向正交的上下方向定义为y方向，并且将向上的方向定义为+y方向。

在图7中的A所示的图像示例中，由于人700的图像是聚焦状态的被摄体图像，因此不存在视差，并且即使将图像相加，也不会发生模糊。另外，由于图像是以适当亮度进行拍摄的，因此被摄体图像的边缘是清楚的。相比之下，由于作为背景的建筑物701的图像是通过合成具有视差的图像所生成的，因此发生模糊。另外，由于高光溢出的影响，因此背景图像的边缘是不清楚的。

在图7中的B所示的图像示例中，由于人702的图像是聚焦状态的被摄体图像，因此不存在视差，并且即使将图像相加，也不会发生模糊。然而，由于暗部缺失的影响，因此被摄体图像的边缘是不清楚的。相比之下，由于作为背景的建筑物703的图像是通过合成具有视差的图像所生成的，因此在发生模糊的同时不会发生高光溢出。

注意，在本实施例中，尽管说明了生成一对光瞳分割图像用作输入图像的全开口图像的示例，但本发明不限于此。例如，可以将全开口图像和一个光瞳分割图像(A图像或B图像)用作输入图像，从全开口图像的信号中减去一个光瞳分割图像的信号，由此生成另一光瞳分割图像的信号。

在图4的S405中，散焦图生成单元(以下简称为“图生成单元”)302通过使用A图像和B图像各自的信号来计算各目标像素位置的散焦量，其中A图像和B图像是通过步骤S400中的拍摄所获取的光瞳分割图像。散焦量是与被摄体的距离分布有关的信息，并且表示散焦图数据的值。根据A图像和B图像来计算散焦量的处理如下。

将目标像素位置处的A图像的信号序列表示为E(1)～E(m)，以及将B图像的信号序列表示F(1)～F(m)。在使B图像的信号序列F(1)～F(m)相对于A图像的信号序列E(1)～E(m)发生偏移的情况下，通过使用下式(2)来进行两个信号序列之间的偏移量k的相关量C(k)的计算：

C(k)＝Σ|E(n)-F(n+k)|…(2)

在式(2)中，Σ计算表示计算针对n的总数的计算。在Σ计算中，n和n+k所取的范围被限制在1～m的范围。偏移量k取整数值，并且表示以一对数据的检测间距为单位的相对偏移量。

在式(2)的计算结果中，在一对信号序列的相关性高的偏移量(偏移量k)中使相关量C(k)最小。以下，在使离散的相关量C(k)最小的情况下，将“k”表示为“kj”。通过使用根据以下的式(3)～(5)的三点插值处理，计算出提供针对连续相关量的最小值C(x)的偏移量x。

x＝kj+D/SLOP…(3)

D＝{C(kj-1)-C(kj+1)}/2…(4)

SLOP＝MAX{C(kj+1)-C(kj),C(kj-1)-C(kj)}…(5)

散焦量(称为“DEF”)可以由下式(6)基于式(3)中计算出的偏移量x来确定：

DEF＝KX×PY×x…(6)

式(6)中所示的KX是由穿过一对光瞳区域的光束的重心的开度角(openingangle)的大小所确定的转换系数。

PY是检测间距。如果参考区域是具有高光溢出的区域或具有暗部缺失的区域，则式(2)中的项|E(n)-F(n+k)|变为零，并且C(k)的值变为零。因此，无法正确地计算出使相关量C(k)最小的kj，并且作为结果，已计算出的散焦量不再是正确值。

图生成单元302输出表示已计算出的散焦量的空间分布(所拍摄图像的二维平面上的分布)的散焦图数据。对于以下说明，将在图4的S405中由图生成单元302生成的散焦图称为“适当曝光散焦图”。

在S406中，图生成单元302根据通过S401中的拍摄所获取的光瞳分割图像来生成散焦图。由于散焦图的生成处理与S405的情况相同，因此将省略其详细说明。对于以下说明，将在S406中由图生成单元302生成的散焦图称为“低曝光散焦图”。

在S407中，位置偏离校正控制参数计算单元(以下简称为“参数计算单元”)303计算利用位置偏离校正单元304进行几何变形处理所使用的控制参数。为了与位置偏离校正单元304协作进行对准处理，参数计算单元303使用S404中生成的全开口图像来计算位置偏离校正所用的控制参数。以下将说明控制参数的计算方法。

参数计算单元303首先将具有适当曝光的全开口图像(参考图7中的A)设置为基准图像。随后，参数计算单元303计算用作表示相对于基准图像具有低曝光的全开口图像(参见图7中的B)的位置偏离量的参数的运动矢量。存在已知的用作运动矢量的计算方法的模板匹配处理等。例如，如果拍摄者在将照相机握在他/她的手中的情况下拍摄图像，则这里计算出的运动矢量与照相机抖动量相对应。接着，参数计算单元303基于已计算出的运动矢量来计算投影转换系数。针对从运动矢量到投影转换系数的转换方法，使用已知技术。以这种方式计算出的投影转换系数是用于校正位置偏离的控制参数。应当注意，与散焦量的计算的情况相同，在具有高光溢出的区域和具有暗部缺失的区域中，无法计算出与运动矢量有关的正确值。在具有高光溢出的区域或具有暗部缺失的区域中，通过参考在周边区域计算出的具有高精度的运动矢量，来进行计算投影转换系数的处理。

在本实施例中，尽管说明了根据运动矢量计算投影转换系数的示例，但是本发明不限于此。例如，可以通过获取照相机上所安装的加速度传感器和角速度传感器的检测信息，来计算投影转换系数。可选地，在计算运动矢量之前，图像处理单元可以进行用于将具有适当曝光的全开口图像的亮度与具有低曝光的全开口图像的亮度进行合成的处理。

另外，关于计算运动矢量所用的图像，还可以通过不仅参考全开口图像而且还参考光瞳分割图像来提高运动矢量的计算精度。具体地，当计算处于聚焦状态的聚焦区域(即，拍摄期间处于聚焦的被摄体的附近区域)中的运动矢量时，参数计算单元303参考全开口图像。另外，关于未处于聚焦的区域，换句话说，关于发生模糊的背景区域，参数计算单元303通过参考光瞳分割图像来计算运动矢量。由于光瞳分割图像的焦点深度比全开口图像的焦点深度深，因此即使在背景中也很难发生模糊，并且被摄体的边缘是清楚的。因此，可以提高模板匹配处理的精度。

在图4的S408中，位置偏离校正单元304通过使用S407中计算出的投影转换系数来对S406中生成的低曝光散焦图进行几何变形处理。通过该几何变形处理来进行对准。在几何变形处理之后的低曝光散焦图中，消除了相对于S405中生成的适当曝光散焦图的位置偏离，或者在允许范围内减少位置偏离量。在本实施例中，在伴随对准的图像的变形处理中，对散焦图进行变形处理。假设对散焦图的生成期间所参考的光瞳分割图像进行对准变形，并且将该光瞳分割图像输入至图生成单元302。然而，如果照相机抖动的分量包含滚转(roll)方向的分量，则具有由于对准变形而造成的视差的方向相对于光瞳分割方向(在本实施例中为水平方向)发生改变。因此，式(2)所示的相关计算的结果可能根据是否存在变形而发生偏离。特别地，由于在被摄体图像具有对角线的情况下影响增大，因此所计算出的散焦图不再正确。

在本实施例中，从第一组图像数据所获取的适当曝光图像用作基准图像，并且位置偏离校正单元304对低曝光散焦图进行几何变形处理。这不是限制性的，从第一组图像数据所获取的低曝光图像可以用作基准图像，并且可以对适当曝光散焦图进行几何变形处理。

在S409中，合成处理单元305将S405中生成的适当曝光散焦图与在S408中校正位置偏移的几何变形处理之后的低曝光散焦图进行合成，并生成合成散焦图。合成处理单元305参考具有适当曝光的全开口图像，并且从具有适当曝光的全开口图像的信号值中提取具有高光溢出的区域。随后，合成处理单元305进行如下的处理，其中该处理利用没有发生高光溢出的低曝光散焦图中的区域的距离的信号值来替换适当曝光散焦图中的相应的高光溢出区域的距离的信号值。通过对距离的信号值进行合成来进行替换处理。即，将合成之后的距离的信号值表示为DEF_MIX，并且将具有适当曝光的距离的信号值表示为DEF_OVER，以及将具有低曝光的距离的信号值表示为DEF_UNDER。通过下式来计算DEF_MIX：

DEF_MIX＝DEF_OVER×MIX_RATIO+DEF_UNDER×(1.0-MIX_RATIO)

…(7)

式(7)中的MIX_RATIO是合成比率。图8使用图形来示出MIX_RATIO。在图8中，横轴表示具有适当曝光的全开口图像的信号值，以及纵轴表示合成比率MIX_RATIO。阈值TH2是具有适当曝光的全开口图像的信号值为高光溢出时的值。在信号值小于TH2的情况下，获取“1.0≧MIX_RATIO>0.0”。相比之下，在Th2以上的区间中，获取“MIX_RATIO＝0.0”。另外，获取在从Th1(<TH2)所示的值到阈值Th2的区间中进行线性插值的合成比率，使得合成比率在合成边界区域中平滑地改变。换句话说，在从TH1到TH2的区间中，随着信号值增大，合成比率根据主函数式而减小。通过以这种方式合成散焦图，利用正确的散焦量来替换由于发生高光溢出或暗部缺失而无法计算出正确的散焦量的点。因此，可以生成正确的散焦图。

针对所有像素执行以上合成处理，并且生成合成之后的散焦图。注意，在本实施例中，说明了在确定合成比率时参考具有适当曝光的全开口图像的信号值的示例。本发明不限于此，并且可以参考作为对准用的参数的运动矢量的大小、以及散焦图的信号值。更具体地，在参考运动矢量的情况下，合成处理单元305将合成比率设置得越小，则运动矢量越大。例如，由于照相机抖动量越大、则因位置校正所引起的变形量越大，因此存在导致合成的边界区域的不一致的可能性高，并且存在切换更加显著的担忧。因此，在着重于获取使距离平滑变化的散焦图的情况下，进行用于根据运动矢量计算合成比率并且合成散焦图的处理。另外，在参考散焦图的信号值的情况下，合成处理单元305计算适当曝光散焦图和低曝光散焦图之间的差值，参考该差值，并且计算合成比率。例如，在差值大的情况下，存在如下的可能性：在连续拍摄期间，被摄体发生了大的变化，例如，移动体已经进入视角。因此，散焦图之间的差值越大，则合成处理单元305将合成比率设置得越小。

在图4的S410中，散焦图整形单元(以下简称为“图整形单元”)306对S409中已经生成的合成散焦图进行整形处理。图整形单元306在参考整形图像的同时对散焦图进行双边滤波处理。在双边滤波处理中，在将针对目标像素位置p的滤波结果称为“Jp”的情况下，该滤波结果由下式(8)来表示：

Jp＝(1/Kp)ΣI1q×f(|p-q|)×g(|I2p-I2q|)…(8)

式(8)中的各符号的含义如下：

q:周边像素位置

Ω:以目标像素位置p为中心的积分对象区域

Σ:范围Ω中的任意q的积分

I1q:周边像素位置q中的散焦图信号值

f(|p-q|):以目标像素位置p为中心的高斯函数

I2p:目标像素位置p处的整形图像信号值

I2q:周边像素位置q处的整形图像信号值

g(|I2p-I2q|):以整形图像信号值I2p为中心的高斯函数

Kp:归一化因子，f×g权重的积分值。

在目标像素位置p处的信号值I2p与周边像素位置q处的信号值I2q之间的差较小的情况下，换句话说，在整形图像中的目标像素的像素值和周边像素的像素值接近的情况下，周边像素的f×g权重(平滑化的权重)增大。在本实施例中，作为整形图像，对具有低曝光的全开口图像进行S408中的位置偏离校正，并且使用进行了与S409相同的处理的全开口图像来进行与具有适当曝光的全开口图像的合成处理。

图9是用于解释图整形单元306的处理的图。图9中的A-1示出整形图像，该整形图像是通过将具有适当曝光的全开口图像和具有低曝光的全开口图像进行合成所获取的图像，并且是不存在具有高光溢出或暗部缺失的像素的图像。在图9中的A-1和图9中的B-1中，将图中的左右方向定义为x方向，并且将向右的方向定义为+x方向。另外，将与图中的x方向正交的上下方向定义为y方向，并且将向上的方向定义为+y方向。图9中的A-2表示图9中的A-1中的虚点线1000所示的位置处的截面中的信号值轮廓1001。横轴表示x坐标，以及纵轴表示信号值。信号值轮廓1001的形状是在沿x坐标的增大方向的xs位置处显著变化(下降)的阶梯形状。由于xs的位置与整形图像中的人的轮廓相对应，因此信号值急剧变化。

图9中的B-1示出S409中所生成的合成散焦图。由于对分别以适当曝光和低曝光生成的散焦图进行合成处理，因此可以获得未受高光溢出和暗部缺失影响的散焦图。在图9中的B-1中，虚线所示的部分表示图9中的A-1所示的整形图像的轮廓。即，由于相关计算的参考范围的影响，散焦图的轮廓延伸到正确的整形图像的轮廓以外。在图9中的B-2中，图9中的B-1中的虚点线1002所示的位置(与图9中的A-1中的虚点线1000所示的位置相对应)处的截面中的信号值轮廓1011由实线表示。横轴表示x坐标，以及纵轴表示距离的信号值。关于距离的信号值，位置远离照相机的位置的背景的信号值小，而位置在照相机附近的人的信号值大。

图9中的B-2中的实线所示的信号值轮廓1011的形状具有在沿x坐标的增大方向上比xs小的xa位置处显著变化(增大)的阶梯形状。黑点1003、1004、1005和1006各自示出式(8)中的目标像素位置p。式(8)中的g值大的区域(换句话说，平滑化的范围)分别由线段1007、1008、1009和1010示出。在图9中的A-2所示的整形图像的信号值轮廓1001中，信号值在与人的轮廓相对应的位置xs处急剧变化。因此，在示出人的轮廓附近的目标像素位置的黑点1004和1005的位置处，由线段1008和1009分别示出平滑化的范围，从而示出正确的整形图像中的人的轮廓。作为结果，在描绘式(8)所示的滤波结果Jp的值时，获取虚线所示的图形线1012。图形线1012的形状具有在沿x坐标的增大方向上的xs位置处显著变化(增大)的阶梯形状。换句话说，通过散焦图整形处理，散焦图中的人的轮廓可以拟合正确的轮廓(整形图像中的人的轮廓)。

散焦图的整形处理不仅具有如上所述的用以使距离的信号值与正确轮廓拟合的操作，而且对于位置偏离校正期间的几何变形处理所引起的散焦图的失真的校正也是有效的。将参考图10A和图10B来进行具体说明。图10A表示整形图像的截面中的信号值轮廓，其中横轴表示x坐标，以及纵轴表示图像的信号值。与x坐标值无关地，图10A所示的图形线1100是恒定的，并且表示存在相同的被摄体。在图10B中，实线所示的图形线1109表示与图10A相同的坐标中的散焦图的信号值轮廓。横轴表示x坐标，以及纵轴表示距离的信号值。距离的信号值随着x坐标值的增大而增大。这表示被摄体在深度方向上的距离变化，并且表示x坐标越大，则被摄体越近。黑点1101、1102、1103和1104表示目标像素位置，并且在黑点1102和1103之间，假设存在S409中所进行的合成处理的边界。根据实线所示的图形线1109，尽管在相同的被摄体图像中、距离通常应该平滑地变化，但是发现，由于伴随位置偏离校正的变形处理，导致合成处理之后的边界不是平滑地连接的。因此，在本实施例中，如线段1105、1106、1107和1108所示，设置平滑化的范围并且进行式(8)的整形处理。作为结果，如利用虚线的图形线1110所示，可以发现相同被摄体图像中的距离的信号值进行被平滑化，并且合成处理之后的边界是平滑地连接的。

在步骤S403中具有高光溢出的像素数和具有暗部缺失的像素数被判断为等于或小于阈值的情况下，执行图4的S411中的处理。图像处理单元107判断为散焦图的精度决不会由于高光溢出或暗部缺失的影响而降低，根据以适当曝光时间的光瞳分割图像来生成散焦图，并且结束处理。

在本实施例中，即使视角中的图像之间的亮度差较大并且发生高光溢出或暗部缺失，也可以通过使用具有不同拍摄时刻和曝光时间的多个光瞳分割图像来生成正确的散焦图。另外，根据本实施例，对散焦图进行位置偏离校正，从而使得能够生成考虑了位置偏离和相关计算两者的高精度的散焦图。此外，对合成之后的散焦图进行整形处理使得能够减少由于位置偏离校正而导致几何变形处理所引起的散焦图的失真，并且作为结果，可以生成沿着被摄体的轮廓平滑地变化的散焦图。根据本实施例，通过使用具有不同拍摄时刻的多个图像来考虑对准，并且即使视角中的图像信号之间的亮度差较大，也可以生成更正确的散焦图。

在本实施例中，使用作为一对图像的光瞳分割图像，以计算散焦量。本发明不限于此，并且还可以使用模糊状态不同的一对图像数据来应用DFD(散焦测距(Depth fromDefocus))方法。即使这该情况下，由于对准校正造成的模糊量的变化可能导致散焦图的计算精度的降低。因此，对散焦图进行几何变形处理。另外，关于在对散焦图进行整形时所参考的整形图像，在多组图像中使用聚焦于被摄体上的聚焦图像。注意，尽管本实施例中说明了散焦图，但本发明可以适用于通过使用已知技术、经由摄像光学系统被转换为与被摄体侧的距离分布有关的图数据的距离图。这在后述的实施例中同样适用。

第二实施例

接着，将说明本发明的第二实施例。在本实施例中，将说明即使在高感光度拍摄时噪声量较大的情况下也可以生成正确的散焦图的图像处理设备。由于根据本实施例的摄像设备的功能结构和图像处理单元的结构与第一实施例相同，因此将通过使用已使用过的相同附图标记来省略其详细说明，并且将主要说明不同点。

图11是用于解释根据本实施例的图像处理单元107的处理的流程图。以下，将说明图11的流程图。在S1200中，摄像设备进行高感光度拍摄，并且获取多个连续的光瞳分割图像。这时的拍摄的数量可以为至少两个。可选地，可以将预先拍摄的多个光瞳分割图像的数据记录在记录介质108上并且读出图像。

在S1201中，与图4的S404中的处理相同，执行用于通过光瞳分割图像的相加处理来生成全开口图像的处理。在S1202中，图像处理单元107选择作为基准的光瞳分割图像，并且与S405中的处理同样地生成散焦图。在本实施例中，首先拍摄的光瞳分割图像用作基准图像。另外，在以下解释中，将使用基准图像所生成的散焦图称为“基准散焦图”。在高感光度拍摄的情况下，噪声量大于低感光度拍摄的情况下的噪声量。因此，由于噪声的影响，导致所计算出的散焦量发生变化。

在S1203中，根据已经拍摄到的多个光瞳分割图像，图生成单元302通过使用S1202中用作基准的光瞳分割图像以外的光瞳分割图像来生成散焦图。以下，将用作基准的光瞳分割图像以外的光瞳分割图像称为“参考图像”。将使用参考图像生成的散焦图称为“参考散焦图”。

在S1204中，参数计算单元303生成用于校正与参考图像相对应的全开口图像和与各基准图像相对应的全开口图像之间的位置偏离的控制参数。控制参数的生成处理与图4的S407中的处理相同。在S1205中，位置偏离校正单元304通过使用S1204中已经计算出的用于位置偏离校正的控制参数，来对S1203中已经生成的参考散焦图进行几何变形处理。由于对参考散焦图进行几何变形处理，因此几何变形处理决不会影响相关计算。

在S1206中，合成处理单元305通过进行平均来将S1202中生成的基准散焦图和S1205中已进行了几何变形处理的参考散焦图进行合成，并生成合成散焦图。通过进行平均计算来合成散焦图使得能够减少由于噪声引起的变化，并且使得能够获取具有高精度的散焦图。在S1207中，与图4中的S410相同，图整形单元306对S1206中已经生成的合成散焦图进行整形处理。

根据本实施例，即使在高感光度拍摄时噪声量较大，也可以通过使用具有不同拍摄时刻的多个光瞳分割图像来生成正确的散焦图。另外，通过对散焦图进行对准处理，可以生成考虑了位置偏离和相关计算两者的高精度的散焦图。此外，通过对合成处理之后的散焦图进行整形处理，可以在将距离的信号值拟合到正确轮廓的同时降低散焦图的失真。

其它实施例

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。

本申请要求2015年5月19日提交的日本专利申请2015-101937的权益，其内容通过引用而全部包含于此。

Claims (16)

1.一种图像处理设备，包括：

获取单元，其被配置为获取具有不同拍摄时刻的第一组图像数据和第二组图像数据；

生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示散焦量的空间分布的第一图数据和第二图数据；

对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；以及

合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理。

2.根据权利要求1所述的图像处理设备，其中，所述第一组图像数据和所述第二组图像数据是具有视差的图像数据、或具有不同模糊状态的图像数据。

3.根据权利要求1所述的图像处理设备，其中，所述第一组图像数据和所述第二组图像数据是具有不同曝光时间的图像数据。

4.根据权利要求1所述的图像处理设备，其中，所述对准单元通过使用从所述第一组图像数据和所述第二组图像数据获取到的控制参数进行几何变形处理，来对所述第一图数据和所述第二图数据进行对准。

5.根据权利要求1所述的图像处理设备，其中，还包括整形单元，所述整形单元被配置为对所述合成单元所合成的图数据进行整形处理。

6.根据权利要求5所述的图像处理设备，其中，针对所述合成单元所合成的图数据中的目标像素，所述整形单元通过将所述目标像素及其周边像素的输出进行平滑化来计算经过所述整形处理的散焦量。

7.根据权利要求6所述的图像处理设备，其中，在通过对所述第一组图像数据和所述第二组图像数据进行合成而获取到的图像数据中的、或者所述第一组图像数据或所述第二组图像数据中的所述目标像素的像素值接近于所述目标像素的所述周边像素的像素值的情况下，所述整形单元增大所述周边像素的输出的平滑化的权重。

8.根据权利要求1所述的图像处理设备，其中，所述合成单元根据通过基于所述第一组图像数据或所述第二组图像数据的相加而计算出的像素值，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。

9.根据权利要求1所述的图像处理设备，其中，所述合成单元根据所述对准单元的对准所用的参数的大小，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。

10.根据权利要求1所述的图像处理设备，其中，所述合成单元通过使用所述第一图数据和所述第二图数据之间的差值，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。

11.根据权利要求1所述的图像处理设备，其中，所述合成单元进行以下处理，其中该处理通过进行平均，来对所述生成单元基于所述第一组图像数据所生成的所述第一图数据、以及所述生成单元基于所述第二组图像数据所生成的并且由所述对准单元针对所述第一图数据进行了对准的所述第二图数据进行合成。

12.根据权利要求4所述的图像处理设备，其中，在图像内的聚焦的区域中，所述对准单元通过使用相加了所述第一组图像数据或所述第二组图像数据的图像数据来计算所述控制参数，以及在该图像内的未聚焦的区域中，所述对准单元通过使用所述第一组图像数据中的一个图像数据或所述第二组图像数据中的一个图像数据来计算所述控制参数。

13.根据权利要求1所述的图像处理设备，其中，还包括像素计数单元，所述像素计数单元被配置为在所述第一组图像数据或所述第二组图像数据中，对具有比第一阈值大的像素值的像素的数量或者具有比第二阈值小的像素值的像素的数量进行计数，

其中，在所述像素计数单元所计算出的像素的数量大于阈值的情况下，所述合成单元进行所述合成处理。

14.一种摄像设备，包括：

图像处理设备；以及

摄像元件，其被配置为通过摄像光学系统来拍摄被摄体，

其中，所述图像处理设备包括：

获取单元，其被配置为获取具有不同拍摄时刻的第一组图像数据和第二组图像数据；

生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示散焦量的空间分布的第一图数据和第二图数据；

对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；

合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理，

其中，所述摄像元件具有用于接收穿过了所述摄像光学系统中的不同光瞳区域的光的多个光电转换单元，并进行光电转换。

15.一种图像处理设备所执行的图像处理方法，其中所述图像处理设备获取并处理具有不同拍摄时刻的第一组图像数据和第二组图像数据，所述图像处理方法包括：

生成步骤，用于通过使用所述第一组图像数据和所述第二组图像数据来生成分别表示散焦量的空间分布的第一图数据和第二图数据；

对准步骤，用于通过获取在所述生成步骤中所生成的所述第一图数据和所述第二图数据来进行对准；以及

对在所述对准步骤中进行了对准的所述第一图数据和所述第二图数据进行合成处理。

16.一种非暂时性计算机可读介质，其存储用于使计算机执行图像处理设备所执行的图像处理方法的程序，所述图像处理设备获取并处理具有不同拍摄时刻的第一组图像数据和第二组图像数据，所述图像处理方法包括：

生成步骤，用于通过使用所述第一组图像数据和所述第二组图像数据来生成分别表示散焦量的空间分布的第一图数据和第二图数据；

对准步骤，用于通过获取在所述生成步骤中所生成的所述第一图数据和所述第二图数据来进行对准；以及

对在所述对准步骤中进行了对准的所述第一图数据和所述第二图数据进行合成处理。