CN105184808A - 一种光场图像前后景自动分割方法 - Google Patents

Abstract

本发明提供一种光场图像前后景自动分割方法，包括：1)基于超像素分割算法将光场图像划分为多个基本区域；2)提取每个基本区域的聚焦度；3)生成各种可能的前后景分割方案，选出使得总代价最小的前后景分割方案，所述总代价是各个基本区域被划分为前景或者背景的单区域代价的和，每个基本区域的所述单区域代价根据该基本区域的聚焦度得出；或者总代价是所有基本区域的单区域代价与相邻基本区域的区域相似度代价的加权和，所述相邻基本区域的区域相似度代价根据被分别划分为前景和后景的两个相邻基本区域的图像特征距离得出。本发明能够对景深差异较小的光场图像进行准确的前后景自动分割，提高分割的准确度；并且本发明的计算量较小。

Description

一种光场图像前后景自动分割方法

技术领域

本发明涉及图像处理技术领域，具体地说，本发明涉及一种光场图像前后景自动分割方法。

背景技术

图像前后景分割是图像处理中的一种常见技术，它被广泛应用于动画制作、物体识别、监控分析、图像后期处理等各个领域。现有技术中，图像前后景分割算法主要是利用普通图像中聚焦清晰区域和失焦模糊区域的区别，计算每个像素及周围区域四阶矩，然后进行一系列的形态学滤波去填充聚焦区域中的空洞。四阶矩响应高的像素会被选择作为区域生长的种子，然后根据区域边缘重叠的最大后验生长准则进行区域生长，得到前景的分割图。然而，这种算法存在分割准确率较低的问题。例如：当前景与背景颜色十分相似时，容易错误分割颜色相似的部分；当背景的模糊程度不够时，容易错误地把部分背景分割成前景。

另一方面，光场相机技术已经较为成熟并广泛使用。使用光场相机能够拍摄光场图像。光场图像是一个四维的数据，相比普通图像，它额外记录了光线入射的方向，相当于普通相机从不同视角拍摄了同一个场景。通过数字重聚焦，光场图像可以聚焦在场景内的任何深度，实现浅景深的效果。这种特性可以用来确定图像中各个像素的深度关系，进而提取出对应的深度图。然而，从光场图像中提取具有足够精度的深度图需要耗费大量计算资源，因此，如果基于深度图进行光场图像前后景分割，要么计算量过大，要么分割准确度过低，实用价值不高。

所以，当前迫切需要一种计算量较小的具有高分割准确度的光场图像前后景自动分割。

发明内容

因此，本发明的任务是提供一种具有高分割准确度的光场图像前后景自动分割解决方案。

根据本发明的一个方面，提供了一种光场图像前后景自动分割方法，包括下列步骤：

1)基于超像素分割算法将光场图像划分为多个基本区域；

2)提取每个基本区域的聚焦度；

3)生成各种可能的前后景分割方案，选出使得总代价最小的前后景分割方案，所述总代价根据各个基本区域被划分为前景或者背景的单区域代价得出，每个基本区域的所述单区域代价根据该基本区域的聚焦度得出。

其中，所述步骤2)还包括：计算相邻基本区域的图像特征距离；

所述步骤3)中，所述总代价是所有基本区域的单区域代价与相邻基本区域的区域相似度代价的加权和，所述相邻基本区域的区域相似度代价根据被分别划分为前景和后景的两个相邻基本区域的图像特征距离得出。

其中，所述步骤2)、3)中，所述图像特征距离根据两个基本区域的聚焦距离得出。

其中，所述步骤2)、3)中，所述图像特征距离是两个基本区域的聚焦距离与颜色距离的加权和。

其中，所述图像特征距离中，聚焦距离的权重大于颜色距离的权重。

其中，所述步骤3)中，对于任一基本区域S_j，将该基本区域S_j作为前景的单区域代价P(S_j)如下：

$P\left(S_j\right)=\underset{i=1}{\overset{I}{\Σ}}i\·t\left(i\right)$

将该基本区域S_j作为背景的单区域代价B(S_j)如下：

$B\left(S_j\right)=\underset{i=1}{\overset{I}{\Σ}}(I-i+1)\·t\left(i\right)$

其中，j表示基本区域的标签，i表示使基本区域S_j聚焦最清晰的图层的标签，t(i)表示基本区域S_j中在图层i聚焦最清晰的像素的个数。

其中，两个基本区域的聚焦距离为：

$d_f(S_{j_1},S_{j_2})=\frac{{\mathrm{\Σ}}_{n=1}^I{\mathrm{\Σ}}_{m=1}^n(n-m)\[g^{\left(n\right)}(S_{j_1},S_{j_2})+g^{\left(m\right)}(S_{j_1},S_{j_2})\]}{{\mathrm{\Σ}}_{n=1}^I{\mathrm{\Σ}}_{m=1}^n(n-m)}$

其中，I是重聚焦图层的最大层数， $g^{\left(i\right)}(S_{j_1},S_{j_2})=|F\left(S_{j_1}^{\left(i\right)}\right)-F\left(S_{j_2}^{\left(i\right)}\right)|$ 是基本区域和在第i层的聚焦差异值。

其中，所述步骤3)还包括：检测光场图像中的前景物体的分散程度，根据该分散程度动态调整单区域代价和区域相似代价在总代价中的权重，使得所述前景物体的分散程度越低，单区域代价在总代价中的权重越高，所述前景物体的分散程度越高，区域相似代价在总代价中的权重越高。

其中，所述步骤1)包括下列子步骤：

11)采用简易线性迭代聚类算法对全清晰光场图像进行超像素分割；

12)根据全清晰光场图像的一阶梯度响应图对相邻超像素区域进行合并。

13)完成所有合并后，将最终所得区域作为所述基本区域。

其中，所述步骤12)和步骤13)之间还包括步骤：

121)基于颜色相似度将面积小于预设阈值的区域与相邻区域合并。

与现有技术相比，本发明具有下列技术效果：

1、本发明能够对景深差异较小的光场图像进行准确的前后景自动分割。

2、本发明能够更好地克服光场图像中前景与背景颜色相似部分的影响，提高分割的准确度。

3、本发明的计算量较小。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了本发明一个实施例的光场图像前后景自动分割方法的流程图；

图2a示出了一个重聚焦堆栈的示例，图2b示出了一个聚焦在前景上的重聚焦图层的示例，图2c示出了一个聚焦在背景上的重聚焦图层的示例；

图3a示出了采用SLIC算法对全清晰图像完成超像素分割后的一个图像示例；图3b示出了一个全清晰图像的一阶梯度响应图的示例；图3c示出了对图3a的全清晰图像的超像素分割的合并结果；图3d示出了对图3c的区域进一步合并后的结果；

图4示出了基于本发明对一组测试图像进行前后景分割的测试结果；

图5示出了多种前后景分割方案的F1值的对比。

具体实施方式

图1示出了本发明一个实施例的光场图像前后景自动分割方法的流程图，该分割方法包括以下步骤：1、区域预分割及重聚焦图层预处理；2、区域特征提取；3、根据区域特征进行图像分割。下面分别介绍这几个步骤。

1、区域预分割及重聚焦图层预处理

本实施例中，图像分割的对象是光场图像。众所周知，重聚焦是目前光场图像处理中最常用的一种技术。从光场相机得到图像后，就可以直接导出重聚焦图像。定义光场图像可以重聚焦在I个不同的深度上。这I张图像就组成了一个重聚焦图像集，每一张图像，称为一个重聚焦图层，而重聚焦图像集也可称为重聚焦堆栈，图2a示出了一个重聚焦堆栈的示例，图2b示出了一个聚焦在前景上的重聚焦图层的示例，图2c示出了一个聚焦在背景上的重聚焦图层的示例。在重聚焦图像集里，重聚焦图层标号与聚焦深度变化成正相关，聚焦的信息包含了深度信息。图像中任意一个像素点及其邻域只有在某一个深度上才是聚焦清晰的。如果聚焦的深度与该点的深度不相等，那么该像素点及其邻域会呈现不同程度的失焦模糊现象。因此，可以通过判断两个像素点是否在同一个重聚焦图层上，来推测这两个像素点是否在同一个深度上。本发明正是利用了这一特点来实现对光场图像前后景的准确分割。另一方面，由于光场图像可以重聚焦在I个不同的深度上，因此可从光场图像可导出全清晰图像，也就是在图像内处处清晰，没有景深效果的图像。全清晰图像中前景与背景之间的轮廓是锐利的，因此针对全清晰图像进行前后景分割，能够获得更为准确的前后景轮廓。

本步骤中，区域预分割就是基于像素点及其邻域的颜色相似度，对光场图像导出的全清晰图像进行分割，得到多个单色图像区域。在本实施例中，区域预分割包括下列子步骤：

步骤101：对全清晰图像进行超像素分割。超像素分割是基于边缘检测算法将图像划分为若干个超像素区域。本实施例中采用简易线性迭代聚类算法完成超像素分割。简易线性迭代聚类英文名称为SimpleLinearIterativeClustering，简称SLIC。SLIC算法的处理速度快，分割准确度高，尤其是该算法具有很好的保持边缘特性(即所划分的超像素区域贴附边缘的效果很好)。图3a示出了采用SLIC算法对全清晰图像完成超像素分割后的一个图像示例，可以看出，其贴附边缘效果很好。需要指出的是，本发明的其它实施例中，也可以采用其它超像素分割算法来完成超像素分割。

步骤102：全清晰图像的一阶梯度响应图，找到梯度小于预设阈值的位置，将这些位置对应的超像素区域标记为同一颜色。图3b示出了图3a的全清晰图像的一阶梯度响应图。在很多图像中，除了复杂的颜色、纹理部分，也可能会出现大面积纯色背景，例如天空。在图像处理过程中，这种大面积纯色背景区域往往可以作为一个整体，但是由于前面的边缘检测算法对颜色的突变非常敏感，因此有可能将大面积纯色背景区域分成多个超像素区域，而本步骤中，能够基于一阶梯度将这些组成大面积纯色背景区域的超像素区域标记为同一颜色。

步骤103：将被标记为同一颜色的相邻超像素区域合并。这样，就能够在保证准确性的同时，有效减少图像区域的数目，为后续的数据处理减少计算量。图3c示出了对图3a的全清晰图像的超像素分割的合并结果。

步骤104：对于面积小于预设阈值的区域(例如面积小于全清晰图像0.5％的区域)，基于颜色相似度将它与相邻区域合并，以进一步减少后续数据处理的计算量。图3d示出了对图3c的区域进一步合并后的结果。本步骤完成后，就得到了作为后续处理的基本图像单元的区域，为便于描述，本文中将这些区域称为基本区域。需要说明，在本发明的其它实施例中，步骤104可以省略，即区域预分割可以仅包含步骤101～103，步骤103完成后得到的区域即可直接作为所述基本区域。

另一方面，重聚焦图层预处理是计算重聚焦图像集中各个重聚焦图层的每个像素的聚焦度，这些数据将用于后续的数据处理。所述聚焦度是衡量像素及其周围区域的聚焦清晰程度的物理量。

2、区域特征提取

本实施例中，区域特征提取是指对基本区域提取其区域聚焦特征和区域颜色特征。首先介绍本实施例中的区域聚焦特征提取，即计算各个基本区域在各个重聚焦图层的平均聚焦度，以及两两基本区域之间的聚焦距离。在重聚焦图像中，物体的位置不会随着聚焦深度的改变而改变，因此可以直接将全清晰图像中的区域预分割结果应用到各个重聚焦图层中。同一基本区域在不同重聚焦图层的聚焦度峰值能够反映出该基本区域所对应的物体所处的深度。并且，通过比较两个基本区域的聚焦度随不同深度的重聚焦图层的变化曲线(简称聚焦度曲线)，可以在一定程度上反映这两个基本区域属于或者不属于同一个物体的可能性，这对实现图像进行前后景分割是有益的。因此，本步骤中计算各个基本区域在各个重聚焦图层的平均聚焦度，以及两两基本区域之间的聚焦距离。

对于某个重聚焦图层i上的一个基本区域取里面所有像素的聚焦度的平均值作为该区域在该层上的聚焦度

$F\left(S_j^{\left(i\right)}\right)=\underset{(x,y)\∈S_j^{\left(i\right)}}{\Σ}\frac{F^{\left(i\right)}(x,y)}{Area\left(S_j^{\left(i\right)}\right)}$

(x,y)表示像素的坐标，F⁽ⁱ⁾(x,y)表示像素的聚焦度，表示基本区域的面积。

两个基本区域的聚焦距离定义为：

$d_f(S_{j_1},S_{j_2})=\frac{{\mathrm{\Σ}}_{n=1}^I{\mathrm{\Σ}}_{m=1}^n(n-m)\[g^{\left(n\right)}(S_{j_1},S_{j_2})+g^{\left(m\right)}(S_{j_1},S_{j_2})\]}{{\mathrm{\Σ}}_{n=1}^I{\mathrm{\Σ}}_{m=1}^n(n-m)}$

其中，I是重聚焦图层的最大层数。 $g^{\left(i\right)}(S_{j_1},S_{j_2})=|F\left(S_{j_1}^{\left(i\right)}\right)-F\left(S_{j_2}^{\left(i\right)}\right)|$ 是基本区域和在第i层的聚焦差异值。这个差异值在不同深度上的权重是不同的。例如，如果和只在相邻两个重聚焦图层的聚焦度有差异，则和可以近似于在同一个深度上，其聚焦距离比较小。相反，如果和在相隔较远的两个图层中差异很大，那么这两个区域的聚焦距离很大，应该分别属于前景和背景的。通过使用这个函数计算距离，可以在解决基本区域之间大小不一致的问题，并且在保留尽可能多的聚焦信息的情况下，计算一个鲁棒的聚焦距离。

聚焦距离能够反映两个区域聚焦在同一个物体上的概率，聚焦距离越大，两个区域聚焦在同一个物体上的概率越小，聚焦距离越小，两个区域聚焦在同一个物体上的概率越大。

下面介绍区域颜色特征提取，即计算两两基本区域之间的颜色距离。对于区域的颜色信息，由于Lab颜色空间更接近人眼的视觉，因此本实施例采用Lab颜色空间对区域颜色距离进行建模。基本区域原本就是通过颜色相似性进行划分的，在大多数情况下，一个基本区域内像素的颜色的差异是很小的。所以用所有像素的颜色平均值来代表一个基本区域的颜色，对于基本区域S_j，其三个Lab颜色参数分别记为l(S_j)，a(S_j)，b(S_j)。

$l\left(S_j\right)=\underset{(x,y)\∈S_j}{\Σ}\frac{l(x,y)}{Area\left(S_j\right)}$

$a\left(S_j\right)=\underset{(x,y)\∈S_j}{\Σ}\frac{a(x,y)}{Area\left(S_j\right)}$

$b\left(S_j\right)=\underset{(x,y)\∈S_j}{\Σ}\frac{b(x,y)}{Area\left(S_j\right)}$

其中，l(x,y)，a(x,y)和b(x,y)分别表示坐标为(x,y)的像素的l，a，b值。Area(S_j)表示基本区域S_j的面积。

两个基本区域之间的颜色距离为：

$d_c(S_{j_1},S_{j_2})=\sqrt{{\left(l\right(S_{j_1})-l(S_{j_2}\left)\right)}^2+{\left(a\right(S_{j_1})-a(S_{j_2}\left)\right)}^2+{\left(b\right(S_{j_1})-b(S_{j_2}\left)\right)}^2}.$

进一步地，根据两个基本区域之间的聚焦距离和颜色距离，可以得到结合了聚焦信息和颜色信息的综合特征距离，简称特征距离。在一个实施例中，两个基本区域的特征距离为：

$d(S_{j_1},S_{j_2})=(1-\mathrm{\α})d_f(S_{j_1},S_{j_2})+{\mathrm{\αd}}_c(S_{j_1},S_{j_2})$

其中，由于聚焦距离在前后景分割中起到更主要的作用，因此聚焦距离赋予一个较大的权重，所以0<α<0.5，在一个例子中α取值为0.1。

当然，在另一个实施例中，也可以直接使用聚焦距离作为特征距离，此时可认为α＝0。

3、根据区域特征进行图像分割

在完成区域聚焦特征和区域颜色特征的提取后，根据所提取的各个区域的区域聚焦特征和区域颜色特征，以及各个区域之间的区域聚焦特征和区域颜色特征的相似度，基于图像分割模型，对每个基本区域进行赋予代表背景或者前景的标签，从而得到前后景分割结果。

其中，图像分割模型是一种二分类模型，目前已有较为成熟的图像二分类模型，例如Boykov分类模型。本实施例在Boykov分类模型的基础上给出了图像分割方案所对应的分割代价计算公式，基于这个公式找出分割代价最小的图像分割方案，即可得到图像分割结果。下面介绍分割代价计算公式。

将图像分割方案L的分割代价记为E(L)，则

$E\left(L\right)=\underset{j\&Element;J}{\&Sigma;}{L}_c\left(S_j\right)+\underset{j_1,j_2\&Element;J}{\&Sigma;}{L}_w(S_{j_1},S_{j_2})\&CenterDot;T\left(L\right(S_{j_1})\&NotEqual;L(S_{j_2}\left)\right)$

其中L＝{L(S_j)|j∈J}，它代表一种光场图像分割方案，J代表基本区域的序号的组成的集合，j代表基本区域的序号，S_j代表序号为j的基本区域，L(S_j)代表对基本区域S_j所赋予的标签，在一个例子中，该标签可用0或1表示，0，代表前景标签和1代表背景标签。L_c(S_j)代表对基本区域S_j赋予分割方案L中所确定的标签L(S_j)的代价，这个代价是根据该基本区域本身的图像特征得出的将其分类为前景或背景的代价，因此本文中简称为单区域代价。代表对相邻的基本区域分别赋予分割方案L中所确定的标签和的代价，这个代价是根据两个基本区域之间的相似度得出的将二者划分至不同分类的代价，容易理解，当两个基本区域越相似时，则分别对它们赋予不同标签(即一个赋予前景标签，另一个赋予背景标签)的代价就越大，本文中将这类代价简称为区域相似代价。T(·)为真值函数，括号内表达式为真时T(·)取1，否则取0。

要将整个光场图像划分出前景背景，只需求解下列最优化问题

$Lables=\underset{L}{min}E\left(L\right)$

得到的结果Lables就是一个二分割图，即前景、背景的分割图。

本实施例中，对于任意一个基本区域S_j，其单区域代价定义如下：

$L_c\left(S_j\right)=\left\{\begin{array}{cc}P\left(S_j\right),& L\left(S_j\right)=0\\ B\left(S_j\right),& L\left(S_j\right)=1\end{array}\right.$

其中P(S_j)代表判断基本区域S_j是前景的单区域代价，B(S_j)代表判断基本区域S_j是背景的单区域代价。

本实施例中，一个基本区域里每个像素都具有对应于I个不同深度的图层的I个聚焦度，根据这些聚焦度，可以定义每个基本区域与两个特殊节点之间的聚焦特征距离，即基本区域到特殊节点之间的聚焦度的距离。聚焦度在一定程度上反映了基本区域是否在该相应图层所对应的深度上，具体分析如下：第一种情况，如果某个基本区域在一个图层上聚焦度很大，而在别的图层上都很小，则该基本区域就可以被认为存在于那个聚焦度很大的图层上。第二种情况，对于某个基本区域，在两个或更多的图层均出现了较大的聚焦度。另外还有一种情况，对于某个基本区域，其内部颜色十分接近，并且聚焦度在所有重聚焦图层上都很小。为了从众多的像素中统计出该区域的真实深度估计，本实施例采用统计直方图来统计聚焦清晰的图层数量。其方法是：定义一个区域中使得各个像素聚焦最清晰的图层的标签集合为

$h\left(S_j\right)=\left\{h\right|h=\underset{i^{\&prime;}}{\mathrm{argmax}}{F}^{\left(i^{\&prime;}\right)}(x,y),(x,y)\&Element;S_j\}$

其中i′是使像素(x,y)的聚焦度F^(i′)(x,y)取得最大值的重聚焦图层标签，取值范围为0<i′<I。在一个基本区域内，每个像素(x,y)都有一个对应的重聚焦图层标签i′。在标签集合h(S_j)中，对基本区域S_j的所有像素(x,y)所对应的重聚焦图层标签i′进行统计，即可得到取得统计值最大的重聚焦图层标签i，这表示有最多的像素在标签为i的重聚焦图层聚焦最清晰，用t(i)表示重聚焦图层标签i所对应的像素个数。其中，重聚焦图层标签i包含了像素深度信息，而t(i)相当于为标签i所做的一个可信度投票，如果t(i)很大，则对应的i越可能代表当前区域的深度。本实施例中使用加权的方法对聚焦度进行估计，定义将基本区域S_j作为前景的单区域代价P(S_j)如下：

$P\left(S_j\right)=\underset{i=1}{\overset{I}{\&Sigma;}}i\&CenterDot;t\left(i\right)$

类似地，定义将基本区域S_j作为背景的单区域代价B(S_j)如下：

$B\left(S_j\right)=\underset{i=1}{\overset{I}{\&Sigma;}}(I-i+1)\&CenterDot;t\left(i\right)$

在上述定义下，当P(S_j)越小、B(S_j)越大时，基本区域S_j属于前景物体的概率会越高，属于背景的概率会越低，当P(S_j)越大、B(S_j)越小时，基本区域S_j属于前景物体的概率会越小，属于背景的概率会越高。

进一步地，本实施例中，对于任意两个基本区域和其区域相似代价定义为基本区域和之间特征距离的线性变换值。首先，两个基本区域之间的特征距离(例如聚焦距离)越小，表明它们越相似，它们赋予不同标签的代价就越大。因此，可以认为区域相似代价与基本区域和之间特征距离呈线性关系。

本实施例中，定义如下：

$L_w=\mathrm{\&beta;}\frac{max\left(L_c\right)}{max\left(d\right)-min\left(d\right)}\left(max\right(d)-d)$

其中，L_w代表区域相似代价，d代表相应的特征距离，调节系数β可以调节L_c和L_w这两个代价在总代价里的权重，max(L_c)代表所有基本区域中L_c的最大值。

通过改变β的大小，可以调节图割模型中划分前景区域的完整性。β越大，则单区域代价L_c在总代价中的权重越小，分割结果中前景区域的连续性越强，适合具有大范围相似颜色的图像，例如天空、海水；β越小，则单区域代价在总代价中的权重越大，分割结果中前景区域的连续性越差，适合主体比较分散的物体分割，例如树叶、网格。

图4示出了基于本发明对一组测试图像进行前后景分割的测试结果，其中每三幅图为一组测试对比图，一组测试对比图中，从左到右依次为：原图、本发明的自动前后景分割结果、前后景分割的真实结果。可以看出本发明的自动前后景分割结果与真实结果十分接近。

发明人还进一步对本发明和几种现有的前后景分割技术进行了对比测试，图5示出了多种前后景分割方案的F1值的对比。每幅图像的F1值是通过综合计算像素准确率和召回率而得出的。对比方法是统计每种分割方案在测试图片组上的F1值。参与对比的除了本发明的基于基本区域聚焦距离的分割方案外，还有文献〔1〕J.MEI,Y.SI,ANDH.GAO.Acurveevolutionapproachforunsupervisedsegmentationofimageswithlowdepthoffield.IEEETrans.ImageProcess[J].2013,22(10):4086–4095.〔2〕F.GRAF,H.P.KRIEGEL,M.WEILER.Robustsegmentationofrelevantregionsinlowdepthoffieldimages.inProceedingsInternationalConferenceonImageProcessing[C],2011:2861–2864.〔3〕K.D.ZHANG,H.Q.LU,Z.Y.WANG,Q.ZHAO,M.Y.DUAN.AFuzzySegmentationofSalientRegion〔4〕C.KIM.Segmentingalow-depth-of-fieldimageusingmorphologicalfiltersandregionmerging.IEEETrans.ImageProcess[J].2005:1503–1511.〔5〕H.LI,K.N.NGAN.Unsupervizedvideosegmentationwithlowdepthoffield.IEEETransactionsonCircuitsandSystemsforVideoTechnology[J].2007,17(12):1742–1751.所披露的5种对比方案。从图5中可以看到，本发明的方案由于其它5中对比方案，尤其是最小F1值上极大地超越了其它方案，说明本发明对分割难度较大的(例如前景与背景颜色十分相似且背景的模糊程度不够)图像具有超出其它现有分割方案的优异分割准确度。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (10)

1.一种光场图像前后景自动分割方法，其特征在于，包括下列步骤：

1)基于超像素分割算法将光场图像划分为多个基本区域；

2)提取每个基本区域的聚焦度；

3)生成各种可能的前后景分割方案，选出使得总代价最小的前后景分割方案，所述总代价根据各个基本区域被划分为前景或者背景的单区域代价得出；每个基本区域的所述单区域代价根据该基本区域的聚焦度得出。

2.一种光场图像前后景自动分割方法，其特征在于，包括下列步骤：

1)基于超像素分割算法将光场图像划分为多个基本区域；

2)提取每个基本区域的聚焦度，计算相邻基本区域的图像特征距离；

3)生成各种可能的前后景分割方案，选出使得总代价最小的前后景分割方案，所述总代价是所有基本区域的单区域代价与相邻基本区域的区域相似度代价的加权和；每个基本区域的所述单区域代价根据该基本区域的聚焦度得出，所述相邻基本区域的区域相似度代价根据被分别划分为前景和后景的两个相邻基本区域的图像特征距离得出。

3.根据权利要求2所述的光场图像前后景自动分割方法，其特征在于，所述步骤2)、3)中，所述图像特征距离根据两个基本区域的聚焦距离得出。

4.根据权利要求3所述的光场图像前后景自动分割方法，其特征在于，所述步骤2)、3)中，所述图像特征距离是两个基本区域的聚焦距离与颜色距离的加权和。

5.根据权利要求4所述的光场图像前后景自动分割方法，其特征在于，所述图像特征距离中，聚焦距离的权重大于颜色距离的权重。

6.根据权利要求1～5中任意一项所述的光场图像前后景自动分割方法，其特征在于，所述步骤3)中，对于任一基本区域S_j，将该基本区域S_j作为前景的单区域代价P(S_j)如下：

$P\left(S_j\right)=\underset{i=1}{\overset{I}{\&Sigma;}}i\&CenterDot;t\left(i\right)$

将该基本区域S_j作为背景的单区域代价B(S_j)如下：

$B\left(S_j\right)=\underset{i=1}{\overset{I}{\&Sigma;}}(I-i+1)\&CenterDot;t\left(i\right)$

其中，j表示基本区域的标签，i表示使基本区域S_j聚焦最清晰的图层的标签，t(i)表示基本区域S_j中在图层i聚焦最清晰的像素的个数。

7.根据权利要求4所述的光场图像前后景自动分割方法，其特征在于，两个基本区域的聚焦距离为：

$d_f(S_{j_1},S_{j_2})=\frac{{\mathrm{\&Sigma;}}_{n=1}^I{\mathrm{\&Sigma;}}_{m=1}^n(n-m)\&lsqb;g^{\left(n\right)}(S_{j_1},S_{j_2})+g^{\left(m\right)}(S_{j_1},S_{j_2})\&rsqb;}{{\mathrm{\&Sigma;}}_{n=1}^I{\mathrm{\&Sigma;}}_{m=1}^n(n-m)}$

其中，I是重聚焦图层的最大层数， $g^{\left(i\right)}(S_{j_1},S_{j_2})=|F\left(S_{j_1}^{\left(i\right)}\right)-F\left(S_{j_2}^{\left(i\right)}\right)|$ 是基本区域和在第i层的聚焦差异值。

8.根据权利要求2所述的光场图像前后景自动分割方法，其特征在于，所述步骤3)还包括：检测光场图像中的前景物体的分散程度，根据该分散程度动态调整单区域代价和区域相似代价在总代价中的权重，使得所述前景物体的分散程度越低，单区域代价在总代价中的权重越高，所述前景物体的分散程度越高，区域相似代价在总代价中的权重越高。

9.根据权利要求1～5中任意一项所述的光场图像前后景自动分割方法，其特征在于，所述步骤1)包括下列子步骤：

11)采用简易线性迭代聚类算法对全清晰光场图像进行超像素分割；

12)根据全清晰光场图像的一阶梯度响应图对相邻超像素区域进行合并。

13)完成所有合并后，将最终所得区域作为所述基本区域。

10.根据权利要求9所述的光场图像前后景自动分割方法，其特征在于，所述步骤12)和步骤13)之间还包括步骤：

121)基于颜色相似度将面积小于预设阈值的区域与相邻区域合并。