CN104796624A - 一种光场编辑传播方法 - Google Patents

Abstract

本发明公开了一种光场编辑传播方法，包括以下步骤：S1、获取原始光场图像阵列以及原始光场图像阵列的图像深度；S2、在中心视点处获取原始用户编辑；S3、对原始光场图像阵列中的所有像素进行聚类得到K个类以及每个类的中心像素，K个中心像素构成下采样光场图像阵列；S4、根据原始用户编辑获取K个中心像素的用户编辑，得到K个下采样用户编辑；S5、将K个下采样用户编辑传播到K个中心像素，得到下采样光场图像阵列的编辑传播结果；S6、对下采样光场图像阵列的编辑传播结果进行上采样，得到原始光场图像阵列的编辑传播结果。本发明提出的光场编辑传播的方法可以用于处理超大规模的光场数据，提升编辑传播的整体性能和效果。

Description

一种光场编辑传播方法

技术领域

本发明涉及计算机视觉技术和图像处理领域，特别是涉及一种光场编辑传播方法。

背景技术

英国科学家Michael Faraday在1846年的一次题目为“Thoughts on RayVibrations”的会议上指出光应当被描述为一种场，就像电磁场一样。直到1936年，另一位科学家ArunGershun在一篇经典的论文中提出了“光场”概念，用来描述光在三维空间中的辐射属性。随后，人们在计算机图形学领域对“光场”这一概念进行了与其最初含义稍有不同的重定义。当前，关于光场的研究方兴未艾，相应的研究成果也层出不穷，尤其光场的应用研究已取得丰硕的成果。美国斯坦福大学研究员人员研制出一种光场相机，这种相机在低光及影像高速移动的情况下，仍能准确对焦拍出清晰照片，这些优势都是传统相机所难以望其项背的，而这巨大的优势正是由于他们将光场的原理应用于相机的设计中。图像编辑传播方法是当前计算机图像处理、视频处理等学科领域的研究热点，被广泛应用于影视制作、动画制作，交互式视频和图像处理等领域。从单个视点的图像的编辑传播到视频编辑传播都得到了深入的研究，然而利用光场属性和特征的编辑传播却少有人关注。

图像编辑传播综合利用了图像的颜色，纹理，结构，深度等特征，将用户期望的编辑效果传播到整个图像中。用户期望的编辑包括图像的颜色，纹理，色调等等。图像或视频的编辑传播基于目标区域中像素或结构与用户设定的区域中的像素或结构的相似度，将用户定义的编辑效果按照一定的准则传播到相似度很高的区域，相似度越高，编辑传播的结果就应该越相似，反之亦然。

基于光场的特殊结构特点，除了考虑目标区域和用户指定区域像素的相似性之外，还可以利用视点之间像素的映射关系以及像素在视点之间的连续性来提升用户编辑传播的一致性。对于光场丰富信息的更充分的利用可以提升编辑传播效果和简化编辑传播过程的复杂性。

发明内容

本发明目的在于提出一种光场编辑传播方法，以解决上述现有技术存在的编辑传播过程复杂以及编辑传播效率低的技术问题。

为此，本发明提出一种光场编辑传播方法，包括以下步骤：

S1、获取原始光场图像阵列以及所述原始光场图像阵列的图像深度，所述原始光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个视点图像，M和N都为正奇数，所述原始光场图像阵列中的视点为中心视点；

S2、在所述中心视点处获取原始用户编辑；

S3、对所述原始光场图像阵列中的所有像素进行聚类得到K个类以及每个类的中心像素，将原始光场图像阵列中的每个像素归属于一个类中，K个中心像素构成下采样光场图像阵列；

S4、获取所述K个中心像素的用户编辑，得到K个下采样用户编辑；所述K个下采样用户编辑中第j个下采样用户编辑e'_j由所述K个类中第j个类包括的所有像素的原始用户编辑值加权得到；

S5、将所述K个下采样用户编辑传播到所述K个中心像素，得到所述下采样光场图像阵列的编辑传播结果；

S6、对所述下采样光场图像阵列的编辑传播结果进行上采样，得到所述原始光场图像阵列的编辑传播结果。

优选地，所述原始光场图像阵列中的每个像素用七维坐标表示为(x,y,u,v,r,g,b)，其中，x,y是所述像素在视点图像的位置坐标，u,v是所述像素所在的视点图像的坐标，r,g,b是所述像素的颜色值；

在步骤S3中，根据像素七维坐标的相似程度对所述原始光场图像阵列中的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其七维空间距离最小的中心像素所属类。

优选地，所述原始光场图像阵列中的每个像素用八维坐标表示(x,y,u,v,r,g,b,d)，其中，x,y是所述像素在视点图像的位置坐标，u,v是所述像素所在的视点图像的坐标，r,g,b是所述像素的颜色值，d是所述像素的视差坐标；

在步骤S3中，根据像素八维坐标的相似程度对所述原始光场图像阵列中经过重参数化处理的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其八维空间距离最小的中心像素所属类。

优选地，在步骤S2与步骤S3之间还包括对所述原始光场图像阵列中的每个像素进行重参数处理，所述重参数处理包括公式：

公式一：x'＝x-(dD(x,y)-1)*(u-u_c)

公式二：y'＝y

其中，x',y'表示所述像素x,y经过重参数处理后在所述视点图像上的位置坐标，dD(x,y)表示所述像素的视差值，u表示所述像素所在的视点图像的水平位置坐标，u_c表示所述中心视点的水平位置坐标。

优选地，采用K‐means聚类算法。

优选地，在步骤S4中，所述第j个下采样用户编辑e'_j的计算包括公式：

公式三： $e_j^{\′}=\frac{1}{n_j}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}{e}_{\mathrm{ji}}$

公式四： $n_j=\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}$

其中，j为不大于K的正整数，N_j为所述K个类中第j个类包括的像素个数，i为不大于N_j的正整数，n_ji为第j个类中第i个像素处是否存在原始用户编辑，若存在，则n_ji为1，否则为0，e_ji为第j个类中第i个像素的原始用户编辑值。

优选地，在步骤S5中，所述K个中心像素中第i个中心像素的下采样用户编辑传播结果e_i以及第j个中心像素的下采样用户编辑传播结果e_j的计算包括公式：

公式五： $J\left(e\right)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{w}_j{z}_{\mathrm{ij}}{(e_i-e_j^{\′})}^2+\mathrm{\λ}\underset{i}{\mathrm{\Σ}}{(e_i-\underset{j}{\mathrm{\Σ}}{z}_{\mathrm{ij}}{e}_j)}^2$

公式六：z_ij＝exp(-||f_i-f_j||²/σ_α)exp(-||p_i-p_j||²/σ_s)

其中，i,j均为不大于K的正整数，e'_j是第j个中心像素对应的下采样用户编辑，f_i＝(r_i,g_i,b_i,d_i)，p_i＝(x_i,y_i,u_i,v_i)，f_j＝(r_j,g_j,b_j,d_j)，p_j＝(x_j,y_j,u_j,v_j)，f_i是第i个中心像素的颜色分量和视差分量，p_i是所述第i个中心像素的图像位置坐标和视点位置坐标，f_j是第j个中心像素的颜色分量和视差分量，p_j是所述第j个中心像素的图像位置坐标和视点位置坐标；z_ij是对所述第i个中心像素和所述第j个中心像素的相似度度量，σ_α和σ_s是控制相似度度量的参数；w_j是所述第j个中心像素所对应的用户编辑权重，若所述第j个中心像素存在用户输入，则w_j为1，否则为0；λ是控制编辑传播效果的参数；

对公式五求导，获得第i个中心像素的下采样用户编辑传播结果e_i以及第j个中心像素的下采样用户编辑传播结果e_j。

优选地，在步骤S6中，对所述下采样光场图像阵列的编辑传播结果进行上采样，包括下步骤：

像素p'为所述原始光场图像阵列中的像素p经过重参数化处理后的对应像素，使用像素p'查询K‐D树，找到像素p'的s个最近邻的中心像素P₁,P₂,…,P_s以及所述s个最近邻的中心像素对应的下采样编辑传播结果e₁,e₂,…,e_s，其中，s为不大于K的正整数，所述下采样光场图像阵列中所有中心像素构成的集合为{P_j}_j＝1,2…K，所述P₁,P₂,…,P_s构成的集合为Δ，Δ是{P_j}_j＝1,2…K的子集，所述下采样光场图像阵列的编辑传播结果构成的集合为{e_j}_j＝1,2…K，所述e₁,e₂,…,e_s构成的集合为{e_j}_j＝1,2…K的子集；

使用双边滤波上采样进行处理，包括公式：

公式七： $P\left(p\right)=\underset{t\∈\mathrm{\Δ}}{\mathrm{\Σ}}f\left({\left|\right|p_x-t_x\left|\right|}^2\right)g\left({\left|\right|p_c-t_c\left|\right|}^2\right)P\left(t\right)$

其中，f和g是平滑函数，P(p)是经上采样得到的所述原始光场图像阵列中像素p的编辑传播结果，P(t)是e₁,e₂,…,e_s的集合中的第t个元素值，t为不大于s的正整数。

本发明通过利用光场图像阵列的特殊结构属性，通过将光场数据进行重参数化处理，然后在高维空间中对光场数据点云和用户输入编辑进行降采样，再针对降采样后的光场数据使用基于全局相似性的优化方法进行编辑传播，最后再将已传播编辑上采样至整个光场。本发明提出的整个光场编辑传播的方法可以用于处理超大规模的光场数据，提升编辑传播的整体性能和效果。

附图说明

图1是本发明具体实施方式二的光场阵列呈像原理图；

图2是本发明具体实施方式二的对极线平面图像示意图；

图3是本发明具体实施方式二的重参数化后的对极线平面图像示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本发明提出一种光场编辑传播方法，包括以下步骤：

S1：输入原始光场图像阵列并获取该原始光场图像阵列的图像深度。这里的原始光场图像阵列是对同一个物点进行不同视点采样而得到的M*N个视点图像，其中，M>1，N>1，且都为正整数。原始光场图像阵列可采用多个相机组成的一个M*N的相机阵列采集得到的图像阵列，也可以采用运动的单个相机分别在一个M*N的虚拟相机阵列中的相应虚拟相机的位置上分别采集不同视点的图像而得到。该原始光场图像阵列的图像深度可以通过相应的深度相机阵列拍摄获得，也可以使用当前比较成熟的计算深度图的方法计算得到相应的图像深度；

S2、在中心视点获取用户期望的编辑，对于一个M*N(M和N都是正奇数)的光场而言，其中心视点的位置是即第行第列的视点位置，用户在此中心视点上通过计算机输入接口输入期望的编辑和笔划；

S3、原始光场图像阵列中的每个像素用七维坐标表示为(x,y,u,v,r,g,b)，其中，(x,y)是像素在视点图像的位置坐标，(u,v)是像素所在的视点图像的坐标，(r,g,b)是像素的颜色值；根据像素七维坐标的相似程度对原始光场图像阵列中的所有像素进行聚类得到K个类以及每个类的中心像素，将原始光场图像阵列中的每个像素归属于一个类中，K个中心像素构成下采样光场图像阵列，将原始光场图像阵列中的每个像素归属于与其七维空间距离最小的中心像素所属类；

S4、根据原始用户编辑获取K个中心像素的用户编辑，得到K个下采样用户编辑；其中，K个下采样用户编辑中第j个下采样用户编辑e'_j由K个类中第j个类包括的所有像素的原始用户编辑值加权得到；

S5、将K个下采样用户编辑传播到K个中心像素，得到下采样光场图像阵列的编辑传播结果；

S6、对下采样光场图像阵列的编辑传播结果进行上采样，得到原始光场图像阵列的编辑传播结果。

更进一步地，原始光场图像阵列中的每个像素用八维坐标表示(x,y,u,v,r,g,b,d)，其中，x,y是像素在视点图像的位置坐标，u,v是像素所在的视点图像的坐标，r,g,b是像素的颜色值，d是像素的视差坐标。这样，在上述步骤S3中，根据像素八维坐标的相似程度对原始光场图像阵列中经过重参数化处理的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其八维空间距离最小的中心像素所属类。

在本发明的实施例中，采用了一种“下采样——传播——上采样”的光场编辑传播方法，这种编辑传播方法比直接同时在整个光场进行编辑传播对计算机的性能要求低许多。由于光场阵列的信息异常丰富，数据量极大。如果对整个光场同时进行编辑传播，对视点个数和单视点分辨率不太大的光场是能够高效进行的；然而，对于视点个数很多且单个视点分辨率又很大的光场，采用目前已经具备的方法对其进行编辑传播就不具备可行性了，因为其所需内存超过绝大多数计算机配置的内存容量从而导致计算失败。

实施例二：

参见图1是本发明具体实施方式二的光场阵列呈像原理图，图中的x‐y,s‐t是坐标轴。图1中P为空间场景中的一个物点，经过一个相机阵列后，P点会在每个相机的像平面上呈像。图中的L1为相机阵列的焦点所在平面，S1，S2，S3，S4为相机阵列中一行上任取的4个相机的焦点位置，经过这四个相机的呈像后，P点会在这四个相机的像平面分别呈像为P1，P2，P3，P4。这四个相机所获得的图像分别记为视点V1，V2，V3，V4。从图1可以清晰地看到P1，P2，P3，P4这四个像素点实际上是空间中同一个点的像。同理可知，空间中其它异于P点的物点通过相机阵列后也会分别在每个视点的图像中获得各自的像点。同一个物点经过相机阵列后的多个像点之间满足一定的关系，具体的关系与相机阵列的排列方式有关。对于水平排列的一行相机阵列，获得光场的对极线平面图像阵列的方法是抽取各个视点图像中相同行的像素构成一幅新的图像的各行，最后所获得的对极线平面图像阵列的图像数量等于视点的行数目；对于竖直排列的一列相机阵列，获得光场的对极线平面图像阵列的方法是抽取各个视点图像中相同列的像素构成一幅新的图像的各列，最后所获得的对极线平面图像阵列的图像数量等于视点的列数目；对于M*N(M>1,N>1)的相机阵列，需要看作M个水平排列的相机阵列或者N个竖直排列的相机阵列，然后按照前两种情况分别获得各个行或者列相机阵列的对极线平面图像阵列。对极线平面图像阵列中的每一幅图像都是由原光场图像阵列中所有视点的某一个相同行/列的所有像素构成的，对极线平面图像的结构明显的揭示了某一个像素点在不同视点中的位置偏移情况。

在光场图像阵列中，同一个物点在不同视点中所呈的像在亮度和颜色上差异很小，这些不同的像点在对极线平面图像中的排列方式形成一个一致的分布方向；不同的物点在不同的视点所呈的像在对极线平面图像中构成了各自不同的特定分布方向，因此在对极线平面图像上可以看到沿着特定方向的斜带状条纹。

上述分析对于光场的对极线平面图像普遍成立，本实施例的重参数化处理就是针对这一特点而设计的。参见图2是本发明具体实施方式二的对极线平面图像示意图，按照对极线平面图像的形成原理可知，图2中的S和R是同一个物体点在不同视点中的像，而T和S是不同物体点在同一个视点的像，T和R是不同物体点在不同视点中的像，S与R的空间相似度用线段SR来表示，T与R的相似度用线段TR来表示，可见TR小于SR，即T与R比S与R空间相似度更大。在本实施例中，在对光场图像阵列中的所有像素进行聚类处理前，还包括对光场中所有像素进行重参数化处理，使得同一个物体点的像点之间的空间相似度大于不同物体点的像点之间的空间相似度，以提高后续聚类处理结果的准确性。

因此，本发明还提出一种光场编辑传播方法，包括以下步骤：

S1：输入原始光场图像阵列并获取该原始光场图像阵列的图像深度。这里的原始光场图像阵列是对同一个物点进行不同视点采样而得到的M*N个视点图像，其中，M>1，N>1，且都为正整数。原始光场图像阵列可采用多个相机组成的一个M*N的相机阵列采集得到的图像阵列，也可以采用运动的单个相机分别在一个M*N的虚拟相机阵列中的相应虚拟相机的位置上分别采集不同视点的图像而得到。该原始光场图像阵列的图像深度可以通过相应的深度相机阵列拍摄获得，也可以使用当前比较成熟的计算深度图的方法计算得到相应的图像深度。

S2、在中心视点获取用户期望的编辑，对于一个M*N(M和N都是正奇数)的光场而言，其中心视点的位置是即第行第列的视点位置，用户在此中心视点上通过计算机输入接口输入期望的编辑和笔划。

S3、对原始光场图像阵列中的像素进行重参数化处理。将整个光场看作高维空间中的点云数据，整个空间是八维的，表示为(x,y,u,v,r,g,b,d)，其中(x,y)是像素点在视点图像上的位置坐标，(u,v)是像素点所在视点图像的坐标，(r,g,b)是像素点的颜色值，(d)是像素点的视差坐标值，整个光场中的每一个像素点将对应八维空间中的一个数据点，这种对应将是一一对应的。对像素进行重参数化处理的公式如(1)和(2)所示：

x'＝x-(dD(x,y)-1)*(u-u_c)      (1)

y'＝y      (2)

其中，(x,y)表示一个像素点在视点图像上的位置坐标，(x',y')表示(x,y)经过重参数化处理后的位置坐标，dD(x,y)表示该像素点的视差值，也即该像素点八维空间坐标中的(d)值，u表示将要进行重参数化处理的像素点所在视点图像的水平位置坐标，u_c表示中心视点的水平位置坐标。参见图3是本发明具体实施方式二的重参数化后的对极线平面图像示意图，可以看出经过重参数化后，S和R的空间距离小于T和R的空间距离，这才能够反映真实的空间相似度，经过这种重参数化变换后，能够获得更加真实的相似度度量。

S4、对经过步骤S3处理后的光场数据使用K‐MEANS聚类以获得下采样光场。在这个八维空间中对这些点云数据进行K‐MEANS聚类分析，根据像素八维坐标的相似程度对原始光场图像阵列中经过重参数化处理的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其八维空间距离最小的中心像素所属类，假定预先设定聚类个数为K个，那么聚类的结果将获得K个八维数据点P₁,P₂,…,P_K，这K个八维数据点也称为中心像素，由于一一对应关系，这K个中心像素将对应于原光场中的K个像素点。需注意的是，这些中心像素点可能是虚拟的，原本并不存在，只是这K个中心像素点很好地保留了原光场数据的特征。把这K个中心像素点构成的光场看作一个新的具有K个像素点的下采样光场P₁,P₂,…,P_K。

S5、使用步骤S4的聚类结果对步骤S2中获取的原始用户编辑进行下采样。对于光场中的每一个像素点对应的用户编辑，只可能存在两种状态：即存在用户编辑和不存在用户编辑。如果使用0表示一个像素点位置上不存在用户编辑，使用1表示一个像素点所在位置存在用户编辑，那么下采样光场的用户编辑可使用式(3)和(4)进行计算，如下：

$e_j^{\′}=\frac{1}{n_j}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}{e}_{\mathrm{ji}}---\left(3\right)$

$n_j=\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}---\left(4\right)$

其中，e'_j表示下采样光场中第j个中心像素点所对应的下采样用户编辑；N_j表示第j个类中像素点的个数；n_ji表示第j个类中第i个像素位置处是否存在原始用户输入编辑，若存在用户编辑，则n_ji为1，否则为0；e_ji表示第j个类中第i个像素位置的用户编辑数值。

通过上述计算，可以依次获得下采样光场图像阵列中的每个中心像素所对应的下采样用户编辑e₁',e'₂,…,e'_K。

S6、在步骤S4中获取的下采样光场图像阵列中对步骤S5中获取的下采样用户编辑进行编辑传播。通过步骤S4获得的中心像素点P₁,P₂,…,P_K和步骤S5获得的下采样用户编辑e₁',e'₂,…,e'_K后，可以选用任何一种可以用于数据点插值的数学方法在下采样光场上进行初步用户编辑传播。在本发明的一个实施例中，选用全局优化的方法来求得在下采样光场上的用户编辑传播结果，如式(5)和(6)所示，如下：

$J\left(e\right)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{w}_j{z}_{\mathrm{ij}}{(e_i-e_j^{\′})}^2+\mathrm{\λ}\underset{i}{\mathrm{\Σ}}{(e_i-\underset{j}{\mathrm{\Σ}}{z}_{\mathrm{ij}}{e}_j)}^2---\left(5\right)$

z_ij＝exp(-||f_i-f_j||²/σ_α)exp(-||p_i-p_j||²/σ_s)     (6)

其中，i＝1、2、3、…、K，j＝1、2、3、…、K，e'_j是第j个中心像素对应的下采样用户编辑，f_i＝(r_i,g_i,b_i,d_i)，p_i＝(x_i,y_i,u_i,v_i)，f_j＝(r_j,g_j,b_j,d_j)，p_j＝(x_j,y_j,u_j,v_j)，f_i是第i个中心像素的颜色分量和视差分量，p_i是第i个中心像素的图像位置坐标和视点位置坐标，f_j是第j个中心像素的颜色分量和视差分量，p_j是第j个中心像素的图像位置坐标和视点位置坐标；z_ij是对中心像素点i和中心像素点j之间的相似度的度量，σ_α和σ_s是控制相似度度量的参数；w_j是中心像素点j所对应的用户编辑权重，若中心像素点j存在用户输入，则w_j为1，否则为0；e_i、e_j是需要求解的下采样光场的编辑传播结果；λ是控制编辑传播效果的参数，一般取值大于0。

使用直接求导的方法对公式(5)进行求解，可以获得在下采样光场上进行编辑传播的结果e₁,e₂,e₃,…,e_K。

S7、对步骤S6的下采样编辑传播结果进行上采样。步骤S6的求解只获得了原始光场的下采样元素的编辑传播效果，为了获得整个光场中所有像素点的编辑传播结果，需要采用一种上采样方法，将下采样光场中的已传播编辑结果上采样至整个光场中。在本发明的一个实施例中，采用双边滤波上采样方法进行上采样处理。上采样过程中，首先使用步骤S4中获取的下采样光场中的中心像素点集合{P_j}_{j＝1,2,…,K}构建K‐D树。对于原始光场中的像素点p＝(p_x,p_c)，必有一个对应的重参数化处理后的像素点p'＝(p_x',p_c)，其中，p_x＝(x,y,u,v,d)是原光场像素点的位置分量，p_c＝(r,g,b)是原光场像素点的颜色分量p_x'＝(x',y,u,v,d)是p_x对应的重参数化处理后像素点的位置分量，p_c＝(r,g,b)是对应的重参数化处理后像素点的颜色分量；使用p'查询K‐D树，找到s个最近邻的类中心像素点P₁,P₂,…,P_s，同时得到这些中心像素点所对应的编辑传播结果e₁,e₂,…,e_s，其中，s为不大于K的正整数，下采样光场中所有中心像素构成的集合为{P_j}_j＝1,2…K，P₁,P₂,…,P_s构成的集合为Δ，Δ是{P_j}_j＝1,2…K的子集，下采样光场的编辑传播结果构成的集合为{e_j}_j＝1,2…K，e₁,e₂,…,e_s构成的集合为{e_j}_j＝1,2…K的子集；

再使用双边滤波上采样进行处理，如公式(7)所示：

$P\left(p\right)=\underset{t\∈\mathrm{\Δ}}{\mathrm{\Σ}}f\left({\left|\right|p_x-t_x\left|\right|}^2\right)g\left({\left|\right|p_c-t_c\left|\right|}^2\right)P\left(t\right)---\left(7\right)$

其中，f和g是平滑函数，具体地，可选取f(x)＝g(x)＝e^x，P(p)是经双边滤波上采样得到的原始光场图像阵列中像素p的编辑传播结果，P(t)是e₁,e₂,…,e_s的集合中的第t个元素值，t为不大于s的正整数。

通过上述步骤S1‐S7，可以对视点个数很多且单视点分辨率很大的光场进行高效的编辑传播，以往的图像编辑传播方法无法在数据量极大的光场中进行高效的用户编辑传播。

在本发明的实施例中，通过利用光场图像阵列各个视点之间的相关性，采用了一种“重参数化——下采样——传播——上采样”的光场编辑传播方法。本方法首先使用一种重参数化方法对光场点云数据进行变换，使得变换后结果更有利于下采样过程中样本相似性的度量。下采样过程使用经典的机器学习算法K‐MEANS对已变换光场点云数据进行聚类分析，求得类的代表元素，将所有代表元素构成的集合作为下采样的光场点云数据，同时根据聚类结果对用户输入编辑进行下采样。然后在下采样光场数据中使用一种基于全局相似性度量的优化方法对下采样用户输入编辑进行编辑传播，获得下采样光场的编辑传播结果。最后使用K‐D树求取原光场中每个像素点的s个最近邻类中心，用这s个类中心对应的颜色进行联合双边滤波上采样，求得原光场中每个像素点的编辑传播效果。这种分步骤的“重参数化——下采样——传播——上采样”编辑传播方法比直接同时在整个光场进行编辑传播对计算机的性能要求低许多。由于光场阵列的信息异常丰富，数据量极大。如果对整个光场同时进行编辑传播，对视点个数和单视点分辨率不太大的光场是能够高效进行的；然而，对于视点个数很多且单个视点分辨率又很大的光场，采用目前已经具备的方法对其进行编辑传播就不具备可行性了，因为其所需内存超过绝大多数计算机配置的内存容量从而导致计算失败。考虑到光场图像阵列的结构特点，我们首先采用了一种重参数化方法，该方法增加高维空间中相似样本点在低维空间投影的相似度，从而使得高维空间中相似的样本距离更近。对重参数化后的光场数据采用基于距离度量的方法K‐MEANS进行聚类，使得距离近的样本点被聚为相同的类，距离远的样本点被聚为不同的类，根据聚类的结果求取每个类的代表元素同时对用户输入编辑进行下采样。经过下采样，原来庞大的光场数据点云已经被下采样至原来数据量的几万分之一，这时再选用任意一种编辑传播方法对下采样后光场进行编辑传播，效率将大大提高。对于编辑传播完成后的下采样光场使用任意一种上采样方法将原光场编辑传播结果插值，就可以获得整个原光场的编辑传播结果。该方法考虑到光场数据的冗余性，采用下采样方法降低数据量，极大地提高了光场编辑传播的效率同时又能有效保持编辑传播的准确性，极大的降低了总体计算开销。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (8)

1.一种光场编辑传播方法，其特征在于，包括以下步骤：

S1、获取原始光场图像阵列以及所述原始光场图像阵列的图像深度，所述原始光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个视点图像，M和N都为正奇数，所述原始光场图像阵列中的视点为中心视点；

S2、在所述中心视点处获取原始用户编辑；

S3、对所述原始光场图像阵列中的所有像素进行聚类得到K个类以及每个类的中心像素，将原始光场图像阵列中的每个像素归属于一个类中，K个中心像素构成下采样光场图像阵列；

S4、获取所述K个中心像素的用户编辑，得到K个下采样用户编辑；所述K个下采样用户编辑中第j个下采样用户编辑由所述K个类中第j个类包括的所有像素的原始用户编辑值加权得到；

S5、将所述K个下采样用户编辑传播到所述K个中心像素，得到所述下采样光场图像阵列的编辑传播结果；

S6、对所述下采样光场图像阵列的编辑传播结果进行上采样，得到所述原始光场图像阵列的编辑传播结果。

2.如权利要求1所述的光场编辑传播方法，其特征在于，所述原始光场图像阵列中的每个像素用七维坐标表示为(x,y,u,v,r,g,b)，其中，x,y是所述像素在视点图像的位置坐标，u,v是所述像素所在的视点图像的坐标，r,g,b是所述像素的颜色值；

在步骤S3中，根据像素七维坐标的相似程度对所述原始光场图像阵列中的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其七维空间距离最小的中心像素所属类。

3.如权利要求2所述的光场编辑传播方法，其特征在于，所述原始光场图像阵列中的每个像素用八维坐标表示(x,y,u,v,r,g,b,d)，其中，x,y是所述像素在视点图像的位置坐标，u,v是所述像素所在的视点图像的坐标，r,g,b是所述像素的颜色值，d是所述像素的视差坐标；

在步骤S3中，根据像素八维坐标的相似程度对所述原始光场图像阵列中经过重参数化处理的所有像素进行聚类，将原始光场图像阵列中的每个像素归属于与其八维空间距离最小的中心像素所属类。

4.如权利要求3所述的光场编辑传播方法，其特征在于，在步骤S2与步骤S3之间还包括对所述原始光场图像阵列中的每个像素进行重参数处理，所述重参数处理包括公式：

公式一：x'＝x-(dD(x,y)-1)*(u-u_c)

公式二：y'＝y

其中，x',y'表示所述像素x,y经过重参数处理后在所述视点图像上的位置坐标，dD(x,y)表示所述像素的视差值，u表示所述像素所在的视点图像的水平位置坐标，u_c表示所述中心视点的水平位置坐标。

5.如权利要求2‐4任一项所述的光场编辑传播方法，其特征在于，采用K‐means聚类算法。

6.如权利要求1所述的光场编辑传播方法，其特征在于，在步骤S4中，所述第j个下采样用户编辑的计算包括公式：

公式三： $e_j^{\′}=\frac{1}{n_j}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}{e}_{\mathrm{ji}}$

公式四： $n_j=\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{n}_{\mathrm{ji}}$

其中，j为不大于K的正整数，N_j为所述K个类中第j个类包括的像素个数，i为不大于N_j的正整数，n_ji为第j个类中第i个像素处是否存在原始用户编辑，若存在，则n_ji为1，否则为0，e_ji为第j个类中第i个像素的原始用户编辑值。

7.如权利要求3或4所述的光场编辑传播方法，其特征在于，在步骤S5中，所述K个中心像素中第i个中心像素的下采样用户编辑传播结果e_i以及第j个中心像素的下采样用户编辑传播结果e_j的计算包括公式：

公式五： $J\left(e\right)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{w}_j{z}_{\mathrm{ij}}{(e_i-e_j^{,})}^2+\mathrm{\λ}\underset{i}{\mathrm{\Σ}}{(e_i-\underset{j}{\mathrm{\Σ}}{z}_{\mathrm{ij}}{e}_j)}^2$

公式六：z_ij＝exp(-||f_i-f_j||²/σ_α)exp(-||p_i-p_j||²/σ_s)

其中，i,j均为不大于K的正整数，是第j个中心像素对应的下采样用户编辑，f_i＝(r_i,g_i,b_i,d_i)，p_i＝(x_i,y_i,u_i,v_i)，f_j＝(r_j,g_j,b_j,d_j)，p_j＝(x_j,y_j,u_j,v_j)，f_i是第i个中心像素的颜色分量和视差分量，p_i是所述第i个中心像素的图像位置坐标和视点位置坐标，f_j是第j个中心像素的颜色分量和视差分量，p_j是所述第j个中心像素的图像位置坐标和视点位置坐标；z_ij是对所述第i个中心像素和所述第j个中心像素的相似度度量，σ_α和σ_s是控制相似度度量的参数；w_j是所述第j个中心像素所对应的用户编辑权重，若所述第j个中心像素存在用户输入，则w_j为1，否则为0；λ是控制编辑传播效果的参数；

对公式五求导，获得第i个中心像素的下采样用户编辑传播结果e_i以及第j个中心像素的下采样用户编辑传播结果e_j。

8.如权利要求3或4所述的光场编辑传播方法，其特征在于，在步骤S6中，对所述下采样光场图像阵列的编辑传播结果进行上采样，包括下步骤：

像素p'为所述原始光场图像阵列中的像素p经过重参数化处理后的对应像素，使用像素p'查询K‐D树，找到像素p'的s个最近邻的中心像素P₁,P₂,…,P_s以及所述s个最近邻的中心像素对应的下采样编辑传播结果e₁,e₂,…,e_s，其中，s为不大于K的正整数，所述下采样光场图像阵列中所有中心像素构成的集合为{P_j}_j＝1,2…K，所述P₁,P₂,…,P_s构成的集合为Δ，Δ是{P_j}_j＝1,2…K的子集，所述下采样光场图像阵列的编辑传播结果构成的集合为{e_j}_j＝1,2…K，所述e₁,e₂,…,e_s构成的集合为{e_j}_j＝1,2…K的子集；

使用双边滤波上采样进行处理，包括公式：

公式七： $P\left(p\right)=\underset{t\∈\mathrm{\Δ}}{\mathrm{\Σ}}f\left({\left|\right|p_x-t_x\left|\right|}^2\right)g\left({\left|\right|p_c-t_c\left|\right|}^2\right)P\left(t\right)$

其中，f和g是平滑函数，P(p)是经上采样得到的所述原始光场图像阵列中像素p的编辑传播结果，P(t)是e₁,e₂,…,e_s的集合中的第t个元素值，t为不大于s的正整数。