CN104349073A - 一种光场编辑传播方法及装置 - Google Patents

Abstract

本发明公开了一种光场编辑传播方法及相关装置，该方法包括步骤：S1、输入光场图像阵列并获取其图像深度；S2、获取用户期望的编辑；S3、将光场图像阵列转换成对极线平面图像阵列；S4、在对极线平面图像上将用户期望的编辑传播到与用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果；S5、将初步传播的结果转换回原图像域；S6、对原图像域中的单个视点进行精细编辑传播。本发明的光场编辑传播方法有效解决了编辑传播效果不佳和编辑传播过程复杂的技术问题。

Description

一种光场编辑传播方法及装置

技术领域

本发明涉及计算机视觉技术和图像处理领域，特别涉及一种光场编辑传播方法及装置。 

背景技术

图像编辑传播方法是当前计算机图像处理、视频处理等学科领域的研究热点，被广泛应用于影视制作、动画制作，交互式视频和图像处理等领域。图像编辑传播将用户期望的编辑效果传播到整个图像中，其中，用户期望的编辑包括图像的颜色、纹理、色调等特征。图像或视频的编辑传播基于目标区域中像素或结构与用户设定的区域中的像素或结构的相似度，将用户定义的编辑效果按照一定的准则传播到相似度很高的区域，相似度越高，编辑传播的结果就应该越相似，反之亦然。由于光场阵列的信息异常丰富，数据量极大。如果对整个光场同时进行编辑传播，对视点个数和单视点分辨率不太大的光场是能够进行的；然而，对于视点个数很多且单个视点分辨率又很大的光场，对其同时进行编辑传播就不具备可行性了，因为其所需内存超过绝大多数计算机配置的内存容量从而导致计算失败。 

发明内容

本发明目的在于提出一种光场编辑传播的方法，以解决上述现有技术存在的编辑传播效果不佳和编辑传播过程复杂的技术问题。 

为此，本发明提出一种光场编辑传播方法，包括以下步骤： 

S1、输入光场图像阵列并获取所述光场图像阵列的图像深度，所述光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个图像，其中，M>1，N>1，且都为正整数； 

S2、获取用户期望的编辑； 

S3、将所述光场图像阵列转换成对极线平面图像阵列，所述对极线平面图像阵列由若干个对极线平面图像构成；所述对极线平面图像的各行是抽取所述光场 图像阵列同一行的所有视点图像中相同行的像素构成，或者所述对极线平面图像的各列是抽取所述光场图像阵列同一列的所有视点图像中相同列的像素构成； 

S4、所述对极线平面图像阵列获取所述用户期望的编辑，并在所述对极线平面图像上将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果； 

S5、将所述初步传播的结果转换回原所述光场图像阵列所在的图像域； 

S6、对所述原图像域中的单个视点进行编辑传播。 

优选地，步骤S2中所述获取用户期望的编辑具体为：任取所述光场图像阵列中一个视点为传播初始视点，所述传播初始视点处获取所述用户期望的编辑； 

相应地，步骤S4具体为： 

(1)所述传播初始视点所在行的所有视点转换生成的对极线平面图像阵列为第一对极线平面图像阵列，将所述用户期望的编辑在所述第一对极线平面图像阵列中进行初步传播，所述传播初始视点所在行的所有视点获取到所述用户期望的编辑； 

(2)所述传播初始视点所在行的各个视点所在列的所有视点转换生成的对极线平面图像阵列为第二对极线平面图像阵列，将所述用户期望的编辑在所述第二对极线平面图像阵列中进行初步传播。 

优选地，所述光场图像阵列的M和N满足：M>1，N>1，且都为正奇数，所述光场图像阵列中的视点视为中心视点，取所述中心视点为所述传播初始视点。 

优选地，步骤S4中将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域具体为： 

(1)获取使下式满足最小值的θ值： 

${\min }_{\mathrm{\θ}}\frac{1}{L}{\mathrm{\Σ}}_{s=-\mathrm{\λ}}^{\mathrm{\λ}}{\mathrm{\Σ}}_{r=1}^n{\left|\right|I(i_0,j_0+s)-I(r,j_0+\tan \left(\mathrm{\θ}\right)*(r-i_0)+s)\left|\right|}_2^2$

其中，L表示对于确定的θ，在该方向总的像素点个数，λ是搜索范围常数，n表示对极线平面图像的行数，(i₀，j₀)表示用户期望的编辑在提供了用户输入的对极线平面图像中的行列坐标，I(i,j)表示坐标(i，j)所对应像素点处用户期望 的编辑； 

(2)求得θ之后，利用下面两个公式在所述对极线平面图像上传播所述用户期望的编辑： 

i＝j₀+tan(θ)*(r-i₀) 

I(r，j)＝I(i₀，j₀)(0≤r≤n，0≤i≤m) 

其中，m是对极线平面图像的列数。 

优选地，步骤S5中对单个视点进行编辑传播采用混合域方法编辑。 

本发明还公开了一种光场编辑传播装置，包括： 

光场图像阵列获取模块，用于获取光场图像阵列模块及所述光场图像阵列的图像深度，所述光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个图像，其中，M>1，N>1，且都为正整数； 

用户期望编辑获取模块，用于获取用户期望的编辑； 

对极线平面图像阵列转换模块，将所述光场图像阵列转换成对极线平面图像阵列，所述对极线平面图像阵列由若干个对极线平面图像构成，所述对极线平面图像的各行是抽取所述光场图像阵列同一行的所有视点图像中相同行的像素构成，或者所述对极线平面图像的各列是抽取所述光场图像阵列同一列的所有视点图像中相同列的像素构成； 

初步编辑传播模块，用于对极线平面图像阵列获取所述用户期望的编辑，并在所述对极线平面图像上将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果； 

图像域转换模块，将所述初步传播的结果转换回原所述光场图像阵列所在的图像域； 

精细编辑传播模块，对所述原图像域中的单个视点进行编辑传播。 

本发明基于光场的特殊结构特点，除了考虑目标区域和用户指定区域像素的相似性之外，还利用视点之间像素的映射关系以及像素的连续性来辅助用户编辑的传播，对于光场丰富信息的更充分的利用可以提升编辑传播效果和简化编辑传播过程的复杂性。 

附图说明

图1是本发明具体实施方式一的光场阵列呈像原理图； 

图2是本发明具体实施方式一的用户期望编辑的传播方式图； 

图3是本发明具体实施方式一的5*5的光场阵列用户编辑初步传播的方式。 

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。 

实施方式一： 

本发明公开了一种光场编辑传播方法，包括以下步骤： 

S1：输入光场图像阵列并获取该光场图像阵列的图像深度。光场图像阵列是对同一个物点进行不同视点采样而得到的M*N个图像，其中，M>1，N>1，且都为正整数。光场图像阵列可采用多个相机组成的一个M*N的相机阵列采集得到的图像阵列，也可以采用运动的单个相机分别在一个M*N的虚拟相机阵列中的相应虚拟相机的位置上分别采集不同视点的图像而得到。该光场图像阵列的图像深度可以通过相应的深度相机阵列拍摄获得，也可以使用当前比较成熟的计算深度图的方法计算得到相应的图像深度。 

S2：获取在光场图像阵列中用户期望的编辑。 

S3：将光场图像阵列转换为对极线平面图像阵列。参见图1所示光场阵列呈像原理，图中P为空间场景中的一个物点，经过一个相机阵列后，P点会在每个相机的像平面上呈像。图1中的L1为相机阵列的焦点所在平面，S1、S2、S3与S4为相机阵列中一行上任取的4个相机的焦点位置，经过这四个相机的呈像后，P点会在这四个相机的像平面分别呈像为P1、P2、P3与P4，这四个相机所获得的图像分别记为视点V1、V2、V3与V4。从图1可以清晰的看到P1，P2，P3，P4这四个像素点实际上是空间中同一个点的像。同理可知，空间中其它异于P点的物点通过相机阵列后也会分别在每个视点的图像中获得各自的像点。同一个物点经过相机阵列后的多个像点之间满足一定的关系，具体的关系与相机阵列的排列方式有关。对于水平排列的一行相机阵列，获得光场的对极线平面图像阵列 的方法是抽取各个视点图像中相同行的像素构成一幅新的图像的各行，最后所获得的对极线平面图像阵列的图像数量等于视点的行数目；对于竖直排列的一列相机阵列，获得光场的对极线平面图像阵列的方法是抽取各个视点图像中相同列的像素构成一幅新的图像的各列，最后所获得的对极线平面图像阵列的图像数量等于视点的列数目；对于M*N的相机阵列，需要看做M个水平排列的相机阵列或者N个竖直排列的相机阵列，然后按照前两种情况分别获得各个行或者列相机阵列的对极线平面图像阵列。 

S4：在对极线平面图像阵列中初步传播用户期望的编辑。 

在对极线平面图像上初步传播用户期望的编辑前，每幅对极线平面图像都需获取用户期望的编辑。在本发明的具体实施例中，对于一个M*N的光场图像阵列而言，可在此光场中任取一视点作为传播初始视点，在该传播初始视点处获取用户期望被传播的编辑，再将该编辑传播到整个光场阵列。由于该传播初始视点所在行的所有视点的图像是由行相机阵列所产生的，所以先利用该传播初始视点所在行的所有视点图像构成的光场来初步传播用户期望编辑，该传播初始视点所在行的所有视点都完成初步传播之后，再将这一行的所有视点所获得的初步用户期望编辑看做各个视点所属的列光场的用户期望编辑，然后再在各个列光场用与在行光场传播用户期望编辑相同的方法将用户编辑初步传播到整个光场阵列。 

具体地，若M和N均为正奇数，可选光场图像阵列的中心视点 即光场图像矩阵第行第列的视点位置作为传播初始视点，在中心视点处获取用户期望被传播的编辑，例如，可以通过用户在计算机输入接口输入期望的编辑和笔划。如附图3所示为5*5的光场阵列用户编辑初步传播的方式，用户输入的编辑在中心视点上，H和V表示传播方向是水平和垂直，先在中心视点所在行传播用户期望的编辑，然后在每一列传播这些用户期望的编辑。通过利用光场图像阵列的特殊结构属性，使得只需要在光场图像阵列中某一视点处获取到用户期望的编辑，即可传播到光场图像阵列中的所有其他视点中，降低了编辑传播的复杂度，且提升了编辑传播的效率。 

对极线平面图像阵列中的每一幅图像都是由原光场图像阵列中所有视点的 某一个相同行/列的所有像素构成的。同一个物点在不同视点中所呈的像在亮度和颜色上差异很小，但是这些不同的像点在对极线平面图像中总是按照一个相同的方向分布；不同的物点在不同的视点所呈的像在对极线平面图像中构成了各自不同的特定分布方向。因此，在对极线平面图像上可以看到沿着特定方向的带状条纹。对极线平面图像的一个重要特点是其结构明显的揭示了某一个像素点在不同视点中的位置偏移情况。上述分析对于光场的对极线平面图像具有普适性，因此，可以利用对极线平面图像的特征，基于相似性的搜索步骤在对极线平面图像上传播用户期望的编辑效果。 

请参考附图2为用户期望编辑的传播方式，S和P是用户期望的编辑，由于S和P应该按照与其所在位置原像素最相似的像素的分布方向进行传播，所以目的就是要获得这个最佳方向。在本发明的具体实施例中，利用未提供用户期望输入的光场的对极线平面图像来计算每一个用户期望输入的最佳传播方向。考虑提供了用户输入的对极线平面图像所对应的未提供用户期望输入的原光场的对极线平面图像，寻找最佳传播方向的问题可以表示为如下最小化的数学问题： 

${\min }_{\mathrm{\θ}}\frac{1}{L}{\mathrm{\Σ}}_{s=-\mathrm{\λ}}^{\mathrm{\λ}}{\mathrm{\Σ}}_{r=1}^n{\left|\right|I(i_0,j_0+s)-I(r,j_0+\tan \left(\mathrm{\θ}\right)*(r-i_0)+s)\left|\right|}_2^2---\left(1\right)$

其中，L表示对于确定的θ，在该方向总的像素点个数，这也是一个归一化参数，使得最后最小化的实际上是每一个像素的平均相似度；λ是搜索范围常数，实现中选择λ＝1，即搜索范围是3个像素，λ不应取得过大，应满足对于最小的带状区域，其搜索范围不越界即可，一般应取λ≤5；n表示对极线平面图像的行数；(i₀，j₀)表示用户期望的编辑在提供了用户输入的对极线平面图像中的行列坐标。 

通过搜索的方法优化上式，可以求得最优的θ(0≤θ≤π)，这就是所需要的最佳传播方向。求得最佳传播方向之后，利用公式(2)和公式(3)在提供了用户输入的对极线平面图像上传播用户期望的编辑，就完成了单个用户编辑像素的初步传播。 

i＝j₀+tan(θ)*(r-i₀)        (2) 

I(r，i)＝I(i₀，j₀)(0≤r≤n，0≤i≤m)       (3) 

其中(i₀，j₀)与公式(1)中所述相同；θ是通过优化公式(1)求出的值；n是对极线平面图像的行数；m是对极线平面图像的列数。 

将对极线平面图像上的每一个用户输入编辑使用公式(1)，公式(2)和公式(3)进行传播，就完成了单幅对极线平面图像上用户期望编辑的初步传播。提升了图像编辑传播的效率，简化了图像编辑传播的复杂性。该方法充分利用了对极线平面图像每一行像素都是其相邻图像行像素的平移的关系，采用基于相似性的搜索步骤以极小的运算复杂度在对极线平面图像上进行编辑的初步传播。 

按照上述步骤完成所有提供了用户输入的对极线平面图像上用户期望编辑的传播之后，整个编辑初步传播就完成了。 

S5：将初步传播的结果转换回原图像域。由于每一幅对极线平面图像都包含着来自不同视点图像的相同图像行，所以经过步骤S4的初步传播之后，再将所有对极线平面图像按照其生成的相同方式还原到原图像域，就得到了用户期望编辑初步传播到原图像域后的结果。 

S6：对图像阵列中各个视点分别进行编辑。经过步骤S5的处理后，整个光场中的每一个视点都获得了初步传播的用户编辑，接下来可以在每一个视点上选取任意一种单个视点的编辑传播方法精细化传播这些初步传播后的用户编辑。在本发明的具体实施例中，采用混合域变换方法在单个视点精细化传播用户期望的编辑。 

对极线平面图像的结构特点决定了对极线平面图像每一行的图像像素都是其相邻图像行的像素的平移，这种简单的对应关系使得很容易以极小的运算复杂度在对极线平面图像上进行编辑的初步传播。完成了编辑的初步传播之后，光场中的每个视点都获得了粗糙的用户期望编辑，最后再在单个视点上使用简单的编辑传播方法就可以精细地完成单张图像的编辑传播，分别完成每个视点的编辑传播是一个复杂度很低的过程，计算机配置不要求很高。经过上述框架的处理之后，就可以完成整个光场的编辑传播。本发明所公开的图像编辑传播方法利用光场图像阵列各个视点之间的相关性，既考虑到了整个光场不同视点之间的关系，又利用单个视点像素之间的相似性，简化了光场编辑传播的方法，降低了运算复杂度。 

实施例二： 

本发明还公开了一种光场编辑传播装置，包括： 

光场图像阵列获取模块，用于获取光场图像阵列模块及光场图像阵列的图像深度，光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个图像，其中，M>1，N>1，且都为正整数； 

用户期望编辑获取模块，用于获取用户期望的编辑； 

对极线平面图像阵列转换模块，将光场图像阵列转换成对极线平面图像阵列，对极线平面图像阵列由若干个对极线平面图像构成，对极线平面图像的各行是抽取光场图像阵列同一行的所有视点图像中相同行的像素构成，或者对极线平面图像的各列是抽取光场图像阵列同一列的所有视点图像中相同列的像素构成； 

初步编辑传播模块，用于对极线平面图像阵列获取所述用户期望的编辑，并在所述对极线平面图像上将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果； 

图像域转换模块，将初步传播的结果转换回原光场图像阵列所在的图像域； 

精细编辑传播模块，对原图像域中的单个视点进行编辑传播。 

需要说明的是，上述装置各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。 

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。 

Claims (6)

1.一种光场编辑传播方法，其特征在于，包括以下步骤：

S1、输入光场图像阵列并获取所述光场图像阵列的图像深度，所述光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个图像，其中，M>1，N>1，且M和N都为正整数；

S2、获取用户期望的编辑；

S3、将所述光场图像阵列转换成对极线平面图像阵列，所述对极线平面图像阵列由若干个对极线平面图像构成；所述对极线平面图像的各行是抽取所述光场图像阵列同一行的所有视点图像中相同行的像素构成，或者所述对极线平面图像的各列是抽取所述光场图像阵列同一列的所有视点图像中相同列的像素构成；

S4、所述对极线平面图像阵列获取所述用户期望的编辑，并在所述对极线平面图像上将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果；

S5、将所述初步传播的结果转换回原所述光场图像阵列所在的图像域；

S6、对所述原图像域中的单个视点进行编辑传播。

2.如权利要求1所述的光场编辑传播方法，其特征在于，步骤S2中所述获取用户期望的编辑包括如下步骤：任取所述光场图像阵列中一个视点为传播初始视点，所述传播初始视点获取所述用户期望的编辑；

步骤S4包括如下步骤：

(1)所述传播初始视点所在行的所有视点转换生成的对极线平面图像阵列为第一对极线平面图像阵列，将所述用户期望的编辑在所述第一对极线平面图像阵列中进行初步传播，所述传播初始视点所在行的所有视点获取到所述用户期望的编辑；

(2)所述传播初始视点所在行的各个视点所在列的所有视点转换生成的对极线平面图像阵列为第二对极线平面图像阵列，将所述用户期望的编辑在所述第二对极线平面图像阵列中进行初步传播。

3.如权利要求2所述的光场编辑传播方法，其特征在于，所述光场图像阵列的M和N都为奇数，所述光场图像阵列中的视点视为中心视点，取所述中心视点为所述传播初始视点。

4.如权利要求3所述的光场编辑传播方法，其特征在于，步骤S4中将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域包括如下步骤：

(1)获取使下式满足最小值的θ值：

${\min }_{\mathrm{\θ}}\frac{1}{L}{\mathrm{\Σ}}_{s=-\mathrm{\λ}}^{\mathrm{\λ}}{\mathrm{\Σ}}_{r=1}^n{\left|\right|I(i_0,j_0+\mathrm{\ϵ})-I(r,j_0+\tan \left(\mathrm{\θ}\right)\·(r-i_0)+\mathrm{\ϵ})\left|\right|}_2^2$

其中，L表示对于确定的θ，在该方向总的像素点个数，λ是搜索范围常数，n表示对极线平面图像的行数，(i₀，j₀)表示用户期望的编辑在提供了用户输入的对极线平面图像中的行列坐标，I(i,j)表示坐标(i，j)所对应像素点处用户期望的编辑；

(2)利用下面两个公式在所述对极线平面图像上传播所述用户期望的编辑：

I＝j₀+tan(θ)·(r-i₀)

I(r，j)＝I(i₀，j₀)(0≤r≤n，0≤1≤m)

其中，m是对极线平面图像的列数。

5.如权利要求1所述的光场编辑传播方法，其特征在于，步骤S5中对单个视点进行编辑传播采用混合域方法编辑。

6.一种光场编辑传播装置，其特征在于，包括：

光场图像阵列获取模块，用于获取光场图像阵列模块及所述光场图像阵列的图像深度，所述光场图像阵列是对同一个物点进行不同视点采样得到的M行*N列个图像，其中，M>1，N>1，且M和N都为正整数；

用户期望编辑获取模块，用于获取用户期望的编辑；

对极线平面图像阵列转换模块，将所述光场图像阵列转换成对极线平面图像阵列，所述对极线平面图像阵列由若干个对极线平面图像构成，所述对极线平面图像的各行是抽取所述光场图像阵列同一行的所有视点图像中相同行的像素构成，或者所述对极线平面图像的各列是抽取所述光场图像阵列同一列的所有视点图像中相同列的像素构成；

初步编辑传播模块，用于对极线平面图像阵列获取所述用户期望的编辑，并在所述对极线平面图像上将所述用户期望的编辑传播到与所述用户期望的编辑所在位置原像素最相似的区域，得到初步传播的结果；

图像域转换模块，将所述初步传播的结果转换回原所述光场图像阵列所在的图像域；

精细编辑传播模块，对所述原图像域中的单个视点进行编辑传播。