CN111932658B - 一种流形结构保持的360度全景图像的高效编辑扩散方法 - Google Patents

Abstract

本发明公开了一种流形结构保持的360度全景图像的编辑扩散方法，包括：S1，将平面图像映射到球面坐标；S2，建立360度全景图像的球面流形；S3，基于球面流形保持的编辑扩散；S4，基于多分辨率的高效编辑扩散。该方法能够将用户的简单笔画上的编辑操作快速准确地在球面上进行传播，实现360度全景图的交互式高效编辑。

Description

一种流形结构保持的360度全景图像的高效编辑扩散方法

技术领域

本发明属于图像编辑和虚拟现实技术领域，具体涉及一种流形结构保持的360度全景图像的高效编辑扩散方法。

背景技术

编辑扩散最早由An和Pellacini提出，该方法提出了一种简单直观的交互手段用于图像编辑，用户只需在图像上添加简单笔画表明编辑意图，算法就可以自动地将编辑扩散到整个图像，其核心是基于用户编辑以及像素间的相似性构建能量方程，通过求解线性方程组得到编辑结果。为了提升编辑扩散的计算速度，学者们先后提出了基于K-D树、四叉树、RBF等插值方法。为了提升编辑的视觉效果，Ma等人将反走样方法应用于编辑扩散，能够改善先前编辑扩散在图像边缘颜色的错误混合。Chen等人提出了基于流形保持的编辑扩散方法，该方法将每个像素表示成近邻像素的线性组合，能够生成高质量的编辑扩散结果，并且从根本上解决了颜色混合问题。

近年来，基于机器学习的方法开始广泛应用于图像编辑。Oh等人将编辑扩散问题构造成分类问题并能够通过SVM高效求解。Chen等人提出了使用稀疏字典学习方法能够灵活地实现图像上色并保持图像内部的颜色特征。Endo等人对用户的编辑笔画进行深度神经网络训练，并通过训练的模型来决定编辑扩散的结果。

360度全景图像能够展示360度场景的内容，目前广泛应用于虚拟现实。用户使用可穿戴设备如Oculus Rift，HTC Vive等，通过拖拽或转动头部实现交互式浏览。如果直接将以上普通图像编辑的方法直接应用于全景图像会引起诸多问题，原因在于360度全景图通常定义于球面且包含更宽广视角下的图像内容，直接应用2D图像的编辑方法难以保证左右边界的连续性、球面两极点附近的正常扩散以及编辑扩散的计算效率。

为了较好地实现360度全景图像的编辑扩散，需要充分考虑其球面的几何属性，重新在球面上定义各像素的流形结构，从而实现编辑笔画在球面上的正确传播。

发明内容

本发明要解决的技术问题是提供一种流形结构保持的360度全景图像的高效编辑扩散方法，该方法在球面上定义流形结构，通过构建全局能量优化实现高效的编辑传播。

为了解决上述技术问题，本发明采用如下技术方案：

一种流形结构保持的360度全景图像的高效编辑扩散方法，包括以下步骤：

S1，将平面图像映射到球面坐标，具体为，以等效矩形的图像为输入，提取出其颜色和位置信息，然后将平面上的像素点映射到球面并转换成对应的经纬度，并进一步转换为单位球体上的3D坐标；

S2，建立360度全景图像的球面流形，具体为，对每个像素，用颜色和3D坐标组成的高维特征向量表示其特征，并通过高维向量之间的欧氏距离度量像素间的相似度，然后基于该度量进一步寻找每个像素的K个最近邻，最后通过求解基于局部线性嵌入约束的优化得到K近邻的相应权值，从而将任意一个像素表示为K个邻近像素的线性组合；

S3，基于球面流形保持的编辑扩散，具体为，给定用户编辑的笔画和相应的编辑参数，建立能量优化函数实现编辑扩散，其约束为保持用户笔画上的编辑和每个像素的流形结构；

S4，基于多分辨率的高效编辑扩散，具体为，对于超高分辨率的全景图输入，首先将图像进行下采样，并在下采样的图像上进行编辑扩散，然后对编辑扩散的结果进行上采样，并通过导向性滤波进行编辑结果提升，最后结合原输入图像渲染出高质量编辑结果。

优选地，步骤2所述的流形结构中，近邻数量根据像素与近邻的相似度和球面坐标上该像素的纬度自适应调整，公式如下：

其中θ是纬度，a是常量，通常取0.6，d_i是邻域像素与中心像素在特征空间的距离，d_min和d_max是该距离的最小和最大值，K_min和K_max给出了近邻数量的取值范围。

优选地，步骤2所述的流形结构中，每个近邻的权值进一步根据近邻与中心像素点的相似度进行调整，使得相似近邻的权值更大，公式如下：

其中，ζ_ij＝1-S(D(f_i,f_j))，β是通常取0.5，S()是Sigmoid函数，D(f_i,f_j)表示两像素的特征向量之间的距离，由两像素的颜色距离和大圆距离之和组成，w_i,j为每个近邻像素的权值。

优选地，步骤3所述的能量优化的求解能够通过K-D树结构进行加速，使得能量优化的求解能够基于聚类后的角点，从而能够大大减少未知数的个数，公式如下：

其中，

是结点i的编辑强度和数值，由相邻结点的中的像素加权得到，m_i表示对结点i有贡献的像素数目，通过求解方程得到结点的编辑强度数值

后，每个像素的编辑强度由结点的多重线性插值得到。

采用本发明具有如下的有益效果：

(1)本发明所述的流形结构保持的360度全景图像的高效编辑扩散是首次提出的基于笔画交互的360度全景图像编辑方法，能够产生无缝自然的编辑结果，且用户能够得到快速反馈。

(2)本发明所述的流形结构保持的360度全景图像的高效编辑扩散方法提出了基于球面的像素流形结构。

(3)本发明所述的流形结构保持的360度全景图像的高效编辑扩散方法提出了高效的求解方法通过快速扩散用户的编辑操作并同时能够保持球面上的流形结构。

附图说明

图1为本发明实施例一种流形结构保持的360度全景图像的高效编辑扩散方法的处理流程示意图；

图2为基于图1所示处理方法的360度全景图像编辑扩散系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1与图2，本发明公开了一种流形结构保持的360度全景图像的高效编辑扩散方法，该方法包括：

S1，将平面图像映射到球面坐标

以等效矩形的图像为输入，对于其中任一像素P，首先计算出其在球面上对应的经度λ、纬度

然后将单位球上坐标为(1，0，0)的经纬度设为0，从而计算出P在单位球上的3D坐标，公式如下：

S2，建立360度全景图像的球面流形

对每个像素i，用颜色和3D坐标组成的高维特征向量f_i＝(r,g,b,x,y,z)表示其特征，并通过高维向量之间的欧氏距离度量像素间的相似度，然后基于该度量进一步寻找每个像素的K个最近邻，其特征向量为f_j,由于高维特征向量的各维度彼此独立，能够通过建立K-D树结构加速K近邻的搜索过程。最后构造基于局部线性嵌入约束的能量优化求解K个近邻像素的权值w_i,j(即w_i,j为每个近邻像素的权值)，公式如下：

S3，基于球面流形保持的编辑扩散

以用户指定的笔画编辑为输入，笔画上的每个像素的编辑表示为g_i，编辑扩散的目标就是以用户笔画编辑和像素上的流形结构为约束，构建能量方程，最终获取所有像素点上的最优的编辑e_i，能量方程的公式如下：

其中u_i∈[0,1]，用于指示像素i上是否有用户编辑，0-表示没有笔画编辑的约束，1-表示有笔画编辑的约束；e_j和w_i,j分别是像素i的邻域像素j的编辑及其相应的权值，该权值由步骤S2决定。

S4，基于多分辨率的高效编辑扩散

对于超高分辨率的全景图输入，首先将源图像进行下采样到低分辨率，然后采用步骤S3的策略通过K-D树重新组织低分辨率的像素，基于聚类后的角点计算编辑扩散图。进一步地，将低分辨率下的编辑扩散图通过双线性插值的方式上采样到原始分辨率，并通过导向滤波器(Guided Filter)提升上采样后的编辑扩散图的质量。最后，根据滤波后编辑扩散图和用户编辑输入，计算源图像编辑后的结果。

一优选实施例中，步骤2还包括：为了实现编辑扩散中能量优化的高效求解，降低待求解方程的复杂度，提出了根据像素与邻域的相似度以及在球面上的位置，来适应性地调整邻域大小，具体策略是：若邻域像素与中心像素的相似度较高，或纬度较高，则相应减少邻域的数量，公式如下：

其中θ是纬度，a是常量，通常取0.6，d_i是邻域像素与中心像素在特征空间的距离，d_min和d_max是该距离的最小和最大值，K_min和K_max给出了近邻数量的取值范围。

一优选实施例中，步骤2还包括：为了进一步加速编辑扩散中能量优化的高效求解，提出了更新像素流形结构中各近邻权值，其策略是增加在特征空间上距离较小结点的权值，同时相应减少距离较大结点的权值，公式如下：

其中，ζ_ij＝1-S(D(f_i,f_j))，β是通常取0.5，S()是Sigmoid函数，D(f_i,f_j)表示两像素的特征向量之间的距离，由两像素的颜色距离和大圆距离之和组成。

一优选实施例中，步骤3包括：采用K-D树结构在特征空间上对360度全景图的像素进行聚类，然后基于K-D树的角点构建其球面上的流形结构，并进下建立基于角点的编辑扩散的能量方程，从而能够大大减少未知数的个数，实现编辑扩散的快速求解，公式如下：

其中，

是结点i的编辑强度和数值，由相邻结点的中的像素加权得到，m_i表示对结点i有贡献的像素数目。通过求解方程得到结点的编辑强度数值

后，每个像素的编辑强度由结点的多重线性插值得到。

通过以上技术方案，本发明实施例的流形结构保持的360度全景图像的高效编辑扩散方法能够有效解决传统编辑扩散方法的边界不连续问题，通过球面流形结构的构建、K-D树、适应性近邻数量和权值、下采样和滤波等方式能够高效地实现360度全景图的编辑扩散，并提升其视觉效果。

本发明能够有效实现360度全景图像的交互式编辑扩散，其关键算法是360度全景图像编辑处理的基本框架，有着广泛的应用，如全景图像的滤波、增强、去模糊等。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (4)

1.一种流形结构保持的360度全景图像的高效编辑扩散方法，其特征在于，包括以下步骤：

S1，将平面图像映射到球面坐标，具体为，以等效矩形的图像为输入，提取出其颜色和位置信息，然后将平面上的像素点映射到球面并转换成对应的经纬度，并进一步转换为单位球体上的3D坐标；

S2，建立360度全景图像的球面流形，具体为，对每个像素，用颜色和3D坐标组成的高维特征向量表示其特征，并通过高维向量之间的欧氏距离度量像素间的相似度，然后基于该度量进一步寻找每个像素的K个最近邻，最后通过求解基于局部线性嵌入约束的优化得到K近邻的相应权值，从而将任意一个像素表示为K个邻近像素的线性组合；

S3，基于球面流形结构保持的编辑扩散，具体为，给定用户编辑的笔画和相应的编辑参数，建立能量优化函数实现编辑扩散，其约束为保持用户笔画上的编辑和每个像素的流形结构；

S4，基于多分辨率的高效编辑扩散，具体为，对于超高分辨率的全景图输入，首先将图像进行下采样，并在下采样的图像上进行编辑扩散，然后对编辑扩散的结果进行上采样，并通过导向性滤波进行编辑结果提升，最后结合原输入图像渲染出高质量编辑结果。

2.如权利要求1所述的流形结构保持的360度全景图像的高效编辑扩散方法，其特征在于，步骤2所述的流形结构中，近邻数量根据像素与近邻的相似度和球面坐标上该像素的纬度自适应调整，公式如下：

其中θ是纬度，a是常量，取0.6，d_i是邻域像素与中心像素在特征空间的距离，d_min和d_max是该距离的最小和最大值，K_min和K_max给出了近邻数量的取值范围。

3.如权利要求1所述的流形结构保持的360度全景图像的高效编辑扩散方法，其特征在于，步骤2所述的流形结构中，每个近邻的权值进一步根据近邻与中心像素点的相似度进行调整，使得相似近邻的权值更大，公式如下：

其中，ζ_ij＝1-S(D(f_i,f_j))，β是常量，取0.5，S()是Sigmoid函数，D(f_i,f_j)表示两像素的特征向量之间的距离，由两像素的颜色距离和大圆距离之和组成，w_i,j为每个近邻像素的权值。

4.如权利要求1所述的流形结构保持的360度全景图像的高效编辑扩散方法，其特征在于，步骤3所述的能量优化的求解能够通过K-D树结构进行加速，使得能量优化的求解能够基于聚类后的角点，公式如下：

其中，

是结点i的编辑强度和数值，由相邻结点的中的像素加权得到，m_i表示对结点i有贡献的像素数目，通过求解方程得到结点的编辑强度数值

后，每个像素的编辑强度由结点的多重线性插值得到。

Images