CN105957004A - 一种基于图割优化的全景影像修补方法及系统 - Google Patents

Abstract

一种基于图割优化的全景影像修补方法及系统，包括将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补；进行影像亮度的全局增益补偿以及亮度的调和，然后反投影在原始的360度全景影像上；进行全景影像羽化，得到全景影像修补结果。本发明的优点在于，仅利用单张全景影像就可以将影像中由于平台遮挡所造成的缺失部分快而有效地修补完整，整个匹配过程快而准确，解决了初始修补后的透视投影图片中存在的亮度不一致的问题，得到没有修补痕迹的完整的全景影像。

Description

一种基于图割优化的全景影像修补方法及系统

技术领域

本发明属于全景图像修复技术领域，特别是涉及一种基于图割优化的全景影像修补方法及系统。

背景技术

全景影像相比普通影像，拥有更大的视场角和观察范围，因而被广泛应用在室外街景导航以及室内全景展示与浏览等领域。目前，生产得到一幅满足应用要求的360度全景影像所采用的基本思路是将多张影像拼接成一幅360度全景影像。具体的过程会视场景条件不同而有所区别：对于室外的街景影像采集，主要是利用安装在可移动平台(如：全景车)上的集成多摄像头的设备，同时采集不同视角的多张影像，然后进行影像拼接；对于室内全景影像的采集，除了使用集成多摄像头的设备意外，还可以使用安装在固定平台(如：三脚架)上的单个摄像头依次拍摄不同视角的影像，然后进行影像拼接。无论采用哪一种方法，都无法得到真正完整的360度全景影像，其主要原因有两个：其一是集成的摄像头设备并不能真正的覆盖360度范围的视场角；其二是受到平台的遮挡，使得平台后的影像无法采集。

目前，针对全景影像的图像修补方法很少。近年来，提出了一种基于时序影像的全景影像修复方法。但是这种方法需要借助连续的多张全景影像，且对地形和缺失部分纹理的连续性都有较高的要求，因而在实际应用中并不适用。如果能将普通影像的修补方法与全景影像的特点结合起来，会使方法具有更高的应用前景。

当前，针对普通影像的修补方法主要有两类：一类是基于扩散模型的修补方法；另一类是基于样本的影像修补方法。在基于样本的影像修复方法中，又可细分为基于匹配的修复方法和基于图的优化的修复方法。

基于扩散模型的图像修补方法，是通过解求偏微分方程或者其他的一些相似的扩散模型，将图片中已知区域的信息延伸到位置区域。这一类方法利用了影像的连续性特征，当影像的缺失区域较大，影像结构和纹理的缺失不满足了扩散模型的条件时，这一类方法就不再适用。

基于匹配的影像修补方法是通过匹配影像中未知区域的子块与已知区域的子块，然后用对应的已知区域的内容来填补图像中的未知区域。这种方法可以很好的修复图像中缺失区域的结构和纹理，但是这个过程的计算量很大，而且往往是一个迭代收敛的过程，因而对初始值和优化方法有较高的要求。

基于图的优化的影像修补方法不是一对一地进行子块的匹配，而是基于图的思想。图的每一个节点对应一系列标记中的一个确切的值。而这个标记集就是用来修补缺失区域的子块的位置集合(相对位置或绝对位置)。图的每一条边用来约束相邻的节点之间内容的连续性与一致性。这种方法将整个过程视为一个马尔科夫随机场，然后利用置信传播或者图割优化的方法优化出最佳的标记图。最后用优化出的标记图知道影像的修补过程。

但是上述的这些针对普通影像的修补方法都利用了影像本身的结构信息和纹理特征。但是在全景影像中，由于是将一个球面空间展开到一个平面上，影像本身存在较大的变形，这使得影像的结构和纹理特征很难使用，传统的影像修补方法无法直接应用到全景影像的修补上来。

发明内容

本发明要解决的技术问题是针对全景影像中存在的缺损或被平台遮挡问题，提出一种基于单张全景影像，能有效地将影像中的缺失部分修补起来的技术方案。

本发明提供一种基于图割优化的全景影像修补方法，包括以下步骤：

步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；

步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，

步骤2.1，将投影图像从RGB转到YCbCr空间；

步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T；所述patch为子块；

步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；

步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，

寻找作为匹配结果的候选patch，设p_A(x,y)是待匹配的patch，依次遍历p_A(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；

在所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是p_A(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；

步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；

步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；

步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，

步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；

步骤3.2，进行亮度通道的全局增益补偿；

步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；

步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；

步骤5，进行全景影像羽化，得到全景影像修补结果。

而且，步骤2.3的划分过程如下，

步骤2.3.1，新建一个空节点，作为KD树的根节点；

步骤2.3.2，依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下，

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

步骤2.3.3，计算所有patch在第i维特征上的分量的中位数w，以w为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，重复步骤2.3.2和步骤2.3.3；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。

而且，步骤3.2在L通道对图像的灰度进行调整，包括以下的步骤，

步骤3.2.1，修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；

步骤3.2.2，记每一幅子图像在L通道的增益系数为a_i,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，I_i和I_j表示相邻的两幅子图像，e_ij描述的是相邻的子图像I_i和I_j之间的亮度差异；

考虑到所有的邻接关系，全局的能量方程式如下，

为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；

步骤3.2.3，根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。

本发明实施例还提供一种基于图割优化的全景影像修补系统，包括以下模块：

第一模块，用于将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；

第二模块，用于对第一模块中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，包括以下子模块，

子模块A1，用于将投影图像从RGB转到YCbCr空间；

子模块A2，用于对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T；所述patch为子块；

子模块A3，用于根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；

子模块A4，用于基于子模块A3划分出的KD树，快速地进行patch的匹配；匹配的方式为，

寻找作为匹配结果的候选patch，设p_A(x,y)是待匹配的patch，依次遍历p_A(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；

在所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是p_A(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；

子模块A5，用于对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；

子模块A6，用于将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；

第三模块，用于进行影像亮度的全局增益补偿以及亮度的调和，包括以下子模块，

子模块B1，用于将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；

子模块B2，用于进行亮度通道的全局增益补偿；

子模块B3，用于将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；

第四模块，用于按照第一模块的逆过程，将第三模块所得修补调整后的透视投影图片反投影在原始的360度全景影像上；

第五模块，用于进行全景影像羽化，得到全景影像修补结果。

而且，子模块A3包括以下单元，

单元A31，用于新建一个空节点，作为KD树的根节点；

单元A32，用于依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下，

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

单元A33，用于计算所有patch在第i维特征上的分量的中位数，以为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，命令单元A32和A32重新工作；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。

而且，子模块B2在L通道对图像的灰度进行调整，包括以下单元，

单元B21，用于修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；

单元B22，用于记每一幅子图像在L通道的增益系数为a_i,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，I_i和I_j表示相邻的两幅子图像，e_ij描述的是相邻的子图像I_i和I_j之间的亮度差异；

考虑到所有的邻接关系，全局的能量方程式如下，

为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；

单元B23，用于根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。

本发明的优点在于：仅利用单张全景影像就可以将影像中由于平台遮挡所造成的缺失部分快而有效地修补完整。本发明首先基于KD树的结构进行patch的匹配，使得整个匹配过程快而准确；对于初始修补后的透视投影图片中存在的亮度不一致的情况，本发明采用增益系数补偿以及多影像融合的方法很好的解决了这一问题；对于将透视投影图片反投影到全景影像后，影像中存在的修补痕迹，本发明采用了羽化的方法进行改善。本发明提出了一个系统性的处理流程来将一张缺损的全景影像修补完整，最终可以得到一幅几乎看不出修补痕迹的完整的全景影像。

附图说明

图1为本发明实施例方法的整体流程图。

图2为本发明实施例的16个WHT变换核的分布示意图。

图3为本发明实施例的基于KD树进行匹配，为了避免局部最优化而采用的匹配策略的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明采用的技术方案提供一种对360度全景影像中的缺失部分进行修补的方法。如图1所示，包括以下处理步骤：

步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域。根据预设的焦距值f以及透视图片尺寸W，并且指定此时的视线方向(α，β)，具体的投影变换过程如下：

步骤1.1，将全景影像像素坐标(x′,y′)转换为球面虚拟实景中的三维坐标(u,v,w)，转换关系如下：

$\left\{\begin{array}{c}u=fcos(\frac{\mathrm{\π}}{2}-\frac{y^{\′}}{f})cos\left(\frac{x^{\′}}{f}\right)\\ v=f\sin (\frac{\mathrm{\π}}{2}-\frac{y^{\′}}{f})\\ w=fcos(\frac{\mathrm{\π}}{2}-\frac{y^{\′}}{f})\sin \left(\frac{x^{\′}}{f}\right)\end{array}\right.$

步骤1.2，根据视线方向，将球面坐标(u,v,w)变换为相机坐标系下的坐标(x_g,y_g,z_g)，关系如下：

$\left[\begin{array}{c}{x}_g\\ y_g\\ z_g\end{array}\right]={R_x}^{-1}\left(\mathrm{\α}\right){R_y}^{-1}\left(\mathrm{\β}\right)\left[\begin{array}{c}u\\ v\\ w\end{array}\right]$

其中，矩阵

步骤1.3，将相机坐标系下的坐标(x_g,y_g,z_g)按透视投影成像规律，得到对应像点在相机坐标系下的坐标(x,y,z)，转换关系如下，式子中，t是透视投影的比例因子：

$\left\{\begin{array}{c}x-W/2={\mathrm{tx}}_g\\ y-W/2={\mathrm{ty}}_g\\ z={\mathrm{tz}}_g\\ z=-f\end{array}\right.$

其中的(x,y)就是在透视投影图片中对应像点的像平面坐标。因为在应用中，一幅360度全景影像中缺失的部分往往是位于采集设备正下方。因此推荐α和β的值分别为-90度和0度。具体实施时，本领域技术人员可自行设定f和W的值，可视原始的全景影像的尺寸来进行调整。

步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片Mask(在模板中，缺失区域为黑色，已知区域为白色)，采用基于图割的方法进行修补。具体的步骤如下：

步骤2.1，将投影图像从RGB转到YC_bC_r空间，转换关系为：

$\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{ccc}0.257& 0.564& 0.098\\ -0.148& -0.291& 0.439\\ 0.439& -0.368& -0.071\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]$

步骤2.2，对转换到YC_bC_r空间的图像，基于尺寸为P×P的子块(patch)，逐像素进行离散的Walsh-Hadamard变换。该变化用到的卷积核如图2所示，16个WHT变换的变换核(白色代表1，黑色代表-1)。其中对Y通道使用全部16个卷积核，得到对应的16个特征量，对C_b和C_r通道分别仅利用前4个卷积核，共提取出8个特征量。做完Walsh-Hadamard变换后，一个P×P的patch对应一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T。这一步中由于Walsh-Hadamard变换卷积核的尺寸必须是4的整数倍，因此这里的P也应该是4的整数倍，具体实施时，本领域技术人员可自行设定P的值，推荐的值为8。

步骤2.3，每一个patch对应一个24维的WHT特征向量，基于特征向量进行KD树的划分。具体的划分过程如下：

步骤2.3.1，新建一个空节点，作为KD树的根节点。

步骤2.3.2，依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i(i＝1,2…24)。计算当前划分KD树所依据的维度i，计算公式如下，其中n表示24维特征向量的第n维分量：

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

步骤2.3.3，计算所有patch在第i维特征上的分量的中位数以为阈值，划分整幅图像所有的patch。小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点。然后，分别以此时的左孩子节点和右孩子节点为根节点，重复步骤2.3.2和步骤2.3.3。直至划分出的所有节点中包含的patch数目均小于一定值count，则结束迭代，生成一个完整的KD树。具体实施时，本领域技术人员可自行设定count取值，推荐的count值为8。

步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配。为了避免出现局部最优化的情况，本方法进一步采用了一定的匹配策略。具体的匹配过程如下：

步骤2.4.1，寻找作为匹配结果的候选patch。p_A(x,y)是待匹配的patch，p_A(x+Δx,y+Δy)是p_A(x,y)的4邻域内任意一个已经完成匹配的patch，p_A(x+Δx,y+Δy)对应匹配的patch表示为p_B(x′,y′)。对p_A(x,y)匹配的候选的patch将会包含两个部分：第一个部分是p_A(x,y)所在的KD树节点中包含的其他patch；第二部分是p_B(x′+Δx,y′+Δy)所在的KD树节点Leaf#1中所有的patch。按照这种策略依次遍历p_A(x,y)代表像素的4邻域邻接像素，即可得到总的候选patch集合。图3以左邻接像素为例，示意了这一匹配策略的基本原理与过程。

步骤2.4.2，可根据patch之间的欧氏距离，在步骤2.4.1所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch(欧式距离最近)，并计算对应的二维坐标偏移量，计算公式如下，P(x)和P(x+s)表示一对匹配的patch：

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(Δx,Δy)是一个二维的坐标偏移量，x＝(x,y)，是pA(x,y)的位置坐标。||·||表示patch在24维WHT特征空间的欧氏距离。τ为一个近距离约束的阈值，具体实施时，本领域技术人员可自行设定取值，推荐的阈值为max(w,h)/15，w表示影像的宽度，h表示影像的高度。

步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S。对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量。具体实施时，本领域技术人员可自行设定取值，本方法中针对全景影像，K的推荐值为100。具体的步骤如下：

步骤2.5.1，根据下述公式生成二维坐标偏移量的二维统计直方图h(u,v)：

$h(u,v)=\underset{s\∈S}{\Σ}\mathrm{\δ}\left(s\right(x)=(u,v\left)\right)$

δ(·)是一个简单的二值函数，若括号内的判断为真，则δ(·)的值取1，否则取0。

步骤2.5.2，对步骤2.5.1中得到的二维直方图进行二维离散高斯滤波，离散高斯滤波的模板G为：

$G=\left[\begin{array}{ccccccc}1& 4& 7& 10& 7& 4& 1\\ 4& 12& 26& 33& 26& 12& 4\\ 7& 26& 55& 71& 55& 26& 7\\ 10& 33& 71& 91& 71& 33& 10\\ 7& 26& 55& 71& 55& 26& 7\\ 4& 12& 26& 33& 26& 12& 4\\ 1& 4& 7& 10& 7& 4& 1\end{array}\right]$

步骤2.5.3，高斯滤波后，以9×9的局部窗口在整个直方图的范围内搜索局部的峰值。

步骤2.5.4，将搜索出的峰值进行排序，前K个值对应的坐标偏移量作为表示图片结构特征的主要偏移量S′。

步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补，具体过程如下：

步骤2.6.1，定义能量函数。记原始影像中缺失区域为Ω₁，将Ω₁进行形态学膨胀至区域Ω₂，并且记区域Ω₃＝Ω₂-Ω₁。则能量函数定义为：

$E\left(L\right)=\underset{x\∈{\mathrm{\Ω}}_2}{\Σ}{E}_d\left(L\right(x\left)\right)+\underset{(x,x^{\′})|x\∈{\mathrm{\Ω}}_{2,}{x}^{\′}\∈{\mathrm{\Ω}}_2}{\Σ}{E}_s\left(L\right(x),L(x^{\′}\left)\right)$

其中，(x,x′)是4邻域内的相邻像素，L(·)表示该位置对应的标记，E_d表示能量函数中的能量项，E_s表示能量函数中的平滑项。它们的具体表达式分别如下：

D_s是在膨胀区域对修补边缘增强能量约束所添加的项，其公式如下：

$D_s=\left|\right|I(x+o(L\left(x\right)\left)\right)-I\left(x\right)|{|}^2+||\▿I(x+o(L\left(x\right)\left)\right)-\▿I\left(x\right)|{|}^2$

式中，o(·)标记所对应的二维坐标偏移量，I(·)表示影像的RGB值，表示原始影像的梯度影像。||·||表示计算欧氏距离。

E_s(L(x),L(x′))＝E_s ^color+κ×E_s ^gradient

式中，E_s ^color和E_s ^gradient分别表示能量平滑项中的灰度部分和梯度部分。κ是调整两部分的权重因子，具体实施时，本领域技术人员可自行设定取值，推荐κ＝2。

E_s ^color＝||I(x+o(L(x)))-I(x+o(L(x′)))||²+||I(x′+o(L(x)))-I(x′+o(L(x′)))||²

${E_s}^{gradient}=\left|\right|\▿I(x+L(x\left)\right)-\▿I(x+L(x^{\′}\left)\right)|{|}^2+||\▿I(x^{\′}+L(x\left)\right)-\▿I(x^{\′}+L(x^{\′}\left)\right)|{|}^2$

步骤2.6.2，基于步骤2.6.1的能量函数，在图割优化的框架下进行能量优化，输出最优的标记图。具体优化实现为现有技术，本发明不予赘述。

步骤2.6.3，若当前缺失像素的位置为x，其在优化得到的标记图中对应的标记为l，而l对应于K个主要坐标偏移量中的Δx(Δu,Δv)，则根据标记图进行影像修补的过程是：将x+Δx处的像素填补到x处。按照这样一个过程依次填补缺失区域的所有像素点。

步骤3，影像亮度的全局增益补偿以及亮度的调和。在上一步，通过图割优化的方法将透视投影图片中缺失的部分修补起来，但是由于全景影像采集场景往往存在复杂的光照条件，修补起来的区域内部以及与外部的已知区域存在明显的亮度差异。这一步就是要解决这个问题。主要的过程如下：

步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间。转换过程如下：

步骤3.1.1，将灰度向量从RGB空间转到LMS空间，转换矩阵T₁：

$T_1=\left[\begin{array}{ccc}0.3811& 0.5783& -0.0787\\ -0.2298& 1.1834& 0.0464\\ 0.0000& 0.0000& 1.0000\end{array}\right]$

步骤3.1.2，将灰度向量从LMS空间转到Lαβ空间，转换矩阵T₂：

$T_2=\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{6}}& 0\\ 0& 0& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]$

步骤3.2，亮度通道的全局增益补偿。在L通道对图像的灰度进行调整，包括了以下的步骤：

步骤3.2.1，修补起来的区域是由不同的标记指示的像素修补起来的。认为每一个标记对应的像素集合构成一幅子图像。K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的。

步骤3.2.2，记每一幅子图像在L通道的增益系数为a_i,i∈[1,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式：

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是一个权值系数，I_i和I_j表示相邻的两幅子图像，即子图像i、子图像j，μ(·)表示对应子图像的平均亮度值，e_ij描述的是相邻的子图像i与子图像j之间的亮度差异。考虑到所有的邻接关系，全局的能量方程式为：

要使上式表示的全局能量方程式的值E最小，可通过线性最小二乘方法求解，最后得到每一幅子图的增益系数。

步骤3.2.3，根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示第i幅子图像上任一像素p在增益补偿前后的灰度值。

步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步的调整各个子图像与原始背景之间的亮度差异，得到修补好并且亮度增益补偿和调和均完成的透视投影图片。

步骤4，按照步骤1的逆过程，将步骤3所得透视投影图片反投影在原始的360度全景影像上。

步骤5，全景影像羽化操作。由于透视投影图片的分辨率往往会低于原始的360度全景图片。直接将透视投影图片反投影在原始的全景影像上，将会在修补区域与原始区域产生明显的缝隙。可以采用羽化的后处理操作来弥补这样的修补痕迹。具体的过程如下：

步骤5.1，在步骤4中，有两种反投影的模式：一种是根据缺失图像的模板，仅仅将透视投影图片中缺失区域对应的像素反投影回全景影像，得到全景影像I_p ^o，这幅影像上存在明显的缝隙；另一种是将修补好的整幅透视图片反投影回原始的360度全景影像，得到全景影像I_p ^b，这幅影像分辨率降低严重，存在严重的模糊现象。首先分别得到这两幅影像。

步骤5.2，全景影像上原始的缺损区域记为Ψ₁，其轮廓线记为A，将Ψ₁进行形态学膨胀至Ψ₂，其轮廓线记为B。羽化操作就是对位于A和B之间的像素进行灰度调整，在一定程度上做到减少缝隙的同时不明显降低影像的分辨率，具体的做法如下：

步骤5.2.1，记位于A和B之间的像素x，按照如下公式计算权重系数ω：

ω＝d(x,A)/(d(x,A)+d(x,B))

其中，d(x,·)表示像素x到对应轮廓线的垂直距离。

步骤5.2.2，根据算出的权重系数，计算羽化后的像素灰度值：

I_p(x)＝ω×I_p ^o(x)+(1-ω)×I_p ^b(x)

式中，I_p(x)为羽化后的全景影像上x处的像素灰度值，I_p ^o(x)为全景影像I_p ^o上x处的像素灰度值，I_p ^b(x)为全景影像I_p ^b上x处的像素灰度值。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例还提供一种基于图割优化的全景影像修补系统，包括以下模块：

第一模块，用于将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；

第二模块，用于对第一模块中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，包括以下子模块，

子模块A1，用于将投影图像从RGB转到YCbCr空间；

子模块A2，用于对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T；所述patch为子块；

子模块A3，用于根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；

子模块A4，用于基于子模块A3划分出的KD树，快速地进行patch的匹配；匹配的方式为，

寻找作为匹配结果的候选patch，设p_A(x,y)是待匹配的patch，依次遍历p_A(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；

在所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是p_A(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；

子模块A5，用于对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；

子模块A6，用于将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；

第三模块，用于进行影像亮度的全局增益补偿以及亮度的调和，包括以下子模块，

子模块B1，用于将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；

子模块B2，用于进行亮度通道的全局增益补偿；

子模块B3，用于将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；

第四模块，用于按照第一模块的逆过程，将第三模块所得修补调整后的透视投影图片反投影在原始的360度全景影像上；

第五模块，用于进行全景影像羽化，得到全景影像修补结果。

进一步地，子模块A3包括以下单元，

单元A31，用于新建一个空节点，作为KD树的根节点；

单元A32，用于依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下，

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

单元A33，用于计算所有patch在第i维特征上的分量的中位数，以为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，命令单元A32和A32重新工作；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。

进一步地，子模块B2在L通道对图像的灰度进行调整，包括以下单元，

单元B21，用于修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；

单元B22，用于记每一幅子图像在L通道的增益系数为a_i,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，I_i和I_j表示相邻的两幅子图像，e_ij描述的是相邻的子图像I_i和I_j之间的亮度差异；

考虑到所有的邻接关系，全局的能量方程式如下，

为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；

单元B23，用于根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。

各模块具体实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于图割优化的全景影像修补方法，其特征在于，包括以下步骤：

步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；

步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，

步骤2.1，将投影图像从RGB转到YCbCr空间；

步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T；所述patch为子块；

步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；

步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，

寻找作为匹配结果的候选patch，设p_A(x,y)是待匹配的patch，依次遍历p_A(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；

在所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是p_A(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；

步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；

步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；

步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，

步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；

步骤3.2，进行亮度通道的全局增益补偿；

步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；

步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；

步骤5，进行全景影像羽化，得到全景影像修补结果。

2.根据权利要求1所述基于图割优化的全景影像修补方法，其特征在于：步骤2.3的划分过程如下，

步骤2.3.1，新建一个空节点，作为KD树的根节点；

步骤2.3.2，依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下，

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

步骤2.3.3，计算所有patch在第i维特征上的分量的中位数以为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，重复步骤2.3.2和步骤2.3.3；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。

3.根据权利要求2所述基于图割优化的全景影像修补方法，其特征在于：步骤3.2在L通道对图像的灰度进行调整，包括以下的步骤，

步骤3.2.1，修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；

步骤3.2.2，记每一幅子图像在L通道的增益系数为a_i,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，I_i和I_j表示相邻的两幅子图像，e_ij描述的是相邻的子图像I_i和I_j之间的亮度差异；

考虑到所有的邻接关系，全局的能量方程式如下，

为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；

步骤3.2.3，根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。

4.一种基于图割优化的全景影像修补系统，其特征在于，包括以下模块：

第一模块，用于将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；

第二模块，用于对第一模块中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，包括以下子模块，

子模块A1，用于将投影图像从RGB转到YCbCr空间；

子模块A2，用于对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w₁,w₂,w₃…w₂₄)^T；所述patch为子块；

子模块A3，用于根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；

子模块A4，用于基于子模块A3划分出的KD树，快速地进行patch的匹配；匹配的方式为，

寻找作为匹配结果的候选patch，设p_A(x,y)是待匹配的patch，依次遍历p_A(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；

在所得p_A(x,y)的候选patch集合中寻找与p_A(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，

$\begin{array}{cc}s\left(x\right)=\arg \underset{s}{min}\left|\right|P(x+s)-P\left(x\right)|{|}^2& \left|s\right|>\mathrm{\τ}\end{array}$

其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是p_A(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；

子模块A5，用于对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；

子模块A6，用于将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；

第三模块，用于进行影像亮度的全局增益补偿以及亮度的调和，包括以下子模块，

子模块B1，用于将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；

子模块B2，用于进行亮度通道的全局增益补偿；

子模块B3，用于将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；

第四模块，用于按照第一模块的逆过程，将第三模块所得修补调整后的透视投影图片反投影在原始的360度全景影像上；

第五模块，用于进行全景影像羽化，得到全景影像修补结果。

5.根据权利要求1所述基于图割优化的全景影像修补系统，其特征在于：子模块A3包括以下单元，

单元A31，用于新建一个空节点，作为KD树的根节点；

单元A32，用于依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值min_i与最大值max_i，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下，

$i=\arg \underset{n=1,2...24}{min}\left|\right|{\max }_n-{\min }_n\left|\right|$

单元A33，用于计算所有patch在第i维特征上的分量的中位数以为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，命令单元A32和A32重新工作；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。

6.根据权利要求5所述基于图割优化的全景影像修补系统，其特征在于：子模块B2在L通道对图像的灰度进行调整，包括以下单元，

单元B21，用于修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；

单元B22，用于记每一幅子图像在L通道的增益系数为a_i,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，

e_ij＝(a_iμ(I_i)-a_jμ(I_j))²+λ((a_i-1)²+(a_j-1)²)

式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，I_i和I_j表示相邻的两幅子图像，e_ij描述的是相邻的子图像I_i和I_j之间的亮度差异；

考虑到所有的邻接关系，全局的能量方程式如下，

为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；

单元B23，用于根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿：

${\hat{g}}_i\left(p\right)=a_i\×g_i\left(p\right)$

其中，g_i(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。