CN102324102B - 一种图像场景空洞区域结构和纹理信息自动填补方法 - Google Patents

Abstract

本发明提供一种图像场景空洞区域结构和纹理信息自动填补方法，该方法能够自动填补图像空洞区域的纹理信息和结构信息，确保填补后图像场景在视觉上的连续性和合理性。该方法首先基于图像主要简约图模型将图像划分为结构部分和纹理部分，并计算结构部分的几何特征；然后，利用张量投票算法自动连接空洞区域缺失的结构线，完成空洞区域结构信息的填补；在此基础上，根据置信度、梯度值、距离值计算空洞区域边界点的优先级，利用最高优先级边界点的图像块，基于统一图像描述符和k-d树快速搜索相似图像块，使用贪婪算法思想确定用于空洞填补的候选图像块；最后，融合候选图像块与已知图像，完成空洞区域的纹理信息填补。本发明可广泛应用推广到影视节目制作、体育研究与训练模拟等领域。

Description

一种图像场景空洞区域结构和纹理信息自动填补方法

技术领域

本发明属于图像处理、计算机视觉技术和虚拟现实领域，具体地说是一种图像场景空洞区域结构和纹理信息自动填补方法。

背景技术

基于视频图像素材的虚实融合场景生成技术是虚拟现实的重要组成部分，也是虚拟现实、增强现实、计算机视觉及相关研究方向有机交叉的研究热点。在图像虚拟场景生成的整个过程中，可能会出现如下情形：在视频场景中提取某些场景对象形成场景对象素材后，原有的视频场景会出现“空洞”现象；在视频虚拟场景添加不同来源的场景对象以前，有可能需要从场景中去除某些不需要的对象或者物体；在场景对象的编辑与融合过程中，可能会产生新的空洞区域。为了确保图像虚拟场景的完整性，需要填补或者修复图像虚拟场景中存在的“空洞”。

图像空洞填补问题的求解按照图像表示模型的选择来划分，大致可分为三类：基于几何(结构)的方法，基于纹理合成的方法和结合几何(结构)与纹理的方法。

基于几何(结构)方法将图像建模为分段连续函数，通常将图像空洞填补问题的求解转换为显式的函数估计过程。根据具体的求解方式可分为两类：偏微分方程方法，变分方法。第一类方法直接根据演化理论设计偏微分方程，利用梯度下降法求解方程。第二类方法根据变分模型构造能量泛函极值问题，推导出欧拉-拉格朗日方程，利用水平集方法隐式求解图像方程。

基于几何(结构)的方法。基于偏微分方程的图像修复方法首先由美国明尼苏达大学电子与计算机工程系的Bertalmio等人提出，算法简称BSCB方法。该算法由模仿传统的手工修复技术出发，采用递归形式，逐步完成图像的修复处理。只对受损区域内的像素信息进行更新，而其余图像区域的像素信息不变。沿着等照度线方向逐步向受损区域内扩散和传播外围的图像信息，实现数字图像指定区域的自动修复。但该方法在修复尺度较大的图像纹理区域时，不能重建其中的纹理细节，修复结果存在明显的模糊现象。

有噪声图像的整体变分比无噪声图像的整体变分明显偏大，最小化整体变分可以消除噪声。整体变分法是一种异向扩散算法，该算法可以在保持边缘的同时达到图像去噪的目的。

基于整体变分模型的图像修复技术，采用有界变差空间定义图像模型能量即TV图像模型，该方法称为TV修复方法。在变分模型图像修复算法中，待修复区域初始值为高斯噪声，它通过变分方法求解最小化能量方程。该方法在有图像噪声的情况下，对非纹理图像修复效果较好。以上泛函很难求解，一般引入边界条件，根据变分原理求得能量函数对应的欧拉-拉格朗日方程，引入时间变量利用梯度下降法求解泛函的求导公式，在梯度下降的每次迭代过程中，利用水平集方法对图像的三个通道分别求解。但水平集的方法效率较低，并且只能给出一个局部最优解。

基于样例的图像修复算法在图像修复过程中，不是以像素为单位进行修复，而是以图像块为单位进行修复。算法每次修复受损区域边界上的一个图像块中的未知像素信息，通过循环处理直至受损区域内所有像素都修复完毕。基于样例的图像修复算法是基于样例的纹理合成技术在图像修复领域的应用，以图像块为修复单元借鉴了纹理合成的思想，保留了待修复区域内的纹理和局部结构信息。

结合几何和纹理的方法。为了更好的修复图像受损区域中的结构信息，2005年，Sun等人采用交互式的方法，直接由用户给定受损区域内的边结构，算法首先完成整个受损区域内的边结构修复后，再利用纹理合成技术填充剩余区域。

自动填补图像结构信息与纹理信息的空洞填补方法首先提取出图像的水平线，通过最小化空洞区域水平线的欧拉弹性泛函实现图像结构(几何)信息的恢复，通过恢复的结构信息指导基于样例的合成过程，填补空洞区域剩余的图像信息。最小化欧拉弹性泛函往往得到平滑的曲线，而无法得到折线或者交叉的结构信息填补效果。

发明内容

为了克服现有技术的不足，本发明提出了一种图像场景空洞区域结构和纹理信息自动填补方法，该方法能够自动填补空洞图像的纹理信息和结构信息，确保填补后图像场景在视觉上的连续性和合理性。

为完成发明目的，本发明采用的技术方案是：

一种图像场景空洞区域结构和纹理信息自动填补方法，其特征在于：利用图像已知区域的结构信息和纹理信息指导图像空洞区域的填补过程；基于主要简约图模型指导空洞区域结构和纹理信息的重建；利用图像统一描述符的匹配，快速搜索空洞区域的图像块；无需人工参与，能够自动填补图像的空洞区域，该方法包含以下步骤：

步骤(1)基于图像主要简约图模型提取出图像已知区域的结构部分，采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复；

步骤(2)通过图像统一描述符匹配，在图像已知区域内采样图像块，利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补。

进一步的，所述的步骤(1)中所述的采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复采取以下步骤：

步骤(a1)利用主要简约图算法对输入图像做边缘检测，得到与空洞区域边界相交的曲线；

步骤(a2)采用线性回归的方法来近似计算曲线上每个点的切线方向，并转化为法线方向，根据法向方向得到的张量表示；

步骤(a3)利用连接点检测算法检测图像空洞区域边界与边结构的交点，根据两个连结点之间的曲率相容性求解一系列的连接点对；

步骤(a4)根据结构部分的几何特征，利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补。

进一步的，所述的步骤(a4)中所述的利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补采取以下步骤：

步骤(b1)根据弹性能量函数确定空洞区域边界处需要连接的连接点对；

步骤(b2)一种快速的张量投票算法，预先计算0到180度的局部张量投票场，尺度因子为54，局部张量投票场的窗口大小为109，根据窗口内点到投票点的距离计算投票能量的大小；并且对于图像边界产生的屋脊带沿着屋脊带的顶部进行跟踪，将非最大值的点置为零；

步骤(b3)在已知图像区域的结构部分采样图像块，为空洞区域曲线上每个采样节点赋标签，每个标签是一个采样图像块，利用信任传播算法填补空洞区域的结构信息。

进一步的，所述的步骤(2)中所述的利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补采用了一种非参数化的基于样例的方法来合成空洞区域的纹理，具体而言，图像空洞区域纹理信息的填补包含了以下步骤：

步骤(c1)根据置信度、梯度值、距离值计算空洞区域边界点的优先级；

步骤(c2)给出了基于统一图像描述符和k-d树的快速相似图像块搜索算法，利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块；

步骤(c3)利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补。

进一步的，所述的步骤(c1)中所述的空洞区域边界点的优先级，其计算方法包括：根据空洞区域边界上图像块的置信度、梯度值、距离值确定该空洞区域的填补优先级，从图像左上角和右下角两次遍历图像中所有像素点，计算每个点到空洞边界的距离能量；纹理填充的优先级由图像中所有坐标到空洞边界的距离能量确定，距离变换算法计算图像中所有点到空洞区域初始边界的最近距离，将中所有的点按与空洞区域边界的最短距离长短进行排序，在填补纹理时，优先生成距离空洞区域较近的纹理块。

进一步的，所述的步骤(c2)中所述的利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块是基于统一图像描述符和k-d树的快速相似图像块搜索算法，具体包含以下步骤：

步骤(d1)利用积分直方图快速提取图像块颜色直方图和纹理梯度方向直方图：首先计算一幅图像的积分直方图，计算图像块的直方图只需要利用直方图的积分值进行加减运算，避免了对每一个图像块重复滤波的计算开销，从而快速的提取一个图像块的统计直方图，由此得到了每一个图像块的40维的统一图像描述符，包括颜色直方图和纹理梯度方向直方图；

步骤(d2)采用k-d树组织40维的统一图像描述符，在k-d树建树的过程中，在树的顶层结点首先选择一个维度对所有数据进行划分，将所有数据划分为左子树和右子树，下一层结点再各自选择另一个维度对数据进行划分，依次规律递归进行，将所有数据放置在叶子节点；在k-d树搜索的过程中，输入向量在每个节点处根据划分维度的值判断，若大于划分值则搜索右子树，反之则搜索左子树；k-d树将近邻搜索的时间复杂度从O(n)降到了O(logn)，根据Kullback-Leibler距离度量两个图像描述符之间的相似性。

进一步的，所述的步骤(d2)中所述的40维的统一图像描述符中，HSV颜色直方图有28个统计区间，HSV三个颜色通道统计区间数目分别为12、8、8；统一图像描述符中的HOG梯度方向直方图在一个图像块内计算每个像素点的梯度方向，将360度划分为12个统计区间，形成纹理梯度方向直方图；HSV颜色直方图和HOG梯度方向直方图组合形成一个40维的向量。

进一步的，所述的步骤(c3)中所述的利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补采取基于图分割算法的纹理合成算法：在图像的已知区域中搜索一个最优的图像块，依次在空洞边界上优先级最高的点上合成空洞区域的纹理，两个图像块之间的相似度由标准化的差异平方和确定，然后根据两个图像块之间重叠区域的像素点着色的代价，利用基于图分割的纹理合成方法完成纹理信息填补。

为进一步理解本发明，下面介绍本发明的基本原理：

本发明一种图像场景空洞区域结构和纹理信息自动填补方法其原理是基于图像主要简约图模型和图像统一描述符匹配的图像空洞填补方法。本发明利用图像的结构信息和纹理信息指导图像空洞填补的过程，首先提取出图像的结构部分，采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点；然后通过图像统一描述符匹配，在图像已知区域内采样图像块，利用图分割算法合成空洞区域的纹理信息。

为了填补空洞区域的结构信息，本发明首先利用主要简约图算法对输入图像做边缘检测，自动检测空洞区域周围长而连续的边结构，利用连接点检测算法检测图像空洞区域边界与边结构的交点。结构信息填补方法的具体方法是：根据弹性能量函数确定空洞区域边界处需要连接的连接点点对，利用张量投票算法连接每对连接点，自动连接空洞区域缺失的结构线，最后在已知图像区域的结构部分采样图像块填补空洞区域的结构信息。

结构信息填补完成后，空洞区域仍可能存在大量的区域有待填补。本发明采用了一种非参数化的基于样例的方法来合成空洞区域的纹理，基于样例的方法具有速度快，合成效果符合真实图像的特点。针对图像纹理具有各向异性的特性，即纹理具有梯度变化的特性，本发明先填补空洞区域边界上梯度变化较大的点，而合成纹理所需的图像块则在图像的已知区域中采样。为了搜索相似的图像块完成空洞区域纹理填补，本发明定义了一种图像统一描述符，结合k-d树算法有效组织所有图像块的描述符，用于快速搜索相似图像块。图像统一描述符中包括HSV颜色直方图和纹理梯度方向直方图。为了保证合成纹理的视觉连续性，本发明采用了一种基于图分割的纹理合成方法，融合候选图像块与已知图像，完成空洞区域的纹理信息填补。

本发明与现有的技术相比，其有益的特点是：1、基于主要简约图模型指导空洞区域结构和纹理信息的重建；2、基于图像统一描述符匹配快速搜索填补空洞区域的图像块；3、不需要人工参与，实现自动的图像空洞填补。

附图说明：

图1是本发明一种图像场景空洞区域结构和纹理信息自动填补方法的流程图；图1(a)为输入的原始图像和存在空洞的图像，空洞区域标为图像右下角的一片灰色(将两个“人物”擦除)；图1(b)为主要简约图模型检测出的图像边结构图；图1(c)为主要简约图模型分离的图像结构部分；图1(d)为图像空洞区域结构信息恢复结果；图1(e)为主要简约图模型分离的图像纹理部分；图1(f)为图像空洞区域纹理信息恢复原理示意图；图1(g)为图像空洞填补方法的最终结果图，同时填补了图像的结构和纹理信息；

图2是本发明连接点连接过程示意图；图2(a)为空洞区域边界连接点检测结果；图2(b)连接点断开为开放式连接点，以及开放式连接点之间的连接示意图；图2(c)连接点之间通过最小化弹性能量函数以及利用张量投票算法连接曲线的结果；

图3是本发明张量投票计算示意图；

图4是本发明根据张量投票能量填补空洞区域曲线原理示意图；

图5是本发明非极大值抑制处理流程图；

图6是本发明基于图像统一描述符的图像块类型划分及其实例示意图；

图7是本发明各种类型图像块纹理梯度直方图；

图8是本发明利用积分直方图快速提取图像块统计直方图；

图9是本发明图分割算法纹理合成原理示意图。

具体实施方式：

下面结合附图对本发明作详细说明。

参阅图1本发明的主流程图，本发明提出图像空洞填补贪婪算法自动恢复出缺失区域的显著结构信息，首先计算出一幅图像的主要简约图表达，如图1(b)(c)(d)所示，接着检测出结构部分与空洞区域相交的连接点，比如T型或Y型的连接点，然后根据这些连接点之间的弹性能量填补空洞区域的曲线，曲线上的图像块即结构信息利用信任传播算法来恢复。空洞区域结构信息的回复能够约束纹理信息的合成，在图像的已知区域中搜索图像块来合成空洞区域的纹理，为了降低搜索图像块的时间和空间复杂度，预先根据图像的纹理统计属性分割成若干区域，减少图像块搜索的空间。

参阅图1本发明的主流程图，图1(a)为输入的原始图像和存在空洞的图像，空洞区域标为图像右下角的一片灰色(将两个“人物”擦除)；图1(b)为主要简约图模型检测出的图像边结构图；图1(c)为主要简约图模型分离的图像结构部分；图1(d)为图像空洞区域结构信息恢复结果；图1(e)为主要简约图模型分离的图像纹理部分；图1(f)为图像空洞区域纹理信息恢复原理示意图；图1(g)为图像空洞填补方法的最终结果图，同时填补了图像的结构和纹理信息。

以下就主流程的各步骤进行说明：

步骤(1)基于图像主要简约图模型提取出图像已知区域的结构部分，采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复；

其中，步骤(1)中所述的采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复可以采取以下步骤：

步骤(a1)首先利用主要简约图算法对输入图像做边缘检测，自动检测空洞区域周围长而连续的边结构。

步骤(a2)采用线性回归的方法来近似计算曲线上每个点的切线方向，并转化为法线方向。在提取出图像的结构信息后，需要计算曲线上每个点的切线方向或者法向方向。

本发明可具体采用线性回归的方法来近似计算曲线上每个点的切线方向。通过求解一个局部的直线方程来定量地描述曲线上的一个小线段，一般通过一个点前后各四个点的坐标位置来求解直线方程。直线回归方程的形式为：

Y＝kX+b

其中k称为回归系数，含义为直线的法向方向；b称为截矩，为回归直线或其延长线与y轴交点的纵坐标。

根据一个点前后4个点样本坐标的实测值(x_i，y_i)计算k和b，为使方程能较好地反映各点的分布规律，使各实测点到回归直线的离差最小，可以使用最小二乘法求解。按以下公式计算：

$b=\frac{\mathrm{\Σ}(X-\stackrel{\‾}{X})(Y-\stackrel{\‾}{Y})}{\mathrm{\Σ}{(X-\stackrel{\‾}{X})}^2}=\frac{l_{\mathrm{XX}}}{l_{\mathrm{YY}}}$

$l_{\mathrm{XX}}=\mathrm{\Σ}{X}^2-\frac{{\left(\mathrm{\ΣX}\right)}^2}{n}$

$l_{\mathrm{XY}}=\mathrm{\ΣXY}-\frac{\left(\mathrm{\ΣX}\right)\left(\mathrm{\ΣY}\right)}{n}$

$k=\stackrel{\‾}{Y}-b\stackrel{\‾}{X}$

计算出曲线上每个点的斜率，也就是切线方向后，需要转化为法线方向。

步骤(a3)利用连接点检测算法检测图像空d洞区域边界与边结构的交点，根据两个连结点之间的曲率相容性求解一系列的连接点对。

具体可参阅图2本发明连接点连接过程示意图，三自由度的连接点(如图2(a)所示)分解成一系列开放式连接点(如图2(b)所示)，各个开放式连接点之间都有连接的可能性，需要根据两个连结点之间的曲率相容性求解一系列的连接点对。

步骤(a4)根据结构部分的几何特征，利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补。

其中所述的步骤(a4)中所述的利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补采取以下步骤：

步骤(b1)根据弹性能量函数确定空洞区域边界处需要连接的连接点对；

步骤(b2)一种快速的张量投票算法，预先计算0到180度的局部张量投票场，尺度因子为54，局部张量投票场的窗口大小为109，根据窗口内点到投票点的距离计算投票能量的大小；并且对于图像边界产生的屋脊带沿着屋脊带的顶部进行跟踪，将非最大值的点置为零；其具体说明如下：

计算图像已知区域曲线上每个离散采样点的法向量后，根据如下公式将法向量转化每个点的张量描述：

$T={\mathrm{\λ}}_1{e}_1{\hat{e}}_1^T+{\mathrm{\λ}}_2{e}_2{e}_2^T=({\mathrm{\λ}}_1-{\mathrm{\λ}}_2)e_1{e}_1^T+{\mathrm{\λ}}_2(e_1{e}_1^T+e_2{e}_2^T)$

其中，λ₁，λ₂为特征值，且均大于0，λ₁＞λ₂，e₁，e₂为特征向量。一般e₁为曲线的法向量，λ₁-λ₂表示曲线上该点在法向方向的确定性或者显著性。张量T为一个2x2的矩阵。

当λ₂为0时，该张量表示该点有确定的方向；当λ₁＝λ₂时，该张量表示一个没有方向性的点；其他情况下，该张量表示当前点在e₁方向上的显著性大于e₂方向。

在利用张量投票算法填补结构信息时，曲线已知部分的点用张量T表示时：特征值λ₁＝1，λ₂＝0，e₁为曲线上点的法向量，e₂为零向量。

已知曲线上的点对图像上其它所有点存在影响能量，空洞区域每个像素点接收到的投票能量函数由空洞区域两边已知曲线上的点决定：

$\mathrm{DF}(s,\mathrm{\κ},\mathrm{\σ})=e^{(-\frac{s^2+{\mathrm{c\κ}}^2}{{\mathrm{\σ}}^2})}$

其中，投票能量函数中S为点投票者和接受者之间的密切圆弧长，κ为密切圆的曲率，σ为尺度因子。

如图3(a)所示：已知曲线上的两个点投票者、接受者，箭头表示该点的一阶张量表示(即该点的法向量)，两个点以及各自的法向量确定了两点点之间的密切圆。图3(b)所示为一个局部的张量投票场，左边浅色的圆点为投票者，投票者根据自己的法线方向计算一个局部的张量投票场，周围的每个点都有接受的能量和方向。图3(b)中白色小箭头表示投票的方向，该方向由投票者与接受者连线的方向决定，能量表示该点在箭头所示方向上的确定性或者显著性。本发明给出了一种快速的张量投票算法，通过预先计算0到180度的局部张量投票场，局部的张量投票场的计算过程中取尺度因子为54，局部张量投票场的窗口大小为2*54+1＝109。

图4所示为利用局部张量投票场填补图像结构信息的示意图。图中的圆点表示一直曲线上的点，这些点为投票点；图中阴影区域为接受投票的区域，包含若干接受点，该区域曲线几何信息缺失；每个投票点根据计算得到的法向方向在预先计算好的该方向局部张量投票场对空洞区域进行投票。空洞区域每个接受点会受到若干投票点的影响，投票能量累加形成如图5中图所示投票能量显著性图。

在处理时会使图像的边界产生屋脊带，如图5中图所示的显著性图，为了细化边缘，算法需要沿着屋脊带的顶部进行跟踪，将那些不是最大值的点置为零，这一过程称为非极大值抑制。如图5中图所示为经过非极大值抑制处理后的结果。

步骤(b3)在已知图像区域的结构部分采样图像块，为空洞区域曲线上每个采样节点赋标签，每个标签是一个采样图像块，利用信任传播算法填补空洞区域的结构信息。

步骤(2)通过图像统一描述符匹配，在图像已知区域内采样图像块，利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补。

其中，结构信息填补完成，空洞区域仍可能存在大量的区域有待填补。图像中纹理一般使用马尔科夫随机场进行建模，本发明采用了一种非参数化的基于样例的方法来合成空洞区域的纹理。针对图像纹理具有各向异性的特性，即纹理具有梯度变化的特性，先填补空洞区域边界上梯度变化较大的点。合成纹理所需的图像块在图像的已知区域中采样。参阅图6本发明基于图像统一描述符的图像块类型划分及其实例示意图，根据图像块的统计特征可以将典型的图像块划分为三种类型：平坦图像块、结构图像块和纹理图像块。平坦图像块的纹理梯度直方图会比较平坦，结构图像块的纹理梯度直方图只会在一个或两个梯度角度的统计区间内出现极值，而纹理图像块的纹理梯度直方图则在多个梯度角度的统计区间内都会出现局部极值。由于这三种类型的对象对应的外观特征之间有着显著的区别，因此很难定义通用的、适应各种场景的特征和算法。单一类型的特征不能保证在光照、遮挡等不同条件下的计算有效性与鲁棒性，因此需要一个复合的物体表示模型，能够同时包含结构、纹理、颜色等各种视觉感知特征。根据这种统计特性，本发明提出了一种图像统一描述符，结合k-d树算法有效组织所有图像块的描述符，并用于快速搜索相似图像块。图像统一描述符中包括颜色直方图和纹理梯度方向直方图。

进一步的，其中步骤(2)中所述的利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补采用了一种非参数化的基于样例的方法来合成空洞区域的纹理，具体而言，图像空洞区域纹理信息的填补包含了以下步骤：

步骤(c1)根据置信度、梯度值、距离值计算空洞区域边界点的优先级；

步骤(c2)给出了基于统一图像描述符和k-d树的快速相似图像块搜索算法，利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块；

步骤(c3)利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补。

其中所述的步骤(c1)中所述的空洞区域边界点的优先级，其计算方法包括：根据空洞区域边界上图像块的置信度、梯度值、距离值确定该空洞区域的填补优先级，从图像左上角和右下角两次遍历图像中所有像素点，计算每个点到空洞边界的距离能量；纹理填充的优先级由图像中所有坐标到空洞边界的距离能量确定，距离变换算法计算图像中所有点到空洞区域初始边界的最近距离，将中所有的点按与空洞区域边界的最短距离长短进行排序，在填补纹理时，优先生成距离空洞区域较近的纹理块。

对于空洞区域Ω边界上的一个点

是以点p为中心的图像块，

内一部分为已知图像，一部分为未知图像，点p纹理填充的优先级计算公式如下：

P(p)＝C(p)D(p)Dt(p)

$C\left(p\right)\text{=}\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|},$ $D\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

其中

为距离能量。是整个图像区域，Ω为待修复的图像区域。p表示待修复区域边界上的一个像素点，Ψ_p是以点p为中心的图像块，q是Ψ_p内任意一个像素点。C(p)为信心因子，表示以点p为中心的图像片中已知数据的可信度。D(p)为数据因子，表示了p点的等照度方向和待修复区域边界法向的关系。n_p是待修复区域边界

在p点的单位法矢量。

是p点的等照度矢量，它与p点图像梯度矢量大小相同，方向垂直。C(p)和D(p)共同决定了p点的优先级P(p)。

图像空洞填补算法在确定填充的优先级方面都是根据空洞区域边界上图像块的局部信息来确定这个空洞区域的填补优先级，这种方法容易导致错误的扩散。直观上思考，应该从空洞区域从外向内逐步扩散，而图像中所有像素点到空洞区域边界的距离能量很好的刻画了这个扩散过程。本发明从图像左上角和右下角两次遍历图像中所有像素点，计算每个点到空洞边界的距离能量，纹理填充的优先级由图像中所有坐标到空洞边界的距离能量确定。利用距离变换算法计算图像中所有点到空洞区域初始边界的最近距离，将所有的点按与空洞区域边界的最短距离长短进行排序，在填补纹理时，优先生成距离空洞区域较近的纹理块。

其中所述的步骤(c2)中所述的利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块是基于统一图像描述符和k-d树的快速相似图像块搜索算法，其中，“利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块“这句话体现了贪婪算法思想，即不考虑全局最优填补方案(效率极为低下)，而是每次直接采取在当前步骤下的最优/最相似的图像块经行填补工作；具体包含以下步骤：

步骤(d1)利用积分直方图快速提取图像块颜色直方图和纹理梯度方向直方图：首先计算一幅图像的积分直方图，计算图像块的直方图只需要利用直方图的积分值进行加减运算，避免了对每一个图像块重复滤波的计算开销，从而快速的提取一个图像块的统计直方图，由此得到了每一个图像块的40维的统一图像描述符，包括颜色直方图和纹理梯度方向直方图；其中，颜色直方图有28个统计区间，三个颜色通道统计区间数目分别为12、8、8；纹理梯度方向直方图在一个图像块内计算每个像素点的梯度方向，将360度的梯度方向划分为若干统计区间，形成纹理梯度方向直方图，典型图像块的纹理梯度方向直方图计算结果如图7所示。颜色直方图和纹理梯度方向直方图组合形成一个40维的向量。

本发明在图像中稠密的采集图像块，间隔1～2个像素点采集一个图像块，对一个图像块计算一个40维的描述符，由于采集的图像块之间存在大量的重叠，对所有图像块计算描述符存在大量的重复计算，利用积分直方图快速提取图像块颜色直方图和纹理梯度方向直方图。如图8所示，首先计算一幅图像的积分直方图，计算图中右下角交叉纹路图像块的直方图只需要利用直方图的积分值进行加减运算，避免了对每一个图像块重复滤波的计算开销，从而快速的提取一个图像块的统计直方图。实验结果表明，一幅800*600的图像积分直方图的计算时间为100ms，而每个图像块的直方图计算只是一个加减运算，时间忽略不计。

步骤(d2)采用k-d树组织40维的统一图像描述符，在k-d树建树的过程中，在树的顶层结点首先选择一个维度对所有数据进行划分，将所有数据划分为左子树和右子树，下一层结点再各自选择另一个维度对数据进行划分，依次规律递归进行，将所有数据放置在叶子节点；在k-d树搜索的过程中，输入向量在每个节点处根据划分维度的值判断，若大于划分值则搜索右子树，反之则搜索左子树；k-d树将近邻搜索的时间复杂度从O(n)降到了O(logn)，根据Kullback-Leibler距离度量两个图像描述符之间的相似性。

其中，所述的步骤(d2)中所述的40维的统一图像描述符中，HSV颜色直方图有28个统计区间，HSV三个颜色通道统计区间数目分别为12、8、8；统一图像描述符中的HOG梯度方向直方图在一个图像块内计算每个像素点的梯度方向，将360度划分为12个统计区间，形成纹理梯度方向直方图；HSV颜色直方图和HOG梯度方向直方图组合形成一个40维的向量。

一个图像块的描述符为k维的高维向量(k一般为40)，单幅图像中已知区域采集的图像块数量为n(n一般为大于10万)。本发明采用的k-d树来组织这些高维数据，k-d树是对二叉检索树的扩展，是近邻搜索常用的算法。在k-d树建树的过程中，在树的顶层结点首先选择一个维度对所有数据进行划分，将所有数据划分为左子树和右子树，下一层结点再各自选择另一个维度对数据进行划分，依次规律递归进行，将所有数据放置在叶子节点。在k-d树搜索的过程中，输入向量在每个节点处根据划分维度的值判断，若大于划分值则搜索右子树，反之则搜索左子树。k-d树将近邻搜索的时间复杂度从O(n)降到了O(logn)。文根据KL距离度量两个图像描述符之间的相似性：

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)=\underset{i}{\mathrm{\Σ}}P\left(i\right)\log \frac{P\left(i\right)}{Q\left(i\right)}$

其中，所述的步骤(c3)中所述的利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补采取基于图分割算法的纹理合成算法：在图像的已知区域中搜索一个最优的图像块，依次在空洞边界上优先级最高的点上合成空洞区域的纹理，两个图像块之间的相似度由标准化的差异平方和确定，然后根据两个图像块之间重叠区域的像素点着色的代价，利用基于图分割的纹理合成方法完成纹理信息填补。

本发明在图像的已知区域中搜索一个最优的图像块，依次在空洞边界上优先级最高的点上合成空洞区域的纹理。两个图像块之间的相似度由标准化的差异平方和确定，为了保证合成纹理的视觉连续性，采用了一种基于图分割的纹理合成方法，该方法需要计算两个图像块之间重叠区域的像素点着色的代价，重叠区域相邻两个像素点s，t分别贴图像块x_i，x_j的匹配代价函数为：

$E(x_i,x_j)=\underset{s,t\∈\mathrm{Overlapi}}{\mathrm{\Σ}}M(x_i,x_j,s,t)$

$=\underset{s,t\∈\mathrm{Overlap}}{\mathrm{\Σ}}({(x_i\left(s\right)-x_j\left(s\right))}^2+{(x_i\left(t\right)-x_j\left(t\right))}^2)$

如图9所示，深色方块(Patch A)和浅色方块(Patch B)代表两个图像块，重叠区域内两个相邻像素点之间的匹配代价在两个节点之间的边上标出，算法需要求解每个像素点的颜色值来自图像块A或B。这个问题可以利用图分割算法求解，解出该图的一个最小割集合。最后，融合候选图像块与已知图像，完成空洞区域的纹理信息填补。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (1)

1.一种图像场景空洞区域结构和纹理信息自动填补方法，其特征在于：该方法提出图像空洞填补贪婪算法自动恢复出缺失区域的显著结构信息，首先计算出一幅图像的主要简约图表达，接着检测出结构部分与空洞区域相交的连接点，然后根据这些连接点之间的弹性能量填补空洞区域的曲线，曲线上的图像块即结构信息利用信任传播算法来恢复；空洞区域结构信息的回复能够约束纹理信息的合成，在图像的已知区域中搜索图像块来合成空洞区域的纹理，为了降低搜索图像块的时间和空间复杂度，预先根据图像的纹理统计属性分割成若干区域，减少图像块搜索的空间；

该方法具体步骤如下：

步骤（1）基于图像主要简约图模型提取出图像已知区域的结构部分，采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复；

其中，步骤（1）中所述的采用张量投票的方法，自动的恢复出图像空洞区域的曲线或者拐点，实现图像空洞区域结构信息的恢复采取以下步骤：

步骤（a1）首先利用主要简约图算法对输入图像做边缘检测，自动检测空洞区域周围长而连续的边结构；

步骤（a2）采用线性回归的方法来近似计算曲线上每个点的切线方向，并转化为法线方向，在提取出图像的结构信息后，需要计算曲线上每个点的切线方向或者法向方向；

具体采用线性回归的方法来近似计算曲线上每个点的切线方向，通过求解一个局部的直线方程来定量地描述曲线上的一个小线段，通过一个点前后各四个点的坐标位置来求解直线方程，直线回归方程的形式为：

Y＝kX+b

其中k称为回归系数，含义为直线的法向方向；b称为截矩，为回归直线或其延长线与y轴交点的纵坐标；

根据一个点前后4个点样本坐标的实测值(x_i，y_i)计算k和b，为使方程能较好地反映各点的分布规律，使各实测点到回归直线的离差最小，使用最小二乘法求解，按以下公式计算：

$b=\frac{\mathrm{\Σ}(X-\stackrel{\‾}{X})(Y-\stackrel{\‾}{Y})}{\mathrm{\Σ}{(X-\stackrel{\‾}{X})}^2}=\frac{l_{\mathrm{XX}}}{l_{\mathrm{YY}}}$

$l_{\mathrm{XX}}=\mathrm{\Σ}{X}^2-\frac{{\left(\mathrm{\ΣX}\right)}^2}{n}$

$l_{\mathrm{XY}}=\mathrm{\ΣXY}-\frac{\left(\mathrm{\ΣX}\right)\left(\mathrm{\ΣY}\right)}{n}$

$k=\stackrel{\‾}{Y}-b\stackrel{\‾}{X}$

计算出曲线上每个点的斜率，也就是切线方向后，需要转化为法线方向；

步骤（a3）利用连接点检测算法检测图像空d洞区域边界与边结构的交点，根据两个连结点之间的曲率相容性求解一系列的连接点对；

连接点连接过程：三自由度的连接点分解成一系列开放式连接点，各个开放式连接点之间都有连接的可能性，需要根据两个连结点之间的曲率相容性求解一系列的连接点对；

步骤（a4）根据结构部分的几何特征，利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补；

其中所述的步骤（a4）中所述的利用张量投票算法自动连接空洞区域缺失的结构线，完成图像已知区域结构信息的填补采取以下步骤：

步骤（b1）根据弹性能量函数确定空洞区域边界处需要连接的连接点对；

步骤（b2）一种快速的张量投票算法，预先计算0到180度的局部张量投票场，尺度因子为54，局部张量投票场的窗口大小为109，根据窗口内点到投票点的距离计算投票能量的大小；并且对于图像边界产生的屋脊带沿着屋脊带的顶部进行跟踪，将非最大值的点置为零；其具体说明如下：

计算图像已知区域曲线上每个离散采样点的法向量后，根据如下公式将法向量转化每个点的张量描述：

$T={\mathrm{\λ}}_1{e}_1{e}_1^T+{\mathrm{\λ}}_2{e}_2{e}_2^T=({\mathrm{\λ}}_1-{\mathrm{\λ}}_2)e_1{e}_1^T+{\mathrm{\λ}}_2(e_1{e}_1^T+e_2{e}_2^T)$

其中，λ₁，λ₂为特征值，且均大于0，λ₁＞λ₂，e₁，e₂为特征向量，e₁为曲线的法向量，λ₁-λ₂表示曲线上该点在法向方向的确定性或者显著性，张量T为一个2x2的矩阵；

当λ₂为0时，该张量表示该点有确定的方向；当λ₁＝λ₂时，该张量表示一个没有方向性的点；其他情况下，该张量表示当前点在e₁方向上的显著性大于e₂方向；

在利用张量投票算法填补结构信息时，曲线已知部分的点用张量T表示时：特征值λ₁＝1，λ₂＝0，e₁为曲线上点的法向量，e₂为零向量；

已知曲线上的点对图像上其它所有点存在影响能量，空洞区域每个像素点接收到的投票能量函数由空洞区域两边已知曲线上的点决定：

$\mathrm{DF}(x,\mathrm{\κ},\mathrm{\σ})=e^{(-\frac{s^2+{\mathrm{c\κ}}^2}{{\mathrm{\σ}}^2})}$

其中，投票能量函数中s为点投票者和接受者之间的密切圆弧长，κ为密切圆的曲率，σ为尺度因子；

已知曲线上的两个点投票者、接受者，箭头表示该点的一阶张量表示即该点的法向量，两个点以及各自的法向量确定了两点点之间的密切圆，该方法给出了一种快速的张量投票算法，通过预先计算0到180度的局部张量投票场，局部的张量投票场的计算过程中取尺度因子为54，局部张量投票场的窗口大小为2*54+1=109；

利用局部张量投票场填补图像结构信息，圆点表示一直曲线上的点，这些点为投票点；阴影区域为接受投票的区域，包含若干接受点，该区域曲线几何信息缺失；每个投票点根据计算得到的法向方向在预先计算好的该方向局部张量投票场对空洞区域进行投票，空洞区域每个接受点会受到若干投票点的影响，投票能量累加形成投票能量显著性图；

在处理时会使图像的边界产生屋脊带，为了细化边缘,算法需要沿着屋脊带的顶部进行跟踪，将那些不是最大值的点置为零,这一过程称为非极大值抑制；

步骤（b3）在已知图像区域的结构部分采样图像块，为空洞区域曲线上每个采样节点赋标签，每个标签是一个采样图像块，利用信任传播算法填补空洞区域的结构信息；

步骤（2）通过图像统一描述符匹配，在图像已知区域内采样图像块，利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补；

其中，结构信息填补完成，空洞区域仍可能存在大量的区域有待填补，图像中纹理使用马尔科夫随机场进行建模，该方法采用了一种非参数化的基于样例的方法来合成空洞区域的纹理，针对图像纹理具有各向异性的特性，即纹理具有梯度变化的特性，先填补空洞区域边界上梯度变化较大的点，合成纹理所需的图像块在图像的已知区域中采样，该方法基于图像统一描述符的图像块类型划分，根据图像块的统计特征将典型的图像块划分为三种类型：平坦图像块、结构图像块和纹理图像块，平坦图像块的纹理梯度直方图会比较平坦，结构图像块的纹理梯度直方图只会在一个或两个梯度角度的统计区间内出现极值，而纹理图像块的纹理梯度直方图则在多个梯度角度的统计区间内都会出现局部极值，由于这三种类型的对象对应的外观特征之间有着显著的区别，因此很难定义通用的、适应各种场景的特征和算法，单一类型的特征不能保证在光照、遮挡等不同条件下的计算有效性与鲁棒性，因此需要一个复合的物体表示模型，能够同时包含结构、纹理、颜色等各种视觉感知特征，根据这种统计特性，该方法提出了一种图像统一描述符，结合k-d树算法有效组织所有图像块的描述符，并用于快速搜索相似图像块，图像统一描述符中包括颜色直方图和纹理梯度方向直方图；

进一步的，其中步骤（2）中所述的利用图分割算法合成空洞区域的纹理信息，实现图像空洞区域纹理信息的填补采用了一种非参数化的基于样例的方法来合成空洞区域的纹理，具体而言，图像空洞区域纹理信息的填补包含了以下步骤：

步骤（c1）根据置信度、梯度值、距离值计算空洞区域边界点的优先级；

步骤（c2）给出了基于统一图像描述符和k-d树的快速相似图像块搜索算法，利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块；

步骤（c3）利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补；

其中所述的步骤（c1）中所述的空洞区域边界点的优先级，其计算方法包括：根据空洞区域边界上图像块的置信度、梯度值、距离值确定该空洞区域的填补优先级，从图像左上角和右下角两次遍历图像中所有像素点，计算每个点到空洞边界的距离能量；纹理填充的优先级由图像中所有坐标到空洞边界的距离能量确定，距离变换算法计算图像中所有点到空洞区域初始边界的最近距离，将中所有的点按与空洞区域边界的最短距离长短进行排序，在填补纹理时，优先生成距离空洞区域较近的纹理块；

对于空洞区域Ω边界上的一个点p，Ψ_p是以点p为中心的图像块，Ψ_p内一部分为已知图像，一部分为未知图像，点p纹理填充的优先级计算公式如下：

P(p)＝C(p)D(p)Dt(p)

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|},$ $D\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

其中Dt(p)为距离能量，Ω为待修复的图像区域，p表示待修复区域边界上的一个像素点，Ψ_p是以点p为中心的图像块，q是Ψ_p内任意一个像素点，C(p)为信心因子，表示以点p为中心的图像片中已知数据的可信度，D(p)为数据因子，表示了p点的等照度方向和待修复区域边界法向的关系，n_p是待修复区域边界

在p点的单位法矢量，是p点的等照度矢量，它与p点图像梯度矢量大小相同，方向垂直，C(p)和D(p)共同决定了p点的优先级P(p)；

图像空洞填补算法在确定填充的优先级方面都是根据空洞区域边界上图像块的局部信息来确定这个空洞区域的填补优先级，这种方法容易导致错误的扩散，直观上思考，应该从空洞区域从外向内逐步扩散，而图像中所有像素点到空洞区域边界的距离能量很好的刻画了这个扩散过程，该方法从图像左上角和右下角两次遍历图像中所有像素点，计算每个点到空洞边界的距离能量，纹理填充的优先级由图像中所有坐标到空洞边界的距离能量确定，利用距离变换算法计算图像中所有点到空洞区域初始边界的最近距离，将所有的点按与空洞区域边界的最短距离长短进行排序，在填补纹理时，优先生成距离空洞区域较近的纹理块；

其中所述的步骤（c2）中所述的利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块是基于统一图像描述符和k-d树的快速相似图像块搜索算法，其中，“利用最高优先级边界点的图像块搜索并确定用于空洞填补的候选图像块“这句话体现了贪婪算法思想，即不考虑全局最优填补方案，而是每次直接采取在当前步骤下的最优/最相似的图像块经行填补工作；具体包含以下步骤：

步骤（d1）利用积分直方图快速提取图像块颜色直方图和纹理梯度方向直方图：首先计算一幅图像的积分直方图，计算图像块的直方图只需要利用直方图的积分值进行加减运算，避免了对每一个图像块重复滤波的计算开销，从而快速的提取一个图像块的统计直方图，由此得到了每一个图像块的40维的统一图像描述符，包括颜色直方图和纹理梯度方向直方图；其中，颜色直方图有28个统计区间，三个颜色通道统计区间数目分别为12、8、8；纹理梯度方向直方图在一个图像块内计算每个像素点的梯度方向，将360度的梯度方向划分为若干统计区间，形成纹理梯度方向直方图，颜色直方图和纹理梯度方向直方图组合形成一个40维的向量；

该方法在图像中稠密的采集图像块，间隔1～2个像素点采集一个图像块，对一个图像块计算一个40维的描述符，由于采集的图像块之间存在大量的重叠，对所有图像块计算描述符存在大量的重复计算，利用积分直方图快速提取图像块颜色直方图和纹理梯度方向直方图，首先计算一幅图像的积分直方图，计算图中右下角交叉纹路图像块的直方图只需要利用直方图的积分值进行加减运算，避免了对每一个图像块重复滤波的计算开销，从而快速的提取一个图像块的统计直方图，实验结果表明，一幅800*600的图像积分直方图的计算时间为100ms,而每个图像块的直方图计算只是一个加减运算，时间忽略不计；

步骤（d2）采用k-d树组织40维的统一图像描述符，在k-d树建树的过程中，在树的顶层结点首先选择一个维度对所有数据进行划分，将所有数据划分为左子树和右子树，下一层结点再各自选择另一个维度对数据进行划分，依次规律递归进行，将所有数据放置在叶子节点；在k-d树搜索的过程中，输入向量在每个节点处根据划分维度的值判断，若大于划分值则搜索右子树，反之则搜索左子树；k-d树将近邻搜索的时间复杂度从O(n)降到了O(logn)，根据Kullback-Leibler距离度量两个图像描述符之间的相似性；

其中，所述的步骤（d2）中所述的40维的统一图像描述符中，HSV颜色直方图有28个统计区间，HSV三个颜色通道统计区间数目分别为12、8、8；统一图像描述符中的HOG梯度方向直方图在一个图像块内计算每个像素点的梯度方向，将360度划分为12个统计区间，形成纹理梯度方向直方图；HSV颜色直方图和HOG梯度方向直方图组合形成一个40维的向量；

一个图像块的描述符为k维的高维向量，k为40，单幅图像中已知区域采集的图像块数量为n，n为大于10万，该方法采用的k-d树来组织这些高维数据，k-d树是对二叉检索树的扩展，是近邻搜索常用的算法，在k-d树建树的过程中，在树的顶层结点首先选择一个维度对所有数据进行划分，将所有数据划分为左子树和右子树，下一层结点再各自选择另一个维度对数据进行划分，依次规律递归进行，将所有数据放置在叶子节点，在k-d树搜索的过程中，输入向量在每个节点处根据划分维度的值判断，若大于划分值则搜索右子树，反之则搜索左子树，k-d树将近邻搜索的时间复杂度从O(n)降到了O(logn)，根据KL距离度量两个图像描述符之间的相似性：

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)=\underset{I}{\mathrm{\Σ}}P\left(i\right)\log \frac{P\left(i\right)}{Q\left(i\right)}$

其中，所述的步骤（c3）中所述的利用图分割算法融合候选图像块与已知图像，完成空洞区域的纹理信息填补采取基于图分割算法的纹理合成算法：在图像的已知区域中搜索一个最优的图像块，依次在空洞边界上优先级最高的点上合成空洞区域的纹理，两个图像块之间的相似度由标准化的差异平方和确定，然后根据两个图像块之间重叠区域的像素点着色的代价，利用基于图分割的纹理合成方法完成纹理信息填补；

在图像的已知区域中搜索一个最优的图像块，依次在空洞边界上优先级最高的点上合成空洞区域的纹理，两个图像块之间的相似度由标准化的差异平方和确定，为了保证合成纹理的视觉连续性，采用了一种基于图分割的纹理合成方法，该方法需要计算两个图像块之间重叠区域的像素点着色的代价，重叠区域相邻两个像素点s，t分别贴图像块x_i，x_j的匹配代价函数为：

$\begin{array}{c}E(x_i,x_j)=\underset{s,t\∈\mathrm{Overlap}}{\mathrm{\Σ}}M(x_i,x_j,s,t)\\ =\underset{s,t\∈\mathrm{Overlap}}{\mathrm{\Σ}}({(x_i\left(s\right)-x_j\left(s\right))}^2+{(x_i\left(t\right)-x_j\left(t\right))}^2)\end{array}$

利用深色方块Patch A和浅色方块Patch B代表两个图像块，重叠区域内两个相邻像素点之间的匹配代价在两个节点之间的边上标出，算法需要求解每个像素点的颜色值来自图像块A或B，这个问题利用图分割算法求解，解出该图的一个最小割集合，最后，融合候选图像块与已知图像，完成空洞区域的纹理信息填补。

Images