CN103839271B - 一种基于最佳匹配的图像纹理合成方法 - Google Patents

Abstract

针对大多数采用马尔科夫随机场模型的块纹理合成算法只考虑两个匹配块之间对应像素的颜色差异作为评价相似性的唯一度量，对于传统的合成算法，样本块的大小需要人工设定，因此合成后，通常会造成纹理特征混乱且缺乏自适应性。为解决上述问题，本发明提出了一种新的基于最佳匹配的图像纹理合成方法，方法中不仅考虑了颜色的相似性，还加入了梯度结构信息，把纹理的颜色差异和梯度结构信息作为衡量两个匹配块间的相似性度量，并深入分析最佳匹配纹理块的大小对合成的影响，根据不同纹理自适应确定纹理块大小，以提高纹理合成的速率和质量,经试验验证获得了比较理想的效果。

Description

一种基于最佳匹配的图像纹理合成方法

【技术领域】

本发明属于计算机应用与图像处理结合的技术领域。

【背景技术】

由于基于样图的纹理合成技术不仅可以克服传统纹理映射方法的缺点，而且避免过程纹理合成调整参数的繁琐，因而受到越来越多研究人员的关注，成为计算机图形学、计算机视觉和图像处理领域的研究热点之一。基于样图的二维纹理合成方法根据处理对象的不同大体又可以分为:点合成方法和块合成方法。点合成方法每次生成一个像素点的色彩,而块合成方法则是每次生成一个包含许多像素的纹理块。一般而言,点合成方法便于反映纹理变化的多样性,但不利于保持纹理的结构化信息,且合成速度相对较慢;而块合成方法的速度较快,能较好地保持块内的纹理特征信息,但块之间的色彩过渡可能不很平滑,会引起合成质量的下降。

块纹理合成方法是基于样本的纹理合成方法，它通过将输入的样本纹理划分成固定大小的纹理块，并基于纹理块间的重叠区域的约束规则来选择匹配的纹理块，以生成与样本纹理不重复但视觉性连续的任意大的纹理。基于块的纹理合成算法将合成单位从像素变为一个纹理块，合成速度相较于基于像素的算法有了显著提高，而且一次合成一块纹理有利于合成图像保持样本纹理的整体结构。

基于块拼贴的纹理合成算法一般由两步组成。第一，按照某种匹配策略在样本图中搜索最佳匹配块；第二，采用相应的块拼贴方法将搜索到的最佳匹配块拼贴到输出纹理图像中。其中，是否搜索到最佳匹配块是影响合成结果的关键问题，如果搜索到的纹理块不是最佳匹配块，则第二步使用任何拼贴方式都不能达到较好的合成效果。然而大部分基于块拼贴的纹理合成算法在搜索最佳匹配块时，是以重叠区域颜色误差小于设定的阈值作为匹配准则，与基于像素合成方法相比较，虽然在一定程度上保证纹理的结构性不被破坏，但是对于一些较强结构性的纹理图像，仍会出现纹理错位而得不到较好的合成效果。

早期的纹理合成采用基于特征匹配的方法,把纹理当作一种特征，通过在样本图中匹配特征来生成新的纹理图像。这种合成算法运算量很大,合成速度很慢，质量虽有所提高但并不十分理想.近年来,主要采用基于马尔可夫随机场(Markov Random Field,MRF)模型的合成方法。1999年,Efros等提出了一种非参数采样算法，这种基于像素的合成方法，虽然对随机性纹理取得了令人满意的效果,但对结构性较强的纹理合成效果较差,且计算时间较长。2001年，Efros提出一种ImageQuilting纹理合成算法，通过计算纹理合成中重叠块的累计误差和最小误差路径完成合成，该算法对各种类型的纹理均取得了较好的合成效果，与逐点的纹理合成方法相比，该算法虽然处理速度较快，对各种类型的纹理都能取得较好的合成效果，但是可能会带来少量的纹理错位及不连续现象。另外，ImageQuilting算法在纹理合成中采用穷尽搜索匹配块的方法，包含费时的计算过程，达不到实时应用的要求。Liang等人提出了一种实时的基于块的纹理合成算法，和ImageQuilting算法极为相似，但是由于算法采用了四叉树金字塔、主元分量分析以及KD树方法来加速纹理搜索过程，虽然在效率上有所提高，但是使得算法难以理解和编程实现。Kwatra在ImageQuilting算法的基础上,提出了基于Graph Cut的改进方法。Cohen等提出一种使用拼接Wang Tiles的方法实时合成纹理。Wu等人提出曲线特征匹配法,考虑了纹理的结构差别,在拼接过程中对匹配块进行变形处理,以保证特征线在相邻块之间的连续过渡,提高结构化内容的合成质量,但是该算法在对特征匹配过程中,运算量较大,影响了合成速度。全局优化的方法，通过全局的相似性计算，降低全局性误差，可生成质量很高的纹理，虽然全局优化方法能很好地保持纹理的全局性特征，但对于局部的细节特征难以很好地处理，因此其合成质量还不是很理想。

【发明内容】

人眼往往对图像中颜色变化尖锐的地方比较敏感，而对颜色变化缓慢的地方相对迟钝。因此，可以在搜索最佳匹配块时考虑这些视觉系统敏感的特征，并把对视觉系统敏感的特征称为结构信息特征。本发明引入梯度结构信息来表示纹理块的结构特征，在搜索最佳匹配块的时候，把颜色误差和梯度结构信息同时作为纹理块相似性的判断准则。

本发明针对以上问题提出了一种根据输入纹理自适应的确定纹理块大小的方法，即一种新的基于最佳匹配的图像纹理合成方法，该方法的具体步骤包括：

1、一种新的基于最佳匹配的图像纹理合成方法，其特征在于该方法的具体步骤包括：

第1、纹理块匹配策略

采用梯度来衡量纹理块的结构变化程度；在纹理合成时充分考虑了纹理的梯度结构信息对纹理合成质量的影响，基于纹理块所包含的纹理特征与样本纹理图像所包含的的纹理结构特征间的差距越小，所合成的结果对样本纹理的全局特征保持性就越好和纹理图像的统计特性符合MRF的特点，故纹理图像的统计模型可遵循Markov场，其中统计模型与像素点所处图像的位置无关并具有局部相关性，且遵循P（patch|rest）=P（patch|neiborhood）这两点可以得到纹理块相似判定准则，即在基于MRF模型的块合成算法中，根据输出图中当前待合成纹理块，在样图中找到与之纹理块边界结构特征相似的纹理块，选取准则为边界误差值小者为先；把纹理的梯度结构信息作为纹理匹配块相似性度量的标准之一，即把颜色差异和梯度结构信息作为纹理块匹配的标准。

第2、自适应确定纹理块大小

(1)为了满足纹理块大小选择准则设置纹理块大小的最小值N为6；

(2)在输入纹理中，随机的选择20个大小为N的纹理块，得到它们的平均灰度直方图。同样根据纹理块相似判定准则及公式计算平均灰度直方图与输入纹理直方图的相似性；

(3)令N=N+2，并按照步骤(2)计算对应的直方图相似性d(Sub_N+2,Samp),d(Sub_N+4,Samp)；

(4)利用2步差分法即公式 $\left(\begin{array}{c}|d({\mathrm{Sub}}_{i-1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|+\\ |d({\mathrm{Sub}}_{i+1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|\end{array}\right)/2>T$ 计算相似度差分值，若满足阈值T，则N+2即为最佳合成纹理块大小，否则N+2，转到步骤(2)。

对于重叠区域宽度的尺寸选取，方法是考虑在每种宽度下的重叠区域对纹理块进行区分的效果，并且把高效的宽度作为重叠区域的宽度。对于一种宽度而言，如果该宽度下的重叠区域相似，则它们对应的纹理块也相似，反之，则不是，那么这样的宽度就是高效的。对纹理块的重叠区域分为左边界、上边界和左上边界，分别计算，但为简化缝合计算,本发明则采用统一的宽度进行计算,经实验表明,对合成质量影响并不大。

第3、梯度结构信息的纹理合成方法

本发明的引入梯度结构信息的纹理合成方法，采用罗伯特梯度法(Robertgradient)计算梯度来获取纹理梯度结构信息，在衡量纹理块相似度时，在块拼贴算法基础上，考虑了梯度结构差异，通过结合颜色差异和梯度结构差异作为新的相似准则，使得搜索到的匹配块合成纹理图像后比块拼贴算法获得了更理想的效果，在颜色和结构上都与原样图保持了较好的相似性，实验证明效果较好；

另外根据输入不同纹理的纹理特性，利用直方图的相似性而自适应的确定最佳纹理块大小，这个纹理块大小能保证合成的纹理图像在纹理基本结构和整幅图像的随机性上得到理想的平衡；实验结果证实算法效果比较理想。

本发明引入梯度结构信息来表示纹理块的结构特征，在搜索最佳匹配块的时候，把颜色误差和梯度结构信息同时作为纹理块相似性的判断准则。设计了一种根据输入纹理自适应的确定纹理块大小的算法。不仅能够确定最佳合成块大小并符合纹理块大小选择准则，而且省去了人工操作的步骤，大大提高了系统的工作效率。

本发明的优点和积极效果：

本发明的方法是针对采用MRF模型的一些比较典型的基于样图的纹理合成算法,并在结构分析的基础上提出的,这些算法的共同特征是需要把纹理块大小作为输入参数。由于适当大小的纹理块可以避免产生纹理模糊现象，也可以更好地捕获纹理结构信息。所以我们试图不同纹理样本的最佳纹理块大小，即最佳纹理块大小必须包含纹理的基元结构,从而避免了由大小统一的纹理块合成时所产生的纹理模糊和错位问题。选择最佳纹理块大小的标准就是能够包容纹理样本中最大的纹理基元。在以前算法中纹理块尺寸是需要通过几次探测才能得知纹理块大小。在多幅样本图中，纹理基元可能有大也有小的，如果单纯使用统一的纹理块尺寸会导致算法运行时间延长，也增加了手动干预、探测，不利于算法自动、实时的需求。

【附图说明】

图1是统计量颜色和梯度（a）测试纹理（b）（c）为随最佳纹理块大小变化颜色和梯度统计量的变化，当最佳纹理块涵盖纹元信息，则统计量趋于平缓。

图2是块尺寸大小对合成速率的影响(a)输入纹理图像尺寸64×64(b)纹理块尺寸大小16×16(c)纹理块尺寸大小24×24(d)纹理块尺寸大小32×32。

图3是输入纹理图像及其直方图相似性曲线。,其中蓝色的点为对应块大小的相似值，绿色曲线为经过多项式拟合后得到的平滑曲线。

图4是本发明方法和全局优化纹理合成算法合成结果对比。(a)为本发明的新方法合成的纹理视图，(b)为全局化纹理合成算法合成的纹理视图。

图5是本发明方法生成的多种纹理：（a）（c）为样本纹理（b）（d）为合成结果。

图6中（a）需要被修复的破损图像，（b）最终结果。

图7中（a）被放射损坏的图像（损坏的区域是细窄的线）（b）修复结果。

图8是一部分纹理运行时的相关参数对比的结果。

图9是不同图像的最佳纹理块大小。

【具体实施方式】

实施例1：

本发明的具体技术方案如下：

第1、纹理块匹配策略

由于我们采用从样本纹理图中选取块的方式来进行纹理的拼贴,这样纹理块的边界信息会被破坏,尤其是对结构性较强的纹理,纹理块的边界断裂较为严重,对合成效果会有一定的影响,而梯度可以反映出纹理图像中结构细节的变化,所以我们采用梯度来衡量纹理块的结构变化程度。本发明在纹理合成时充分考虑了纹理的梯度结构信息对纹理合成质量的影响，把纹理的梯度结构信息作为纹理匹配块相似性度量的标准之一，即把颜色差异和梯度结构信息作为纹理块匹配的标准。

梯度能反映出纹理样本图像中纹理块边界结构细节的变化,因为梯度的近似值和相邻像素的灰度差成正比，所以在一幅图像中，边缘区梯度值较大，平滑区梯度值较小，灰度级为常数的区域梯度值为零。如图1。

为了增强图像的边缘及灰度跳变部分，采用图像处理中的微分尖锐化方法中常用的梯度法来进行尖锐化处理。

在图像处理中，一阶微分是通过梯度算法来实现的，对于一幅图像用函数f（x,y)表示，定义在f（x,y)在点(x,y)处的梯度是一个矢量，定义为：

$\stackrel{\→}{G}\left[f(x,y)\right]=[G_x,G_y]=[\frac{\∂f}{\∂x},\frac{\∂f}{\∂y}]$

梯度的方向在函数f（x,y)最大变化率的方向上，梯度的幅度G[f(x,y)]可以由以下公式算出：

$G\left[f(x,y)\right]={[{\left(\frac{\∂f}{\∂x}\right)}^2,{\left(\frac{\∂f}{\∂y}\right)}^2]}^{1/2}$

在数字图像处理中，常用差分运算代替微分运算；但由于当对整幅图像进行计算时，运算量很大，因此，在实际操作中，也常用绝对值代替平方与平方根运算近似求梯度的模值：

G[f(x,y)]=|G_x,G_y|=|f(x,y)-f(x+1,y)|+|f(x,y)-f(x,y+1)|

上述算法又称为水平垂直差分法，但本发明采用另一种梯度算法交叉进行差分计算即为罗伯特梯度法(Robert Gradient)；

G[f(x,y)]=|G_x,G_y|=|f(x,y)-f(x+1,y+1)|+|f(x+1,y)-f(x,y+1)|

在一幅图像中，边缘区梯度值较大，平滑区梯度值较小，灰度级为常数的区域梯度值为零,这样，通过把样本图像二值化后，再求其梯度。

灰度直方图，是关于灰度级分布的函数，是对图像中灰度级分布的统计，每幅图像都有其唯一对应的直方图，但是不同的图像有可能对应相同的直方图；在确定纹理块大小时，若合成纹理块大小跟输入纹理越相似，则表明合成纹理块的灰度分布与输入纹理十分相似，这也表示，该合成纹理块基本包括了输入纹理的纹理基元。

随着合成纹理块大小的不断增大，它所包含的纹理基元信息就更加的丰富，其对应的灰度直方图与输入纹理的直方图就越相似；这只是一种定性的结论，而不是定量的，更加精确的结论；因此，我们需要一种科学的方法与度量手段，定量的去测试各个直方图它们之间的相似程度。

同时本发明采用基于相同窗口的相似性度量方法；具体地，采用L₁距离公式：

$d(G,H)=\underset{i}{\mathrm{\Σ}}|g\left(i\right)-h\left(i\right)|$

L₁距离能够有效的度量直方图之间的相似性，但是它是随着相似性的增加距离随之减少的，而且L₁距离的值有可能大于1，因此，为了方便的进行分析，需要对公式进行小的改动，得到公式：

$d(G,H)=1-\left(\underset{i}{\mathrm{\Σ}}\right|g\left(i\right)-h\left(i\right)\left|\right)/2$

此公式具有如下性质：

（1）d(G,H)取值范围在0和1之间；

（2）d(G,H)比较直观的反映了直方图G和H的相似性。且直方图相似性越高，d(G,H)的取值也越大；

根据上式建立相似度的差分曲线来寻找最佳纹理块大小，为降低试验误差采用求某点邻域值得多个差分的方法；如下式：

$\left(\begin{array}{c}|d({\mathrm{Sub}}_{i-1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|+\\ |d({\mathrm{Sub}}_{i+1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|\end{array}\right)/2>T$

T为差分曲线的阈值，第一个满足该阈值的点即为纹理块的大小。

在用罗伯特梯度法得到了纹理样本图中每一个像素点的梯度值后,我们考虑如何把梯度值加入到纹理合成的误差度量中,计算重叠区域的梯度式子如下：

$M.\mathrm{Grad}=G_{B_1}\left[f_{B_1}(x,y)\right]-G_{B_2}\left[f_{B_2}(x,y)\right]$

其中G_B1,G_B2分别表示B₁，B₂块重叠区域梯度，我们用下式对纹理块的相似性进行度量。

Cost=α*||M.Color||+β*M.Grad||

M.Color和M.Grad分别为颜色的相似性度量和梯度结构的相似性度量，α，β分别为颜色和结构相似性度量的权重。

接下来，用上面提出的颜色相似性度量和梯度结构相似性度量相结合的相似性度量代替颜色差异相似性度量，来进行纹理合成。

第2、自适应确定纹理块大小

用Image Quilting算法进行合成时，需要输入以下几个参数：输出纹理大小、纹理块大小、纹理块边界大小、候选块个数和边界相似度的阈值等。其中，纹理块的大小是最为重要的参数之一,对合成效果具有很大的影响，如果在合成时,没有正确的设置纹理块的大小，合成的结果很有可能达不到预期要求。

从图2中可以得知,当把纹理块大小设置为16×16时,合成效果非常不好，随着纹理块尺寸变大合成的纹理图像随机性连续性变好，此处我们可以得出结论:纹理块大小对于合成结果至关重要。

对于结构性较强的纹理,由判定定理即纹理块大小选择准则（1）对于含有纹理元及其排列顺序规则的结构性纹理，纹理块大小的选取不仅要覆盖一个纹理元还要能包含纹理元排列的规则，对于随机性纹理，纹理块大小的选取至少覆盖纹理元尺度；（2）对纹理块进行特征统计，不同纹理块能得到相似统计值，且大小与全图的统计值大小相当；知纹理块的大小至少要大于输入纹理中纹理基元的大小,这样才能很好的保持源纹理的结构特性。对于随机性纹理图片,可以将纹理块大小设置的小一些。一般而言,纹理块大小对于纹理合成的影响体现在以下两个方面:

(1)纹理块尺寸越小,则合成速度较慢,块与块之间的过渡比较平缓,不会产生明显的裂缝问题，但是有可能不能保持纹理的结构特性；

(2)纹理块尺寸越大,合成速度较快，输出图像比较好的保持输入图像的结构特征,但是若在纹理块选择时出现差错,则块与块过渡时可能产生比较明显的裂缝,影响合成质量，而且纹理块大小若占输入纹理图像的很大部分,可能造成输出纹理中出现比较明显的重复现象。可见,纹理块大小的选择是在保持纹理结构特性，保证输出纹理的随机性、合成时间等各方面寻找一个平衡点，以往的基于块的纹理合成算法中，都是人工决定纹理块的大小，这种做法严重依赖于操作者的经验,有很大的局限性。在合成过程中,可能需要反复测试才能寻找到一个比较好的值，效率低下,非产费时。本节提出一种根据输入纹理，自适应的确定纹理块大小的算法.不仅能够确定最佳合成块大小,而且省去了人工操作的步骤，大大提高了系统的工作效率。

利用公式 $\left(\begin{array}{c}|d({\mathrm{Sub}}_{i-1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|+\\ |d({\mathrm{Sub}}_{i+1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|\end{array}\right)/2>T,$ 我们提出一种自适应计算纹理块大小的算法。对同一输入纹理，取不同大小的纹理块并进行20次试验取平均数，我们得到了如图3的实验结果。

从图3中可以看出，随着块大小的增加，相似性也越来越高，且最后相似性趋于一个临界值M，经过多次试验发现，由于不同纹理图像的随机程度不一样，相似性所趋向的临界值M也不一样。虽然合成块越大，输出纹理的结构性越强，但是过大的纹理块会导致输出纹理图像随机性不强，有过多的重复纹理出现，所以，确定纹理块是不能盲目的取大值。对于结构性较强的纹理图像，临界值M就越大，而对于随机性较强的图像，M就越小。故在确定合成块大小时，也不能简单的通过设定相似性度量的阈值进行确定。

在图3相似曲线的顶端，曲线会趋近一个固定值，当纹理块增大到一定程度时，相似性便不会有显著的增加，因此可以通过建立相似度的差分曲线来寻找最佳合成块大小。为了减小试验时的误差，我们采用了2步差分曲线，而不是相邻差分曲线，即求某点邻域值的多个差分以减小试验误差。

第3、我们总结自适应确定纹理块大小的算法步骤如下:

(1)为了满足判定定理即纹理块大小选择准则：1）对于含有纹理元及其排列顺序规则的结构性纹理，纹理块大小的选取不仅要覆盖一个纹理元还要能包含纹理元排列的规则，对于随机性纹理，纹理块大小的选取至少覆盖纹理元尺度；2）对纹理块进行特征统计，不同纹理块能得到相似统计值，且大小与全图的统计值大小相当；设置纹理块大小的最小值N为6；

(2)在输入纹理中，随机的选择20个大小为N的纹理块，得到它们的平均灰度直方图。同样根据纹理块相似判定准则及公式计算平均灰度直方图与输入纹理直方图的相似性；

(3)令N=N+2，并按照步骤(2)计算对应的直方图相似性d(Sub_N+2,Samp),d(Sub_N+4,Samp)；

(4)利用2步差分法即公式 $\left(\begin{array}{c}|d({\mathrm{Sub}}_{i-1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|+\\ |d({\mathrm{Sub}}_{i+1},\mathrm{Samp})-d({\mathrm{Sub}}_i,\mathrm{Samp})|\end{array}\right)/2>T$ 计算相似度差分值，若满足阈值T，T为差分曲线的阈值，第一个满足该阈值的点即为纹理块的大小，则N+2即为最佳合成纹理块大小，否则N+2，转到步骤(2)。

对于重叠区域宽度的尺寸选取,考虑在每种宽度下的重叠区域对纹理块进行区分的效果,并且把高效的宽度作为重叠区域的宽度。对于一种宽度而言,如果该宽度下的重叠区域相似,则它们对应的纹理块也相似,反之,则不是,那么这样的宽度就是高效的。对纹理块的重叠区域分为左边界、上边界和左上边界,分别计算，但为简化缝合计算,本发明则采用统一的宽度进行计算,经实验表明,对合成质量影响并不大。

针对大多数纹理合成方法合成纹理图像时，仅通过纹理块的颜色差异来判断纹理块的相似程度，而忽略了图像中特征信息的匹配，导致搜索到的匹配块再合成后不能很好的保持与原有纹理的一致性，并且容易出现纹理的模糊不清、边界走样及纹理错位等问题。针对这一问题，本发明引入梯度结构信息的纹理合成方法，采用罗伯特梯度法(Robertgradient)计算梯度来获取纹理梯度结构信息，在衡量纹理块相似度时，在块拼贴算法基础上，考虑了梯度结构差异，通过结合颜色差异和梯度结构差异作为新的相似准则，使得搜索到的匹配块合成纹理图像后比块拼贴算法获得了更理想的效果，在颜色和结构上都与原样图保持了较好的相似性，实验证明效果较好。

另外根据输入不同纹理的纹理特性，利用直方图的相似性而自适应的确定最佳纹理块大小，这个纹理块大小能保证合成的纹理图像在纹理基本结构和整幅图像的随机性上得到理想的平衡。实验结果证实算法效果比较理想。

表1不同算法性能比较

在表1中，将本文提出的算法与现有的一些纹理合成算法从各方面性能进行了比较。比较的算法包括基于点纹理算法中比较有代表性的Wei和Levoy提出的应用矢量量化方法的纹理合成算法和Ashikhmin提出的利用相关性原理的纹理合成算法等。基于块拼贴纹理合成算法中有代表性的基于块缝合的纹理合成算法和基于块采样的实时纹理合成算法等。从采用的匹配域、合成速度、算法复杂度、合成质量和适合对象几个方面进行了对比，可以发现：基于像素的合成方法实现简单,但是效果一般,不能很好的保证纹理图像的结构性,但是不会产生明显的接缝问题.基于块的合成方法实现复杂一些,由于一次合成多个像素,效率大幅提高,合成速度较快,Liang的算法基本达到了实时合成的要求.但是基于块的算法若在纹理块的选择中出现偏差,那么会产生比较明显的纹理接缝,块与块之间的过渡不自然"虽然采用了缝合(Quilting)和融合(blending)等方法,但是效果仍然不甚理想，本文所提出的算法合成速度快，算法复杂度低，合成质量好，适合处理纹理类型比较广泛。

在使用相同算法合成同样大小的输出图像时，合成所需要的时间根据样图大小和纹理随机度的不同而不一样。在统计计算中本发明的算法所用时间和Efrose所用时间比较，图8中列出了一部分纹理运行时的相关参数。

表2不同算法对合成速度的影响

表2中时间单位为秒，输入的样本纹理大小为128*128；合成纹理大小为200*200。

在PC机上对一些纹理进行了实验，获得了较好的结果。通过和其他方法比较可以看出，本算法对于纹理图像的合成取得了比较理想的效果。并在在实验中我们发现如图9中的规律：

从图9中可以看出不同的纹理样图所需要的最佳纹理块是不相同的,如果简单采用相同纹理块大小,是不能得到随机性连续性好的纹理图像。从图4、图5中可以看出：

(1)纹理块越大，合成时间越短，纹理块越小，合成时间越长；通常情况下，纹理块要比纹理基元大。如果纹理块过大，块与块之间的接缝较明显；如果纹理块过小，则有可能引起纹理特征变形。

(2)在搜索最佳匹配块时,不能单纯采用重叠区域颜色误差小于某设定的阈值作为匹配准则而忽视了纹理的固有结构特征，因此充分考虑纹理的梯度结构信息对纹理合成质量的影响,把颜色差异和梯度结构信息作为纹理块匹配的标准。

在医学中应用：

牙齿CT扫描图像经常被金属放射线或其他人造物质所破坏或干扰，这些破坏和干扰给医生的诊断带来困难或者给制定手术计划带来干扰。因此用纹理合成方法来修复这些破损的牙齿CT扫描图像。图6、图7证明在医疗应用中帮助医生诊断牙齿疾病和观察牙齿神经线的解剖结构方面有非常好的作用。同时它也提供了非常好的图像质量，图6、图7的例子中空白区域由假牙所造成。

特殊情况分析：

在实验中，由于基于样本纹理合成这类算法固有的缺陷，不可避免的遇到在某些情况下算法不能产生有效的或有意义的结果。这些失败的情况中，有些是因为破损区域包含的信息复杂，而使算法无法仅依靠破损区域周围的纹理信息来进行修复。在这种情况下，建议不要采用基于样本纹理合成的技术来修复而可以用基于PDE模型的图像修复或用基于径向量函数的图像修复技术。

本发明提出了一种新的基于纹理块的纹理合成算法，算法中不仅考虑了颜色的相似性，还加入了梯度结构信息，把纹理的颜色差异和梯度结构信息作为衡量两个匹配块间的相似性度量，并深入分析最佳匹配纹理块的大小对合成的影响，根据不同纹理自适应确定纹理块大小，以提高纹理合成的速率和质量,经试验验证获得了比较理想的效果。

具体应用

照片、电影和图像中经常会出现有缺陷的地方，这可能是在扫描照片时出现了模糊的区域，旧电影画面中出现擦痕，或者图像中出现了一个不想要的物体等。这类缺陷一般是不可逆的，所以修复这些缺陷是很有用的。通常，缺陷部分常常包含在某些纹理区域中，并且能够通过块纹理合成来修复这些缺陷部分。

对基于块拼贴的纹理合成算法进行扩展并应用到约束纹理合成中,即对针对纹理图像瑕疵进行修复,在纹理合成的过程中采用自适应纹理块大小修复瑕疵的边缘处,使修复后的图像在原来瑕疵的边界处没有边界感。把待修复的区域定为一个矩形，将这个矩形周围的纹理作为输入样本纹理，此矩形作为待合成区域，在此基础上进行合成。在医疗应用中CT扫描图像经常被金属放射线或其他人造物质所破坏或干扰，这些破坏和干扰给医生的诊断带来困难或者给制定手术计划带来干扰。因此有必要来研究一种有效的方法来修复这此破损的CT扫描图像。该算法应该包含：(1)寻找匹配的像素块并且将其粘贴到原图像中；(2)在匹配块连接处进行光滑处理，使整幅图像看起来完整。

Claims (2)

1.一种基于最佳匹配的图像纹理合成方法，其特征在于该方法的具体步骤包括：

第1、纹理块匹配策略

采用梯度来衡量纹理块的结构变化程度；在纹理合成时充分考虑了纹理的梯度结构信息对纹理合成质量的影响：(1)基于纹理块所包含的纹理特征与样本纹理图像所包含的纹理结构特征间的差距越小，所合成的结果对样本纹理的全局特征保持性就越好；(2)纹理图像的统计特性符合马尔科夫随机场MRF的特点，故纹理图像的统计模型可遵循马尔科夫场，其中统计模型与像素点所处图像的位置无关并具有局部相关性，且遵循P(patch|rest)＝P(patch|neiborhood)；由以上两点可以得到纹理块相似判定准则，即在基于MRF模型的块合成算法中，根据输出图中当前待合成纹理块，在样图中找到与之纹理块边界结构特征相似的纹理块，选取准则为边界误差值小者为先；把纹理的梯度结构信息作为纹理匹配块相似性度量的标准之一，即把颜色差异和梯度结构信息作为纹理块匹配的标准；

第2、自适应确定纹理块大小

(1)为了满足纹理块大小选择准则，设置纹理块大小的最小值N为6；

(2)在输入纹理中，随机的在整幅图中选择20个大小为N的纹理块，得到它们的平均灰度直方图；同样根据纹理块相似判定准则及公式计算平均灰度直方图与输入纹理直方图的相似性；

(3)令N＝N+2，并按照步骤(2)计算对应的直方图相似性d(Sub_N+2,Samp),d(Sub_N+4,Samp)；

(4)利用2步差分法即公式 $\left(\begin{array}{c}\left|d\right(Su{b}_{i-1,}Samp)-d(Su{b}_{i,}Samp\left)\right|+\\ \left|d\right(Su{b}_{i+1,}Samp)-d(Su{b}_{i,}Samp\left)\right|\end{array}\right)/2>T$ 计算相似度差分值，若满足阈值T，则N+2即为最佳合成纹理块大小，否则N+2，转到步骤(2)；

对于重叠区域宽度的尺寸选取，方法是考虑在每种宽度下的重叠区域对纹理块进行区分的效果，并且把高效的宽度作为重叠区域的宽度；对于一种宽度而言，如果该宽度下的重叠区域相似，则它们对应的纹理块也相似，反之，则不是，那么这样的宽度就是高效的；对纹理块的重叠区域分为左边界、上边界和左上边界，分别计算，但为简化缝合计算,本发明则采用统一的宽度进行计算,经实验表明,对合成质量影响并不大；

第3、梯度结构信息的纹理合成方法

本发明的引入梯度结构信息的纹理合成方法，采用罗伯特梯度法(Robert gradient)计算梯度来获取纹理梯度结构信息，在衡量纹理块相似度时，在块拼贴算法基础上，考虑了梯度结构差异，把颜色差异和梯度结构差异同时作为纹理块的相似准则，即Cost＝α*||M.Color||+β*||M.Grad||，其中M.Color和M.Grad分别为颜色的相似性度量和梯度结构的相似性度量，α，β分别为颜色和结构相似性度量的权重，使得搜索到的匹配块合成纹理图像后比块拼贴算法获得了更理想的效果，在颜色和结构上都与原样图保持了较好的相似性，实验证明效果较好；

另外根据输入不同纹理的纹理特性，利用直方图的相似性而自适应的确定最佳纹理块大小，这个纹理块大小能保证合成的纹理图像在纹理基本结构和整幅图像的随机性上得到理想的平衡；实验结果证实算法效果比较理想。

2.根据权利要求1所述的方法，其特征在于设计了一种根据输入纹理自适应的确定纹理块大小的算法；不仅能够确定最佳合成块大小并符合纹理块大小选择准则，而且省去了人工操作的步骤，大大提高了系统的工作效率。