CN103903244A - 一种图像相似区块搜索方法及装置 - Google Patents

Abstract

本发明涉及一种图像相似区块搜索方法，包括：获取待处理图像的指定区块及待搜索区域，计算指定区块的特征向量；以不小于指定区块的半径的若干个搜索半径在待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；获取特征向量与指定区块的特征向量之间的夹角小于第一阈值的待定区块；计算所获取的待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；得到若干个相邻区块；选择与指定区块的像素颜色方差和最小的相邻区块；输出所选择的相邻区块。本发明还提供一种图像相似区块搜索装置。利用本发明结合全局随机搜索和局部最优化搜索，能够快速搜索到图像相似区块。

Description

一种图像相似区块搜索方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像相似区块搜索方法及装置。

背景技术

在图像修补、降噪等图像处理的应用中，需要针对图像的某个指定区块，在图像的其它区域搜索与该指定区块颜色、形状等相似的区块，以进行替换、平均等操作。现有的图像相似区块的搜索方法包括以下两种类型：

一、遍历图像的待搜索区域，找到与指定区块的像素颜色方差和（SSD，Sum of Square Difference）最小的区块作为相似区块；

二、计算待搜索区域的积分图，并将待搜索区域与指定区块进行卷积，利用以下公式将像素颜色方差和的计算转化为积分图、卷积图的查表加减计算，其本质上依然是遍历搜索。

$S(i,j)=\underset{l=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}{[I_i(l,m)-I_j(l-x_j^{\′},m-y_j^{\′})]}^2$

$=N_i^2+N_j^2-N_i*N_j,$

使用方法一进行遍历式搜索，可以找到最优解，但是需要计算待搜索区域的面积n和指定区块面积m的乘积，计算复杂度为O(n²*m²)，因此计算过程非常耗时。

使用方法二进行卷积运算，必须通过FFT（Fast Fourier Transformation，快速傅式变换）在频域下计算才能够提高计算速度。但是当指定区块较小时，FFT的计算本身带来的额外N*log(N)（N为图像像素点个数）次计算可能超过其它部分提高的速度，得不偿失。因此，方法二只能应用在指定区块较大的情况下，使用面较窄。

发明内容

有鉴于此，有必要提供一种图像相似区块搜索方法及装置，结合全局随机搜索和局部最优化搜索，能够快速搜索到图像相似区块。

一种图像相似区块搜索方法，包括以下步骤：步骤一：获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；步骤二：以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；步骤三：判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；步骤四：计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；步骤五：将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；步骤六：分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；步骤七：输出所选择的相邻区块。

一种图像相似区块搜索装置，包括：获取模块，用于获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；搜索模块，用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；判定模块，用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；第一选择模块，用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；移动模块，用于将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；第二选择模块，用于分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；输出模块，用于输出所选择的相邻区块。

相对于现有技术，本发明的有益效果是：本发明结合全局随机搜索和局部最优化搜索，能够快速搜索到图像相似区块。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为本发明实施例提供的图像相似区块搜索方法的流程图。

图2为本发明实施例提供的图像相似区块搜索装置的框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

参阅图1所示，本发明实施例提供一种图像相似区块搜索方法，其包括以下步骤：

步骤S1，获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；

步骤S2，以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；

步骤S3，判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；

步骤S4，计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；

步骤S5，将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；

步骤S6，分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；

步骤S7，输出所选择的相邻区块。

以下结合具体实例作进一步详细说明：

步骤S1所述的待搜索区域可以是所述待处理图像中除所述指定区域以外的所有区域，也可以是在该待处理图像中除该指定区域以外的区域中任意指定的区域。将所述指定区块的特征向量表述为v₁和v₂，则计算特征向量v₁和v₂的过程如下：

首先，将该指定区块中心的坐标记为（i，j），按照如下公式计算该指定区块中心的结构体张量(g_ij)：

$\left(g_{\mathrm{ij}}\right)=J^{t}J=\left(\begin{array}{cc}<\frac{\&PartialD;f}{\&PartialD;x},\frac{\&PartialD;f}{\&PartialD;x}>& <\frac{\&PartialD;f}{\&PartialD;x},\frac{\&PartialD;f}{\&PartialD;y}>\\ <\frac{\&PartialD;f}{\&PartialD;x},\frac{\&PartialD;f}{\&PartialD;y}>& <\frac{\&PartialD;f}{\&PartialD;y},\frac{\&PartialD;f}{\&PartialD;y}>\end{array}\right)=:\left(\begin{array}{cc}E& F\\ F& G\end{array}\right).$

该指定区块中心的结构体张量(g_ij)可用于指导在待搜索区域搜索该指定区块的相似区块的搜索梯度与搜索边界。所述相似区块与所述指定区块的颜色、形状、尺寸等相近或相似。

然后，根据该指定区块中心的结构体张量(g_ij)的计算结果 $\left(\begin{array}{cc}E& F\\ F& G\end{array}\right)$ 按照如下公式计算该指定区块的特征向量v₁和v₂：

$v_1=\left(\begin{array}{c}F\\ {\mathrm{\&lambda;}}_1-E\end{array}\right),v_2=\left(\begin{array}{c}{\mathrm{\&lambda;}}_2-G\\ F\end{array}\right)$

其中， ${\mathrm{\&lambda;}}_{\mathrm{1,2}}=\frac{E+G\&PlusMinus;\sqrt{{(E-G)}^2+4F^2}}{2}$

步骤S2所述的若干个搜索半径可以为不小于所述指定区块的半径的等比数列。例如，以该待搜索区域尺寸的1/2作为第一搜索半径，再以该第一搜索半径的1/2作为第二搜索半径，依此类推，直至第N搜索半径的1/2小于所述指定区块的半径为止。

在本实施例中，可以以该指定区块的中心为原点，以相对于该指定区块的任意方向在所述待搜索区域上选取所述待定区块，并分别计算每个待定区块的特征向量。

步骤S3计算每个待定区块的特征向量与指定区块的特征向量之间的夹角，并依次判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，然后获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块。

步骤S4，计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和。所述像素颜色方差和是指两块图像逐个像素的RGB三个颜色通道值的差值的平方和，参照如下公式：

$S(i,j)=\underset{l=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{m=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{[I_i(l,m)-I_j(l-x_j^{\&prime;},m-y_j^{\&prime;})]}^2.$

依次比较各待定区块与指定区块的像素颜色方差和，然后选择与指定区块的像素颜色方差和最小的待定区块。

上述步骤S2至步骤S4是在待搜索区域中进行全局随机搜索。步骤S5和步骤S6则是在所选择的待定区块的附近区域进行局部最优化搜索。根据该指定区块的特征向量v₁和v₂指示的搜索方向，可以确定所选择的待定区块最优的附近区域。

步骤S5将所选择的待定区块的位置在指定区块的特征向量v₁和v₂的正方向和负方向上各移动预设像素距离，例如1个像素距离，则可以得到四个相邻区块。

步骤S6分别计算每个相邻区块与指定区块的像素颜色方差和，并选择与指定区块的像素颜色方差和最小的相邻区块。所选择的相邻区块可以认为是经步骤S2至步骤S4进行的全局随机搜索和步骤S5至步骤S6进行的局部最优化搜索之后，得到的所述相似区块的一个较佳结果。然而，为了获得更精确的所述相似区块，可以在进入步骤S7之前将步骤S2至步骤S6迭代进行预设次数，例如2~3次。然后通过步骤S7将所选择的相邻区块作为所述相似区块的最优搜索结果输出。

此外，如果所述待搜索区域过大，并且需要获得与指定区块的位置较接近的相似区块，可以对上述的迭代过程进行收敛。当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值，即前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和非常接近时，结束上述的迭代过程。然后将后次迭代所选择的相邻区块作为所述相似区块的最优搜索结果输出。

参阅图2所示，本发明实施例提供一种图像相似区块搜索装置100，其包括获取模块101、搜索模块102、判定模块103、第一选择模块104、移动模块105、第二选择模块106和输出模块107。可以理解，上述的各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能。此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。

获取模块101，用于获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；

搜索模块102，用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；

判定模块103，用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；

第一选择模块104，用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；

移动模块105，用于将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；

第二选择模块106，用于分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；

输出模块107，用于输出所选择的相邻区块。

对于以上各模块的具体工作过程，可进一步参考本发明实施例提供的图像相似区块搜索方法，在此不再重复。

此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的图像相似区块搜索方法中的各种操作。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种图像相似区块搜索方法，其特征在于，该方法包括以下步骤：

步骤一：获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；

步骤二：以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；

步骤三：判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；

步骤四：计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；

步骤五：将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；

步骤六：分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；

步骤七：输出所选择的相邻区块。

2.如权利要求1所述的图像相似区块搜索方法，其特征在于，所述若干个搜索半径为等比数列。

3.如权利要求1所述的图像相似区块搜索方法，其特征在于，将所选择的待定区块的位置在指定区块的特征向量的正方向和负方向各移动预设像素距离，得到所述若干个相邻区块。

4.如权利要求1所述的图像相似区块搜索方法，其特征在于，在所述步骤七之前，将步骤二至步骤六迭代进行预设次数。

5.如权利要求1所述的图像相似区块搜索方法，其特征在于，在所述步骤七之前还包括：

将步骤二至步骤六迭代进行；

当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值时，结束迭代过程。

6.一种图像相似区块搜索装置，其特征在于，该装置包括：

获取模块，用于获取待处理图像的指定区块及待搜索区域，计算所述指定区块的特征向量；

搜索模块，用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块，并分别计算每个待定区块的特征向量；

判定模块，用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值，并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块；

第一选择模块，用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的待定区块；

移动模块，用于将所选择的待定区块的位置在指定区块的特征向量方向上移动，得到若干个相邻区块；

第二选择模块，用于分别计算每个相邻区块与指定区块的像素颜色方差和，选择与指定区块的像素颜色方差和最小的相邻区块；

输出模块，用于输出所选择的相邻区块。

7.如权利要求6所述的图像相似区块搜索装置，其特征在于，所述若干个搜索半径为等比数列。

8.如权利要求6所述的图像相似区块搜索装置，其特征在于，将所选择的待定区块的位置在指定区块的特征向量的正方向和负方向各移动预设像素距离，得到所述若干个相邻区块。

9.如权利要求6所述的图像相似区块搜索装置，其特征在于，所述搜索模块、判定模块、第一选择模块、移动模块以及第二选择模块将迭代进行预设次数。

10.如权利要求6所述的图像相似区块搜索装置，其特征在于，所述搜索模块、判定模块、第一选择模块、移动模块以及第二选择模块将迭代进行；

当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值时，所述搜索模块、第一选择模块、移动模块以及第二选择模块结束迭代过程。

Images