CN104537665A - 基于多局部搜索的遗传聚类图像分割方法 - Google Patents

Abstract

一种基于多局部搜索的遗传聚类方法，采用三种局部搜索的方法(簇合并、簇分裂和k均值操作)来支持遗传聚类过程的进化，这些搜索根据探索任务有不同的特征。前两个局部搜索用以局部改善解中簇的数目。这两种局部搜索的如何使用将在聚类过程中自适应的决定。第三种局部搜索方法用以改善解的聚类中心。这三种局部搜索从互补角度相互合作和竞争来局部改善遗传进化中的解，以此来完成共同的优化目标：快速有效地搜索决策空间，从而给出接近全局最优的聚类结果。本发明将基于多局部搜索的遗传聚类方法应用在图像分割上，得到了精确的分割效果。

Description

基于多局部搜索的遗传聚类图像分割方法

技术领域

本发明涉及图像处理及应用、智能方法和数据聚类领域，具体涉及一种基于多局部搜索的遗传聚类图像分割方法，该基于多局部搜索的遗传聚类方法通过采用遗传算法，以一种自适应的方式结合三种不同局部搜索来快速有效地搜索决策空间，从而给出接近全局最优的聚类结果。

背景技术

数据聚类是机器学习中具挑战性的问题之一。它的目标是将一个数据集划分为多个簇，使得同一个簇内的对象彼此相似，来自不同簇的对象彼此不相似。数据聚类是无监督学习的一种基本工具，已被广泛应用于许多科学与工程领域，例如大数据分析和计算机视觉等。一般来讲，当需要把大量信息分类成便于管理的有意义的簇的时候，聚类方法极其重要。

数据聚类方法主要有基于层次的聚类和基于划分的聚类。基于层次的聚类方法生成簇的层次结构，每个簇嵌套在一个更高层次的簇内。这种方法不存在局部最优以及对初始化敏感等问题。然而，基于层次的聚类方法在聚类过程中仅利用局部信息，忽略簇的大小和全局形状。此外，该方法是一种静态方法，数据对象在聚类的早期阶段被分配到一个给定的簇后，在后期阶段不能再被分配到其它的簇中。相对于基于层次的聚类，基于划分的聚类则是一种动态的方法，并且考虑簇的大小和全局形状。本发明专利设计的方法针对数据集进行基于划分的聚类。

对于一个较大的数据集，确定其最优聚类结果被认为是非常困难的问题。另外，数据集里的簇数目往往是未知的。因此，在确定聚类的时候，同时需要确定簇的数目，这使得聚类变得更加困难。为了解决这一难题，现有的方法往往采用随机优化技术，其中最突出的是遗传算法。遗传算法(GA)作为一种搜索和优化技术，目前已被广泛应用于生物信息学、计算机科学、工程学等领域。在数据聚类中，对于一些搜索空间较小的聚类问题，传统的遗传聚类方法通常能够给出最优聚类结果。然而，这些方法往往速度极慢。为加快方法的效率，通过将局部搜索结合到传统的遗传聚类方法中人们设计了混合遗传聚类方法。这些混合遗传聚类方法能提高运行效率，但这些方法通常采用单一的局部搜索，大大限制了效率提升的空间。另外，对于复杂的聚类问题，往往涉及大量的局部最优解，传统遗传聚类方法或混合遗传聚类方法往往无法找出最优聚类结果。这主要是由于他们在进化过程中不能保持解的多样性，从而导致整个种群过早收敛到局部最优解。

本发明提出了一种基于多局部搜索的遗传聚类方法，在这种方法中，不同的局部搜索从互补的角度互相竞争和合作，来快速有效地探索聚类决策空间。

发明内容

本发明解决现有遗传聚类方法的缺点和不足，提出一种基于多局部搜索的遗传聚类方法。在这种机制中，不同的局部搜索从互补的角度互相竞争和合作，来快速有效地探索聚类决策空间，从而给出接近全局最优的聚类结果。本发明将基于多局部搜索的遗传聚类方法应用在图像分割上，得到了精确的分割效果。

本发明解决其技术问题所采用的方案是：

一种基于多局部搜索的遗传聚类图像分割方法，包括如下步骤：

1.对于原始的图像进行抗噪预处理，其过程为：

(1.1)计算原始图像上每个像素与其邻域中各像素的相似度：

设R_i为原始图像上任一像素i的邻域，i表示原始图像上像素的编号，设j为R_i中像素的编号，i、j均为正整数；定义图像中第i个像素j的相似度S_ij为：

$S_{\mathrm{ij}}=\left\{\begin{array}{cc}{S}_g\×S_l& i\≠j\\ 0& i=j\end{array}\right.$

其中，S_g为灰度相似度函数，S_l为邻域相似度函数，其定义分别为：

$S_g=\exp \left(\frac{2K(x_i,x_j)-2}{{\mathrm{\μ}}^2}\right)$

其中， $K(x_i,x_j)=\exp (-\frac{{(x_i-x_j)}^2}{{{\mathrm{\λ\σ}}_i}^2}),{{\mathrm{\σ}}_i}^2=\frac{{\mathrm{\Σ}}_{j{\∈R}_i}{(x_i-x_j)}^2}{N_{R_i}};$ x_i,x_j分别为第i个和第j个像素的灰度值；为第i个像素的邻域R_i中像素的个数，μ为相似度下限参数，μ>0，λ为相似度衰减参数，λ>0；

$S_l=\exp (-\frac{\max \left(\right|p_j-p_i|,|q_j-q_i\left|\right)}{L})$

其中，p_i和q_i为第i个像素的横坐标与纵坐标；L为空间控制参数，L>0；

(1.2)根据每个像素与邻域中像素的相似度S_ij的值，计算抗噪后的新图像中第i个像素抗噪后的灰度值ψ_i，获得抗噪后的新图像：

${\mathrm{\ψ}}_i=\frac{{\mathrm{\Σ}}_{j\∈R_i}{S}_{\mathrm{ij}}{x}_j}{{\mathrm{\Σ}}_{{j\∈R}_i}{S}_{\mathrm{ij}}}$

2.利用基于多局部搜索的遗传聚类方法获取分割结果，其过程为：

(2.1)产生一个具有P个解的初始种群；

(2.2)采用以下公式计算初始种群中每一个解的适应值：

$\mathrm{DB}=\frac{1}{K}{\mathrm{\Σ}}_{i=1}^K\underset{j,j\≠i}{\max }\left\{\frac{s_i+s_j}{d_{\mathrm{ij}}}\right\}$

其中，K为簇数目，d_ij为簇C_i与C_j之间的距离，S_i为簇的散布度，

$S_i=1/\left|C_i\right|\underset{x{\∈C}_i}{\mathrm{\Σ}}\left|\right|x-Z_i\left|\right|$

这里Z_i为簇C_i的中心值，|C_i|为簇C_i中数据对象的个数。

(2.3)重复以下(a)-(e)操作步骤，直到满足终止条件：

a)选择一对父本，重复该过程直到选择P/2对父本；

b)对每对父本进行交叉操作产生后代，并对后代执行变异操作；

c)执行自适应的局部搜索来局部改善后代个体中簇的数量，接下来运行k均值操作来局部改善簇的中心；

d)为每一个后代个体选择一个相似度高的种群个体，并与其进行生存竞争；

e)计算每一个后代个体的适应值，如果后代个体优于被选择的竞争个体，则取代其竞争个体进入种群。

(2.4)给出最终种群的最优解,即为最终的分割结果。

分割结果如附图6所示。

本发明采用三种局部搜索的方法(簇合并、簇分裂和k均值操作)来支持遗传聚类过程的进化，这些搜索具不同的特征。簇合并和簇分裂局部搜索用以改善后代个体中簇的数目。这两种局部搜索的如何使用将在聚类过程中自适应的决定。k均值操作局部搜索方法则用来局部改善后代个体中的聚类中心。这三种局部搜索从不同角度来改善进化过程中解的质量。这些局部搜索通过相互合作和竞争，将以有效的完成共同目标：快速有效地搜索决策空间。

簇合并和簇分裂操作通过将后代个体中不合适的簇合并或者分裂来实现局部改进，从而加速确定合适的簇数量的搜索过程。这两个局部搜索操作将应用于交叉和突变操作所产生的后代个体。在方法运行时，这些操作的使用取决于后代个体中簇的数目以及进化所处的阶段。为了获得最佳的聚类结果，需要一个恰当的协调机制来使用这两个局部操作。本发明开发了一个适应策略以竞争的方式使用这两种局部搜索方法。该策略的原理是随着搜索的进展，对每种操作对于处理不同数量的簇的个体有效性进行动态计算，所得到的有效值作为如何选择这两个操作的依据。具体的，更有效的局部操作将被“奖励”有更大的几率被选择应用于随后产生的后代个体的局部改善。在自适应地应用这两个操作之后，k均值操作将用以局部改善后代个体的簇中心。k均值是一种试图最小化总和平方错误率的一种迭代算法。

多局部搜索方法的具体步骤如下：

23c1.在进化过程中，簇合并和簇分裂操作初始时将被授予同等的被选择机会用于局部优化后代个体。在每次使用之后，我们将计算被选择的局部操作的奖励值r：

$r=\frac{f_s^{\′}}{\mathrm{\δ}}\×\frac{f_s^{\′}-f_s}{\sqrt{t}}$

这里f_s和f′_s分别表示解在局部搜索之前和之后的适应值，δ是在进化过程中最优解的适应值。t表示执行该局部操作所花费的时间。在上述公式中，用以让局部搜索产生的解与迄今为止产生的最优解相比来衡量绝对适应值的改进；

23c2.计算完毕后，所得到的奖励值跟局部搜索前的解的簇数量以及被选择的局部搜索方法的名字一同记录到数据库中；

23c3.当两个局部搜索操作对一定数量的后代个体进行局部优化之后，自适应策略将用于决定哪个操作将被选择应用于随后的后代个体。适应策略的实现细节如下所示：

(c31)对于每一个产生的后代个体，在数据库中根据后代个体的簇数目找出各局部操作的奖励值；

(c32)然后这两个操作根据它们的奖励值进行竞争，决定哪一个操作将被选择使用；

(c33)在被选择的局部搜索操作执行之后，将对其计算一个加权的奖励值并更新到数据库中。这个加权奖励值根据以下公式来计算：

wr_i,t+1＝(1-u)×wr_i,t+r_i,t

这里wr_i,t表示被选择的局部操作在时间为t时的加权奖励值，u是一个控制过去跟现在奖励值相对重要性的参数。如果u接近于0，那么最新的奖励值就不那么重要了，而如果u等于1的话，那么只有最新的奖励值被计算。在我们的方法中使用u等于0.5。

本发明的技术构思为：针对现有遗传聚类方法中使用单一局部操作的缺点和不足，提出一种基于多局部搜索的遗传聚类方法，设计了自适应多局部搜索方法。具体的，采用具有不同搜索特征的三种局部搜索的方法(簇合并、簇分裂和k均值操作)来支持聚类过程的进化。前两个局部搜索用以改善后代个体中簇的数目。这两种局部搜索如何使用将在遗传聚类过程中自适应的决定。第三种局部搜索方法用以改善后代个体的聚类中心。

本发明的创新之处在于：首先，设计一种自适应策略来促进簇合并、簇分裂这两种局部搜索方法之间的竞争，更有效的对后代个体进行局部操作；其次，为了局部改善后代个体中的簇中心，本发明中采用了k均值操作。k均值操作弥补了簇合并或分裂操作的不足，使得这三种局部搜索操作可以相互合作来快速有效地搜索聚类问题的决策空间。

本发明的优点是：不同的局部搜索从互补的角度互相竞争和合作，来快速有效地探索聚类决策空间，从而给出接近全局最优的聚类结果，能够得到了精确的图像分割效果。

附图说明

图1是本发明的方法流程图。

图2是本发明中多局部搜索的算法流程图。

图3是本发明中采用的模拟数据集(a)DB1，(b)DB2和(c)DB3。

图4是4种不同方法(a)DB1和(b)DB3数据集上10次运行过程中所得到的最佳结果的平均适应度相对于运行时间的结果。

图5是基于多局部搜索的遗传聚类方法在(a)DB1，(b)DB2和(c)DB3数据集上的聚类结果。

图6是基于多局部搜索的遗传聚类图像分割方法在真实图片上的分割结果。

具体实施方式

1.对于原始的图像进行抗噪预处理，其过程为：

(1.1)计算原始图像上每个像素与其邻域中各像素的相似度：

设R_i为原始图像上任一像素i的邻域，i表示原始图像上像素的编号，设j为R_i中像素的编号，i、j均为正整数；定义图像中第i个像素j的相似度S_ij为：

$S_{\mathrm{ij}}=\left\{\begin{array}{cc}{S}_g\×S_l& i\≠j\\ 0& i=j\end{array}\right.$

其中，S_g为灰度相似度函数，S_l为邻域相似度函数，其定义分别为：

$S_g=\exp \left(\frac{2K(x_i,x_j)-2}{{\mathrm{\μ}}^2}\right)$

其中， $K(x_i,x_j)=\exp (-\frac{{(x_i-x_j)}^2}{{{\mathrm{\λ\σ}}_i}^2}),{{\mathrm{\σ}}_i}^2=\frac{{\mathrm{\Σ}}_{j{\∈R}_i}{(x_i-x_j)}^2}{N_{R_i}};$ x_i,x_j分别为第i个和第j个像素的灰度值；为第i个像素的邻域R_i中像素的个数，μ为相似度下限参数，μ>0，λ为相似度衰减参数，λ>0；

$S_l=\exp (-\frac{\max \left(\right|p_j-p_i|,|q_j-q_i\left|\right)}{L})$

其中，p_i和q_i为第i个像素的横坐标与纵坐标；L为空间控制参数，L>0；

(1.2)根据每个像素与邻域中像素的相似度S_ij的值，计算抗噪后的新图像中第i个像素抗噪后的灰度值ψ_i，获得抗噪后的新图像：

${\mathrm{\ψ}}_i=\frac{{\mathrm{\Σ}}_{j\∈R_i}{S}_{\mathrm{ij}}{x}_j}{{\mathrm{\Σ}}_{{j\∈R}_i}{S}_{\mathrm{ij}}}$

2.利用基于多局部搜索的遗传聚类方法获取分割结果，其过程为：

(2.1)产生一个具有P个解的初始种群；

(2.2)采用以下公式计算初始种群中每一个解的适应值：

$\mathrm{DB}=\frac{1}{K}{\mathrm{\Σ}}_{i=1}^K\underset{j,j\≠i}{\max }\left\{\frac{s_i+s_j}{d_{\mathrm{ij}}}\right\}$

其中，K为簇数目，d_ij为簇C_i与C_j之间的距离，S_i为簇的散布度，

$S_i=1/\left|C_i\right|\underset{x{\∈C}_i}{\mathrm{\Σ}}\left|\right|x-Z_i\left|\right|$

这里Z_i为簇C_i的中心值，|C_i|为簇C_i中数据对象的个数。

(2.3)重复以下(a)-(e)操作步骤，直到满足终止条件：

a)选择一对父本，重复该过程直到选择P/2对父本；

b)对每对父本进行交叉操作产生后代，并对后代执行变异操作；

c)执行自适应的局部搜索来局部改善后代个体中簇的数量，接下来运行k均值操作来局部改善簇的中心；

d)为每一个后代个体选择一个相似度高的种群个体，并与其进行生存竞争；

e)计算每一个后代个体的适应值，如果后代个体优于被选择的竞争个体，则取代其竞争个体进入种群。

(2.4)给出最终种群的最优解,即为最终的分割结果。

以上步骤2.3(c)中采用的多局部搜索方法，其具体操作如下：

23c1.在进化过程中，簇合并和簇分裂操作初始时将被授予同等的被选择机会用于局部优化后代个体。在每次使用之后，我们将计算被选择的局部操作的奖励值r：

$r=\frac{f_s^{\′}}{\mathrm{\δ}}\×\frac{f_s^{\′}-f_s}{\sqrt{t}}$

这里f_s和f′_s分别表示解在局部搜索之前和之后的适应值，δ是在进化过程中最优解的适应值。t表示执行该局部操作所花费的时间。在上述公式中，用以让局部搜索产生的解与迄今为止产生的最优解相比来衡量绝对适应值的改进；

23c2.计算完毕后，所得到的奖励值跟局部搜索前的解的簇数量以及被选择的局部搜索方法的名字一同记录到数据库中；

23c3.当两个局部搜索操作对一定数量的后代个体进行局部优化之后。自适应策略将接下来用于决定哪个操作将被选择应用于随后的后代个体。自适应策略的实现细节如下所示：

C31.对于每一个产生的后代个体，在数据库中根据后代个体的簇数目找出各局部操作的奖励值；

C32.这两个操作然后根据它们的奖励值进行竞争，决定哪一个操作将被选择使用；

C33.在被选择的局部搜索操作执行之后，将对其计算一个加权的奖励值并更新到数据库中。这个加权奖励值根据一下公式来计算：

wr_i,t+1＝(1-u)×wr_i,t+r_i,t

这里wr_i,t表示被选择的局部操作在时间为t时的加权奖励值，u是一个控制过去跟现在奖励值相对重要性的参数。如果u接近于0，那么最新的奖励值就不那么重要了，而如果u等于1的话，那么只有最新的奖励值被计算。在我们的方法中使用u等于0.5。

实例

实验模拟数据采用R软件生成，如图2所示。从图2中可以看出，第一个数据集，DB1,包含8个簇，其中一个相对大的簇被8个相对较小的簇围绕。第二个数据集包含11个的簇，这些簇具有不同大小，且其中几个簇之间存在相互重叠。第三个数据集中有26个簇，并且在簇与簇之间被加入许多噪声数据以增大聚类的难度。

在实验中，种群大小被设为P＝100，实验步骤3(b)中变异率被设为P_r＝0.01交叉率P_m＝0.9；然后在模拟数据上运行步骤1-3操作，我们检测和比较本发明所设计的方法(表示为MAMN)与它的三种变种：不带簇合并、簇分裂局部搜索操作的MAMN(表示为MAMN1)，不带k均值局部搜索操作的MAMN(表示为MAMN2)，以及没有任何局部搜索操作的MAMN(表示为MAMN3)。这些方法的比较基于相同的参数。该四种方法在DB2上的10次运行过程中所得到的最佳结果的平均适应度相对于运行时间的结果显示在图4(a)中。从图中可以观察到MAMN3的收敛非常慢。加入局部搜索操作之后，MAMN1和MAMN2都能加快进化的收敛速度。通过合并这两种局部搜索操作，MAMN可以给出最优的运行结果。从MAMN方法在DB2上的进化过程中，我们可以看到在进化的早期，聚类合并和聚类分裂操作分别被高频次的用于大于和小于某个特定簇数目的后代个体中。这两个操作可以快速调整后代个体中簇的数量使其收敛于正确的簇数目。随后，k均值操作逐渐成为主要的局部搜索操作，并且通过与聚类合并和聚类分裂操作合作，快速改善后代个体的簇中心。相似的结果也可以在另外的数据集上的实验中观察到，如图4(b)DB3。结果显示，这三种局部操作对于越复杂搜索空间的聚类问题，其作用也越明显。

本发明设计的方法在3个数据集上的运行结果显示在附图5中。从实验结果可以看出，本发明方法不仅可以准确确定数据中簇的数目，而且得到的最优解具很高的聚类精确度。

为了验证本发明设计的方法在图像分割领域的有效性，将本方法应用在自然图像的分割上。四个自然图像和分割结果显示在附图6中。实验结果表明，本方法可以成功地降低噪声的影响，产生令人满意的自然图像的分割。

Claims (2)

1.一种基于多局部搜索的遗传聚类图像分割方法，包括如下步骤：

（1）.对于原始的图像进行抗噪预处理，其过程为：

(1.1)计算原始图像上每个像素与其邻域中各像素的相似度：

设R_i为原始图像上任一像素i的邻域，i表示原始图像上像素的编号，设j为R_i中像素的编号，i、j均为正整数；定义图像中第i个像素j的相似度S_ij为：

其中，S_g为灰度相似度函数，S_l为邻域相似度函数，其定义分别为：

其中，x_i,x_j分别为第i个和第j个像素的灰度值；为第i个像素的邻域R_i中像素的个数，μ为相似度下限参数，μ>0，λ为相似度衰减参数，λ>0； 

其中，p_i和q_i为第i个像素的横坐标与纵坐标；L为空间控制参数，L>0；

(1.2)根据每个像素与邻域中像素的相似度S_ij的值，计算抗噪后的新图像中第i个像素抗噪后的灰度值ψ_i，获得抗噪后的新图像：

（2）.利用基于多局部搜索的遗传聚类方法获取分割结果，其过程为：

(2.1)产生一个具有P个解的初始种群；

(2.2)采用以下公式计算初始种群中每一个解的适应值：

其中，K为簇数目，d_ij为簇C_i与C_j之间的距离，S_i为簇的散布度，

这里Z_i为簇C_i的中心值，|C_i|为簇C_i中数据对象的个数。

(2.3)重复以下(a)-(e)操作步骤，直到满足终止条件：

a)选择一对父本，重复该过程直到选择P/2对父本；

b)对每对父本进行交叉操作产生后代，并对后代执行变异操作；

c)执行自适应的局部搜索来局部改善后代个体中簇的数量，接下来运行k均值操作来局部改善簇的中心；

d)为每一个后代个体选择一个相似度高的种群个体，并与其进行生存竞争；

e)计算每一个后代个体的适应值，如果后代个体优于被选择的竞争个体，则取代其竞争个体进入种群。

(2.4)给出最终种群的最优解,即为最终的分割结果。

2.如权利要求2所述的一种基于多局部搜索的遗传聚类方法，其特征在于：在2.3(c)中设计不同的局部搜索从互补的角度互相竞争和合作，来快速有效地探索聚类决策空间，其具体步骤如下：

（23c1）.在进化过程中，簇合并和簇分裂操作初始时将被授予同等的被选择机会用于局部优化后代个体。在每次使用之后，我们将计算被选择的局部操作的奖励值r：

这里f_S和f′_S分别表示解在局部搜索之前和之后的适应值，δ是在进化过程中最优解的适应值。t表示执行该局部操作所花费的时间。在上述公式中， 用以让局部搜索产生的解与迄今为止产生的最优解相比来衡量绝对适应值的改进；

（23c2）.计算完毕后，所得到的奖励值跟局部搜索前的解的簇数量以及被选择的局部搜索方法的名字一同记录到数据库中；

（23c3）.当两个局部搜索操作对一定数量的后代个体进行局部优化之后。自适应策略将接下来用于决定哪个操作将被选择应用于随后的后代个体。适应策略的实现细节如下所示：

(c31)对于每一个产生的后代个体，在数据库中根据后代个体的簇数目找出各局部操作的奖励值；

(c32)这两个操作然后根据它们的奖励值进行竞争，决定哪一个操作将被选择使用；

(c33)在被选择的局部搜索操作执行之后，将对其计算一个加权的奖励值并更新到数据库中。这个加权奖励值根据以下公式来计算：

wr_i，t+1＝(1-u)×wr_i，t+r_i，t

这里wr_i，t表示被选择的局部操作在时间为t时的加权奖励值，u是一个控制过去跟现在奖励值相对重要性的参数。如果u接近于0，那么最新的奖励值就不那么重要了，而如果u等于1的话，那么只有最新的奖励值被计算。在我们的方法中使用u等于0.5。