CN106203447A - 一种基于像素遗传的前景目标提取方法 - Google Patents

Abstract

本发明提出了一种基于像素遗传的数字图像前景目标提取的新方法。方法包括以下几个步骤：（1）采用Ncut技术和高斯变差模型从图像中抽取关键前景，构成初始种群；（2）利用边沿检测方法提取得到原始图像和关键前景的边沿，取出共同部分，利用连通性和像素相似性确定遗传边界（目标轮廓）；（3）构造适应性函数，选出适应性强的像素作为父母，通过交叉和变异等遗传过程来再生出图像中新的前景目标。整个方法的过程全自动的，无需任何人工交互。大量的实验证明，这种方法十分有效，并且能够得到较为精确的实验结果。

Description

一种基于像素遗传的前景目标提取方法

技术领域

本发明主要涉及图像处理技术，具体涉及一种基于像素遗传的前景目标提取方法。

背景技术

数字图像前景目标提取是计算机视觉的重要基础问题，其任务是从单幅图像或序列图像中将感兴趣的目标与背景分割开来，用于后续的处理。前景区域的有效提取对于目标分类、身份识别和行为理解等中高层次的任务非常重要，因为后续的处理过程通常只考虑图像中对应于前景区域的像素，并将极大的促进视频编码、检索、人机交互、运动捕捉等课题的研究。然而，由于实际采集环境中往往存在诸多不可控制的因素，如相机运动、光照变化、阴影、复杂背景等问题的影响，使得快速准确的目标提取成为一项困难的工作。

对于全自动前景提取方法来说，由于没有目标先验知识，提取得到前景目标常常残缺不全或者有冗余，这个问题严重制约了全自动前景提取技术的应用。

在全自动前景提取的这类方法中，Sungheum在2011年提出了一种利用多视点技术自动提取前景对象的方法；张宇鹏等人在2012年提出了基于编码孔径深度的自动前景背景分割技术；谢长廷等人在2013年提出了一个自动trimap生成技术；袁玉波等人在2014年提出了基于高斯变差的前景提取技术；上述方法虽然取得了不错的效果，但准确度和精确度都存在不同程度的缺陷。

发明内容

本发明的目的在于提出一种基于像素遗传的前景目标提取方法，引入遗传算法，利用图像像素点之间的关联性和一致性，模拟生物的遗传机制，让不完整的部分得以再生，得到完整的前景区域，同时使用边沿曲线逼近方法获取前景目标的闭合轮廓来限制遗传增长，以提高提取前景的准确度和精确度。在该发明中，这个实现过程都是由计算机自动完成的，用户只需要输入目标图像，就可让计算机自动分析，最终获得图像前景目标区域。

本发明的技术方案如下：

步骤1，使用Ncut技术和高斯变差模型结合得到图像关键前景区域。

我们通过对各个边沿检测算法的分析，发现Canny算子提取到的边沿信息最为完整，最适合我们的需求，所以最终选择用Canny算子进行边沿检测。

步骤2，对步骤1得到的关键前景区域和原始图像分别使用Canny算子提取边沿信息。

步骤3，结合步骤2得到的原始图像信息e_I和图像关键前景的边沿信息e_F，利用图像边沿的连通性和像素点之间的颜色相似性ρ获得较为完整的图像前景的边沿信息b(x,y)，定义初始轮廓C(x,y)＝b(x,y)。

经过上述步骤之后，我们获得了较为精确和完整的边沿信息，接下来的工作就是将此边沿信息连接成为一个闭合的轮廓。

步骤4，检测步骤3得到的图像边沿信息的所有边沿的端点，定义端点的集合为E_p，并设定每个端点都对应一个属性type，初始值为0，选择端点集合E_p中任意一个端点p为初始端点。

步骤5，寻找离初始端点p距离d最近的端点Q，使p向着端点Q的方向θ^*前进。

步骤6，使用范围函数N_ε(p)检索新的端点p_k，新的端点的方向夹角θ_k≤θ^*，并且同时考虑前进路上像素点间的像素信息的相似性ρ。

步骤7，将步骤6检索到的新的端点p_k对应坐标位置C(x,y)值赋为1，就构成了图像新的轮廓信息C。

步骤8，如果p_k＝Q，则令p和Q的属性type为1，任取端点集合E_p中属性type为0的端点p为初始端点，并返回步骤5，当端点集合E_p中找不到属性type为0的端点时，算法终止，并获得图像前景的闭合轮廓，如果p_k！＝Q，返回步骤6。

我们获取图像前景的闭合轮廓的主要目的是用前景的闭合轮廓去限制遗传的增长，防止增长过度进而越界的情况发生。因为遗传算法是由内向外生长的，对于个别图像可能会出现一些过增长的现象。

步骤9，把图像中的每个像素点当成是种群中的个体GA_(x,y)，则步骤1提取得到图像的关键前景区域可以定义为初始像素种群区域，落在区域中的像素点就是初始种子点。

步骤10，将步骤9得到的初始种子点进行像素遗传适应度(区域连续种子数量)计算，得到种子点中适应性强的点，优先选择这些点去产生新的像素点。

我们优先选择适应度强的种子点去产生新的像素点的原因是，选择适应度强的种子点遗传新的像素点可以有效的提高遗传的效率和质量。

步骤11，将步骤10得到的适应性强的种子点选择为父节点Fa，在父节点Fa的八领域内随机选择一个在种群中的像素点为母节点Ma。

我们把每一个个体的基因序列都看成是一个四维的向量(H,S,V,sumRGB)，其中H，S，V分别代表HSV空间中的色度，饱和度和明度，sumRGB代表RGB空间中红绿蓝三层值的总和。我们定义的像素点的基因序列涵盖了HSV和RGB两个颜色空间的色彩信息。与RGB空间相比，HSV空间更加符合人类的视觉感知，所以我们选择HSV空间的三个度量指标为像素点基因序列的三个属性。同时我们还考虑到RGB空间可能对结果产生的影响，所以我们用RGB空间中三层的总和表示像素点基因序列的第四个属性。

步骤12，将步骤11得到的父节点Fa基因序列(H,S,V,sumRGB)和母节点Ma基因序列(H,S,V,sumRGB)进行交叉，得到子节点Child的基因序列。

步骤13，将步骤12得到的子节点Child与父节点Fa八领域内的非种群内的且非步骤8得到的前景目标闭合的轮廓外的点进行比较，将基因序列相似度满足一定阈值的点加入到种群中。

步骤14，将上述步骤得到的满足变异条件的种群内的像素点进行变异。

步骤15，判断遗传终止条件是否成立，如果成立输出完整的前景目标，否则执行步骤11。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1为本发明基于像素遗传的前景目标提取方法的流程图；

图2为边沿曲线逼近技术路线图；

图3为遗传区域增长技术路线图；

图4是最终和其他方法前景对比图。

具体实施方式

步骤1，使用Ncut技术和高斯变差模型结合得到图像关键前景区域。

步骤2，将步骤1得到的关键前景区域和原始图像分别使用Canny算子提取边沿信息。

步骤3，取步骤2得到的原始图像信息e_I和图像关键前景的边沿信息e_F的交集e_s，如下面公式(1)所示；利用图像边沿的连通性和像素点之间的颜色相似性ρ获得较为完整的图像前景的边沿信息b(x,y)，如下面公式(2)所示，其中，b(x,y)的初始值为e_s(x,y)，ρ((x,y),(x₀,y₀))代表图像中相邻像素点的相似性，如下面公式(3)所示，δ为阈值，经过大量的实验，我们在实验时选择为5。定义初始轮廓C(x,y)＝b(x,y)。

e_s＝e_I∩e_F (1)

$\begin{array}{c}\mathrm{\ρ}\left(\right(x,y),(x_0,y_0\left)\right)=\\ \sqrt{{\left(R\right(x,y)-R(x_0,y_0\left)\right)}^2+{\left(G\right(x,y)-G(x_0,y_0\left)\right)}^2+{\left(B\right(x,y)-B(x_0,y_0\left)\right)}^2}\end{array}---\left(3\right)$

检测步骤3得到的图像边沿信息的所有边沿的端点，定义端点的集合为E_p，如下面公式(4)所示，并设定每个端点都对应一个属性type，初始值为0，选择端点集合E_p中任意一个端点p为初始端点。

步骤5，寻找离初始端点p距离d最近的端点Q，如下面公式所示，其中d为两点间的欧式距离，如下面公式(6)所示；使p向着端点Q的方向θ^*前进，如下面公式(7)所示，θ^*表示为连接端点时的标准方向。

$Q=\arg \underset{Q\∈E_q}{\min d(p,Q)}---\left(5\right)$

$d(p,Q)=\sqrt{{(x_p-x_Q)}^2+{(y_p-y_Q)}^2}---\left(6\right)$

${\mathrm{\θ}}^{*}=\arctan \left(\frac{x_p-x_Q}{y_p-y_Q}\right)---\left(7\right)$

步骤6，使用范围函数N_ε(p)检索新的端点p_k，如下面公式(8)，新的端点的方向夹角θ_k≤θ^*，并且同时考虑前进路上像素点间的像素信息的相似性ρ，如上面公式(3)所示。

p_k＝arg min(ρ((x_k,y_k),(x_p,y_p))),p_k∈N_ε(p)&θ_k≤θ^* (8)

$N_{\mathrm{\&epsiv;}}\left(p\right)=\left\{(x,y)\right|\sqrt{{(x-x_p)}^2+{(y-y_p)}^2<\mathrm{\&epsiv;},(x,y)\&Element;I}\}---\left(9\right)$

${\mathrm{\&theta;}}_k=\arctan \left(\frac{x_k-x_p}{y_k-y_p}\right)---\left(10\right)$

步骤7，将步骤6检索到的新的端点p_k对应坐标位置C(x,y)值赋为1，就构成了图像新的轮廓信息C。

步骤8，如果p_k＝Q，则令p和Q的属性type为1，任取端点集合E_p中属性type为0的端点p为初始端点，并返回步骤5，当端点集合E_p中找不到属性type为0的端点时，算法终止，并获得图像前景的闭合轮廓，如果p_k！＝Q，返回步骤6。

步骤9，把图像中的每个像素点当成是种群中的个体GA_(x,y)，则步骤1提取得到图像的关键前景区域可以定义为初始像素种群区域，落在区域中的像素点就是初始种子点。

步骤10，将步骤9得到的初始种子点进行像素遗传适应度(区域连续种子数量)计算，也就是将得到的关键前景区域使用ncut技术进行分割，统计分割得到的各个区域的区域连续种子数量，然后将统计得到的各个区域连续种子数量进行排序，区域连续种子数量最多的区域就作为适应度强的种群，优先选择该种群内的点去产生新的像素点；选择适应度强的种群去遗传新的像素点可以有效的提高遗传的效率和质量。

步骤11，将步骤10得到的适应性强的种子点选择为父节点Fa，像素点GA_(x,y)的值为1表示该像素点在种群内，0表示不在种群内，在父节点Fa的八领域内随机选择一个在种群中的像素点为母节点Ma，如果没有找到母节点Ma，则该像素点不能产生新的个体，如果找到母节点Ma，则通过后续的遗传机制产生一个新的个体。

我们把每一个个体的基因序列都看成是一个四维的向量(H,S,V,sumRGB)，其中H，S，V分别代表HSV空间中的色度，饱和度和明度，sumRGB代表RGB空间中红绿蓝三层值的总和。

步骤12，将步骤11得到的父节点Fa基因序列(H,S,V,sumRGB)和母节点Ma基因序列(H,S,V,sumRGB)进行交叉，即子节点Child的前两个基因序列来自父节点Fa，后两个基因序列来自母节点Ma，最终得到子节点Child的基因序列。

$Child=Fa\&CenterDot;\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)+Ma\&CenterDot;\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)---\left(11\right)$

步骤13，将步骤12得到的子节点Child与父节点Fa八领域内的非种群内的且非步骤8得到的前景目标闭合的轮廓外的点进行比较，将基因序列相似度满足一定阈值的点加入到种群中，其中，相似基因序列的判别阈值选取为0.1，它的含义是子节点Child基因序列与父节点Fa八领域内的非种群内的点基因序列对应基因差值。

步骤14，将上述步骤得到的满足变异条件的种群内的像素点进行变异，即如果一个种群内的像素点的八领域内的所有点都是非种群内的，则我们把他也变异为非种群内的像素点，相反，如果一个非种群内的像素点的八领域内的所有像素点都是领域内的，我们就把这个像素点也变为种群内的点，如下面公式(12)所示，GA_(x,y)为1则保留该像素点，为0则将该点从前景目标中去除。

步骤15，判断图像中的像素点变化是否小于给定的阈值，停止区域增长，如果成立输出完整的前景目标，否则执行步骤11。经过大量的实验，我们设置这个阈值为0.02％，它定义为遗传增长得到的点数占图像总点数的比例。

Claims (11)

1.一种基于像素遗传的前景目标提取方法，其特征在于：对前景目标提取时，进行以下步骤，

步骤1，使用Ncut技术和高斯变差模型结合得到图像关键前景区域；

步骤2，将步骤1得到的关键前景区域和原始图像分别使用Canny算子提取边沿信息；

步骤3，结合步骤2得到的原始图像信息e_I和图像关键前景的边沿信息e_F，利用图像边沿的连通性和像素点之间的颜色相似性ρ获得较为完整的图像前景的边沿信息b(x,y)，定义初始轮廓C(x,y)＝b(x,y)；

步骤4，检测步骤3得到的图像边沿信息的所有边沿的端点，定义端点的集合为E_p，并设定每个端点都对应一个属性type，初始值为0，选择端点集合E_p中任意一个端点p为初始端点；

步骤5，寻找离初始端点p距离d最近的端点Q，使p向着端点Q的方向θ^*前进；

步骤6，使用范围函数N_ε(p)检索新的端点p_k，新的端点的方向夹角θ_k≤θ^*，并且同时考虑前进路上像素点间的像素信息的相似性ρ；

步骤7，将步骤6检索到的新的端点p_k对应坐标位置C(x,y)值赋为1，就构成了图像新的轮廓信息C；

步骤8，如果p_k＝Q，则令p和Q的属性type为1，任取端点集合E_p中属性type为0的端点p为初始端点，并返回步骤5，当端点集合E_p中找不到属性type为0的端点时，算法终止，并获得图像前景的闭合轮廓，如果p_k！＝Q，返回步骤6；

步骤9，把图像中的每个像素点当成是种群中的个体GA_(x,y)，则步骤1提取得到图像的关键前景区域可以定义为初始像素种群区域，落在区域中的像素点就是初始种子点；

步骤10，将步骤9得到的初始种子点进行像素遗传适应度(区域连续种子数量)计算，得到种子点中适应性强的点，优先选择这些点去产生新的像素点；

步骤11，将步骤10得到的适应性强的种子点选择为父节点Fa，在父节点Fa的八领域内随机选择一个在种群中的像素点为母节点Ma；

步骤12，将步骤11得到的父节点Fa基因序列(H,S,V,sumRGB)和母节点Ma基因序列(H,S,V,sumRGB)进行交叉，得到子节点Child的基因序列；

步骤13，将步骤12得到的子节点Child与父节点Fa八领域内的非种群内的且非步骤8得到的前景目标闭合的轮廓外的点进行比较，将基因序列相似度满足一定阈值的点加入到种群中；

步骤14，将上述步骤得到的满足变异条件的种群内的像素点进行变异；

步骤15，判断遗传终止条件是否成立，如果成立输出完整的前景目标，否则执行步骤11。

2.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤3所述的方法为，取步骤2得到的原始图像信息e_I和图像关键前景的边沿信息e_F的交集e_s，

e_s＝e_I∩e_F (1)

利用图像边沿的连通性和像素点之间的颜色相似性获得较为完整的图像前景的边沿信息b(x,y)，

其中，b(x,y)的初始值为e_s(x,y)，ρ((x,y),(x₀,y₀))代表图像中相邻像素点的相似性，δ为阈值，经过大量的实验，我们在实验时选择为5，

$\begin{array}{c}\mathrm{\&rho;}\left(\right(x,y),(x_0,y_0\left)\right)=\\ \sqrt{{\left(R\left(x,y\right)-R\left(x_0,y_0\right)\right)}^2+{\left(G\left(x,y\right)-G\left(x_0,y_0\right)\right)}^2+{\left(B\left(x,y\right)-B\left(x_0,y_0\right)\right)}^2}\end{array}---\left(3\right)$

其中，R(x,y)，G(x,y)，B(x,y)分别代表像素点在红层，绿层和蓝层的像素值。

3.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤4所述的方法为，先检测步骤3得到的图像边沿信息的所有边沿的端点，定义端点的集合为E_p，并设定每个端点都对应一个属性type，初始值为0，选择端点集合E_p中任意一个端点p为初始端点。

4.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤5所述的寻找离初始端点p距离d最近的端点Q，使p向着端点Q的方向θ^*前进的方法为，

$Q=\arg \underset{Q\&Element;E_p}{\min d(p,Q)}---\left(5\right)$

其中，d为两点间的欧式距离，

$d(p,Q)=\sqrt{{(x_p-x_Q)}^2+{(y_p-y_Q)}^2}---\left(6\right)$

使p向着端点Q的方向θ^*前进，

${\mathrm{\&theta;}}^{*}=\arctan \left(\frac{x_p-x_Q}{y_p-y_Q}\right)---\left(7\right)$

θ^*表示为连接端点时的标准方向。

5.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤6所述的使用范围函数N_ε(p)检索新的端点p_k的方法为，

p_k＝argmin(ρ((x_k,y_k),(x_p,y_p))),p_k∈N_ε(p)&θ_k≤θ^* (8)

其中范围函数N_ε(p)可以表示为，

$N_{\mathrm{\&epsiv;}}\left(p\right)=\left\{(x,y)\right|\sqrt{{(x-x_p)}^2+{(y-y_p)}^2<\mathrm{\&epsiv;},(x,y)\&Element;I}\}---\left(9\right)$

θ_k是新的端点的方向夹角，

${\mathrm{\&theta;}}_k=\arctan \left(\frac{x_k-x_p}{y_k-y_p}\right)---\left(10\right).$

6.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤10所述的将步骤9得到的初始种子点进行像素遗传适应度(区域连续种子数量)计算方法为，将得到的关键前景区域使用ncut技术进行分割，统计分割得到的各个区域的区域连续种子数量，然后将统计得到的各个区域连续种子数量进行排序，区域连续种子数量最多的区域就作为适应度强的种群，选择适应度强的种群去遗传新的像素点可以有效的提高遗传的效率和质量。

7.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤11所述的选择父节点Fa和母节点Ma的方法为，像素点GA_(x,y)的值为1表示该像素点在种群内，0表示不在种群内，对于初始种群中的每一个像素点，我们把适应度强的种子点定义为父节点Fa，在父节点Fa的八领域内随机定义一个在种群中的像素点为母节点Ma，如果没有找到母节点Ma，则该像素点不能产生新的个体，如果找到母节点Ma，则通过后续的遗传机制产生一个新的个体。

8.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤12所述的对步骤11得到的父节点Fa和母节点Ma基因序列进行交叉的方法为，我们把每一个个体的基因序列都看成是一个四维的向量(H,S,V,sumRGB)，其中H，S，V分别代表HSV空间中的色度，饱和度和明度，sumRGB代表RGB空间中红绿蓝三层值的总和，子节点Child的前两个基因序列来自父节点Fa，后两个基因序列来自母节点Ma，

$Child=Fa\&CenterDot;\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)+Ma\&CenterDot;\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)---\left(11\right).$

9.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤13所述的对步骤12得到的子节点Child基因序列与父节点Fa八领域内的非种群内的点基因序列进行比较时，相似基因序列的判别阈值选取为0.1，它的含义是子节点Child基因序列与父节点Fa八领域内的非种群内的点基因序列对应基因差值。

10.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤14所述的变异过程为，如果一个种群内的像素点的八领域内的所有点都是非种群内的，则我们把他也变异为非种群内的像素点，相反，如果一个非种群内的像素点的八领域内的所有像素点都是领域内的，我们就把这个像素点也变为种群内的点，

为1则保留该像素点，为0则将该点从前景目标中去除。

11.根据权利要求1所述的基于像素遗传的前景目标提取方法，其特征在于：步骤15中判断遗传终止的条件为，当图像中的像素点变化小于阈值时，停止区域增长。经过大量的实验，我们设置这个阈值为0.02％，它定义为遗传增长得到的点数占图像总点数的比例。