CN106815843A - 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法 - Google Patents

Abstract

本发明公开了一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，包括：显著图检测：基于凸包中心先验的果园果实图像初始显著图检测；显著图增强：构建无向图模型，基于吸引马尔可夫链计算节点的显著性值，获得增强的显著图；显著图优化：基于三个相互独立又相互补充的方法优化显著图；果实目标获取：对获得的显著图进行自适应阈值分割，获得二值黑白图像，再与原始图像叠加，从而将果实从背景中分割出来。该方法能够实现果园果实图像的分割，获取果实目标，促进果实采摘机器人的实用化进程。

Description

一种基于凸包中心先验和马尔可夫吸收链的果实目标获取 方法

技术领域

本发明属于图像处理技术领域，涉及一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法。

背景技术

随着现代农业的发展，基于机器视觉的采摘机器人成为国内外农业工程领域的研究热点，而对果实目标的获取是采摘机器人后续目标识别定位、采摘的首要任务。由于不同的果实有往往有不同的形状、颜色和大小等特征，以往的对果实图像的获取方法往往受某一类果实的特征限制，相应的采摘机器人只能采摘某一指定品种的水果，不具有通用性，提高了综合果园果农的成本。由于人类的视觉系统具有视觉注意机制，可以迅速将注意力集中在复杂场景的某些显著性目标上，而对于目标以外的背景区域关注较少，因此利用显著性目标检测的方法进行果实目标区域的获取，可以不需要根据果实目标颜色或形状特征等和背景的差异来提取果实目标区域，从而具有一定的通用性，可以使得此类采摘机器人具有更多的推广和使用价值。

发明内容

本发明的目的是提供一种果园果实目标获取方法，使得果实采摘机器人在图像处理阶段能够实现对果实目标的精确获取，进一步可完成识别定位，推动果实采摘机器人的实用化进程。实现本发明的技术方案包括如下步骤：

(1)图像采集步骤：基于视觉传感器实时采集果实图像。

(2)显著图获取步骤：该步骤采用颜色显著性加强算法进行Harris角点检测，构建最小凸包，把获得的凸包计算形心(x₀,y₀)作为显著目标中心，来定义每个超像素i的显著性值，获得初始显著图。

(3)显著图增强步骤：该步骤采用吸收马尔可夫链，来定义对初始显著图进行二值分割后构建的无向图模型中每个点的显著性值，获得增强的显著图。

(4)显著图优化步骤：该步骤中分别采用基于内容扩散机制、抑制函数、光滑滤波器这三种相互独立又相互补充的优化方法进行优化，实现显著图的优化。基于内容扩散机制的优化方法主要是采用K-means算法进行分类，在每个分类中按显著性值的大小进行降序排列后逐个对每个节点优化，实现图像前景区域的增强。基于抑制函数的优化方法，主要引入一个数学分段函数进行逐像素的抑制，来抑制掉图像中显著性值比较小的点。基于光滑滤波器的优化方法是采用一种局部光滑滤波函数，在光滑图像的时候能有效的保持图像的边缘地带，并将噪声过滤掉，从而使背景更加干净，实现显著图的优化。

(5)果实目标获取步骤：该步骤中采用自适应阈值来分割上述优化后的显著图，获得二值黑白图像，再与原始图像叠加，从而可将果实目标从背景中分割出来。

本发明的有益效果：

(1)对于果实采摘机器人来说，本发明方法能够实现果实目标的获取，对推动果实采摘机器人的实用化起到重要作用。

(2)本发明方法基于显著性目标检测的方法进行果实目标区域的获取，可以不需要根据果实目标颜色或形状特征等和背景的差异来提取果实目标区域，从而具有一定的通用性，可以使得此类采摘机器人具有更多的推广和使用价值。

(3)本发明方法利用检测到的兴趣点构建的凸包中心作为显著目标的中心，进行初级显著图的获取，可处理显著性目标不在图像中心的复杂图像。

(4)本发明方法利用基于凸包中心先验获取的初级显著图进行前景点的判断，并以此作为吸收马尔可夫链的吸收节点，通过计算其他节点与前景点的相似性来重义定义每个节点的显著性值，从而获得增强的显著图。

(5)果实目标获取步骤中采用Otsu方法对得到的显著图进行自适应阈值分割，再与原始图像叠加，从而获得从背景中分割出来的果实目标。

附图说明

图1为果实目标获取总流程；

图2为实验过程效果图；

其中，图(a)为采集的苹果图像；(b)为采用SLIC超像素分割后的图像；(c)为基于凸包中心先验的初始显著图；(d)为增强后的显著图；(e)为优化后的显著图；(f)为采用抑制函数减少背景区域的效果图；(g)为过滤噪点后的效果图；(h)为最终获得的果实目标图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的描述。本发明以苹果果实为例进行说明，但本发明同样适用于其他果实。

如图1所示，本发明提出的果园果实目标获取方法包括如下步骤：

(1)图像采集步骤

图像的采集基于视觉传感器，用作后续提取目标对象的区域信息，采集图像如图2(a)所示。

(2)显著性获取步骤

该步骤中采用SLIC超像素分割算法，将采集的图像首先分割成视觉均匀、形状规则且大小一致的超像素，如图2(b)。考虑到兴趣点一般都聚集在显著性目标的周围，把颜色显著性加强算法(color saliency boosting algorithm)应用到Harris角点检测方法中，然后利用检测到的兴趣点构建最小凸包，对获得的凸包计算形心(x₀,y₀)，把其作为显著目标中心，来计算每个超像素i的显著性值，如式(1)，从而获得基于凸包中心先验的初始显著图,如图2(c)。

其中，x_i和y_i分别是超像素i的水平和垂直坐标，是通过将图像中的像素坐标归一化到[0,1]，然后分别计算超像素i中包含的所有像素横坐标和纵坐标的均值得到的。σ_x和σ_y分别代表水平和垂直的方差。

(3)显著图增强步骤

该步骤对用凸包中心先验的方法获得的显著性图像进行二值分割，可以基本上将显著性区域中前景点分离出来(即分离出来的节点基本能覆盖图像中的显著性区域)。将获得的显著性区域中的前景点作为吸收马尔可夫链的吸收节点，图像中的其余节点作为吸收马尔可夫链的转移节点，来构建吸收马尔可夫链，构建的吸收马尔可夫链的概率转移矩阵为：

其中，I是一个k×k的单位矩阵，Q∈[0,1]_m×m中的元素表示转移节点之间的转移概率，R∈[0,1]_m×k中的元素代表转移节点与吸收节点之间的转移概率，O是一个k×m的零矩阵，k代表吸收节点的个数，m代表转移节点的个数。其中，Q＝D₁ ^-1W，R＝D₂ ^-1A，矩阵W是稀疏2-环图模型G＝(V,E)的关联矩阵，矩阵A是图模型中所有节点与前景点之间的关联矩阵，矩阵D₁是矩阵D'和矩阵D”之和，D'是图模型的度矩阵，即 表示图模型中所有与i相连的点之间的权重之和，w_ij表示相连点之间的权重，表示关联矩阵A＝(a_ij)_m*k的第i行的和，a_ij是节点与前景点之间的权重，矩阵D₂是矩阵D'和矩阵D”'之和，表示关联矩阵A'＝(a′_ij)_m*k的第i行的和，矩阵A'是图模型中所有节点与四个边界点之间的关联矩阵，a′_ij表示节点与边界点之间的权重。

由概率转移矩阵P，得到基本矩阵N，该矩阵N中的每个元素n_ij描述的是吸收马尔可夫链的起始状态s_i(转移状态)，在被某个吸收状态吸收之前经历过转移状态s_j的平均次数，基本矩阵N可表示为：

N＝(I-Q)^-1＝I+Q+Q²+… (3)

由式(3)，可以得到概率矩阵B＝NR，矩阵B中的元素b_ij表示图像中的节点(超像素)与前景点的相似性。

为了找到与前景最相似的点，对于图像中的每一个超像素点i，降序排列它被所有前景点j(j∈{1,2…k})吸收的概率值b_ij，即是：通过吸收马尔可夫链的这个经降序排列后概率来重新定义图像上每个点的显著性值，如式(4)所示，得到增强后的显著图，如图2(d)：

其中，d的取值为所有前景点个数的0.4倍，这是因为考虑上节中用阈值进行二值分割得到的显著性区域要比真值大一些，故这里将d的取值略小点。

(4)显著图优化步骤

该步骤在CIELab颜色空间中用K均值聚类方法将输入图像的节点(超像素点)分为K类。对每个类内的节点n_i，其显著性值按从大到小的策略，通过所在类内的其他节点的显著性值进行优化，效果如图2(e)，优化的表达式为：

其中，σ_X是在CIELab颜色空间中特征X每个颜色分量的方差之和，c_i和c_j分别代表超像素节点i和j在CIELab颜色空间的均值，T(n_i)是节点n_i优化后的显著性值，S(n_i)和S(n_j)分别表示节点n_i和n_j在上一步增强后的显著性值，即优化前的显著性值，在文中，α值设为0.5，聚类K的值设为8。

为了更好地抑制图像中背景噪点，用针对每个超像素的抑制函数来减少可能存在的背景区域，效果如图2(f)，函数的定义如下：

其中，x代表超像素的显著性值，θ代表一个阈值，控制要抑制的超像素的范围，这里取值为0.6。

考虑到上述虽对前景进行了增强和对背景进行了抑制，但还存在一些复杂的纹理，不利于后续的图像分割，本步骤接着应用一个局部光滑滤波器，来有效光滑图像中的显著性区域，同时将图像中的一些噪点过滤掉，效果如图2(g)。

(5)果实图像获取步骤

该步骤是采用Otsu方法对优化后显著图进行自适应阈值分割，再与原始图像叠加，从而将获得从背景中分割出来的果实目标，效果如图2(h)。

以上实施方式仅用于说明本发明的技术方案，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明保护的范畴。

Claims (9)

1.一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，包括如下步骤：

(1)图像采集步骤：采用视觉传感器实时采集果实图像；

(2)显著图获取步骤：该步骤采用颜色显著性加强算法进行Harris角点检测，构建最小凸包，把获得的凸包计算形心(x₀,y₀)作为显著目标中心，来定义每个超像素i的显著性值，获得初始显著图；

(3)显著图增强步骤：该步骤采用吸收马尔可夫链，来定义初始显著图进行二值分割后构建的无向图模型中每个点的显著性值，获得增强的显著图；

(4)显著图优化步骤：该步骤中分别采用基于内容扩散机制、抑制函数和光滑滤波器的方法进行优化，实现显著图的优化；

(5)果实目标获取步骤：该步骤中采用自适应阈值来分割上述优化后的显著图，获得二值黑白图像，再与原始图像叠加，从而可将果实目标从背景中分割出来。

2.根据权利要求1所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述步骤(2)的具体实现包括：

采用SLIC超像素分割算法，将采集的图像首先分割成视觉均匀、形状规则且大小一致的超像素，将颜色显著性加强算法应用到Harris角点检测方法中，然后利用检测到的兴趣点构建最小凸包，对获得的最小凸包计算形心(x₀,y₀)，把形心作为显著目标中心，计算每个超像素i的显著性值，获得基于凸包中心先验的初始显著图。

3.根据权利要求2所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述计算每个超像素i的显著性值的表达式为：

$S_c\left(i\right)=\exp (-{\left(x_i-x_0\right)}^2/2{\mathrm{\σ}}_x^2-{\left(y_i-y_0\right)}^2/2{\mathrm{\σ}}_y^2)$

其中，x_i和y_i分别是超像素i的水平和垂直坐标，是通过将图像中的像素坐标归一化到[0,1]，然后分别计算超像素i中包含的所有像素横坐标和纵坐标的均值得到的；σ_x和σ_y分别代表水平和垂直的方差。

4.根据权利要求1所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述步骤(3)的具体实现包括：

步骤(3-1)：对获得的初始显著图进行二值分割，将显著性区域中的前景点分离出来；将分离的前景点作为吸收马尔可夫链的吸收节点，图像中的其余节点作为吸收马尔可夫链的转移节点，构建吸收马尔可夫链；所述构建吸收马尔可夫链的概率转移矩阵为：

$P=\left(\begin{array}{cc}Q& R\\ O& I\end{array}\right)$

其中，I是一个k×k的单位矩阵，Q∈[0,1]_m×m中的元素表示转移节点之间的转移概率，R∈[0,1]_m×k中的元素代表转移节点与吸收节点之间的转移概率，O是一个k×m的零矩阵，k代表吸收节点的个数，m代表转移节点的个数。其中，Q＝D₁ ^-1W，R＝D₂ ^-1A，矩阵W是稀疏2-环图模型G＝(V,E)的关联矩阵，矩阵A是图模型中所有节点与前景点之间的关联矩阵，矩阵D₁是矩阵D'和矩阵D”之和，D'是图模型的度矩阵，即 表示图模型中所有与i相连的点之间的权重之和，w_ij表示相连点之间的权重，表示关联矩阵A＝(a_ij)_m*k的第i行的和，a_ij是节点与前景点之间的权重，矩阵D₂是矩阵D'和矩阵D”'之和，表示关联矩阵A'＝(a′_ij)_m*k的第i行的和，矩阵A'是图模型中所有节点与四个边界点之间的关联矩阵，a′_ij表示节点与边界点之间的权重。

步骤(3-2)：由概率转移矩阵P，得到基本矩阵N，N＝(I-Q)^-1＝I+Q+Q²+…；

所述矩阵N中的每个元素n_ij描述的是吸收马尔可夫链的起始状态s_i，在被某个吸收状态吸收之前经历过转移状态s_j的平均次数；

步骤(3-3)：构造概率矩阵B＝NR，矩阵B中的元素b_ij表示图像中的超像素节点与前景点的相似性；

对于图像中的每一个超像素点i，降序排列它被所有前景点j吸收的概率值b_ij，即通过吸收马尔可夫链的这个经降序排列后概率来重新定义图像上每个点的显著性值得到增强后的显著图；其中，d的取值为所有前景点个数的0.4倍。

5.根据权利要求1所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述步骤(4)的具体实现包括：

在CIELab颜色空间中用K均值聚类方法将输入图像的超像素节点分为K类，对每个类内的节点n_i，其显著性值按从大到小的方法，通过所在类内的其他节点的显著性值进行优化，所述优化的表达式为：

$T\left(n_i\right)=\mathrm{\α}S\left(n_i\right)+(1-\mathrm{\α})\frac{\underset{j=1}{\overset{m}{\Σ}}{D}_{ij}S\left(n_j\right)}{\underset{j=1}{\overset{m}{\Σ}}{D}_{ij}}$

其中，T(n_i)是节点n_i优化后的显著性值，σ_X是在CIELab颜色空间中特征X每个颜色分量的方差之和，c_i和c_j分别代表超像素节点i和j在CIELab颜色空间的均值，S(n_i)和S(n_j)分别表示节点n_i和n_j在上一步增强后的显著性值，即优化前的显著性值。

6.根据权利要求5所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述α值设为0.5，聚类K的值设为8。

7.根据权利要求5所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，步骤(4)的实现还包括：采用针对每个超像素的抑制函数减少可能存在的背景区域，所述抑制函数为：

$d\left(x\right)=\left\{\begin{array}{cc}x,& x>\mathrm{\θ}\\ x*x/\mathrm{\θ},& x\≤\mathrm{\θ}\end{array}\right.$

其中，x代表超像素的显著性值，θ代表一个阈值，控制要抑制的超像素的范围，这里取值为0.6。

8.根据权利要求5所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，步骤(4)的实现还包括：采用局部光滑滤波器，有效光滑图像中的显著性区域，同时将图像中的噪点过滤掉。

9.根据权利要求1所述的一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法，其特征在于，所述步骤(5)采用Otsu方法对优化后显著图进行自适应阈值分割。