CN109658421A - 一种多目标图像的分割方法 - Google Patents

Abstract

本发明实施例提供一种多目标图像的分割方法，包括：建立基于稀疏信号的图像特征描述子；采用基于插值小波的EMD距离对图像的特征距离进行描述，定义更精确的图像特征插值小波EMD距离；采用插值小波EMD距离作为图像区域相似性的测度，建立图像分割变分模型；确定对图像分割结果的约束条件，并将图像分割变分模型与分割结果的约束条件表示为非线性规则；构造图像分割同伦优化模型，使得迭代求解造成的图像特征误差得到补偿，从而实现目标物图像的可控分割。该方法能对图像特征进行全面描述，图像特征距离能准确反应不同特征之间的细微差异，并且采用的图像分割模型不会导致图像特征的弱化。

Description

一种多目标图像的分割方法

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种多目标图像的分割方法。

背景技术

在智慧农业中，对农作物图像的分析是很重要的。对农作物图像分析，经常需要针对同一图像实现不同目标物的可控分割，以满足不同作业管理需求，例如识别蔬菜叶片不同病斑从而分别用药、成熟水果的选择采摘、庄稼株间杂草的识别等。

农作物图像的特点是图像中目标物多且图像背景复杂、特征相近。首先，大多数农作物图像属于多目标图像，不同成熟度的目标物可能混杂在一起，且目标物纹理和图像背景类似。如图1a所示，成熟的瓜果隐藏在绿叶中，很难将其分辨出。又如图1b所示的葡萄叶上的根瘤蚜虫，由于根瘤蚜虫的颜色与葡萄叶的颜色非常接近，在图像中很难进行分辨。其次，目标物的图像不完整。目标图像和背景物体之间相互掩映，如西瓜、苹果等果实的叶和茎相互交错，导致目标物图像外形缺失，很难根据外形对目标物进行识别。再次，目标物和背景物外形和生物成分均类似，如图1c所示的株间杂草与禾苗，或者如图1d所示的带有病虫害的叶片和健康的植物叶片等，这些图像即使采用多光谱信息也很难将目标物和背景物区分开。第四，目标物的形状、大小、方向不唯一，可见光的亮度、噪声等对图像质量也有很大影响，并且要满足农业自动化的需要，对目标物的识别速度要快。上述这些问题给果实生长情况监控及自动采摘、农作物生产管理等都带来很大障碍。

为解决图像中目标物的识别，目前的主要方法是利用格子玻尔兹曼(LatticeBoltzmann Method,LBM)计算遮挡因子，或者利用融合深度信息的方法解决遮挡问题，但由于图像中目标物和背景相近，会导致图像的过分割和欠分割。为解决该问题，目前主要采用超色方法，或是多源信息融合方法，其实质上是通过图像增强技术或者热成像技术增大目标物和背景的区别。又如，现有的图像自动分割方法，是对RGB空间常见的颜色指标进行分析，并提出了图像分割精度的概念。现有的邻接区域信息融合方法，是充分利用光照对果实的影响，在图像分割时使用亮度信息和颜色信息将邻接果实分开。

现有的图像分割技术在处理以上图像时，经常会出现过分割、欠分割、目标分割错误等问题，这给基于图像分析的精确农业管理、农业机器人生产作业等带来了极大障碍。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种多目标图像的分割方法，实现多目标图像的精确分割。

本发明实施例提供一种多目标图像的分割方法，包括：

S1、建立基于稀疏信号的图像特征描述子；

S2、采用基于插值小波的EMD距离对图像的特征距离进行描述，定义更精确的图像特征插值小波EMD距离；

S3、采用插值小波EMD距离作为图像区域相似性的测度，建立图像分割变分模型；

S4、确定对图像分割结果的约束条件，并将图像分割变分模型与分割结果的约束条件表示为非线性规则；

S5、构造图像分割同伦优化模型，以使迭代求解造成的图像特征误差得到补偿，从而实现目标物图像的可控分割。

进一步，步骤S1包括：在Beltrami模型框架下建立基于稀疏信号的图像特征描述子，将插值小波作为稀疏基。

进一步，所述图像分割变分模型利用非负矩阵分解对图像进行分割，并且采用与CV模型类似的能量函数。

进一步，所述非线性规则为：

minf(x),

s.t.h(x)＝0,g(x)≤0

其中，

f(x)是目标函数,表示图像分割变分模型；

h(x)是等式约束函数,对应图像目标轮廓的水平集函数；

g(x)是不等式约束函数,对应图像目标内外区域的水平集函数；

s.t.是数学符号,表示“受约束于”；

x表示图像像素向量；

表示实数集合；

表示n维实数向量空间；

表示p维实数向量空间；

表示m维实数向量空间，

进一步，所述图像分割同伦优化模型的计算方法包括：

首先，利用小波精细积分法对小波框架下的图像分割变分模型进行求解；

其次，采用Bregman迭代算法求解全变差框架下的同伦变分模型。

进一步，所述图像分割同伦优化模型的计算方法还包括：

以插值小波作为稀疏表示基，设计对应的低维测量矩阵，得到输入图像信号的低维稀疏空间表达；

利用低维信息进行图像处理，重构图像分割联合数值模型；

构建同伦模型求解的图割法，并以此构建小波框架下的图像分割变分同伦模型的迭代求解方法。

进一步，所述插值小波为对称波。

本发明实施例提供的多目标图像的分割方法，通过构造插值Shearlet变换，对图像特征进行全面描述；通过结合同伦分析和稀疏表示理论，准确反应不同特征之间的细微差异；通过构造图像分割同伦模型快速算法，不会造成特征弱化，从而实现多目标图像的精确分割。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a、图1b、图1c、图1d为现有技术中农作物的图像；

图2为本发明实施例提供的多目标图像分割方法的流程示意图；

图3为本发明实施例提供的对农作物图像进行多目标分割的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

要实现农作物图像中目标物图像的分割，图像分割模型应满足三个方面的要求：第一，该模型对图像特征的描述要全面；第二，图像的特征距离能准确反映不同特征之间的细微差异；第三，该模型要考虑多种特征，且其迭代求解过程中不能导致特征弱化。

结构化和层次化是图像目标识别和分割的有效手段，在深度学习领域获得了极大成功。Shearlet(剪切波)变换是具有多尺度方向敏感性的各向异性小波变换，有利于图像目标物的结构化描述，而同伦分析理论和深度学习理论一样，可以实现图像的分层次识别。

将Shearlet变换和插值小波理论相结合，构造插值Shearlet变换，能够满足图像特征的全面描述。围绕插值Shearlet变换理论，结合同伦分析和稀疏表示理论，实现图像描述的层次化和处理算法的集成化与参数化，能准确反应不同特征之间的细微差异。结合Split-Bregman(分裂-布雷格曼)迭代、基追逐等方法和小波精细积分法构造的图像分割同伦模型快速算法，能在迭代求解过程中不造成特征弱化。

图2示出了本发明实施例提供的多目标图像的分割方法。该方法包括：

步骤101，建立基于稀疏信号的图像特征描述子。

在Beltrami(贝特拉米)模型框架下建立基于稀疏信号的图像特征描述子。将插值小波作为稀疏基，确保测量信号能以较高的概率恢复，在保留主要特征值不变的情况下，对其他位置适度平滑。

相对于一般小波，插值小波既能保留图像特征分布不被弱化，同时也对不连续的特征分布较为敏感，其产生的Gibbs(吉布斯)现象通过增加合理的阻尼系数或者构造多尺度插值小波算子即可得到改进，从而提高EMD(EarthMover’s Distance搬土距离)的精度。

该步骤所用到的插值小波均为对称小波，相对于非对称小波，插值小波的优点在于其仿射旋转性不会变化。与此同时，用Faber-Schauder(费伯-史考德)小波代替Haar(哈尔)小波,虽然Faber-Schauder小波和Haar小波在积分运算上都具有线性时间复杂度，但是，Faber-Schauder小波不会对图像的局部特征进行平均，从而避免了对图像特征鉴别产生的影响。并且借助流形的定义，针对图像中不同的目标物,选用颜色特征、形状特征和鲁棒性更好的SURF(加速稳健特征)描述算法对图像进行描述，并采用非负矩阵分解进行降维，可有效提高精度。

本发明实施例提供的方法采用多尺度插值Shearlet变换矩阵对图像信号进行稀疏化，由于Shearlet对图像的纹理和边界方向较为敏感，有利于目标物图像的结构性稀疏表达。并且，基于插值Shearlet变换矩阵对图像信号进行稀疏化，进而设计对应的观测矩阵，能够获得效率更高及压缩比更大的观测信号。

步骤102，采用基于插值小波的EMD距离对图像的特征距离进行描述，在保证算法效率的前提下，定义更为精确的图像特征插值小波EMD距离。

相对于普通小波，用插值小波逼近的过程中，在插值点处的误差为0，可以有效减少逼近误差，且计算效率较高。此外，采用动态区间小波解决边界效应，可以提高精度。同时，选择支撑区间和光滑度不同的Faber-Schauder小波、Shannon-Gabor(香农-加伯)小波、Daubechies(多贝西)小波的自相关函数分别对自然图像和目标物的特征分布进行逼近，使得插值小波在逼近图像特征分布方面的精度和效率更高。

本发明实施例提供的方法采用动态区间插值Shearlet理论对EMD距离进行逼近，相对于已经提出的小波EMD(Wavelet EMD)，插值Shearlet具有相同的多尺度位移、平移和错切性质，可以有效提高EMD算法效率，并且其插值特性可以避免图像特征的描述精度下降。

步骤103，采用插值小波EMD距离作为图像区域相似性的测度，建立图像分割变分模型。

图像分割变分模型分为基于边界的模型和基于区域的模型，基于区域的模型可携带更多的区域图像特征而便于精确分割。

插值小波EMD距离下的图像分割模型利用非负矩阵分解对图像进行分割，对图像特征分布按照某种已知的特征矩阵进行分解，得到H^*＝HW，其中，H＝(h₁|...|h_K)是目标物特征分布,W是对应的分解系数矩阵。然后，根据分解结果进行聚类得到图像分割结果。图像分解可以表示为以下线性规则：

其中s.t.是数学符号,是subjec to的简称,表示为“受约束于”。

基于EMD距离的图像分割变分模型可以采用与CV(Chan-Vese)模型类似的能量函数：

E(∑)＝EMD(P_∑in,P_f)+EMD(P_∑out,P_f)

其中，EMD(P_∑in,P_f)表示基于P_f和P_∑in之间的EMD距离定义的能量，EMD(P_∑out,P_f)表示基于P_f和P_∑out之间的EMD距离定义的能量，E(∑)是以上两者能量之和；P_∑in表示目标区域内图像特征向量，P_f表示目标物特征向量，P_∑out表示目标区域外图像特征向量。

在插值小波框架下，图像分割变分模型的构造改变了范数的定义,其中BV(Ω)空间用Besov(贝索夫)空间代替，并且引入了有界线性算子K。

本发明实施例提供的方法将插值小波EMD距离作为目标物图像区域相似度测度，构造基于插值小波EMD的全变差框架下的图像分割模型和小波框架下的图像分割模型,以及相应的快速计算方法。

步骤104，目标可控的图像分割首先确定对图像分割结果的约束条件，该约束条件为图像目标轮廓处的水平集函数值为0，图像目标轮廓内外区域的水平集函数分别大于0和小于0。

然后将图像分割变分模型与分割结果的约束条件表示为以下非线性规则：

minf(x),

s.t.h(x)＝0,g(x)≤0

其中，f(x)是目标函数,表示图像分割变分模型；h(x)是等式约束函数,对应图像目标轮廓的水平集函数；g(x)是不等式约束函数,对应图像目标内外区域的水平集函数；s.t.是数学符号，表示“受约束于”；x表示图像像素向量，表示实数集合，表示n维实数向量空间，表示p维实数向量空间，表示m维实数向量空间，Z表示整数集。

由此，可以得出该情形下的Karush-Kuhn-Tucker(卡鲁什-库恩-塔克，KKT)系统。根据KKT系统构造好的图像同伦分析模型，好的同伦模型可以保证从初始点触发的光滑路径的概率为1，并且路径在KKT系统中的解具有收敛性。同时，采用先简单后复杂的处理原则，用简单图像检验模型的合理性，用复杂图像检验模型的完善性。

同伦方法也是一种对非凸问题凸优化的重要方法。本发明实施例提供的方法采用同伦法构造分层次、目标可控的图像分割模型，通过选择合理的约束条件并构造性能良好的同伦，既可以保证图像分割的精度，也可以有效提高模型求解的收敛速度。

步骤105，依据同伦理论，构造图像分割同伦优化模型，确保迭代求解造成的图像特征误差能够得到补偿，从而实现农作物图像的目标可控分割。

目标可控的图像分割同伦模型的快速计算方法是，首先利用小波精细积分法对小波框架下的图像分割变分模型进行求解，然后采用Bregman(布雷格曼)迭代算法求解全变差框架下的同伦变分模型。

在此过程中，构造求解偏微分方程的压缩感知方法以插值小波作为稀疏表示基，设计对应的低维测量矩阵，得到输入图像信号的低维稀疏空间表达，然后利用低维信息进行图像处理，重构图像分割联合数值模型，提高图像分割的效率。同时，借助积分几何学上的Cauchy-Crofton(科奇-克罗夫顿)公式，设计“图形”表达的图像分割变分模型，构建对同伦模型进行求解的图割法，以此构建小波框架下的图像分割变分同伦模型的迭代求解方法。

图3显示了本发明实施例提供的多目标图像的分割方法对农作物图像进行分割的具体应用。如图3所示，对农作物图像进行分割时，不但要把麦穗从背景中分割出来，还要进一步把麦穗上的棉铃虫分割出来。要解决该问题，不但需要图像描述算法精确，而且分割算法也需要动态变化，能将图像的背景和目标进行相互转化。

对图像分割时，首先将麦穗，以及与麦穗具有相似颜色、纹理的棉铃虫作为一个整体从图像中分割出来，如图3中轮廓线A所示。然后，利用同伦函数的特性，进一步将附着在麦穗上的棉铃虫图像分割出来，如图3中轮廓线B所示，从而实现图像的分层分割。

本发明实施例提供的多目标图像的分割方法，用插值小波逼近在Banach(巴拿赫)空间中定义的图像特征，相比用Hilbert空间中的小波函数逼近，其精度更好，并且用同伦理论可对迭代求解中的迭代误差进行校正。

针对农作物图像中多目标图像分割问题，本发明实施例提供的多目标图像的分割方法，基于压缩感知理论、插值小波和同伦理论构造了一种新的稀疏图像分割模型，该模型能从图像中提取更多的特征而不影响计算效率。并且，在保证算法效率的前提下，定义了更为精确的图像特征插值小波EMD距离；基于同伦理论，构造了图像分割同伦优化模型，确保迭代求解造成的图像特征误差能够得到补偿，从而实现对农作物图像中目标图像的目标可控分割。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种多目标图像的分割方法，其特征在于，包括：

S1、建立基于稀疏信号的图像特征描述子；

S2、采用基于插值小波的EMD距离对图像的特征距离进行描述，定义更精确的图像特征插值小波EMD距离；

S3、采用插值小波EMD距离作为图像区域相似性的测度，建立图像分割变分模型；

S4、确定对图像分割结果的约束条件，并将图像分割变分模型与分割结果的约束条件表示为非线性规则；

S5、构造图像分割同伦优化模型，使得迭代求解造成的图像特征误差得到补偿，从而实现目标物图像的可控分割。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

在Beltrami模型框架下建立基于稀疏信号的图像特征描述子，将插值小波作为稀疏基。

3.根据权利要求1所述的方法，其特征在于，所述图像分割变分模型利用非负矩阵分解对图像进行分割，并且采用与CV模型类似的能量函数。

4.根据权利要求1所述的方法，其特征在于，所述非线性规则为：

minf(x),

s.t.h(x)＝0,g(x)≤0

其中，

f(x)是目标函数,表示图像分割变分模型；

h(x)是等式约束函数,对应图像目标轮廓的水平集函数；

g(x)是不等式约束函数,对应图像目标内外区域的水平集函数；

s.t.是数学符号,表示“受约束于”；

x表示图像像素向量；

表示实数集合；

表示n维实数向量空间；

表示p维实数向量空间；

表示m维实数向量空间，

5.根据权利要求1所述的方法，其特征在于，所述图像分割同伦优化模型的计算方法包括：

首先，利用小波精细积分法对小波框架下的图像分割变分模型进行求解；

其次，采用Bregman迭代算法求解全变差框架下的同伦变分模型。

6.根据权利要求5所述的方法，其特征在于，所述图像分割同伦优化模型的计算方法进一步包括：

以插值小波作为稀疏表示基，设计对应的低维测量矩阵，得到输入图像信号的低维稀疏空间表达；

利用低维信息进行图像处理，重构图像分割联合数值模型；

构建同伦模型求解的图割法，并以此构建小波框架下的图像分割变分同伦模型的迭代求解方法。

7.根据权利要求2所述的方法，其特征在于，所述插值小波为对称波。