CN114463355A - 一种融合超像素块和整体嵌套边缘的图像分割方法 - Google Patents
一种融合超像素块和整体嵌套边缘的图像分割方法 Download PDFInfo
- Publication number
- CN114463355A CN114463355A CN202210207024.9A CN202210207024A CN114463355A CN 114463355 A CN114463355 A CN 114463355A CN 202210207024 A CN202210207024 A CN 202210207024A CN 114463355 A CN114463355 A CN 114463355A
- Authority
- CN
- China
- Prior art keywords
- image
- superpixel
- color
- pixel
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,尤其涉及一种融合超像素块和整体嵌套边缘的图像分割方法,包括S1:定义种子点个数;S2:标记边缘概率图E;S3:种子点初始化,生成预分割;S4:应用FSLIC的空间距离和SEEDS的颜色能量生成初始标签L0;S5:根据E和L0关系定义超像素边缘为强边界或弱边界;S6:基于弱边界根据颜色能量重新划分超像素边缘;S7:输出甘蔗蚜虫图像分割结果。本发明将概率边缘图和融合聚类策略引入超像素分割方法中,充分发挥了超像素方法处理速度快,可应对自然光照的可变性的优势;本发明是高效可靠的、分割性能优异的超像素分割方法。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种融合超像素块和整体嵌套边缘的图像分割方法。
背景技术
2013年在德克萨斯州博蒙特首次发现甘蔗蚜虫。甘蔗蚜虫具有很高的扩散能力和繁殖速度,对农作物的危害很大,每年经常爆发虫害。因此,高效、快速地识别害虫对于农民快速了解虫害程度并及时施用农药以避免产量损失至关重要。
传统的甘蔗蚜虫检测主要方法仍需要基层工作人员进入农田观察蚜虫在叶片上的分布情况,依靠经验判断叶片上甘蔗蚜虫的数量等级并诊断该区域的病虫害状况。这种方法具有工作量大、效率低的特点。不能快速准确地反映和预测病虫害的发生。与传统的人工计数相比,基于图像的自动检测将显著提高害虫预警效率,应在害虫管理中广泛应用。
基于图像的检测系统可以有效识别害虫(如甘蔗蚜虫)。传统的图像处理方法,如基于多种特征的方法、支持向量机(SVM)和基于阈值的方法,在害虫识别中表现出了较好的性能。近年来,卷积神经网络(CNN)、快速区域卷积神经网络(Faster RCNN)、特征金字塔网络(FPN)和You Only Look Once(YOLO) 等深度学习模型在害虫识别中也得到了很好的应用。
上述研究的算法大多是应用在稳定光照或简单背景的场景下(如受控光照、温室和害虫诱捕器),没有考虑到农田多变的自然光照环境下害虫识别方法的鲁棒性。由于害虫的体积较小,传统的基于像素的方法需要很长时间才能在通常包含数百万像素的图像中识别害虫。超像素方法在不显著牺牲精度的情况下显著加快了后续处理,同时超像素方法可以应对自然光照的可变性。因此与上述基于像素的方法相比,本发明的基于超像素的方法被认为是一种更有效的适用于非结构化农田背景和随机多变自然光照条件下的甘蔗蚜虫图像分割方法。
发明内容
针对现有算法的不足,本发明提供一种基于非结构化农田背景和随机多变自然光照、融合概率边缘图和超像素聚类策略、致力于在百万级像素的图像处理中能够高效可靠、分割性能优异的超像素分割方法。
本发明所采用的技术方案是:一种融合超像素块和整体嵌套边缘的图像分割方法包括以下步骤:
S1:输入图像并根据甘蔗蚜虫目标尺寸定义种子点个数;
进一步的,采集带有甘蔗蚜虫的谷物高粱叶的原始图像作为数据集;图像数据集包括四种光照强度:弱光、强光,直射光和漫射光;将采集原始图像分离为一定像素的若干子图像;
在图像数据集中根据甘蔗蚜虫目标尺寸确定种子点个数K;
进一步的,K=400;
S2:基于整体嵌套边缘算法(Holistically-Nested Edge Detection,HNE)对图像进行标记,并将其标记为边缘概率图E;
进一步的,使用整体嵌套边缘算法对整体图像进行训练和预测,并在多尺度,多层次上提取特征,对图像进行标记,将其标记为边缘概率图E;
S3:种子点初始化,生成预分割;
进一步的,通过均匀分布种子点来初始化K个种子点,生成预分割,并将聚类中心移动到n×n邻域中的最低梯度位置;
S4:应用快速简单线性迭代聚类算法(Fast Simple Linear IterativeClustering, FSLIC)的空间距离和能量驱动采样超像素算法(Superpixels Extractedvia Energy-Driven Sampling,SEEDS)的颜色能量生成初始标签L0,并应用预测候选聚类消除(Predict Candidate Cluster Elimination,PCCE)不等式优化迭代聚类中心步骤,加速收敛;
具体内容为:
SEEDS算法是一种能量优化方法,它的生成方法是迭代优化颜色能量H(s) 和边界能量G(s)上的能量函数E(s);基于能量函数E(s),像素在相邻超像素之间转换,从而快速改变边界;超像素块的数量,紧凑性和迭代次数可以通过SEEDS 算法来控制,能量函数E(s)公式为:
E(s)=H(s)+γG(s) (1)
其中,H(s)是颜色能量,G(s)是边界能量,γ是平衡参数;
颜色能量H(s)的公式为:
FSLIC算法的生成方法是将图片转化为LAB颜色空间和XY坐标下的五维特征向量,在图像内均匀地划分种子点(即初始化聚类中心)得到最初的超像素分布,通过颜色距离和空间距离确定的距离度量将种子点邻域内的像素点分配给最近的聚类中心,不断迭代此过程直至收敛;最后将分离的像素重新分配给附近的超像素,聚类后得到规则的超像素;颜色距离矩阵Dc(i,Ck)和空间距离矩阵Ds(i,Ck)的公式如下:
其中,Ck是一组具有相同特征类的聚类中心,Dc(i,Ck)是i和Ck之间的颜色距离矩阵,Ds(i,Ck)是i和Ck之间的空间距离矩阵,l,a,b是三维颜色特征,x和y是二维特征;第i个超像素的中心被描述为Ci=li+ai+bi;
PCCE不等式用于优化迭代聚类中心步骤,加速收敛,其公式为:
D″(i,Ck)≥d′min (8)
式中,d′min表示当前最小距离,D″(i,Ck)指下一个候选距离;
S5:根据E和L0关系定义超像素边缘为强边界或弱边界;
进一步的,根据边缘概率图E和生成的初始标签L0,重新分配了FSLIC中的空间距离和SEEDS中的颜色能量的融合:L0等于E定义超像素边缘为“强边界”,否则为“弱边界”,并将强边界绘制为超像素边界;
S6:基于弱边界根据颜色能量重新划分超像素边缘;
进一步的,如果E两侧的像素块的颜色能量相等,则移除E,否则,将该E 边绘制为超像素边界。
S7:输出甘蔗蚜虫图像分割结果;
本发明的有益效果是:
本发明针对农田多变的自然光照环境下害虫识别方法的鲁棒性不高的问题,将概率边缘图和融合聚类策略引入超像素分割方法中,充分发挥了超像素方法处理速度快,可应对自然光照的可变性的优势。以小尺寸的甘蔗蚜虫为研究对象进行试验,验证了本发明提出的方法是一种高效可靠的、分割性能优异的适用于非结构化农田背景和随机多变自然光照条件下的超像素分割方法。
附图说明
图1是本发明的甘蔗蚜虫图像分割算法总体流程图;
图2是本发明的甘蔗蚜虫图像分割算法的路线图;
图3是不同超像素数量K下的目标数示例图;
图4四种自然光条件下与现有的八种超像素算法的视觉比较图;
图5四种自然光条件下与现有的八种超像素算法的性能对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1-2所示,一种融合超像素块和整体嵌套边缘的图像分割方法包括以下步骤:
S1:输入图像并根据甘蔗蚜虫目标尺寸定义种子点个数;具体内容为:
输入的图像来自于使用相机在农田自然光照下拍摄的带有甘蔗蚜虫的谷物高粱叶的图像数据集(图像分辨率为2448×3264);相机与叶片的垂直距离约为 0.2米;该图像数据集包括四种光照强度:弱光(光照强度小于20kLux)、强光 (光照强度大于30kLux),直射光(在太阳角度大于40°的晴天中午至下午1:00 之间拍摄)和漫射光(拍摄时光强介于20Klux和30Klux之间)。为了评估算法在各种自然光条件下的性能,我们将每个原始图像分离为408×306像素的8×8 子图像。
对图像设定的种子点个数对甘蔗蚜虫的分割准确性有很大影响,如图3在合适的种子点个数K下,甘蔗蚜虫目标被较为完整地分割开来。我们在图像数据集中根据甘蔗蚜虫目标尺寸确定种子点个数K为400时能对甘蔗蚜虫目标实现较好的分割效果。
S2:基于整体嵌套边缘算法对图像进行标记,并将其标记为边缘概率图E。具体内容为:
使用整体嵌套边缘算法对整体图像进行训练和预测,并在多尺度,多层次上提取特征;它可以获得有利于边缘和物体边界检测的丰富的层级,在生成的边缘概率图E的帮助下,超像素的迭代方法可以捕捉到边缘,从而产生高质量的边界;本发明使用该算法对图像进行标记,并将其标记为边缘概率图E。
S3:种子点初始化,生成预分割。具体内容为:
进一步的,均匀分布种子点来初始化K个种子点,生成预分割,并将聚类中心移动到2×2邻域中的最低梯度位置。
S4:应用FSLIC的空间距离和SEEDS的颜色能量生成初始标签L0,并应用PCCE不等式优化迭代聚类中心步骤,加速收敛,具体内容为:
SEEDS算法是一种能量优化方法,它的生成方法是迭代优化颜色能量H(s) 和边界能量G(s)上的能量函数E(s)(公式1-5);基于能量函数,像素在相邻超像素之间转换,从而快速改变边界;超像素块的数量,紧凑性和迭代次数可以通过SEEDS算法来控制。
FSLIC算法的生成方法是将图片转化为LAB颜色空间和XY坐标下的五维特征向量,在图像内均匀地划分种子点(即初始化聚类中心)得到最初的超像素分布,通过颜色距离和空间距离确定的距离度量(公式6-7)将种子点邻域内的像素点分配给最近的聚类中心,不断迭代此过程直至收敛。最后,后处理步骤将分离的像素重新分配给附近的超像素,聚类后得到规则的超像素。
S5:根据边缘概率图E和生成的初始标签L0,重新分配了FSLIC中的空间距离和SEEDS中的颜色能量的融合:L0等于E定义超像素边缘为“强边界”,否则为“弱边界”,并将强边界绘制为超像素边界。
S6:基于弱边界根据颜色能量重新划分超像素边缘:如果E两侧的像素块的颜色能量相等,则移除E,否则,将该E边绘制为超像素边界。
S7:输出甘蔗蚜虫图像分割结果。
基于图像的自动检测系统说明了害虫(如甘蔗蚜虫)的有效识别能力。然而,大多数方法都是使用在稳定光照条件下拍摄的图像开发的,很少考虑自然光照的因素。本发明是一种融合整体嵌套边缘检测的超像素方法(Fuse FSLIC,SEEDS,and Edge mapalgorithms,FSE),并将其与其他八种最先进的超像素算法进行了比较,这些算法是在弱光、强光、直射光和漫射光等各种自然光照条件下拍摄的图像数据集上实现的。通过图4可以看出本发明提出的方法能够在不同的光照条件下对甘蔗蚜虫能实现准确分割,同时经过对比发现漫射光是甘蔗蚜虫识别的理想光照条件。我们根据视觉质量、真实值偏差(例如,目标紧凑性T-C、边界召回率B-R和欠分割误差US-E)以及分割运行时间Runtime来评估算法性能。如图5所示,与其他算法相比,FSE算法在目标紧致性(0.61)、边界召回率(0.76)和运行时间(0.13s)方面表现出相对较好的性能;本发明提出的是一种高效可靠的、分割性能优异的适用于非结构化农田背景和随机多变自然光照条件下的超像素分割方法。
目标紧凑性T-C(公式9-11)、边界召回率B-R(公式12)和欠分割误差 US-E(公式13)的公式如下:
其中,S代表超像素中的像素集,I代表图像中的像素集,|I|是图像的尺寸, |S|是超像素的尺寸;r是与超像素周长相对应圆的半径;Ls是超像素的周长;QS是等周商;AS和AC分别是超像素和圆形面积;
其中,S和G分别代表超像素分割和相应的真实值分割;TP(S,G)是真正性,表示在γ的偏差范围内,同时属于G和S中的边界像素数,在γ的公差范围内;FN(S,G)为假阴性,表示在γ的公差范围内,属于G而非S的边界像素数;γ是与实际值的允许偏差;
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (9)
1.一种融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,包括以下步骤:
S1:输入图像并根据甘蔗蚜虫目标尺寸定义种子点个数;
S2:基于整体嵌套边缘算法对图像进行标记,并将其标记为边缘概率图E;
S3:种子点初始化,生成预分割;
S4:应用FSLIC的空间距离和SEEDS的颜色能量生成初始标签L0,并应用预测候选聚类消除不等式优化迭代聚类中心步骤,加速收敛;
S5:根据E和L0关系定义超像素边缘为强边界或弱边界;
S6:基于弱边界根据颜色能量重新划分超像素边缘;
S7:输出甘蔗蚜虫图像分割结果。
2.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述步骤S1包括:采集带有甘蔗蚜虫的谷物高粱叶的原始图像作为数据集;图像数据集包括四种光照强度:弱光、强光,直射光和漫射光;将采集原始图像分离为一定像素的若干子图像;在图像数据集中根据甘蔗蚜虫目标尺寸确定种子点个数K。
3.根据权利要求2所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于:所述种子点个数K=400。
4.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述步骤S2包括:使用整体嵌套边缘算法对整体图像进行训练和预测,并在多尺度,多层次上提取特征,对图像进行标记,将其标记为边缘概率图E。
5.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述步骤S3包括通过均匀分布种子点来初始化K个种子点,生成预分割,并将聚类中心移动到n×n邻域中的最低梯度位置。
6.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述SEEDS的颜色能量的计算包括:基于能量函数E(s),像素在相邻超像素之间转换,从而快速改变边界;超像素块的数量,紧凑性和迭代次数可以通过SEEDS算法来控制,能量函数E(s)公式为:
E(s)=H(s)+γG(s) (1)
其中,H(s)是颜色能量,G(s)是边界能量,γ是平衡参数;
颜色能量H(s)的公式为:
7.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于:所述FSLIC的空间距离是将图片转化为LAB颜色空间和XY坐标下的五维特征向量,在图像内均匀地划分种子点得到最初的超像素分布,通过颜色距离和空间距离确定的距离度量将种子点邻域内的像素点分配给最近的聚类中心,不断迭代此过程直至收敛;最后将分离的像素重新分配给附近的超像素,聚类后得到规则的超像素;颜色距离矩阵Dc(i,Ck)和空间距离矩阵Ds(i,Ck)的公式如下:
其中,Ck是一组具有相同特征类的聚类中心,Dc(i,Ck)是i和Ck之间的颜色距离矩阵,Ds(i,Ck)是i和Ck之间的空间距离矩阵,l,a,b是三维颜色特征,x和y是二维特征;第i个超像素的中心被描述为Ci=li+ai+bi。
8.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述步骤S5包括:根据边缘概率图E和生成的初始标签L0,重新分配了FSLIC中的空间距离和SEEDS中的颜色能量的融合:L0等于E定义超像素边缘为“强边界”,否则为“弱边界”,并将强边界绘制为超像素边界。
9.根据权利要求1所述的融合超像素块和整体嵌套边缘的图像分割方法,其特征在于,所述步骤S6包括:如果E两侧的像素块的颜色能量相等,则移除E,否则,将该E边绘制为超像素边界。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210207024.9A CN114463355A (zh) | 2022-03-03 | 2022-03-03 | 一种融合超像素块和整体嵌套边缘的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210207024.9A CN114463355A (zh) | 2022-03-03 | 2022-03-03 | 一种融合超像素块和整体嵌套边缘的图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114463355A true CN114463355A (zh) | 2022-05-10 |
Family
ID=81415129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210207024.9A Pending CN114463355A (zh) | 2022-03-03 | 2022-03-03 | 一种融合超像素块和整体嵌套边缘的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463355A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117474897A (zh) * | 2023-11-21 | 2024-01-30 | 东莞市江霖五金实业有限公司 | 一种充电器表面缺陷视觉检测方法 |
-
2022
- 2022-03-03 CN CN202210207024.9A patent/CN114463355A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117474897A (zh) * | 2023-11-21 | 2024-01-30 | 东莞市江霖五金实业有限公司 | 一种充电器表面缺陷视觉检测方法 |
CN117474897B (zh) * | 2023-11-21 | 2024-05-28 | 东莞市江霖五金实业有限公司 | 一种充电器表面缺陷视觉检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fu et al. | Fast and accurate detection of kiwifruit in orchard using improved YOLOv3-tiny model | |
Shi et al. | Plant-part segmentation using deep learning and multi-view vision | |
Maheswari et al. | Intelligent fruit yield estimation for orchards using deep learning based semantic segmentation techniques—a review | |
CN111626128B (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
Shi et al. | Cloud detection of remote sensing images by deep learning | |
CN110096994B (zh) | 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 | |
Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
Morris | A pyramid CNN for dense-leaves segmentation | |
CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
Wan et al. | A real-time branch detection and reconstruction mechanism for harvesting robot via convolutional neural network and image segmentation | |
CN109242826B (zh) | 基于目标检测的移动设备端签状物根数计数方法及系统 | |
CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
Costante et al. | A transfer learning approach for multi-cue semantic place recognition | |
Weyler et al. | In-field phenotyping based on crop leaf and plant instance segmentation | |
CN104537689A (zh) | 基于局部对比显著性联合特征的目标跟踪方法 | |
Xu et al. | Shadow detection and removal in apple image segmentation under natural light conditions using an ultrametric contour map | |
CN109472801A (zh) | 一种用于多尺度的神经形态检测和分割方法 | |
CN110766690A (zh) | 基于深度学习点监督思想的麦穗检测和计数方法 | |
CN105844647A (zh) | 一种基于颜色属性的核相关目标跟踪方法 | |
CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
CN112766361A (zh) | 一种同色系背景下目标果实检测方法及检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |