CN105701829B - 一种套袋绿色果实图像分割方法 - Google Patents

一种套袋绿色果实图像分割方法 Download PDF

Info

Publication number
CN105701829B
CN105701829B CN201610029509.8A CN201610029509A CN105701829B CN 105701829 B CN105701829 B CN 105701829B CN 201610029509 A CN201610029509 A CN 201610029509A CN 105701829 B CN105701829 B CN 105701829B
Authority
CN
China
Prior art keywords
fruit
image
region
light
bagging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610029509.8A
Other languages
English (en)
Other versions
CN105701829A (zh
Inventor
吕继东
王帆
马正华
徐黎明
陈阳
戎海龙
杨彪
林逸峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Litai Intelligent Technology Co ltd
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN201610029509.8A priority Critical patent/CN105701829B/zh
Publication of CN105701829A publication Critical patent/CN105701829A/zh
Application granted granted Critical
Publication of CN105701829B publication Critical patent/CN105701829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种套袋绿色果实图像分割方法,包括：图像采集：实时采集果实图像；果实光常区域提取：对图像中的表面光线正常区域进行提取；果实光常区域提取首先通过图像颜色增强算法加深果实绿色区域，采用对比度增强算法提高叶子与果实光常区域的颜色差别，而后在颜色增强后的色差图像区域内提取对比度增强后的图像，并进行动态阈值分割、去噪处理。果实高亮区域提取：首先提取图像的主色调，然后以主色调重构图像，重构图像与原图像做相减、二值化、去噪等来实现以果实高亮区域为主的提取。将两提取区域合并获得完整的果实目标区域。该方法能够实现套袋绿色果实图像的分割，获取完整果实区域，对推动苹果采摘机器人的实用化起到重要作用。

Description

一种套袋绿色果实图像分割方法
技术领域
本发明属于图像处理技术领域，涉及一种套袋果实图像分割方法，尤其是对目标与背景颜色相近的套袋绿色果实图像的分割。
背景技术
现阶段，我国苹果种植面积越来越大，品种也逐渐多样化。绿色苹果保护肝脏，其含糖量低、糖尿病患者也可服食，越来越受到大众的喜爱。在苹果生长过程中，果农通常会给果实套袋。苹果套袋能够明显改善果实品质和着色，使得果实光洁艳丽，并且抗老化，少日灼；可带袋采收，带袋储藏保鲜，销售时无需拆袋，一看就知道是无农药污染的绿色果品，很受消费者欢迎。
随着现代农业的发展，基于机器视觉的采摘机器人成为国内外农业工程领域的研究热点。对所采集果实图像的分割是采摘机器人后续目标识别定位、采摘的首要任务。但目前对套袋苹果图像的分割研究还不多，特别是套袋绿色苹果图像目前还未见报道。
发明内容
本发明的目的是：提供一种套袋绿色果实图像的分割方法，使得果实采摘机器人在图像处理阶段能够实现对套袋绿色果实图像的分割，进一步可完成识别定位，能够推动果实采摘机器人的实用化进程。实现本发明的技术方案包括如下步骤：
(1)图像采集步骤：基于视觉传感器实时采集果实图像。
(2)果实光常区域提取步骤：该步骤是对采集图像中的表面光线正常果实区域进行提取，首先通过限制对比度自适应直方图均衡化算法加深果实目标区域的绿色，使之更加明亮清晰；采用线性对比度增强算法提高叶子与果实光常区域的颜色差别；而后在颜色增强后的R-B色差图像区域内提取对比度增强后的图像，接着进行动态阈值分割获得分割图像；为了去除分割噪声、填充果实区域孔洞，还需进行小区域去除和孔洞填充操作：以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除；孔洞填充采用漫水填充算法实现；另外分割后的图像边界仍然可能会存在较大块的草地区域，为此还需在上述结果基础上以邻域标记法对图像中的连通区域进行标记，而后对各连通区域轮廓跟踪获取边缘坐标，最后对所获取的各连通区域边缘坐标进行判别，以确定是否与图像边界相连，以此删除与图像边界相连的连通区域。如此最终获得果实光常区域。
(3)果实高亮区域提取步骤：该步骤是对采集图像中的果实区域高亮部分进行提取，首先提取图像的主色调，图像主色调数确定取5，是因为有效颜色数太多，则色图中极大值太分散，不利于图像主色调的提取；反之太少又不能反映图像的关键颜色。统计图像中各像素值经过计算后不同色调的个数，而后以图像主色调数为循环次数，确定每次循环的最大值，若上述统计的某色调个数等于最大值，则该色调即可视为主色调；而后以主色调重构图像，图像重构是通过计算各个主色调与原图中每个像素值的相似度，将主色调与原图像素相似度最大的一个色调值替换原图中相应的像素值，以此获得重构图像；重构图像再与原图像做相减运算；对运算结果进行二值化，同样还需进行小区域去除和孔洞填充操作。如此最终获得果实高亮区域。如此最终获得果实高亮区域。
(4)区域合并步骤：该步骤是将上述两步骤提取出来的果实光常区域和高亮区域的二值图相加，其果实目标区域对应于原图像即是分割出的果实部分。
本发明的有益效果：
(1)对于果实采摘机器人来说，该发明方法能够实现套袋绿色果实图像的分割，获取完整果实区域，对推动果实采摘机器人的实用化起到重要作用。
(2)果实光常区域提取步骤中颜色增强算法采用限制对比度自适应直方图均衡化算法，能够加深果实目标区域的绿色，更加明亮清晰。
(3)果实光常区域提取步骤中对比度增强算法采用的是线性对比度增强算法，能够着重提高叶子与果实光常区域的颜色差别。
(4)果实光常区域提取步骤中所述的色差图像采用颜色增强后的R-B色差图像，能够保留完整的果实区域。
(5)果实高亮区域提取步骤中图像的主色调提取步骤中，设置图像主色调数为5，能够避免有效颜色数太多，则色图中极大值太分散，不利于图像主色调的提取；反之太少又不能反映图像的关键颜色等问题。
附图说明
图1为套袋绿色果实图像分割总流程；
图2为果实光常区域提取流程；
图3为果实高亮区域提取流程；
图4为套袋绿色果实分割效果图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的描述。本发明以苹果为例进行说明，但本发明同样适用于其他绿色果实。
如图1所示，本发明提出的套袋绿色果实图像分割方法包括如下步骤：
(1)图像采集步骤
图像的采集基于视觉传感器，用作后续提取目标对象的区域信息，采集图像如图4(a)所示。
(2)果实光常区域提取步骤
该步骤实施流程如图2所示。为了更多地分割出绿色果实区域，首先应用限制对比度自适应直方图均衡化算法将所采集图像果实目标区域的绿色加深即颜色增强。
对图像进行颜色增强后，通过分析不同颜色空间下苹果图像的各个颜色分量，得出在RGB颜色空间下R-B色差图像不仅能得到相对比较完整的果实光常区域，而且能去掉图像中的较多的叶子。而采用G-B色差分量虽然能保存果实区域，同时也残留很多叶子区域。
原图像进行限制对比度自适应直方图均衡化后，果实目标的绿色加深，而后的R-B色差图像果实光常区域增大，但是限制对比度自适应直方图均衡化后叶子区域颜色也得到了增强，在R-B色差图像区域内提取的限制对比度自适应直方图均衡化后图像，图像中的果叶区域颜色更加相近，基于颜色特征很难再把果实分割出来。为此再对原图像进行线性对比度增强，着重提高叶子与果实光常区域的颜色差别，在上述R-B色差图像区域内提取对比度增强后的原图像，其直方图呈双峰分布，适合采用动态阈值分割方法分割图像。
小区域去除和孔洞填充：图像分割完成后，图像中还存在有分割碎片，通常是未分割掉的与果实颜色等同的叶草，而果实区域由于多方面的影响也会产生孔洞。对于分割碎片，以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除。对于孔洞，直接采用漫水填充算法进行填充。
图像边界去除：图像采集过程中，当采集果树外围的果实图像时，所采集的图像边界往往会出现草地。草地也与果叶颜色相近，通过以上环节往往不能去除干净，图像边界仍然会存在较大块的草地区域。为此在上述分割结果基础上删除与图像边界相连的对象。具体方法为：首先以邻域标记法对图像中的连通区域进行标记，而后对各连通区域轮廓跟踪获取边缘坐标，然后对所获取的各连通区域边缘坐标进行判别，以确定是否与图像边界相连，最后删除与图像边界相连的连通区域。上述操作后的图像光常区域如图4(b)。
(3)果实高亮区域提取步骤
该步骤实施流程如图3所示。对于套袋绿色苹果采集图像中以果实高亮区域为主的提取步骤包括：首先提取图像主色调，而后以主色调重构图像。首先创建数据变量H(z)，用来统计图像中各像素值经过公式(1)计算后不同色调的个数。
i，j分别为图像像素的横坐标和纵坐标；P(i,j,1)、P(i,j,2)、P(i,j,3)分别为图像像素的R、G、B颜色分量；z为图像像素值计算所得灰度级，其最大值为511，最小值为0。
主色调数的选取：若有效颜色数太多，则色图中极大值太分散，不利于图像主色调的提取；反之太少又不能反映图像的关键颜色。通过实验比较确定图像主色调数m＝5。以此图像主色调数为循环次数，确定每次H(z)的最大值max(H)，那么H(z)中等于最大值max(H)即可视为主色调，把当前z值转换为主色调矩阵mc(m,n)通道值，n为颜色通道数。
mc(k,3)＝32*((z mod 64)mod 8) (4)
k为当前主色调数，其取值范围[1,m]。公式(2)、(3)、(4)是式(1)的反转换，反转换为各颜色通道值。
重构图像的过程包括：计算各个主色调与原图中每个像素值的相似度d(k)，计算公式如(5)所示，将主色调与原图像素相似度最大的一个色调值替换原图中相应的像素值，即p(i,j,n)＝mc(k,n)，以此获得重构图像。
d(k)＝|mc(k,1)-P(i,j,1)|+|mc(k,2)-P(i,j,2)|+|mc(k,3)-P(i,j,3)| (5)
原图像减重构图像p(i,j,n)后再经过二值化、小区域去除、孔洞填充等步骤便完成以果实高亮区域为主的提取。上述操作后的图像光常区域如图4(c)所示。
(4)区域合并步骤
将上述以果实光常区域为主的提取图和以果实高亮区域为主的提取图相加，得到其果实目标区域，对应于原图像即是分割出的果实部分,如图4(d)所示。
以上实施方式仅用于说明本发明的技术方案，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明保护的范畴。

Claims (8)

1.一种套袋绿色果实图像分割方法，其特征在于，包括以下步骤：
(1)图像采集步骤：基于视觉传感器实时采集果实图像；
(2)果实光常区域提取步骤：对步骤(1)中采集图像中的表面光线正常的果实区域进行提取；
首先通过图像颜色增强算法加深果实绿色区域，采用对比度增强算法提高叶子与果实光常区域的颜色差别；
而后在颜色增强后的色差图像区域内提取对比度增强后的图像，接着进行动态阈值分割获得分割图像；进行小区域去除和孔洞填充操作以去除分割噪声、填充果实区域孔洞；最后进行图像边界去除，获得果实光常区域；
(3)果实高亮区域提取步骤：对步骤(1)中采集图像中的果实区域的高亮部分进行提取，首先提取图像的主色调，而后以主色调重构图像，重构图像再与原图像做相减运算；对运算结果进行二值化，再进行小区域去除和孔洞填充操作；获得果实高亮区域；
(4)区域合并步骤：将步骤(2)、(3)中提取出来的果实光常区域和高亮区域的二值图相加，得到的果实目标区域对应于原图像即是分割出的果实部分；
步骤(2)中果实光常区域提取步骤中所述的图像边界去除包括如下步骤：
首先以邻域标记法对图像中的连通区域进行标记；
而后对各连通区域轮廓跟踪获取边缘坐标；
最后对所获取的各连通区域边缘坐标进行判别，以确定是否与图像边界相连，以此删除与图像边界相连的连通区域。
2.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(2)中果实光常区域提取步骤中颜色增强算法采用限制对比度自适应直方图均衡化算法，以加深果实目标区域的绿色，更加明亮清晰。
3.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(2)中果实光常区域提取步骤中对比度增强算法采用的是线性对比度增强算法，以着重提高叶子与果实光常区域的颜色差别。
4.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(2)中果实光常区域提取步骤中所述的色差图像采用颜色增强后的R-B色差图像，以保留完整的果实区域。
5.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(3)中果实高亮区域提取步骤中图像的主色调提取步骤中，设置图像主色调数为5。
6.根据权利要求5所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(3)中果实高亮区域提取步骤中的图像主色调提取的步骤包括：首先统计图像中各像素值经过计算后不同色调的个数，而后以图像主色调数为循环次数，确定每次循环的最大值，若上述统计的某色调个数等于最大值，则该色调即可视为主色调。
7.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(3)中果实高亮区域提取步骤中的重构图像的过程包括：通过计算各个主色调与原图中每个像素值的相似度，将主色调与原图像素相似度最大的一个色调值替换原图中相应的像素值，以此获得重构图像。
8.根据权利要求1所述的一种套袋绿色果实图像分割方法，其特征在于，步骤(2)和步骤(3)中所述的小区域去除的具体实现为：以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除；步骤(2)和步骤(3)中所述的孔洞填充采用漫水填充算法实现。
CN201610029509.8A 2016-01-16 2016-01-16 一种套袋绿色果实图像分割方法 Active CN105701829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610029509.8A CN105701829B (zh) 2016-01-16 2016-01-16 一种套袋绿色果实图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610029509.8A CN105701829B (zh) 2016-01-16 2016-01-16 一种套袋绿色果实图像分割方法

Publications (2)

Publication Number Publication Date
CN105701829A CN105701829A (zh) 2016-06-22
CN105701829B true CN105701829B (zh) 2018-05-04

Family

ID=56227580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610029509.8A Active CN105701829B (zh) 2016-01-16 2016-01-16 一种套袋绿色果实图像分割方法

Country Status (1)

Country Link
CN (1) CN105701829B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157266A (zh) * 2016-07-07 2016-11-23 江苏城乡建设职业学院 一种果园果实图像获取方法
CN106875412B (zh) * 2017-02-28 2020-06-23 重庆理工大学 一种两个重叠果实的分割定位方法
CN107194320A (zh) * 2017-04-26 2017-09-22 江苏大学 一种基于图像特征分析的温室青椒采摘机器人目标识别方法
CN109618664A (zh) * 2017-10-09 2019-04-16 福建思特电子有限公司 一种农作物采摘机器人
CN107862326A (zh) * 2017-10-30 2018-03-30 昆明理工大学 一种基于全卷积神经网络的成熟苹果识别方法
CN108961336A (zh) * 2018-03-22 2018-12-07 苏海英 警示枪触发式计算机操作方法
CN108805883B (zh) * 2018-06-08 2021-04-16 Oppo广东移动通信有限公司 一种图像分割方法、图像分割装置及电子设备
CN109359531B (zh) * 2018-09-12 2021-12-14 仲恺农业工程学院 一种面向自然场景的果实采收区域自动定位方法
CN112492027B (zh) * 2020-11-26 2022-09-16 重庆电子工程职业学院 一种生态农业智能监测系统
CN112836692B (zh) * 2020-11-27 2023-03-24 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备和介质
CN117809123B (zh) * 2024-02-29 2024-05-14 南京信息工程大学 一种双阶段图像的异常检测与重构方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113434A (zh) * 2011-01-14 2011-07-06 江苏大学 一种果实振荡状况下采摘机器人的采摘方法
CN103295018A (zh) * 2013-05-21 2013-09-11 常州大学 一种枝叶遮挡果实精确识别方法
CN103310218A (zh) * 2013-05-21 2013-09-18 常州大学 一种重叠遮挡果实精确识别方法
CN104899876A (zh) * 2015-05-18 2015-09-09 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法
CN104952066A (zh) * 2015-05-11 2015-09-30 国网安徽省电力公司芜湖供电公司 基于hsv色彩空间的输电线路相位标志牌识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113434A (zh) * 2011-01-14 2011-07-06 江苏大学 一种果实振荡状况下采摘机器人的采摘方法
CN103295018A (zh) * 2013-05-21 2013-09-11 常州大学 一种枝叶遮挡果实精确识别方法
CN103310218A (zh) * 2013-05-21 2013-09-18 常州大学 一种重叠遮挡果实精确识别方法
CN104952066A (zh) * 2015-05-11 2015-09-30 国网安徽省电力公司芜湖供电公司 基于hsv色彩空间的输电线路相位标志牌识别方法
CN104899876A (zh) * 2015-05-18 2015-09-09 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
Research on the recognition method for obscured apple in natural environment;Jidong Lv et.al;《Proceedings of the 31st Chinese Control Conference》;20121224;全文 *
Yellow Apple Recognition Method under Natural Environment;Jidong Lv et.al;《2015 7th International Conference on Intelligent Human-Machine Systems and Cybernetics》;20151123;全文 *
一种基于主色外观图的彩色图像分割算法;许法强 等;《计算机应用研究》;20080115;第25卷(第1期);全文 *
图像中被遮挡苹果的还原及定位技术研究;李宏利 等;《农机化研究》;20130901;第1-2页 *
基于CLAHE的苹果树树枝迭代阈值分割方法研究;姬伟 等;《农业机械学报》;20140425;第45卷(第4期);第2页 *
基于Lab和YUV颜色空间的农田图像分割方法;刘琼 等;《国外电子测量技术》;20150415;全文 *
基于机器视觉的番茄长势信息无损检测的研究;杭滕 等;《农机化研究》;20151101;全文 *
基于颜色特征的图像检索技术研究;王金娟;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615;第36页 *
复杂彩色图像的二值分割及初步处理;谭三 等;《华中科技大学报》;20011230;第29卷(第12期);第1页，图1 *
复杂背景下甜瓜果实分割算法;王玉德 等;《农业工程学报》;20140130;第30卷(第2期);全文 *
彩色图像分割方法及进展;郝海涛 等;《山西师范大学学报》;20050325;第19卷(第1期);全文 *
颜色相似性度量在主动伪装设计中应用;杨恒伏 等;《激光与红外》;20150820;第45卷(第8期);全文 *

Also Published As

Publication number Publication date
CN105701829A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105701829B (zh) 一种套袋绿色果实图像分割方法
Malik et al. Mature tomato fruit detection algorithm based on improved HSV and watershed algorithm
Lv et al. A segmentation method of bagged green apple image
CN109255757B (zh) 一种机器视觉自然放置葡萄串果梗区域分割方法
Oppenheim et al. Detecting tomato flowers in greenhouses using computer vision
Liu et al. Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model
CN108875747A (zh) 一种基于机器视觉的小麦不完善粒识别方法
CN109447945A (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
Pastrana et al. Novel image processing approach for solving the overlapping problem in agriculture
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN106157266A (zh) 一种果园果实图像获取方法
Anantrasirichai et al. Automatic leaf extraction from outdoor images
Sharath et al. Disease detection in pomegranate using image processing
CN112329506A (zh) 枸杞采摘机器人的果实识别方法及系统、定位方法及系统
CN115170522A (zh) 一种基于机器视觉的穴盘种苗分级移栽方法
CN105225228B (zh) 田间自然背景下甘蔗宿根图像分割方法
CN109754423A (zh) 一种叶片病斑覆盖区域的提取方法和设备
CN107239761B (zh) 基于骨架角点检测的果树拉枝效果评价方法
Wang et al. Automated mango flowering assessment via refinement segmentation
Nisar et al. Predicting yield of fruit and flowers using digital image analysis
Wang et al. A color-texture segmentation method to extract tree image in complex scene
CN115601690B (zh) 一种基于智慧农业的食用菌环境检测方法
CN111401121A (zh) 一种基于超像素特征提取实现柑橘分割方法
CN116385271A (zh) 一种遥感图像耕地撂荒识别方法
CN115994921A (zh) 一种融合HSV模型和改进Otsu算法的成熟樱桃果实图像分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230523

Address after: Room 404, 4th Floor, Building C, Tianrun Technology Building, Changzhou Science and Education City, No. 18 Changwu Middle Road, Wujin District, Changzhou City, Jiangsu Province, 213000

Patentee after: Jiangsu Litai Intelligent Technology Co.,Ltd.

Address before: Gehu Lake Road Wujin District 213164 Jiangsu city of Changzhou province No. 1

Patentee before: CHANGZHOU University