CN112085017B - 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 - Google Patents

基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 Download PDF

Info

Publication number
CN112085017B
CN112085017B CN202010773402.0A CN202010773402A CN112085017B CN 112085017 B CN112085017 B CN 112085017B CN 202010773402 A CN202010773402 A CN 202010773402A CN 112085017 B CN112085017 B CN 112085017B
Authority
CN
China
Prior art keywords
tea
image
network
stage
encoder network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010773402.0A
Other languages
English (en)
Other versions
CN112085017A (zh
Inventor
毛腾跃
张雯娟
帖军
黄印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202010773402.0A priority Critical patent/CN112085017B/zh
Publication of CN112085017A publication Critical patent/CN112085017A/zh
Application granted granted Critical
Publication of CN112085017B publication Critical patent/CN112085017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法,包括以下:采集自然背景条件下的茶叶嫩芽原图像;构造显著目标预测模块,将所述茶叶嫩芽原图像输入至所述显著目标预测模块,得到茶叶嫩芽显著性图像;所述显著目标预测模块,包括编码器网络和解码器网络;所述编码器网络基于ResNet‑50架构,包括6个阶段,每个阶段均由数量不等的瓶颈残差块组成;所述解码器网络与所述编码器网络对应,也包括6个阶段;对所述茶叶嫩芽显著性图像采用Grabcut的掩码图像方式进行自动分割,得到最终自动分割完毕的茶叶嫩芽图像。本发明提供的有益效果是:实现了自然背景下茶叶嫩芽图像,提高了茶叶嫩芽图像的分割准确率。

Description

基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
技术领域
本发明涉及图像分割领域,尤其涉及基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法。
背景技术
茶叶的加工分为采摘、杀青、揉捻以及干燥四大流程。作为茶叶加工流程之首的鲜叶采摘又分为人工采摘与机械采摘,人工采摘具有采摘精度高的优点,但是这种采摘方式效率较低,人工成本比较高且存在劳动力不足等问题。为了弥补人工采摘存在的一些问题,一些机构开始研究使用机械采摘的方式来取代人工,目前市面上也出现了很多种类的采茶机械,但是大多采茶机采取的是一刀切的采摘方式,虽然效率比人工采摘提高了很多倍,但这种采摘方式会破坏茶叶嫩芽的完整度,使得茶叶的品质降低。随着计算机技术的高速发展,基于计算机视觉的图像分类技术应用于各个领域。因此,利用计算机视觉技术在自然环境下对茶叶嫩芽采摘点进行快速准确的识别,再应用在合适的采摘机械上进行采摘,这种方式为茶叶的高效、高品质采摘提供了新的可能。
现有技术根据茶叶嫩芽和老叶在RGB分量直方图上G和G-B分量上的颜色差异,使用改进的Otsu算法识别茶叶嫩芽,准确率为92%。
另外还有利用茶叶图像的Lab颜色模型中的a分量和b分量作为颜色特征检索,使用K-means聚类法完成分割,平均分割率为94%左右。
上述两种方法均利用的是茶叶嫩芽老叶的颜色差异进行分割,但当茶叶嫩芽与老叶颜色区分度不大的情况下,这种分割方法并不适用。
发明内容
有鉴于此,本发明提供了基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法,分为两个部分,一是利用显著性检测算法得到茶叶嫩芽的显著性图像;而是将茶叶嫩芽的显著性图像作为掩码图像输入到Grabcut算法中完成分割;具体包括以下步骤:
S101:采集自然背景条件下的茶叶嫩芽原图像;
S102:构造显著目标预测模块,将所述茶叶嫩芽原图像输入至所述显著目标预测模块,得到茶叶嫩芽显著性图像;所述显著目标预测模块,包括编码器网络和解码器网络;所述编码器网络基于ResNet-50架构,包括6个阶段,每个阶段均由数量不等的瓶颈残差块组成;所述解码器网络与所述编码器网络对应,也包括6个阶段;
S103:对所述茶叶嫩芽显著性图像采用Grabcut的掩码图像方式进行自动分割,得到最终自动分割完毕的茶叶嫩芽图像。
进一步地,所述编码器网络的输入层由64个大小为3×3,步长为1的卷积滤波器组成。
进一步地,所述编码器网络不包括池化层。
进一步地,所述编码器网络的第一阶段包括3个瓶颈残差块;所述编码器网络的第二阶段包括4个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第三阶段包括6个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第四阶段包括3个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第五阶段和第六阶段与所述编码器网络第四阶段的结构相同。
进一步地,所述瓶颈残差块的结构具体包括:512个1×1的卷积滤波器、512个3×3的卷积滤波器和2048个1×1的卷积滤波器。
进一步地,所述解码器网络的每一个阶段有三块,且每一块均由1个3×3的卷积核、批处理规范化BN和Relu激活函数构成。
进一步地,所述解码器网络的第二阶段、第三阶段、第四阶段和第五阶段的第一块均在Relu激活函数之后增加了上采样操作。
所述解码器网络的每一个阶段的输入为其前一阶段的上采样输出和对应编码器阶段最后一个瓶颈残差块输出特征图共同组成的级联特征图。
本发明提供的有益效果是:实现了自然背景下茶叶嫩芽图像,提高了茶叶嫩芽图像的分割准确率。
附图说明
图1是本发明基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法的流程示意图;
图2是本发明显著目标预测模块的架构图;
图3是对采集的茶叶图像进行增广操作示意图;
图4是茶叶嫩芽显著标签图像;
图5是茶叶嫩芽标签图像;
图6是交互式Grabcut分割的单个茶叶嫩芽;
图7是基于显著性检测的Grabcut算法分割的单个茶叶嫩芽;
图8是交互式Grabcut分割的多个茶叶嫩芽;
图9本申请基于显著性检测的Grabcut算法分割的多个茶叶嫩芽。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1,本发明的实施例提供了基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法,包括以下:
S101:采集自然背景条件下的茶叶嫩芽原图像;
S102:构造显著目标预测模块,将所述茶叶嫩芽原图像输入至所述显著目标预测模块,得到茶叶嫩芽显著性图像;所述显著目标预测模块,包括编码器网络和解码器网络;所述编码器网络基于ResNet-50架构。
ResNet有ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152多种形式,如表1所示。
表1 ResnNet结构
本文网络架构的编码器部分是由ResNet-50组成的,ResNet是ImageNet竞赛中分类问题比较好的网络,由于ResNet内部的残差块使用了跳跃连接,因此ResNet缓解了在深度神经网络中增加深度带来的梯度消失问题。
增加网络的深度可以提高网络的性能,能够获取到图片更丰富的特征信息,如表2所示层数越深的残差网络具有更小的错误率,但是如果只是简单的增加网络的深度则会导致梯度爆炸或梯度弥散的问题,这个问题在很大程度上已经可以通过标准的初始化和正则化层来基本解决,但随着网络层数的加深,网络出现了退化的问题。残差网络通过跳跃连接的形式,将单元的输入与输出加在一起再进行激活,能够很好的解决深层网络训练时的退化问题,同时且随着网络的加深,残差网络具有更好的表现。
表2单一模型在ImageNet验证集上的错误率
在众多结构的残差网络中本文选择了ResNet-50,原因有两点:一是ResNet-18和ResNet-34都属于浅层的残差网络,ResNet-50、ResNet-101以及ResNet-152属于深层的残差网络,深层的残差网络具有较低的错误率且网络越深提取到的特征越丰富,因此本文着眼于选择ResNet-50、ResNet-101以及ResNet-152中的一种结构作为本文的训练网络;二是考虑到网络的深度带来的训练时间的问题,本文在深层的残差网络中最终选择了层数最少的ResNet-50作为本文的训练网络。
请参考图2,图2为本申请显著目标预测模块的架构图;所述显著目标预测模块包括编码器网络和解码器网络;
所述编码器网络包括6个阶段,每个阶段均由数量不等的瓶颈残差块组成;所述解码器网络与所述编码器网络对应,也包括6个阶段;
S103:对所述茶叶嫩芽显著性图像采用Grabcut的掩码图像方式进行自动分割,得到最终自动分割完毕的茶叶嫩芽图像。
所述编码器网络的输入层由64个大小为3×3,步长为1的卷积滤波器组成,而不是原有的7×7步长为2,目的是能够获取更多的上下文空间以及减少参数量,而且为了能够与输入图像具有相同的空间分辨率,在输入卷积之后省略了池化操作。这种自适应使得网络能够在较早的层中获得更高分辨率的特征图。。
所述编码器网络的第一阶段包括3个瓶颈残差块;所述编码器网络的第二阶段包括4个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第三阶段包括6个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第四阶段包括3个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第五阶段和第六阶段与所述编码器网络第四阶段的结构相同。
所述瓶颈残差块的结构具体包括:512个1×1的卷积滤波器、512个3×3的卷积滤波器和2048个1×1的卷积滤波器。
所述解码器网络的每一个阶段有三块,且每一块均由1个3×3的卷积核、批处理规范化BN和Relu激活函数构成。
所述解码器网络的第二阶段、第三阶段、第四阶段和第五阶段的第一块均在Relu激活函数之后增加了上采样操作。
所述解码器网络的每一个阶段的输入为其前一阶段的上采样输出和对应编码器阶段最后一个瓶颈残差块输出特征图共同组成的级联特征图。
步骤S103中,通过显著性检测得到茶叶嫩芽图像的显著性图之后,将茶叶嫩芽的显著性图作为Grabcut算法的掩码图像并标记黑色像素点为背景,白色像素点为前景便可以进行茶叶嫩芽图像的自动分割操作。
本发明实施例中,图片数据来源于湖北省孝感市肖港镇八叉洼一个茶农种植的茶园,拍摄所采用相机,分别在中午12点、下午2点以及下午5点三个不同的时间段内在自然光照、自然背景情况下拍摄了茶叶图片共612张,所拍摄的图像大小为3024×4032像素。对612张茶叶图片进行如图3所示的水平翻转、顺时针旋转以及逆时针旋转三种图像增广操作后得到了1836张茶叶图像;
对增广后的1836张茶叶图像进行手动创建精确的茶叶嫩芽显著性分割以及茶叶嫩芽图像分割操作得到如图4的茶叶嫩芽显著标签图像以及如图5的茶叶嫩芽标签图像,并按照7:3的比例将数据集进行训练集和测试集的分配处理。
本文使用精确率(Precision)、召回率(Recall)以及F-Measure三个指标来衡量模型的性能。召回率和精确性是图像分割结果中广泛使用的两个度量值,用于评价图像分割效果,F-Measure是Precision和Recall加权调和平均,常用于评价模型的好坏。
精确率、召回率以及F-Measure定义为:
其中P是像素数,ObjEX是模型预测的值,ObjGT是真实值,β2设置为0.3。
请参考图6-图9;图6是交互式Grabcut分割的单个茶叶嫩芽;图7是基于显著性检测的Grabcut算法分割的单个茶叶嫩芽;图8是交互式Grabcut分割的多个茶叶嫩芽;图9本申请基于显著性检测的Grabcut算法分割的多个茶叶嫩芽。
由图6-图9可知一次交互式的Grabcut分割有时并不能很好的从复杂背景中分割出茶叶嫩芽图像,特别是在图像中存在多个茶叶嫩芽的时候,而多次交互又会存在时间消耗的问题。基于显著性检测的Grabcut算法能够更好的学习到茶叶嫩芽的显著特征,从而能够实现在复杂背景中一次分割出完整的茶叶嫩芽图像。由表3数据可知,使用ResNet-34作为特征提取网络的显著性检测算法与Grabcut算法相结合的准确率为82.39%,使用ResNet-50作为特征提取网络的显著性检测算法与Grabcut算法相结合的准确率为89.6%,可见使用ResNet-50作为特征提取网络的显著性检测算法与Grabcut算法相结合具有更好的效果。
表3不同残差网络的分割结果
本发明实施的有益效果是:实现了自然背景下茶叶嫩芽图像,提高了茶叶嫩芽图像的分割准确率。
在不冲突的情况下,本发明中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法,其特征在于:
S101:采集自然背景条件下的茶叶嫩芽原图像;
S102:构造显著目标预测模块,将所述茶叶嫩芽原图像输入至所述显著目标预测模块,得到茶叶嫩芽显著性图像;所述显著目标预测模块,包括编码器网络和解码器网络;所述编码器网络基于ResNet-50架构,包括6个阶段,每个阶段均由数量不等的瓶颈残差块组成;所述解码器网络与所述编码器网络对应,也包括6个阶段;
S103:对所述茶叶嫩芽显著性图像采用Grabcut的掩码图像方式进行自动分割,得到最终自动分割完毕的茶叶嫩芽图像;
所述编码器网络不包括池化层;
所述编码器网络的第一阶段包括3个瓶颈残差块;所述编码器网络的第二阶段包括4个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第三阶段包括6个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第四阶段包括3个瓶颈残差块,且第一个瓶颈残差块增加了下采样操作;所述编码器网络的第五阶段和第六阶段与所述编码器网络第四阶段的结构相同;
所述瓶颈残差块的结构具体包括:512个1×1的卷积滤波器、512个3×3的卷积滤波器和2048个1×1的卷积滤波器;
所述解码器网络的每一个阶段有三块,且每一块均由1个3×3的卷积核、批处理规范化BN和Relu激活函数构成;
所述解码器网络的第二阶段、第三阶段、第四阶段和第五阶段的第一块均在Relu激活函数之后增加了上采样操作;
所述解码器网络的每一个阶段的输入为其前一阶段的上采样输出和对应编码器阶段最后一个瓶颈残差块输出特征图共同组成的级联特征图。
2.如权利要求1所述的基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法,其特征在于:所述编码器网络的输入层由64个大小为3×3,步长为1的卷积滤波器组成。
CN202010773402.0A 2020-08-04 2020-08-04 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 Active CN112085017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010773402.0A CN112085017B (zh) 2020-08-04 2020-08-04 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010773402.0A CN112085017B (zh) 2020-08-04 2020-08-04 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法

Publications (2)

Publication Number Publication Date
CN112085017A CN112085017A (zh) 2020-12-15
CN112085017B true CN112085017B (zh) 2023-11-21

Family

ID=73735814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010773402.0A Active CN112085017B (zh) 2020-08-04 2020-08-04 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法

Country Status (1)

Country Link
CN (1) CN112085017B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861654A (zh) * 2021-01-20 2021-05-28 浙江理工大学 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN113487618B (zh) * 2021-09-07 2022-03-08 北京世纪好未来教育科技有限公司 人像分割方法、装置、电子设备及存储介质
CN115170967A (zh) * 2022-07-22 2022-10-11 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
TWI808845B (zh) * 2022-07-28 2023-07-11 國立臺灣大學 茶菁等級鑑別方法及其裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN110728682A (zh) * 2019-09-09 2020-01-24 浙江科技学院 一种基于残差金字塔池化神经网络的语义分割方法
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN110728682A (zh) * 2019-09-09 2020-01-24 浙江科技学院 一种基于残差金字塔池化神经网络的语义分割方法
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报(第06期);第1-4页 *

Also Published As

Publication number Publication date
CN112085017A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112085017B (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
Li et al. A closed-form solution to photorealistic image stylization
Tian et al. Deep learning on image denoising: An overview
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
US9449253B2 (en) Learning painting styles for painterly rendering
da Silva et al. Estimating soybean leaf defoliation using convolutional neural networks and synthetic images
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
Funk et al. Beyond planar symmetry: Modeling human perception of reflection and rotation symmetries in the wild
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN108197644A (zh) 一种图像识别方法和装置
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
Feng et al. URNet: A U-Net based residual network for image dehazing
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
Spizhevoi et al. OpenCV 3 Computer Vision with Python Cookbook: Leverage the power of OpenCV 3 and Python to build computer vision applications
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN109903270A (zh) 牲畜群体数目监测方法及装置
CN113781468A (zh) 一种基于轻量级卷积神经网络的舌图像分割方法
Meng et al. Gia-net: Global information aware network for low-light imaging
CN108764248B (zh) 图像特征点的提取方法和装置
Chen et al. Image quality assessment guided deep neural networks training
CN113012030A (zh) 图像拼接方法、装置及设备
CN110853052A (zh) 一种基于深度学习的土家织锦图案图元的分割方法
CN116977683A (zh) 对象识别方法、装置、计算机设备、存储介质和程序产品
CN113705666B (zh) 分割网络训练方法、使用方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant