CN112446417B - 基于多层超像素分割的纺锤形果实图像分割方法及系统 - Google Patents
基于多层超像素分割的纺锤形果实图像分割方法及系统 Download PDFInfo
- Publication number
- CN112446417B CN112446417B CN202011110075.7A CN202011110075A CN112446417B CN 112446417 B CN112446417 B CN 112446417B CN 202011110075 A CN202011110075 A CN 202011110075A CN 112446417 B CN112446417 B CN 112446417B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- superpixel
- image
- fruit
- spindle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 164
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003709 image segmentation Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 235000004936 Bromus mango Nutrition 0.000 description 3
- 241001093152 Mangifera Species 0.000 description 3
- 235000014826 Mangifera indica Nutrition 0.000 description 3
- 235000009184 Spondias indica Nutrition 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开公开的基于多层超像素分割的纺锤形果实图像分割方法及系统，包括：获取纺锤形果实作物图像；对纺锤形果实作物图像进行超像素分割，获取超像素图像；提取超像素图像中每个超像素区域的特征；根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；根据相似度对超像素区域进行多层次分割，获取多层分割图；将多层分割图进行多概率矩阵融合获得纺锤形果实分割图。在超像素分割后，通过多层次分割方法获得了超像素数量、形状、大小、分布等都不同的多层分割图，将多层分割图进行多概率矩阵融合获取果实分割图，使得识别纺锤形果实分割图时融合了超像素数量、形状、大小、分布等不同层次的特征，提高了纺锤形果实分割图的识别效果。
Description
技术领域
本发明涉及图像分割技术领域，尤其涉及基于多层超像素分割的纺锤形果实图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来，由于粮食需求的增长，农业方面对于改进生产和作物管理的技术需求越来越显著，尤其是后者已经成为一种重要的需求，使用计算机视觉技术可以有助于解决这些农业问题，提高生产力，作物管理方面的诸如作物计数、产量估计、果实疾病监测以及果实成熟度分类等，其得以开展的前提是能够较好的分割出果实区域。
分割出果实区域需要的图像分割技术是图像处理中的一项关键技术，图像分割是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性且不同子区域间的特征呈现较为明显的差异，是图像分析与计算机视觉中一项基础的任务，但也是计算机视觉中最具挑战性的问题之一，传统的图像分割方法主要包括阈值法、边界检测法、区域法等，2000年左右，开始出现基于超像素的图像分割方法，基于超像素的图像分割方法将具有相似特征的像素分组，使图像块包含单个像素所不具备的图像内容信息，并提高了后续处理任务的效率。
在对果实进行图像分割时，由于果实受到光照、周围叶片以及树枝等因素的影响，且果实成熟度不同，其呈现的颜色区别也较大，使得无法通过单一的特征进行果实图像的有效识别，而这也一直是图像分割领域的一个重点问题。
发明内容
本公开为了解决上述问题，提出了基于多层超像素分割的纺锤形果实图像分割方法及系统，在超像素分割后，通过多层次分割方法获得了超像素数量、形状、大小、分布等都不同的多层分割图，将多层分割图进行多概率矩阵融合获取纺锤形果实分割图，使得识别纺锤形果实分割图时融合了超像素数量、形状、大小、分布等不同层次的特征，从而提高了纺锤形果实分割图的识别效果，最终提高了纺锤形果实分割的准确率。。
为实现上述目的，本公开采用如下技术方案：
第一方面，提出了基于多层超像素分割的纺锤形果实图像分割方法，包括：
获取纺锤形果实作物图像；
对纺锤形果实作物图像进行超像素分割，获取超像素图像；
提取超像素图像中每个超像素区域的特征；
根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
根据相似度对超像素区域进行多层次分割，获取多层分割图；
将多层分割图进行多概率矩阵融合获得纺锤形果实分割图。
第二方面，提出了基于多层超像素分割的纺锤形果实图像分割系统，包括：
图像采集模块，用于获取纺锤形果实作物图像；
图像分割模块，用于对纺锤形果实作物图像进行超像素分割，获取超像素图像；
特征提取模块，用于提取超像素图像中每个超像素区域的特征；
相似度计算模块，用于根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
多层分割图获取模块，用于根据相似度对超像素区域进行多层次分割，获取多层分割图；
果实分割图生成模块，用于将多层分割图进行多概率矩阵融合获得纺锤形果实分割图。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于多层超像素分割的纺锤形果实图像分割方法所述的步骤。
第四个方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于多层超像素分割的纺锤形果实图像分割方法所述的步骤。
与现有技术相比，本公开的有益效果为：
1、本公开的基于多层超像素分割的图像分割方法，通过超像素分割对图像进行初步分组后，又通过多层次分割方法获得了超像素数量、形状、大小、分布等都不同的多层分割图，将多层分割图进行多概率矩阵融合获取纺锤形果实分割图，使得识别纺锤形果实分割图时融合了超像素数量、形状、大小、分布等不同层次的特征，从而提高了纺锤形果实分割图的识别效果，最终提高了纺锤形果实分割的准确率。
2、本公开的基于多层超像素分割的图像分割方法，采用多层分割方法对超像素区域特征进行多层次分割后，扩充了神经网络的训练数据集，提高了神经网络的识别效果，进一步提高了纺锤形果实分割的准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本公开实施例1公开图像分割方法的流程图；
图2为本公开实施例1采用的神经网络结构示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
实施例1
在该实施例中，公开了基于多层超像素分割的纺锤形果实图像分割方法，包括：
获取纺锤形果实作物图像；
对纺锤形果实作物图像进行超像素分割，获取超像素图像；
提取超像素图像中每个超像素区域的特征；
根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
根据相似度对超像素区域进行多层次分割，获取多层分割图；
将多层分割图进行多概率矩阵融合获得纺锤形果实分割图。
进一步的，采用SEEDS超像素分割方法对纺锤形作物图像进行超像素分割，获得超像素图像。
进一步的，超像素图像提取的超像素区域特征包括形状特征、颜色特征及纹理特征。
进一步的，超像素区域特征输入第一AdaBoost分类器中获取超像素图像中相邻超像素区域的相似度，第一AdaBoost分类器以超像素图像中相邻超像素区域特征为特征向量，以相邻超像素区域是否属于同区域为标签值训练获得。
进一步的，根据相似度对超像素区域进行多层次分割，获取多层分割图的具体过程为：
根据相似度对超像素区域进行多层次分割；
对每一层次中相邻超像素区域相似度大于设定相似度阈值，或两相邻超像素区域的面积均小于设定的最小区域面积时，将两相邻超像素区域进行融合，获取分割图。
进一步的，将多层分割图进行多概率矩阵融合获得果实分割图的具体过程为：
获取多层分割图中每个超像素区域属于果实区域的概率，并构建每层分割图的概率矩阵；
将多个概率矩阵输入神经网络中融合，输出纺锤形果实分割显著图；
对纺锤形果实分割显著图分割输出二值图像；
去除二值图像的细小区域，获得纺锤形果实分割图。
进一步的，提取多层分割图中每个超像素区域特征，将该超像素区域特征输入第二AdaBoost分类器中，获得分割图中每个超像素区域属于果实区域的概率。
结合图1、图2对基于多层超像素分割的纺锤形果实图像分割方法进行详细说明，此处选择的纺锤形果实为芒果果实。
具体为：
(一)获取纺锤形果实作物图像，对纺锤形果实作物图像进行超像素分割，获取超像素图像，此处的纺锤形果实作物图像为芒果作物图像。
超像素分割是将具有相似特征的像素分组，使图像块包含单个像素所不具备的图像内容信息，并提高了后续处理任务的效率。根据算法实现原理不同，超像素方法可以分为基于图论的方法和基于聚类的方法。基于图论的图像分割方法通过构造目标函数并求解，为了取得更好的分割效果，目标函数通常较为复杂，造成算法时间复杂性高、不能满足实时应用的要求，针对这一情况，Bergh等人提出了SEEDS(super pixels extracted viaenergy driven sampling)算法。
经过对比SLIC与SEEDS超像素分割算法的实际效果，发现SLIC方法分割的超像素形状较不规则，存在很多细长条形的超像素区域，对比之下，SEEDS分割产生的超像素形状相对规则，大小也较为均匀，由于在作物图像中，果实区域形状较为规则且连续，因此在本实施例中选用了SEEDS超像素分割方法对芒果作物图像进行分割，获取超像素图像。
(二)提取超像素图像中每个超像素区域的特征
在该实施例中，对每个超像素区域设计提取了54个特征，考虑到目标果实区域与背景区域的特征差别，为了能在后续的区分中能有更好的对比效果，分别设计了针对目标果实区域与背景区域的特征，主要包括形状特征、颜色特征及纹理特征，用于后续的果实区域与背景区域的识别，具体描述如下：
颜色特征：分别在RGB颜色空间、HSV以及Lab颜色空间中提取了颜色特征，经过实验对比，针对目标果实区域的颜色特征提取了RGB颜色空间中的B、R分量，HSV颜色空间中的H、S分量，以及Lab颜色空间中的a、b分量，而针对背景区域的特征，则提取了RGB、HSV、Lab三个颜色空间上的所有分量，以及三个颜色空间上的直方图特征，共计6×2+3＝15个特征。
纹理特征：对于目标果实区域和背景区域，都使用LM滤波器提取到15个纹理特征以及提取LBP纹理特征，针对背景区域，额外提取了LM特征的直方图特征，共计16×2+1＝33个特征。
形状特征与其他特征：由于分割的目标类别为纺锤形的果实，果实区域具有一定的形状特征，比如长短轴比例，圆形度等，而背景区域物体杂乱，形状分布也较杂乱，因此这部分特征主要针对果实区域设计提取，主要包括特征如下，即区域长轴与周长比，短轴与周长比、长短轴比例、区域圆形度、区域面积占比，邻接超像素数量，共计6个特征。区域圆形度采用以下公式计算：
e＝(4*π*S)÷C2 (1)
其中，e为圆形度，S为果实区域面积，C为果实区域周长。
(三)将超像素区域特征输入第一AdaBoost分类器中，获取超像素图像中相邻超像素区域的相似度。
以超像素图像中相邻超像素区域特征结合为特征向量，以相邻两个超像素区域是否同属于果实区域或背景区域为标签值形成训练数据，对第一AdaBoost分类器进行训练，使训练后的第一AdaBoost分类器能够输出超像素图像中相邻超像素区域的相似度。
其中，当相邻两超像素区域同属于果实区域或背景区域时，标签值为1，否则标签值为0，判断超像素区域所属区域的方法为：
统计超像素区域中为果实的像素数量，计算出该部分面积占当前超像素区域面积的比例，如果该比例大于80％，则判定该超像素区域属于果实区域，若低于20％，则判定其为背景区域，否则将当前超像素区域数据从训练数据中丢弃。
第一AdaBoost分类器采用决策树作为弱分类器，弱分类器的最大个数定义为100，学习率为0.1，将超像素区域特征输入第一AdaBoost分类器中，输出相邻超像素区域属于相同区域的概率，即相邻超像素区域的相似度，相似度在0-1之间。
(四)根据相似度对超像素区域进行多层次分割，对每一层次中相邻超像素区域相似度大于设定相似度阈值，或两相邻超像素区域的面积均小于设定的最小区域面积时，将两相邻超像素区域进行融合，获取分割图。
由于一张超像素图像中的超像素区域可能同时跨过果实区域和背景区域，且超像素区域面积较小，使提取到的超像素区域特征不具有整体性，同时为了扩充训练数据，在此进行超像素区域融合的多层分割，得到超像素数量，形状，大小，分布等都不同的超像素分割图，可以提高方法最终的效果和鲁棒性。
根据获得的相邻超像素图像的相似度，对超像素区域进行不同层次的融合，每一个层次融合需要设定两个参数：相似度阈值k与最小区域面积min-M，在该实施例中共计分割六个层次的超像素分割图，因而设定六组参数，超像素融合的简单判定流程如下：对于相似度阈值k，若两相邻超像素区域的相似度大于该相似度阈值k，则将两个相邻超像素区域融合为一个超像素区域；若两个相邻超像素区域的面积都小于设定的最小区域面积min-M，则将两个相邻超像素区域融合为一个超像素区域，获得超像素分割图。
对超像素区域进行六个层次的切割融合，共设定六组参数，可以分割得到六张不同的超像素分割图。
(五)将获取的每层分割图中每个超像素区域属于果实区域的概率构建每层分割图的概率矩阵，将多个概率矩阵输入神经网络中融合，获得果实分割图。
提取多层分割图中每个超像素区域特征，将该超像素区域特征输入第二AdaBoost分类器中，获得分割图中每个超像素区域属于果实区域的概率。
提取多层分割图中每个超像素区域的特征作为特征向量，该提取特征的方法与从超像素图像中提取超像素区域特征的方法相同，将从分割图中提取的超像素区域的特征是否属于果实区域作为标签值，形成训练数据，训练获得第二AdaBoost分类器，该分类器同样采用决策树作为弱分类器，最大分类器个数为150，学习率为0.05，用来预测分割图中超像素区域是否属于果实区域。
将多层分割图的超像素区域特征输入第二AdaBoost分类器中，输出每层分割图中每个超像素区域属于果实区域的概率，为0-1之间的数值，由于对超像素区域划分了出了6个分割图，每幅超像素图像可以得到六个概率列表Ln(n∈[1,6])，每个列表的长度为该超像素图像中超像素区域的数量，每个概率值，则对应着相应的超像素。
对于每个概率列表Lk(k∈n)，构建一个原始纺锤形果实作物图像大小的二维矩阵，对于分割图中每个超像素区域属于果实区域的概率p，则将其对应的全部坐标点的值置为p，由此可以得到六个宽高都和原始纺锤形果实作物图像相同的概率矩阵An(n∈[1,6])，每个概率矩阵中相应位置的数值p，代表原始纺锤形果实作物图像中相应位置的像素属于果实区域的概率。
对于原始纺锤形果实作物图像中每个像素点a[i,j]，找到其对应六个层次分割图中每个层次分割图Ak中相应的位置Ak[i,j]，考虑到一个像素点和其周围邻接像素点关系十分接近，将相应位置的值以及其八邻域位置的值提取形成一个54维的向量，作为训练数据，将该像素是否属于果实区域置0或1作为标签值，构建一个包含三层隐藏层的简单人工神经网络，该网络输入层即为上述提取到的54维向量，即54个节点，中间三层隐藏层每层为400个节点，输出层为两个输出节点，网络的结构示意见图2，通过训练数据以及训练标签值训练该简单神经网络，得到网络模型，对于原始纺锤形果实作物图像中每个像素点，有六幅层次图对应的概率矩阵来共同预测其是否属于果实区域，准确率得到了很大的提高。
每个输入神经网络的值，神经网络模型输出0-1之间的数值，对应该像素点属于果实区域的概率。将一副作物图像对应的六个概率矩阵An(n∈[1,6])输入神经网络中，融合形成最终的概率矩阵A，最终得到的纺锤形果实分割显著图为salience＝A*255，纺锤形果实分割显著图根据各像素点属于果实区域的概率，而由黑到白呈现出不同的亮度，之后使用OTSU阈值分割法，对纺锤形果实分割显著图分割输出二值图像，再利用开运算以及面积阈值法去除二值图像的细小区域，得到最终的纺锤形果实分割图，即获取得到芒果图像。
本实施例公开的图像分割方法的优点为：基于多层次超像素分割对作物图像进行果实区域分割，相比于当下流行的各种深度神经网络的分割和检测方法，本实施例中的方法更为轻量与快速，虽然本发明中训练了三个模型，包括两个AdaBoost分类器和一个简单的人工神经网络，但模型的规模都很小，因此检测速度较快。
首先采用的超像素分割就将纺锤形果实作物图像中具有相似特征的像素做了初步分组，大大提高了后续处理任务的效率，后面的多层分割方法得到了超像素数量，形状，大小，分布等都不同的超像素分割图，在提高了检测方法的效果和鲁棒性的同时，也扩充了训练数据集，最终利用神经网络进行多概率矩阵融合，不仅简单快速，且效果要比已有的线性组合等方法提升不少。
同时在AdaBoost分类器中的弱训练器和参数等、以及多层分割时使用的6组参数，都可根据不同的具体场景进行人工调整，所以本发明可以适应更多不同的场景，具有很好的适应性和鲁棒性。
实施例2
在该实施例中，公开了基于多层超像素分割的纺锤形果实图像分割系统，包括：
图像采集模块，用于获取纺锤形果实作物图像；
图像分割模块，用于对纺锤形果实作物图像进行超像素分割，获取超像素图像；
特征提取模块，用于提取超像素图像中每个超像素区域的特征；
相似度计算模块，用于根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
多层分割图获取模块，用于根据相似度对超像素区域进行多层次分割，获取多层分割图；
果实分割图生成模块，用于将多层分割图进行多概率矩阵融合获得纺锤形果实分割图。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的基于多层超像素分割的纺锤形果实图像分割方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的基于多层超像素分割的纺锤形果实图像分割方法所述的步骤。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (7)
1.基于多层超像素分割的纺锤形果实图像分割方法，其特征在于，包括：
获取纺锤形果实作物图像；
对纺锤形果实作物图像进行超像素分割，获取超像素图像；
提取超像素图像中每个超像素区域的特征；所述超像素图像提取的超像素区域特征包括形状特征、颜色特征及纹理特征；
根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
根据相似度对超像素区域进行多层次分割，获取多层分割图；
所述根据相似度对超像素区域进行多层次分割，获取多层分割图的具体过程为：
根据相似度对超像素区域进行多层次分割；
对每一层次中相邻超像素区域相似度大于设定相似度阈值，或两相邻超像素区域的面积均小于设定的最小区域面积时，将两相邻超像素区域进行融合，获取分割图；
将多层分割图进行多概率矩阵融合获得纺锤形果实分割图；
所述将多层分割图进行多概率矩阵融合获得纺锤形果实分割图的具体过程为：
获取多层分割图中每个超像素区域属于果实区域的概率，并构建每层分割图的概率矩阵；
将多个概率矩阵输入神经网络中融合，输出纺锤形果实分割显著图；
对纺锤形果实分割显著图分割输出二值图像；
去除二值图像的细小区域，获得纺锤形果实分割图。
2.如权利要求1所述的基于多层超像素分割的纺锤形果实图像分割方法，其特征在于，采用SEEDS超像素分割方法对纺锤形果实作物图像进行超像素分割，获得超像素图像。
3.如权利要求1所述的基于多层超像素分割的纺锤形果实图像分割方法，其特征在于，将超像素区域特征输入第一AdaBoost分类器中获取超像素图像中相邻超像素区域的相似度，第一AdaBoost分类器以超像素图像中相邻超像素区域特征为特征向量，以相邻超像素区域是否属于同区域为标签值训练获得。
4.如权利要求1所述的基于多层超像素分割的纺锤形果实图像分割方法，其特征在于，提取多层分割图中每个超像素区域特征，将该超像素区域特征输入第二AdaBoost分类器中，获得分割图中每个超像素区域属于果实区域的概率。
5.基于多层超像素分割的纺锤形果实图像分割系统，其特征在于，包括：
图像采集模块，用于获取纺锤形果实作物图像；
图像分割模块，用于对纺锤形果实作物图像进行超像素分割，获取超像素图像；
特征提取模块，用于提取超像素图像中每个超像素区域的特征；
所述超像素图像提取的超像素区域特征包括形状特征、颜色特征及纹理特征；
相似度计算模块，用于根据超像素区域特征，获取超像素图像中相邻超像素区域的相似度；
多层分割图获取模块，用于根据相似度对超像素区域进行多层次分割，获取多层分割图；
所述根据相似度对超像素区域进行多层次分割，获取多层分割图的具体过程为：
根据相似度对超像素区域进行多层次分割；
对每一层次中相邻超像素区域相似度大于设定相似度阈值，或两相邻超像素区域的面积均小于设定的最小区域面积时，将两相邻超像素区域进行融合，获取分割图；
果实分割图生成模块，用于将多层分割图进行多概率矩阵融合获得纺锤形果实分割图；
将多层分割图进行多概率矩阵融合获得纺锤形果实分割图的具体过程为：
获取多层分割图中每个超像素区域属于果实区域的概率，并构建每层分割图的概率矩阵；
将多个概率矩阵输入神经网络中融合，输出纺锤形果实分割显著图；
对纺锤形果实分割显著图分割输出二值图像；
去除二值图像的细小区域，获得纺锤形果实分割图。
6.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项所述的基于多层超像素分割的纺锤形果实图像分割方法的步骤。
7.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项所述的基于多层超像素分割的纺锤形果实图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011110075.7A CN112446417B (zh) | 2020-10-16 | 2020-10-16 | 基于多层超像素分割的纺锤形果实图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011110075.7A CN112446417B (zh) | 2020-10-16 | 2020-10-16 | 基于多层超像素分割的纺锤形果实图像分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112446417A CN112446417A (zh) | 2021-03-05 |
| CN112446417B true CN112446417B (zh) | 2022-04-12 |
Family
ID=74736474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011110075.7A Active CN112446417B (zh) | 2020-10-16 | 2020-10-16 | 基于多层超像素分割的纺锤形果实图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112446417B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191285B (zh) * | 2021-05-08 | 2023-01-20 | 山东大学 | 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统 |
| CN113269196B (zh) * | 2021-07-19 | 2021-09-28 | 湖南大学 | 一种图卷积神经网络高光谱医药成分分析的实现方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809651B (zh) * | 2014-12-16 | 2019-02-22 | 吉林大学 | 基于边缘非相似性对比的图像显著性检测方法 |
| US20190042888A1 (en) * | 2017-08-02 | 2019-02-07 | Preferred Networks, Inc. | Training method, training apparatus, region classifier, and non-transitory computer readable medium |
| CN107767383B (zh) * | 2017-11-01 | 2021-05-11 | 太原理工大学 | 一种基于超像素的道路图像分割方法 |
| CN110175974A (zh) * | 2018-03-12 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像显著性检测方法、装置、计算机设备和存储介质 |
| CN108986103B (zh) * | 2018-06-04 | 2022-06-07 | 南京师范大学 | 一种基于超像素以及多超图融合的图像分割方法 |
| CN109741293A (zh) * | 2018-11-20 | 2019-05-10 | 武汉科技大学 | 显著性检测方法及装置 |
-
2020
- 2020-10-16 CN CN202011110075.7A patent/CN112446417B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112446417A (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN112818862B (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| CN108875624B (zh) | 基于多尺度的级联稠密连接神经网络的人脸检测方法 | |
| CN107145889B (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
| Endres et al. | Category-independent object proposals with diverse ranking | |
| CN111259936B (zh) | 一种基于单一像素标注的图像语义分割方法及系统 | |
| CN111079674B (zh) | 一种基于全局和局部信息融合的目标检测方法 | |
| WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN107527351A (zh) | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 | |
| CN110532946B (zh) | 一种基于卷积神经网络识别绿通车车辆轴型的方法 | |
| CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| CN108491766B (zh) | 一种端到端的基于深度决策森林的人群计数方法 | |
| CN104778481A (zh) | 一种大规模人脸模式分析样本库的构建方法和装置 | |
| CN107633226A (zh) | 一种人体动作跟踪识别方法及系统 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN112446417B (zh) | 基于多层超像素分割的纺锤形果实图像分割方法及系统 | |
| CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| WO2020029915A1 (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
| CN112750106A (zh) | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 | |
| CN113269103B (zh) | 基于空间图卷积网络的异常行为检测方法、系统、存储介质和设备 | |
| CN109753884A (zh) | 一种基于关键帧提取的视频行为识别方法 | |
| CN111798470A (zh) | 一种应用于智能农业的农作物图像实体分割方法及系统 | |
| CN113705579A (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
| CN108664968B (zh) | 一种基于文本选取模型的无监督文本定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |