CN110322466B - 一种基于多层区域限制的有监督图像分割方法 - Google Patents

一种基于多层区域限制的有监督图像分割方法 Download PDF

Info

Publication number
CN110322466B
CN110322466B CN201810266152.4A CN201810266152A CN110322466B CN 110322466 B CN110322466 B CN 110322466B CN 201810266152 A CN201810266152 A CN 201810266152A CN 110322466 B CN110322466 B CN 110322466B
Authority
CN
China
Prior art keywords
low
level
superpixel
layer
superpixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810266152.4A
Other languages
English (en)
Other versions
CN110322466A (zh
Inventor
李磊
董卓莉
张永威
王峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201810266152.4A priority Critical patent/CN110322466B/zh
Publication of CN110322466A publication Critical patent/CN110322466A/zh
Application granted granted Critical
Publication of CN110322466B publication Critical patent/CN110322466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多层区域限制的有监督图像分割方法，以高效准确分割粮仓内图像并检测图像中的粮面和装粮线等，该方法首先生成训练图像集的低层超像素和高层超像素；提取低层超像素的颜色特征和基于Dense SIFT的词袋特征，作为初始特征；然后基于邻域超像素信息并结合高层超像素的空间限制获取低层超像素的最终特征；以所述低层超像素的最终特征来训练SVM分类器，得到训练好的SVM模型参数；最后根据所述训练好的SMV模型处理待分割图像，得到分割结果。本发明以高层超像素作为空间限制，将低层超像素的邻域信息融入其特征中，解决了传统SVM方法分割图像时未考虑样本的空间信息的问题，并加强了分割结果的区域一致性。

Description

一种基于多层区域限制的有监督图像分割方法
技术领域
本发明属于粮仓检测技术领域，具体涉及一种基于多层区域限制的有监督图像分割方法。
背景技术
近年来，随着粮食智能化建设，为了准确掌握和分析粮仓内粮情，越来越多的粮仓中通过设置高清摄像头来实时捕获仓内图像数据，通过对仓内图像进行分割，以便根据分割结果判断仓内粮食的安全性。所以，图像分割是粮仓智能化建设的一项关键技术。
图像分割的目的是把图像划分为若干个互不相交的区域，使各区域具有一致性，而相邻区域间的属性特征有明显区别。经过几十年的发展，大量的图像分割方法被提出，虽然这些方法已形成了相当成熟的体系，但随着图像分割在各个领域不断被应用，在分割精度和性能上对分割方法提出了更高的要求，迫使科研人员不断提出新的方法以解决相关领域的应用问题。常用的图像分割方法包括：阈值分割、边缘检测、区域生长、神经网络、模糊聚类等。近年来，基于统计学理论和结构风险最小化的支持向量机(Support VectorMachine，SVM)已广泛应用于图像分割领域。
支持向量机作为一种有监督的分类器，在分割图像时，简单把图像像素离散化成样本，提取特征，利用训练好的模型得到分割结果。该分割方法一般由两个阶段组成，即训练和测试。在训练阶段，使用经过标注的图像对分类模型进行训练，获取模型参数后，对测试图像进行分割。一般使用图像的像素作为训练和测试样本，提取像素的特征，输入分类模型进行训练，在测试阶段，同样提取测试图像的特征，输入训练好的模型，从而得到每个像素的标记结果。
由于这种方法把像素看作独立样本点，并未考虑像素与像素之间的空间关系，从而无法得到准确的、具有区域一致性的分割结果。而且，随着科技的飞速发展，各类成像设备拍摄的图像分辨率不断提升，一幅图像的大小甚至达到了几千万个像素的规模，若直接对这些图像处理，将大大降低图像分割方法的运行效率。尽管科研工作者不断对该类方法进行改进，且大大提升了这类方法的性能，如通过建立像素的隐马尔科夫模型，以解决此问题，但这种像素级方法获取的分割结果区域一致性还有待进一步提高，而且处理特定领域的图像还有待进一步研究。
发明内容
本发明的目的在于提供一种基于多层区域限制的有监督图像分割方法，用以解决现有技术中的基于传统SVM来分割粮仓内图像时分割结果不具有区域一致性的问题。
为解决上述技术问题，本发明的技术方案为：
本发明提供了一种基于多层区域限制的有监督图像分割方法，包括如下步骤：
以标记后的粮仓内图像作为训练集，生成图像的低层超像素和高层超像素；
提取低层超像素的颜色特征和基于Dense SIFT的词袋特征，作为低层超像素的初始特征；
根据低层超像素的初始特征，结合高层超像素的空间限制，得到低层超像素的最终特征；其中，若一个低层超像素的邻域像素均在同一高层超像素下，则该低层超像素的最终特征为邻域超像素的初始特征的加权平均值；否则，低层超像素的最终特征为该低层超像素的初始特征；
以所述低层超像素的最终特征对SVM分类器进行训练，获取训练好的SVM模型；
根据所述训练好的SMV模型处理待分割图像，得到分割结果。
进一步的，提取训练图像集的低层超像素的Dense SIFT特征矩阵；
使用K-means聚类方法对所述Dense SIFT特征矩阵进行分类，聚成K类，即K个词袋；
计算第i个低层超像素内所有Dense SIFT采样点到K个词袋的欧氏距离，并求取平均值，以该平均值作为第i个低层超像素的基于Dense SIFT的词袋特征。
进一步的，计算第i个低层超像素中的所有像素的颜色特征的均值，将该均值作为第i个低层超像素的颜色特征。
进一步的，所述低层超像素的初始特征为：
Fi o＝αFi c+(1-α)Fi b
其中，Fi o为第i个低层超像素的初始特征，Fi c为第i个低层超像素的颜色特征，Fi c为第i个低层超像素的基于Dense SIFT的词袋特征，α为权重系数。
进一步的，所述处理的过程包括：
提取待分割图像的低层超像素的最终特征，使用训练好的SVM模型对待分割图像进行分类，得到分割结果。
进一步的，得到分割结果后，还包括根据先验知识，去除分割结果中直径小于阈值的区域的步骤。
本发明的有益效果：
本发明的基于多层区域限制的有监督图像分割方法，采用对应的方法生成图像的低层超像素和高层超像素，建立两者之间的空间关系，据此将区域信息融入低层超像素的特征中，不仅可以克服使用SVM分割图像造成的区域不一致性，而且能够大大提升运行的效率，减少噪声的影响。
另外，为了提高特征的辨析度，处理颜色特征外，还使用基于Dense SIFT的词袋特征，与传统特征不同的是，本发明中的特征不再是直方图的形式，而是到词袋之间的距离向量，该特征和颜色特征组合成最终特征，并以低层超像素代替像素进行分类，从而加强了分割结果的同质性。
附图说明
图1是本发明的方法流程图；
图2是两层超像素之间的空间关系示意图；
图3是低层超像素和Dense SIFT的关系示意图。
具体实施方式
针对粮仓内图像分割问题，本发明提供了一种基于多层区域限制的有监督图像分割方法，以准确分割仓内图像，提取图像中的装粮线和粮面等信息，为仓内粮食数量安全判断提供必要信息。
下面结合附图，对本发明的基于多层区域限制的有监督图像分割方法作进一步的详细介绍和说明。
如图1所示为本发明的方法流程图。整体来讲，该方法分包括两大过程，一个为SVM模型训练过程，一个为图像分割过程。
SVM模型训练过程，提取训练图像集中的样本点，假设每幅图像中包括装粮线、粮食和背景三类样本，样本点集由有所选择的低层超像素组成，输入SVM分类器进行训练，保存训练好的SVM分类器，以备测试所用。其具体方法步骤如下：
首先，采集训练图像集，由于图像可能是在不同光照、预设角度下拍摄的，故需要对图像进行处理。裁去训练图像集中的各个图像的上下、左右两侧的失真区域，并把图像进行缩放。
然后，利用对应的超像素生成方法，生成训练图像集的低层超像素和图像的高层超像素。
在这里，采用SLIC方法来生成图像的低层超像素，这种方法生成的超像素大小相当，边界保持性好，并以低层超像素作为SVM训练和测试的样本。
采用mean shift方法来获取图像的高层超像素，高层超像素更具有区域一致性，且超像素面积要大于低层超像素，以此来提取低层超像素具有空间区域限制的特征。
接着，提取低层超像素的颜色特征和基于Dense SIFT的词袋特征，得到低层超像素的初始特征。具体的：
1)使用CIE LAB作为图像的颜色特征。计算每一个低层超像素内像素CIE LAB颜色特征的均值，用该均值来表示该超像素的颜色特征Fc。
2)利用Dense SIFT方法提取所有训练图像128维的Sift特征矩阵，大小为128×n，n为Dense SIFT采样点的总和，128为SIFT特征向量的长度。使用K-Means聚类方法对该特征矩阵聚成K类，即生成K个词袋(BOW)，每一类中心向量的长度为128。计算超像素内每一个Dense SIFT采样点i到词袋j之间的欧式距离：
Figure BDA0001611442800000041
其中，
Figure BDA0001611442800000042
为特征矩阵Md第i列，表示第i个Dense SIFT采样点；Cj表示第j个词袋。
3)将第i个Dense SIFT采样点的BOW特征表示为向量：
Di＝{dij},j＝1,...K
4)求取一个低层超像素的BOW特征，为其内所有Dense SIFT采样点Di的平均值：
Figure BDA0001611442800000043
其中，|s|为该低层超像素所包含的Dense SIFT采样点的个数。
5)求取低层超像素的初始特征F0：
Fi o＝αFi c+(1-α)Fi b
其中，Fi o为第i个低层超像素的初始特征，Fi c为第i个低层超像素的颜色特征，Fi c为第i个低层超像素的基于Dense SIFT的词袋特征，α为权重系数。
其次，根据低层超像素的初始特征F0，结合高层超像素的空间限制，得到低层超像素的最终特征F。
若一个低层超像素的邻域像素均在同一高层超像素下，则其最终特征是邻域超像素的初始特征的加权平均；否则，保持原来的初始特征。这样一来，使得低层超像素不仅包含像素的邻域信息，也包含了超像素的邻域信息，保证区域一致性的同时保持了图像的边界，有效提高了系统的运行效率，大大降低了噪声影响。第i个低层超像素的最终特征F为：
Figure BDA0001611442800000051
其中，F为第i个低层超像素的最终特征，
Figure BDA0001611442800000052
表示超像素i的邻域超像素(即距离为1个超像素的邻域超像素)，Fi c为第i个低层超像素的颜色特征，δ(·)为标准Kronecker’s Delta函数。
最后，以上个步骤中得到的低层超像素的最终特征来训练SVM分类器，得到训练好的SVM分类器。
在得到训练好的SVM分类器后，便可进行第二个过程，即图像分割过程。
在图像分割过程中，同样按照上述方法介绍的，将待分割的图像同样经过两层超像素的生成、低层超像素的颜色特征和基于Dense SIFT的词袋特征的提取，来最终获取低层超像素的最终特征，并输入至上个过程得到的训练好的SVM分类器，得到每一个低层超像素的标记。根据先验知识，例如装粮线和粮面一般都是长的直线或曲线的先验知识，去除一些小的空心区域和直径小于图像宽度一半的区域，然后把标记结果映射到像素空间，即同一低层超像素内的像素赋予所隶属低层超像素的标签，从而得到最终分割结果。
另外，上述介绍的方法采用mean shift方法来生成高层超像素，当然也可使用现有技术中的其他方法来上成超像素，例如区域合并方法。
为了验证本方法的优越性，设计了一系列定量分析的实验。
采集10幅仓内图像，每幅图像的大小为1080×1920，10张图像是在不同光照、预设角度下拍摄的。使用其中6幅图像为训练图像集，对训练图像集进行人工标记获取GroundTruth。
为了去除因光照不均造成的影响，裁去图像上下边界各20个像素、两侧0.1倍宽度的区域，并将图像缩放至360×640。
采用SLIC方法来生成图像的低层超像素，涉及的两个参数分别设置为：1000和10；采用mean shift方法来生成图像的高层超像素，涉及的三个参数分别设置为：hr＝13，hs＝11，minReg＝100。
获取图像CIE LAB颜色特征，并连同生成的超像素标记一起存入本地文件；生成Dense SIFT矩阵，大小为128×5000，即每幅图像采样5000个点，记录Dense SIFT的位置和SIFT特征信息，根据类别信息随机选取部分Dense SIFT特征，保留在内存里；所有图像处理完后，使用K-means对所有选择的Dense SIFT特征聚类，生成K＝15个词袋，并存入本地文件。非首次训练可以直接读取本地文件保存的词袋。
按照上述介绍的方法得到低层超像素的最终特征，以低层超像素的最终特征来训练SVM分类器，得到训练好的SVM分类器。
将待分割图像输入至训练好的SVM分类器进行图像分割，得到每一个低层超像素的标记。接着，去除面积小于100个像素的空心区域，剔除直径小于0.5倍图像宽度的区域，采用区域相似度把空心区域和小直径区域归入其它类，根据低层超像素的标记重新标记像素，从而得到最后的分割结果。
同时，采用只使用低层超像素的传统SVM的分割方法和只使用像素的SVM的分割方法对图像进行分割，这两种方法其他参数设置和本发明方法介绍的参数设置相同。
在得到最后的分割结果后，采用四种图像分割领域评价标准对这三种分割结果进行评价。如表1所示，分别为：PRI(Probabilistic Rand Index)、VOI(Variation ofInformation)、GCE和BDE；其中，PRI的大小在区间[0,1]内，取值越大表示分割的准确度越高；VOI的大小在[0,+∞)区间内，取值越小表示分割的效果越好；BDE、GCE的取值越小表示及其分割效果越好、结果和Ground Truth越接近。
表1
Figure BDA0001611442800000071
从表1中可以看出，本发明的方法的PRI值要高于传统分割方法的PRI值，VOI值、BDE值和GCE值皆低于传统分割方法的VOI值、BDE值和GCE值，故而验证了本发明方法的有效性。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于多层区域限制的有监督图像分割方法，其特征在于，包括如下步骤：
以标记后的粮仓内图像作为训练集，生成图像的低层超像素和高层超像素；
提取低层超像素的颜色特征和基于Dense SIFT的词袋特征，作为低层超像素的初始特征；
根据低层超像素的初始特征，结合高层超像素的空间限制，得到低层超像素的最终特征；其中，若一个低层超像素的邻域像素均在同一高层超像素下，则该低层超像素的最终特征为邻域超像素的初始特征的加权平均值；否则，低层超像素的最终特征为该低层超像素的初始特征；
以所述低层超像素的最终特征对SVM分类器进行训练，获取训练好的SVM模型；
根据所述训练好的SMV模型处理待分割图像，得到分割结果。
2.根据权利要求1所述的基于多层区域限制的有监督图像分割方法，其特征在于，提取训练图像集的低层超像素的Dense SIFT特征矩阵；
使用K-means聚类方法对所述Dense SIFT特征矩阵进行分类，聚成K类，即K个词袋；
计算第i个低层超像素内所有Dense SIFT采样点到K个词袋的欧氏距离，并求取平均值，以该平均值作为第i个低层超像素的基于Dense sift的词袋特征。
3.根据权利要求1所述的基于多层区域限制的有监督图像分割方法，其特征在于，计算第i个低层超像素中的所有像素的颜色特征的均值，将该均值作为第i个低层超像素的颜色特征。
4.根据权利要求1所述的基于多层区域限制的有监督图像分割方法，其特征在于，所述低层超像素的初始特征为：
Fi o＝αFi c+(1-α)Fi b
其中，Fi o为第i个低层超像素的初始特征，Fi c为第i个低层超像素的颜色特征，Fi c为第i个低层超像素的基于Dense SIFT的词袋特征，α为权重系数。
5.根据权利要求1所述的基于多层区域限制的有监督图像分割方法，其特征在于，所述处理的过程包括：
提取待分割图像的低层超像素的最终特征，使用训练好的SVM模型对待分割图像进行分类，得到分割结果。
6.根据权利要求1所述的基于多层区域限制的有监督图像分割方法，其特征在于，得到分割结果后，还包括根据先验知识，去除分割结果中直径小于阈值的区域的步骤。
CN201810266152.4A 2018-03-28 2018-03-28 一种基于多层区域限制的有监督图像分割方法 Active CN110322466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810266152.4A CN110322466B (zh) 2018-03-28 2018-03-28 一种基于多层区域限制的有监督图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810266152.4A CN110322466B (zh) 2018-03-28 2018-03-28 一种基于多层区域限制的有监督图像分割方法

Publications (2)

Publication Number Publication Date
CN110322466A CN110322466A (zh) 2019-10-11
CN110322466B true CN110322466B (zh) 2022-09-27

Family

ID=68110173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810266152.4A Active CN110322466B (zh) 2018-03-28 2018-03-28 一种基于多层区域限制的有监督图像分割方法

Country Status (1)

Country Link
CN (1) CN110322466B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966715B (zh) * 2021-02-02 2021-09-07 哈尔滨商业大学 一种基于多尺度视觉词包模型的商品图像特征描述方法
CN113838078B (zh) * 2021-09-06 2023-06-30 中国矿业大学(北京) 采煤塌陷地裂缝的识别与提取方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537676A (zh) * 2015-01-12 2015-04-22 南京大学 一种基于在线学习的渐进式图像分割方法
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873812B2 (en) * 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537676A (zh) * 2015-01-12 2015-04-22 南京大学 一种基于在线学习的渐进式图像分割方法
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于区域限制的EM和图割的非监督彩色图像分割方法;李磊等;《电子学报》;20160615(第06期);全文 *
基于高斯超像素的快速Graph Cuts图像分割方法;韩守东等;《自动化学报》;20110115(第01期);全文 *

Also Published As

Publication number Publication date
CN110322466A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN115082419A (zh) 一种吹塑箱包生产缺陷检测方法
CN105321176A (zh) 一种基于分层高阶条件随机场的图像分割方法
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
CN108038435A (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
Tareef et al. Automated three-stage nucleus and cytoplasm segmentation of overlapping cells
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN110598030A (zh) 一种基于局部cnn框架的甲骨拓片分类方法
CN107305691A (zh) 基于图像匹配的前景分割方法及装置
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN107886066A (zh) 一种基于改进hog‑sslbp的行人检测方法
CN111898627A (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN110738672A (zh) 一种基于分层高阶条件随机场的图像分割方法
Xue et al. Curved text detection in blurred/non-blurred video/scene images
CN110322466B (zh) 一种基于多层区域限制的有监督图像分割方法
CN109166093B (zh) 一种图像显著区域检测方法
Sarmiento et al. Automatic breast cancer grading of histological images based on colour and texture descriptors
Jin et al. A color image segmentation method based on improved K-means clustering algorithm
CN112348026A (zh) 一种基于机器视觉的磁性硬盘序列码识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant