CN112396619B - 一种基于语义分割的内部复杂组成的小型颗粒分割方法 - Google Patents
一种基于语义分割的内部复杂组成的小型颗粒分割方法 Download PDFInfo
- Publication number
- CN112396619B CN112396619B CN202010811805.XA CN202010811805A CN112396619B CN 112396619 B CN112396619 B CN 112396619B CN 202010811805 A CN202010811805 A CN 202010811805A CN 112396619 B CN112396619 B CN 112396619B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- segmentation
- value
- dist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 83
- 239000002245 particle Substances 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000000203 mixture Substances 0.000 title description 6
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 22
- 235000009566 rice Nutrition 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 240000007594 Oryza sativa Species 0.000 claims abstract 2
- 238000012549 training Methods 0.000 claims description 24
- 210000001161 mammalian embryo Anatomy 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 5
- 241000209094 Oryza Species 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 210000002257 embryonic structure Anatomy 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000001464 adherent effect Effects 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006115 defluorination reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割的内部复杂组成的小型颗粒分割方法，属于图像处理技术领域。本发明首先建立了小型颗粒数据库；然后，分别从特征图融合方式、反卷积方式、损失函数这三个方面对经典的语义分割网络FCN‑8s做出改进，得到G‑Chalk网络；接着，对SLIC超像素分割算法做了深入研究，将其与GLCM灰度共生矩阵技术相结合，解决了SLIC算法处理小尺度图像误分割的问题；最后，将G‑Chalk网络与SLIC超像素分割的结果进行融合，使得语义分割图更精确。本发明可以用于稻米质量分析、细胞结构分析等技术领域，其分割准确率高。
Description
技术领域
本发明属于图像处理技术领域，具体涉及对内部复杂组成的小型颗粒的分割处理。
背景技术
近年来，随着硬件平台的不断更新换代，以及人工智能研究热潮的进行，深度学习得到了广泛的关注和研究。针对内部复杂组成的小型颗粒，如单个稻米、单个细胞等，常常需要分割出其自身的组成部分来获取信息，如稻米的胚和垩白、细胞的细胞质和细胞核等等，用来鉴别小型颗粒目标的质量。由于其灰度信息较为接近，无法通过传统的图像分割算法，如阈值分割算法和分水岭分割算法等，来取得较高的分割准确率。相比于传统的图像分割算法，语义分割在医疗影像分析、粮食质量检测等领域都取得了更高的准确率。
目前较好的传统图像分割方法有阈值分割算法、分水岭分割算法等等，但是这些算法针对于灰度信息较为接近的目标不具备普适性。阈值分割算法是一种把灰度图像中的像素点根据不同阈值分为若干类别的方法，由于其处理直观、实现简单且计算速度快的特点，阈值处理在图像分割中应用广泛；分水岭分割算法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，集水盆的边界则形成了分水岭，该分割算法常常由于图像上的噪声和图局部不连续等原因出现过度分割。
现有的图像分割方法主要存在以下缺陷：
(1)误分割。小型颗粒目标的图像通常尺度较小，易出现误分割的情况；
(2)准确率低。目前已有的分割算法，针对灰度信息较为接近的小型颗粒目标，其边缘部分分割准确率较低。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于语义分割的内部复杂组成的小型颗粒分割方法。
本发明的基于语义分割的内部复杂组成的小型颗粒分割方法，包括下列步骤：
步骤1：设置小型颗粒分割网络模型：
将尺寸小于预设尺寸阈值的目标对象定义为小型颗粒；
对语义分割模型FCN-8s(Fully Convolutional Networks-8s)进行改进，得到小型颗粒分割网络模型，本发明将其命名为G-Chalk网络；
其中，对语义分割模型FCN-8s的具体改进包括：
(1)融合层的融合方式：
不再直接对输入的池化层的特征图和上采样层的特征图进行相加求和，而是基于预设的权值进行加权融合，从而得到最终的融合结果：Fuse＝ηpoolPool+ηdeconvDeconv，其中ηpool表示融合层中的池化层系数，ηdeconv表示融合层中的上采样层系数；
(2)反卷积方式：
在FCN-8s进行最大池化方式时，记录其最大值的位置；
当上采样层进行反卷积时，将元素移到所记录的最大值的位置上，其他位置补零；
(3)训练时所采用的损失函数：
定义μj表示第j个类别的权重，μj值越大，表示网络对这一类别判错的惩罚力度越大；
训练时所采用的损失函数为：
其中C表示类别数目，sj表示Softmax输出向量的第j个值，即表示属于第j个类别的概率；yj只有两个值0和1，真实标签对应位置的yj值为1，否则值为0；
采集训练数据集，对G-Chalk网络进行训练，将满足预设训练条件的G-Chalk网络作为小型颗粒分割器；
步骤2：将待进行语义分割的目标图像Io输入所述小型颗粒分割器，得到各像素点的类别预测值，得到语义分割结果；
步骤3：对目标图像Io的灰度图进行超像素分割处理：
步骤301：采用SLIC(Simple Linear Iterative Clustering)方式对目标图像Io的灰度图进行超像素分割，得到多个超像素块；
步骤302：记录每一个超像素块内所有像素的位置索引，根据该位置索引查找小型颗粒分割器输出的类别预测值，统计出一个超像素块内各类别预测值对应的像素数目，并将像素数目最多的类别预测值作为当前超像素块的类别标签；
步骤303：遍历所有超像素块，若超像素块的尺寸小于预设尺寸阈值，则将其作为待处理的超像素块；
计算待处理的超像素块以及其邻域的超像素块的纹理特征值，分别计算待处理超像素块与各邻域的超像素块之间的相似性dist，将最小dist对应的超像素块作为待处理超像素的融合目标；
其中，纹理特征值包括：能量、对比度、相关性、熵；
并分别基于能量、对比度、相关性和熵各自之间的差的平方得到能量、对比度、相关性和熵的相似度量值：distenergy、distcontrast、distcorrelation、distentrop；
根据公式dist＝distenergy+distcontrast+distcorrelation+distentrop得计算相似性dist。
进一步的，步骤301具体为：
301-1：以
为步长对目标图像Io进行网格化采样，初始化超像素种子点并将其置于网格的中心，然后再调整到其3×3邻域梯度值最小的位置，其中N为目标图像Io的像素总个数，K为超像素的个数；
301-2：对每一个超像素种子点的2S×2S邻域的邻域像素点进行距离度量D，取最小距离度量对应的种子点作为当前邻域像素点归属的超像素，得到当前的超像素块；
其中，
dg、ds分别表示种子点与邻域像素点灰度距离和空间距离，m为预设的常数；
取当前的超像素块内的所有像素的坐标均值和灰度均值作为新的超像素种子点，继续执行步骤301-2；直到每个超像素种子点的坐标不再发生变化。
进一步的，步骤303中，GLCM灰度共生矩阵得到纹理特征：将原灰度图的256个灰度级压缩为8个灰度级，得到逐个像素的灰度共生矩阵；计算各个像素的纹理特征值。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
(1)解决了小尺度图像误分割的问题。对SLIC超像素分割算法进行改进，并将其与GLCM灰度共生矩阵技术相结合，解决了SLIC算法处理小尺度图像误分割的问题；
(2)提高了目标边缘分割准确率。将G-Chalk网络与SLIC超像素分割的结果进行融合，使得语义分割图更精确。
附图说明
图1为具体实施方式中针对内部复杂组成的小型颗粒目标组成部分分割的示意图；
图2为小型颗粒(稻米)数据库Chalk4的部分图示；
图3为小型颗粒(稻米)数据库Chalk4的扩展图图示；
图4为FCN-8s训练过程中各个性能指标；
图5为FCN-8s网络训练结果；
图6为去池化示意图；
图7为FCN-8s与G-Chalk网络识别效果对比图；
图8为SLIC算法流程图；
图9为SLIC算法处理图；
图10为GLCM获取到的图像纹理，其中图10-a为原图；图10-b为能量图；图10-c为对比度图；图10-d为相关性图；图10-e为熵图。
图11为改进SLIC算法前后对比图。其中图11-a为原SLIC算法分割图；图11-b为改进SLIC算法后的分割图；
图12为G-Chalk网络与最终融合结果识别效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明的目的在于提高内部复杂组成的小型颗粒目标组成部分(如稻米、细胞等)的分割准确率，优化边缘分割精度，解决小尺度图像误分割的问题。本发明的分割方法尤其适用于灰度信息相差较小的内部复杂组成的小型颗粒目标，例如：稻米、细胞等。
本具体实施方式中，本发明的分割处理主要包括五个部分：
首先，建立小型颗粒(稻米)数据库Chalk4；
其次，改进当前经典的语义分割模型FCN-8s(Fully Convolutional Networks-8s)，从而得到G-Chalk网络，在数据库Chalk4上进行验证；
然后，改进SLIC超像素分割技术，解决小型颗粒目标边缘分割模糊的问题；
然后，通过GLCM灰度共生矩阵得到纹理特征；
最后，在改进的SLIC超像素分割方法的第五步加入纹理特征信息，解决小型颗粒目标边缘误分割问题。
本具体实施方式中，采用的训练及测试用的数据来自于四川农业大学2015年在温江试验田拍摄的稻米种子图像，其中拍摄工具是MICROTEC中晶扫描仪。为了避免对粘连种子进行分割后导致局部图像的缺失，专门挑选了未粘连单个种子作为所需的数据集，其中包含70％的垩白种子与30％的无垩白种子。使用开源工具labelme对原图进行标注，输出格式为paletted png，其为8bit彩色图像，它的每个像素由8bit的索引值表示，其对应的彩色值是按照索引表查询出来的。
使用的RGB值索引表如表1所示。
表1 RGB值索引表
注：稻米垩白，即稻米胚乳中组织疏松而形成的白色不透明的部分
本具体实施方式中，选取了1000个稻米种子并对其进行了标注，为了保证数据库构建的完备性，考虑了一些特殊情况的稻米种子，如有划痕的无垩白稻米种子、有划痕的有垩白稻米种子、无胚的有垩白稻米种子、无胚的无垩白稻米种子等等。部分稻米种子数据集如图2所示。
由于1000张种子图片数量较少，考虑到人力成本，使用数据增广技术对样本进行扩充。最终获得了72000张样本图像，部分扩展如图3所示。
本发明的实验环境如表2所示。
表2网络模型训练环境
| CPU | Intel(R)Core(TM)i3-6100@3.70GHz |
| GPU | GTX 1050Ti |
| 内存 | 16G |
| 操作系统 | Ubuntu 18.04 |
| 深度学习框架 | Caffe 1.0 |
| CUDA | 10.0 |
图像语义分割一般使用多个标准来对算法的性能进行度量，常用的度量标准有执行时间、内存占用和精确度。本发明主要针对提高精确度为主。当前常用的精度标准共有三个，分别是像素准确率、平均像素准确率和平均交并比。为了描述方便，假设共有k类物体，令Pij表示第i类物体被预测为第j类物体的像素数量。
像素准确率(Pixel Accuracy，PA)表示正确分类的像素数量占总像素数量的比例，计算公式如式(1)所示。
平均像素准确率(Mean Pixel Accuracy，MPA)表示每个类被正确分类的像素比例的平均值。相比PA而言，MPA更强调网络模型对每一类物体的分类像素准确率，而PA则强调网络模型的整体像素准确率，若两者相差过大往往说明网络对某类物体分类效果较差。MPA计算公式如式(2)。
平均交并比(Mean Intersection over Union，MIoU)是所有分类的IoU的平均值。IoU是指网络模型的预测值和真实值的重叠比例，也就是计算这两个集合交集和并集的比值，计算公式如式(3)和式(4)。
参见图1，本具体实施方式中，针对分割目标为稻米种子的图像的具体分割处理包括下述处理步骤：
步骤1：改进当前经典的语义分割模型FCN-8s，得到G-Chalk网络：
首先对FCN-8s网络进行测试。VGG-16网络各层输出特征图大小如表3所示。
表3 VGG-16网络各层输出特征图大小
FCN-8s网络各层输出特征图大小如表4所示。
表4 FCN-8s网络各层输出特征图大小
使用VGG-16的模型文件来初始化FCN-8s的参数值，实验训练配置参数设置如表5所示。
表5网络训练全局参数配置
| 学习率(learning rate) | 0.00000001 |
| 学习策略(policy) | step |
| 衰减率(gamma) | 0.1 |
| 衰减步数(decay steps) | 10000 |
| 迭代次数(iteration) | 100000 |
| 动量系数(momentum) | 0.99 |
| 权重衰减系数(weight decay) | 0.0005 |
| 梯度下降法(Gradient Desent) | 小批量梯度下降法 |
| 训练模式(train mode) | GPU |
初始学习率为0.00000001，以“step”进行学习率下降方式进行训练，即训练次数达到衰减步数时，学习率乘以相应的衰减率。最大迭代次数为10万次，每训练4000次保存一次模型，使用小批量梯度下降法进行参数更新，迭代到最大次数完成网络的微调。
根据训练好的网络模型，在Chalk4数据库上进行实验验证，实验结果将从客观实验和主观实验两个角度出发进行对比分析。首先FCN-8s各个性能指标的训练精度如图4所示，可以看出在训练第88000次时各个性能指标都达到最优，PA为93.09％，mPA为86.05％，IoU为77.15％。其中PA和mPA相差约7％，且PA值较高，由PA和mPA的公式分析可知，必定是某个样本的识别率较低，从而拉低了mPA值。
基于图5所示的分割结果可知，由于背景和种子的颜色特征有明显差异，故识别效果较好。胚由于其灰度值相比背景和种子较亮，且其分布在种子的一端，位置特征比较明显，故其识别效果也较好。垩白由于其独特的“云雾状”特征不容易全部识别正确。因为垩白面积相比背景和种子要小，故即使在错误率较高的情况下其PA值也比较高，但mPA和IoU受其影响较大。由于胚和垩白在颜色特征上有一定的相似性，都显示出高亮度特征，以至于有些结果图片的垩白区域有一小部分也被误识别成了胚，如图5-d和5-e。由5-a、5-c-和5-e所示。可见网络已经可以准确识别出划痕。综上分析可知，为了能够提高mPA值和IoU值，增强网络的胚、垩白识别能力是关键。
根据以上分析结果，对FCN-8s进行改进，得到G-Chalk网络，具体改进有以下三部分。
Step 1：改进特征图融合方式。
由于FCN-8s网络中的池化层过多，导致在对最后一层的特征图进行上采样时，因信息量缺失导致其结果会与真实结果有一定的误差。FCN-8s的融合层只是简单的将池化层的特征谱和上采样层的特征谱相加求和，如式(5)所示，这里由于上采样层的特征谱不准确必然会影响融合结果的准确率。
Fuse＝Pool+Deconv (5)
故为了增强网络性能，本发明首先确定融合层中不同系数组合对最终网络性能的影响。如式(6)所示，其中ηpool表示融合层中的池化层系数，ηdeconv表示融合层中的上采样层系数。
Fuse＝ηpoolPool+ηdeconvDeconv (6)
Step 2：改进反卷积方式。
池化是一种不可逆操作，网络中的池化层越多，局部细节丢失也越多。为解决该问题，采用去池化(Unpooling)的方式。去池化方式是指网络在进行最大池化方式时将其最大值的位置(indices)记录在一个switch数组中，当上采样层进行反卷积时，原来的方式是在特征谱的数据之间均匀补零，现在的方式是根据switch数组将元素移到原来最大值的位置上，其他位置补零，这样特征图就保留了更好的边界信息。由图6可见对特征图进行“反池化”操作时每个值都还原到了原来的位置。
Step 3：改进损失函数。
由于FCN-8s网络的损失函数对所有类别的判定都一视同仁，由图4的结果分析可知，网络的PA和mPA相差了7％，且PA值较高，故必定是某个样本的识别率低导致网络的mPA值偏低。在主观分析了实验结果后得知，垩白部分识别效果最差。
通常损失层结合Softmax的结果来计算损失值，具体计算如式(7)所示。
此处C依然表示类别数目，sj表示Softmax输出向量的第j个值，即表示属于第j个类别的概率；yj只有两个值0和1，真实标签对应位置的yj值为1，否则值为0。由式(7)可以看出，当真实标签对应位置的sj值越小，Loss值就越大，即惩罚力度越大。
本发明将对式(7)的损失函数进行改进，加大损失函数中垩白部分的惩罚力度，然后通过实验来验证最终效果。
改进后的损失函数如式(8)所示。相比原损失函数计算公式，损失函数Lossnew新增了参数项μj，表示第j个类别的权重，μj值越大，表示网络对这一类别判错的惩罚力度越大。由于原损失函数Loss中的所有权重均为1，而垩白与胚的面积相比背景和种子都要小得多，故在损失函数Lossnew中适当增加对这两个类别的惩罚力度可增强网络对较小物体的识别性能。
针对以上三种改进方式的分割性能进行验证。
Step 1：特征图融合方式，对ηpool和ηdeconv参数采用不同取值，从网络的像素准确率PA、平均像素准确率mPA和交并比IoU三个指标进行判断。网络训练100000次后实验结果如表6所示。
表6不同ηpool、ηdeconv值对于本章算法的性能影响
| η<sub>pool</sub>、η<sub>deconv</sub>组合类型 | PA | mPA | IoU |
| 1，1 | 93.09％ | 86.05％ | 77.15％ |
| 0.75，1.25 | 92.76％ | 85.83％ | 76.67％ |
| 0.5，1.5 | 90.78％ | 84.57％ | 74.94％ |
| 1.1，0.9 | 93.14％ | 86.18％ | 77.19％ |
| 1.2，0.8 | 93.19％ | 86.37％ | 77.36％ |
| 1.3，0.7 | 93.30％ | 86.56％ | 77.48％ |
| 1.4，0.6 | 93.49％ | 86.70％ | 77.67％ |
| 1.5，0.5 | 93.40％ | 86.59％ | 77.53％ |
| 1.75，0.25 | 91.27％ | 84.98％ | 75.23％ |
分析表6可知，在ηpool＝1.4，ηdeconv＝0.6时的实验结果最好。当ηpool小于ηdeconv时，发现PA、mPA、IoU指标持续下降，这是因为稻米种子图片尺寸较小，最后一层池化的特征图由于信息量不足，在进行反卷积时还原的信息与真实信息有一定的出入，而池化层由于比重较少，故最终的结果是图像轮廓边缘更加模糊。当适当增大ηpool的比例，由于网络靠前的池化层的特征图相比起上采样层较好的保存了轮廓信息，故最终的结果指标也在提升。当ηpool过大时，虽然网络在边缘细节方面有了较好的提升，但由于ηdeconv比重较低导致分类效果变差。
Step 2：反卷积方式。为了验证去池化方式是否对提升了网络的识别能力，本发明依然从网络的像素准确率PA、平均像素准确率mPA和交并比IoU三个指标进行分析，并使用上面验证好的特征图融合的参数(ηpool＝1.4，ηdeconv＝0.6)，网络训练100000次后实验结果如表7所示。可见通过使用去池化方式，网络的识别能力得到了进一步增强，其边界提取效果也更好。
表7不同反卷积方式对于本章算法的性能影响
| 反卷积方式 | PA | mPA | IoU |
| 普通上采样 | 93.49％ | 86.70％ | 77.67％ |
| 去池化 | 93.63％ | 86.92％ | 77.96％ |
Step 3：损失函数。对于不同类别权重的取值，本发明分析了网络的像素准确率PA、平均像素准确率mPA和交并比IoU三个指标，在使用上文中的特征图融合参数(ηpool＝1.4，ηdeconv＝0.6)和基于去池化方式进行实验，在迭代100000次后的实验结果如表8所示。
表8不同类别权重μ取值对于本章算法的性能影响
| 背景μ<sub>1</sub> | 种子μ<sub>2</sub> | 胚μ<sub>3</sub> | 垩白μ<sub>4</sub> | PA | mPA | IoU |
| 1 | 1 | 1 | 1 | 93.63％ | 86.92％ | 77.96％ |
| 1 | 1 | 1 | 1.25 | 93.86％ | 87.10％ | 78.23％ |
| 1 | 1 | 1 | 1.5 | 93.97％ | 87.24％ | 78.40％ |
| 1 | 1 | 1 | 1.75 | 93.42％ | 86.78％ | 77.81％ |
| 1 | 1 | 1 | 2 | 92.84％ | 85.67％ | 76.01％ |
| 1 | 1 | 1.25 | 1.5 | 94.12％ | 87.40％ | 78.97％ |
| 1 | 1 | 1.5 | 1.5 | 93.89％ | 87.21％ | 78.32％ |
| 1 | 1 | 1.75 | 1.5 | 93.54％ | 86.74％ | 77.64％ |
由于要对垩白和胚的两个权重参数进行调整，使用控制变量法来进行实验。首先不改变背景、种子、胚的权重参数，通过增加垩白的参数值来观察网络的性能，发现在μ4＝1.5时网络性能达到了最优，继续增加μ4参数值网络性能反而降低，是因为背景、种子、胚相比垩白区域权重变小，识别效果也变差。然后在保持μ4＝1.5的条件下提高胚的权重参数值，在μ3＝1.25时达到了网络性能最优。
最终G-Chalk网络的PA、mPA、IoU值比起原来的FCN-8s网络有了改进，分别提高了1.03％、1.35％、1.52％。
由图7可见G-Chalk网络已经可以对垩白和胚进行准确识别，误识别情况在上述的样本图中已经不存在，见7-d和7-e。同时所有种子的轮廓有了细微的改善。但整体而言，G-Chalk网络在边缘处理方面依然比较“模糊”，这也是语义分割网络的通病。
步骤2：改进SLIC超像素分割技术：
参见图8，SLIC算法流程一共分为四步：
Step 1：输入稻米灰度图像；
Step 2：以
为步长对图像进行网格化采样，初始化超像素种子点Ck，将其置于网格的中心，然后再调整到其3×3邻域梯度值最小的位置。其中N为原图的像素总个数，K为超像素的个数，本具体实施方式中K的取值为80；
Step 3：对每一个超像素种子点的2S×2S邻域的像素进行距离度量，计算其与种子点的灰度距离和空间距离，计算公式如式(9)和式(10)所示。
其中，I表示灰度值，x、y分别表示横纵坐标，c表示超像素种子点，p表示当前处理的像素点，m为SLIC中的固定常数，取值范围为[10，40]，此处取值为40。dg为灰度距离，ds为空间距离，D为总的度量距离，公式如式(11)所示。
每一个像素点与周围种子点都会有一个度量距离，取最小值对应种子点的超像素作为该像素点归属的超像素。每轮迭代后，取超像素内所有像素的坐标均值和灰度均值作为新的超像素种子点的坐标值和灰度值，进行新一轮迭代直到每个超像素种子点坐标不再发生变化为止。
Step 4：增强超像素的连通性。Step 3中的迭代会出现超像素尺寸过小或者超像素多连通问题，这些问题可通过增强超像素连通性解决。原SLIC算法是将这些不连续的和尺寸过小的超像素随机重新分配给临近的超像素。
现有的SLIC算法的随机分配超像素的方式可能会因为分配错误导致原物体轮廓边缘的误提取，尤其针对单粒稻米这种分辨率较低的图像。一旦错误融合了边缘超像素，带来的结果将会是误分割，如图9所示。由图9可见，原SLIC算法在稻米边缘处进行连通性融合时会误将边缘像素融合到了背景超像素中，导致边缘提取不准。
步骤3：通过GLCM灰度共生矩阵得到纹理特征：
纹理是一种反映图像中同质现象的视觉特征，它反映了图像区域中对应景物的空间排列以及颜色强度等信息。描述纹理特征的方法有很多种，本发明引入灰度共生矩阵(Grey-Level Co-occurrence Matrix)来进行分析，提取出最常用的四个关键纹理特征：能量(Moment)、对比度(Contrast)、熵(Entropy)和相关性(Correlation)。
通过灰度共生矩阵得到纹理特征一共分为三步：
Step 1：灰度级量化。本发明将原灰度图的256个灰度级压缩为8个灰度级。
Step 2：得到逐个像素的灰度共生矩阵。选取步长d＝1，生长方向θ(0°,45°,90°，135°)，滑窗大小ω＝(5×5)，从而得到各像素四个方向大小为8×8的灰度共生矩阵。
Step 3：计算各个像素的纹理特征值。能量、对比度、相关性、熵的公式分别如式(12)、式(13)、式(14)、式(15)所示。
其中，i、j分别对应灰度共生矩阵的横纵坐标，Ng是量化后的灰度级最大值，P(i,j)是灰度共生矩阵(i,j)位置上元素的概率值，相关性公式中的μi、μj、σi、σj计算公式如分别如式(16)、式(17)、式(18)、式(19)所示。
这样遍历完所有像素后就可得到纹理特征图像，如图10所示。
能量反映图像灰度分布均匀程度和纹理粗细度。基于图10-b可看到原图在胚、垩白中心处的灰度值较均匀，故特征值也高。
对比度反映图像纹理沟纹深浅程度，基于图10-c可看到在边缘处的像素特征值很高。
相关性反映图像中局部灰度相关性，当原图像素分布均匀时，特征值就大，这一点与能量特征很相似，基于图10-d可看到在胚处的特征值很高。
熵反映图像的信息量，当原图中的像素相差过大时，熵就大。基于图10-a、10-e可知，原图中的种子边缘区域像素分布不均匀，故该区域熵值较大；而在胚、垩白处像素分布要相对均匀，故熵值要小。
步骤4：在步骤2的Step 4中，加入纹理特征信息，即当小的超像素将要融合到邻域超像素中时，首先计算周围的超像素的纹理特征值，然后与待处理的超像素的纹理特征值进行判断，其中特征值最相似的超像素将作为待处理超像素的融合目标：
度量超像素相似性的公式如下：
distenergy＝(Ienergy-Cenergy)2 (20)
distcontrast＝(Icontrast-Ccontrast)2 (21)
distcorrelation＝(Icorrelation-Ccorrelation)2 (22)
distentropy＝(Ientropy-Centropy)2 (23)
dist＝distenergy+distcontrast+distcorrelation+distentropy (24)
其中，I为当前处理的超像素，C为邻域超像素，Ienergy表示超像素的能量特征值，具体为该超像素中各个像素的能量均值，Icontrast、Icorrelation、Ientropy分别表示超像素的对比度特征值、相关性特征值和熵值。dist表示当前处理的超像素特征值与邻域超像素的距离度量。
基于上述分析，本发明的改进后的超像素分割的具体实现过程为：
对采用SLIC算法得到的各超像素块；
遍历所有超像素块，若超像素块的尺寸(包括的像素点数量小于预设阈值)小于预设尺寸阈值，则将其作为待处理的超像素块；
计算待处理的超像素块以及其邻域的超像素块的纹理特征值，分别计算待处理超像素块与各邻域的超像素块之间的dist值，将最小dist值对应的超像素块作为待处理超像素的融合目标。
基于改进后的SLIC所得到的分割效果如图11所示。由图11可见：原本融合错误的区域现在已正确融合，聚类好的超像素已成功分割出种子边缘。
基于上述所有改进点实现对待分割图像进行分割，得到的分割结果如图12所示，在分割处理时，原图通过改进的SLIC算法将会生成一定数量的超像素块，每一个超像素块都由相似性较强的像素构成。记录每一个超像素块内所有像素的位置索引，根据该位置索引找到G-Chalk网络分割结果图相应位置上的类别预测值，统计出一个超像素块内各类别对应的像素数目。最终将该超像素块的值设置为G-Chalk网络分割结果图中数目最多的类别所对应的值。由图12可知，融合后的结果在边缘提取上相比之前有了大幅度的提升。从图12-a、图12-b、图12-e和图12-f可以看出，提取的种子边缘更加精确。同时胚和垩白的边缘提取部分也有了改进，见图12-e的垩白区域和图12-f的胚。从网络的像素准确率PA、平均像素准确率mPA和交并比IoU三个指标进行实验对比判断的结果如表9所示：
表9各个算法垩白识别准确率对比
可见本发明基于深度学习的算法在与超像素分割算法进行结合后，分割准确率有了大幅度的提升。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (5)
1.基于语义分割的内部复杂组成的小型颗粒分割方法，其特征在于，包括下列步骤：
步骤1：设置小型颗粒分割网络模型：
将尺寸小于预设尺寸阈值的目标对象定义为小型颗粒；
对语义分割模型FCN-8s进行改进，得到小型颗粒分割网络模型，将其命名为G-Chalk网络；
其中，对语义分割模型FCN-8s的具体改进包括：
(1)融合层的融合方式：
根据公式Fuse＝ηpoolPool+ηdeconvDeconv得到融合层的融合结果Fuse，其中，Pool表示输入的池化层的特征图，ηpool表示融合层中的池化层系数，Devonv表示输入的上采样层的特征图，ηdeconv表示融合层中的上采样层系数；
(2)反卷积方式：
在FCN-8s进行最大池化方式时，记录其最大值的位置；
当上采样层进行反卷积时，将元素移到所记录的最大值的位置上，其他位置补零；
(3)训练时所采用的损失函数：
定义μj表示第j个类别的权重，μj值越大，表示网络对这一类别判错的惩罚力度越大；
训练时所采用的损失函数为：
其中C表示类别数目，sj表示Softmax输出向量的第j个值，即表示属于第j个类别的概率；yj只有两个值0和1，真实标签对应位置的yj值为1，否则值为0；
采集训练数据集，对小型颗粒分割网络模型进行训练，将满足预设训练条件的小型颗粒分割网络模型作为小型颗粒分割器；
步骤2：将待进行语义分割的目标图像Io输入所述小型颗粒分割器，得到各像素点的类别预测值，得到目标对象的语义分割结果；
步骤3：对目标图像Io的灰度图进行超像素分割处理：
步骤301：采用SLIC方式对目标图像Io的灰度图进行超像素分割，得到多个超像素块；
步骤302：记录每一个超像素块内所有像素的位置索引，根据该位置索引查找小型颗粒分割器输出的类别预测值，统计出一个超像素块内各类别预测值对应的像素数目，并将像素数目最多的类别预测值作为当前超像素块的类别标签；
步骤303：遍历所有超像素块，若超像素块的尺寸小于预设尺寸阈值，则将其作为待处理的超像素块；
计算待处理的超像素块以及其邻域的超像素块的纹理特征值，分别计算待处理超像素块与各邻域的超像素块之间的相似性dist，将最小dist对应的超像素块作为待处理超像素的融合目标；
其中，纹理特征值包括：能量、对比度、相关性和熵；
并分别基于能量、对比度、相关性和熵各自之间的差的平方得到能量、对比度、相关性和熵的相似度量值：distenergy、distcontrast、distcorrelation、distentrop；
根据公式dist＝distenergy+distcontrast+distcorrelation+distentrop得计算相似性dist。
2.如权利要求1所述的方法，其特征在于，步骤301具体为：
301-1：以
为步长对待分割的图像进行网格化采样，初始化超像素种子点并将其置于网格的中心，然后再调整到其3×3邻域梯度值最小的位置，其中N为目标图像Io的像素总个数，K为超像素的个数；
301-2：对每一个超像素种子点的2S×2S邻域的邻域像素点进行距离度量D，取最小距离度量对应的种子点作为当前邻域像素点归属的超像素，得到当前的超像素块；
其中，
dg、ds分别表示种子点与邻域像素点灰度距离和空间距离，m为预设的常数；
取当前的超像素块内的所有像素的坐标均值和灰度均值作为新的超像素种子点，继续执行步骤301-2；直到每个超像素种子点的坐标不再发生变化。
3.如权利要求1所述的方法，其特征在于，步骤303中，GLCM灰度共生矩阵得到纹理特征：将原灰度图的256个灰度级压缩为8个灰度级，得到逐个像素的灰度共生矩阵；计算各个像素的纹理特征值。
4.如权利要求1所述的方法，其特征在于，池化层系数ηpool的取值设置为1.4，上采样层系数ηdeconv的值设置为0.6。
5.如权利要求1所述的方法，其特征在于，小型颗粒为稻米，小型颗粒分割网络模型涉及的分割类别包括：背景、种子、胚和垩白，各类别的权重取值依次为：1,1,1.25,1.5。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910755357 | 2019-08-15 | ||
| CN2019107553573 | 2019-08-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396619A CN112396619A (zh) | 2021-02-23 |
| CN112396619B true CN112396619B (zh) | 2022-05-10 |
Family
ID=74596508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010811805.XA Active CN112396619B (zh) | 2019-08-15 | 2020-08-13 | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112396619B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582111B (zh) * | 2020-04-29 | 2022-04-29 | 电子科技大学 | 一种基于语义分割的细胞各成分分割方法 |
| CN113344947B (zh) * | 2021-06-01 | 2022-05-10 | 电子科技大学 | 一种超像素聚合分割方法 |
| CN113392842B (zh) * | 2021-06-03 | 2022-08-05 | 电子科技大学 | 一种基于点数据网络结构改进的点云语义分割方法 |
| CN113935986A (zh) * | 2021-11-02 | 2022-01-14 | 国电建投内蒙古能源有限公司 | 一种煤炭物料粒度识别方法、装置、粒度检测仪及系统 |
| CN114898216A (zh) * | 2022-06-14 | 2022-08-12 | 湖南省农林工业勘察设计研究总院 | 基于超像素与分水岭的遥感图像深度学习分割方法及系统 |
| CN115690106B (zh) * | 2023-01-03 | 2023-03-21 | 菏泽城建新型工程材料有限公司 | 一种基于计算机视觉的深埋锚具封闭检测方法 |
| CN116596921B (zh) * | 2023-07-14 | 2023-10-20 | 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) | 一种焚烧炉渣分选方法及系统 |
| CN118470334B (zh) * | 2024-07-15 | 2024-09-24 | 安徽高哲信息技术有限公司 | 基于多特征融合的谷物语义分割方法以及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
| CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9445713B2 (en) * | 2013-09-05 | 2016-09-20 | Cellscope, Inc. | Apparatuses and methods for mobile imaging and analysis |
| AU2015345199A1 (en) * | 2014-11-10 | 2017-04-27 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
| CN108921853B (zh) * | 2018-06-22 | 2022-03-04 | 西安电子科技大学 | 基于超像素和免疫稀疏谱聚类的图像分割方法 |
-
2020
- 2020-08-13 CN CN202010811805.XA patent/CN112396619B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
| CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112396619A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112396619B (zh) | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 | |
| CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
| CN106339674B (zh) | 基于边缘保持与图割模型的高光谱影像分类方法 | |
| CN106228125B (zh) | 基于集成学习级联分类器的车道线检测方法 | |
| CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
| CN105139395B (zh) | 基于小波池化卷积神经网络的sar图像分割方法 | |
| CN107808138B (zh) | 一种基于FasterR-CNN的通信信号识别方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN111191628B (zh) | 基于决策树与特征优化的遥感影像震害建筑物识别方法 | |
| CN108229550A (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
| CN106960226B (zh) | 一种基于烟花算法的软子空间mr图像聚类方法 | |
| CN108052886A (zh) | 一种小麦条锈病菌夏孢子自动统计计数方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN110705565A (zh) | 淋巴结肿瘤区域识别方法与装置 | |
| CN105046259B (zh) | 基于多特征融合的日冕物质抛射检测方法 | |
| CN111950488A (zh) | 一种改进的Faster-RCNN遥感图像目标检测方法 | |
| CN110766058A (zh) | 一种基于优化rpn网络的战场目标检测方法 | |
| CN104252625A (zh) | 样本自适应多特征加权的遥感图像分类方法 | |
| CN111666900A (zh) | 基于多源遥感影像的土地覆盖分类图的获取方法和装置 | |
| CN106157330A (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
| CN106960433B (zh) | 一种基于图像熵以及边缘的全参考声纳图像质量评测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |