CN109886985B

CN109886985B - 融合深度学习网络和分水岭算法的图像精确分割方法

Info

Publication number: CN109886985B
Application number: CN201910060144.9A
Authority: CN
Inventors: 饶秀勤; 宋晨波; 张小敏; 高迎旺; 应义斌; 泮进明; 郑荣进
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2021-02-12
Anticipated expiration: 2039-01-22
Also published as: CN109886985A

Abstract

本发明公开了一种融合深度学习网络和分水岭算法的图像精确分割方法。采用DeepLab识别模型并对待定图像进行识别，得到初始分割图，采用分水岭算法对待定图像进行分割，得到一组待定区域，将待定区域数量与初始分割图点乘，将待定区域划分为待测物区域，否则将待测物区域内的待定区域去除。本发明综合利用待定点与待测物质心的距离和待定点与前景及背景的灰度差异来判断等点的属性，实现了图像的精确分割。本发明利用分水岭将相邻灰度相近的像素间分区的特性，采用深度学习方法，建立待测物核心区域，提高检测精度。

Description

融合深度学习网络和分水岭算法的图像精确分割方法

技术领域

本发明涉及一种在现有技术分割图像基础上进一步提高图像分割精度的方法，具体涉及一种融合深度学习网络和分水岭算法的图像精确分割方法。

背景技术

图像分割是将图像区分为多个特定区域来代表不同的事物的过程，是目标识别中重要的步骤。

在猪的行为检测中，需要将猪从各种背景中识别出来，实现猪的图像分割，为进一步的行为分析打下基础。但由于猪场内各种设施的存在及光照条件的不断变化，传统的图像分割方法很容易失效。

近年来，深度学习方法在图像分割中得到了应用。

FCN是图像分割最早的经典模型(LONG J,SHELHAMER E,DARRELL T.Fullyconvolutional networks for semantic segmentation；proceedings of theProceedings of the IEEE conference on computer vision and patternrecognition,F,2015)，其主要思想是将图像识别的神经网络模型的最后一层全连接层替换成全卷积层。使得原来输出单个识别结果的模型可以进行像素级别的图像识别。

MaskRCNN(HE K,GKIOXARI G,DOLLáR P,et al.Mask r-cnn；proceedings of theComputer Vision(ICCV),2017IEEE International Conference on,F,2017[C].IEEE.)是在Faster R-CNN(EN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-timeobject detection with region proposal networks；proceedings of theInternational Conference on Neural Information Processing Systems,F,2015)基础上做了另一条类似FCN结构的分支，其在图像分割领域成绩不俗。

SegNet(KENDALL A,BADRINARAYANAN V,CIPOLLA R.Bayesian segnet:Modeluncertainty in deep convolutional encoder-decoder architectures for sceneunderstanding[J].arXiv preprint arXiv:151102680,2015。RONNEBERGER O,FISCHER P,BROX T.U-net:Convolutional networks for biomedical image segmentation；proceedings of the International Conference on Medical image computing andcomputer-assisted intervention,F,2015[C].Springer.)的权重比FCN小很多，同时还有简化版的网络用于道路情况的实时分割，简化版的权重仅有5MB。除了原版的SegNet，作者还结合了贝叶斯概率原理设计了Bayesian SegNet，它主要利用了Dropout将每次网络的输出变成了不确定的结果，单次网络的前向传播得出预测概率是先验概率，而通过多次传播得到多个输出来确定总体的后验概率，得出置信度。

CRFasRNN(ZHENG S,JAYASUMANA S,ROMERA-PAREDES B,et al.Conditionalrandom fields as recurrent neural networks；proceedings of the Proceedings ofthe IEEE international conference on computer vision,F,2015[C])使用FCN输出像素判别为某一类的概率作为CRF能量方程的一元势能，并设计了一个标签相性函数、像素特征向量(主要为颜色与位置)与高斯核相结合的二元势能来反映像素和周边像素的关系。

DeepLab(CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Semantic imagesegmentation with deep convolutional nets and fully connected crfs[J].arXivpreprint arXiv:14127062,2014。CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs[J].IEEE transactions on pattern analysis and machineintelligence,2018,40(4):834-48。CHEN L-C,PAPANDREOU G,SCHROFF F,etal.Rethinking atrous convolution for semantic image segmentation[J].arXivpreprint arXiv:170605587,2017。CHEN L-C,ZHU Y,PAPANDREOU G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[J].arXiv preprint arXiv:180202611,2018)图像分割领域的主流模型。DeepLab的第一个版本引入了空洞卷积代替池化，从而使得网络输出的分辨率不会太低，也就避免了需要引入大尺寸的填充，同时在网络最后接上了条件随机场(CRF)，利用图像的空间相关性精细化分割结果。DeepLab的第二个版本使用了空洞空间金字塔池化，即借鉴了空间金字塔池化网络[57]在不同尺度上使用了空洞卷积从而使得分割能适应不同尺度变化。DeepLab的第三版本改进了空洞空间金字塔池化的模块，形成串联结构。最新版本命名为V3+，主要是结合了解码结构，使得输出在上采样的时候与同尺度的图像特征结合，获取更好的精度。

在猪个体识别中，由于场景复杂且光照环境多变，采用深度学习模型得到猪分割结果和真实结果不完全一致的，有些情况下，差距还很大，需研究进一步提高分割精度的方法。

发明内容

为了解决背景技术中存在的精确分割的问题，本发明提供了融合深度学习网络和分水岭算法的图像精确分割方法，对初分割结果周围的区域再进行精分割，能提高图像分割精度。

本发明所采用技术方案如下：

步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；

所述的待测物图像为完整包含有待测物的图像。

具体实施中，所述的图像为母猪图像，图像中完整包含有母猪对象。

步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；

所述待测物图像为模型训练的已知样本图像。

步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；

步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…B_N表示，N为待定区域数量，每个待定区域的大小不一定相同；

步骤5：新建一幅与待定图像大小一致的图像作为参考图像C，然后针对步骤4中的每一个待定区域，采用以下方式处理参考图像C，并根据参考图像C结果处理初始分割图：

步骤5.1：选取一个待定区域(例如B1)，计算像素点数量S1，并参考图像C上将与待定区域相同位置图像区域的像素点的灰度值设置为1，其余的像素点的灰度值设置为0；

步骤5.2：将参考图像C与初始分割图对应相同位置的像素点逐对相乘，并将相乘的结果更新赋值到参考图像C上；

步骤5.3：将参考图像C上所有像素点的灰度值相加，获得灰度值总和S2，即参考图像C上灰度值设置为1的像素点的总数；

步骤5.4：如果S2>S1/2，则在初始分割图上将与待定区域相同位置图像区域的像素点全部赋值为1，否则将与待定区域相同位置图像区域的像素点全部赋值为0；

步骤6：重复步骤5对所有待定区域处理后获得的初始分割图作为最后精确分割图，初始分割图上赋值为1的区域代表待测物。

所述的图像为可见光图像。

本发明的有益效果是：

本发明综合利用待定点与母猪质心的距离和待定点与前景及背景的灰度差异来判断等点的属性，实现了图像的精确分割。

本发明利用分水岭将相邻灰度相近的像素间分区的特性，采用深度学习方法，建立母猪核心区域，提高检测精度。

附图说明

图1是待定图像。

图2是待定图像中母猪A的初始分割图与待定图像的交集图像。

图3是初始分割图和精确分割图的差异图。

图4是待定图像中母猪A的精确分割图与待定图像的交集图像。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

本发明的实施例具体如下：

采用摄像机(在本例中，采用DS-2CD3T20-I3)和硬盘录像机(在本例中，采用ST4000VX000)连续拍摄并记录多头妊娠期母猪的图像。

步骤1：选取1000幅不同场景、时段及拍摄角度的母猪图像，采用常用的图像处理软件进行图像识别获得母猪轮廓，将图像上母猪轮廓以外的区域变为黑色，作为数据集。

步骤2：从数据集中随机挑取124幅图像作为测试集，剩余的876幅图像作为训练集，采用DeepLab进行模型训练，得到母猪识别模型。

步骤3：待定图像如图1所示，对待定图像用母猪识别模型进行识别，得到与待定图像大小一致的且初始分割图。在初始分割图上，属于母猪A的像素点灰度值为1，其余像素点的灰度值为0。

经步骤3处理后得到的待定图像中母猪A的初始分割图与待定图像的交集如图2所示。

步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…B_N表示，N为待定区域数量。

步骤5：新建一幅与待定图像大小一致的图像，标记为图像C。

步骤6：选取一个待定区域(例如B1)，计算其像素点数量，并记为S1。并在图像C上将该待定区域对应的像素点的灰度值设置为1，其余的像素点的灰度值设置为0。

步骤7：将图像C与初始分割图对应的像素点逐点相乘，并将相乘的结果记录在图像C上。

步骤8：将图像C上所有像素点的灰度值相加，并记为S2。

步骤9：如果S2>S1/2，则在初始分割图上将待定区域B1对应的像素点全部标记为1，否则将待定区域B1对应的像素点全部标记为0。

步骤10：对其余持待定区域重复步骤6至步骤9。完成操作后，初始分割图上为1的区域代表母猪A，获得精确分割图。

精确分割图与待定图像的交集如图4所示。

经步骤10处理后得到的待定图像中母猪A的精确分割图与初始分割图的差别如图3所示，即图2和图4之间的差异图，黑色部分为原标记为1后标记0，白色部分为原标记为0后标记1，灰色部分为无变动，观察图3可以发现在轮廓细节和尾巴末端上有所改进。

采用测试集作为待定图像，重复上述步骤实施后，通过对测试集图像进行测试，经本发明处理后，图像分割准确率可达96.21％。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims

1.一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：包括如下步骤：

所述的图像为猪图像，图像中完整包含有猪对象；

步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…B_N表示，N为待定区域数量；

步骤5.1：选取一个待定区域，计算像素点数量S1，并参考图像C上将与待定区域相同位置图像区域的像素点的灰度值设置为1，其余的像素点的灰度值设置为0；

步骤5.3：将参考图像C上所有像素点的灰度值相加，获得灰度值总和S2；

2.根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：

所述的图像为可见光图像。

3.根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：

所述步骤3的初始分割图上，属于待测物的像素点灰度值被赋值为1，不属于待测物的像素点的灰度值被赋值为0。