CN109886271B - 融合深度学习网络和改进边缘检测的图像精确分割方法 - Google Patents

Abstract

本发明公开了一种融合深度学习网络和改进边缘检测的图像精确分割方法。采用DeepLab识别模型并对待定图像识别后得到初始分割图和初始轮廓，对待定图像进行灰度拉伸后采用Canny算法处理，得到边缘，用初始轮廓的各点在边缘上搜索到的距离最小的点组成收敛边缘，利用收敛边缘E，对初始分割图进行开运算等处理后，得到二次分割图，再对二次分割图进行闭运算等处理后得到三次分割图，将收敛边缘在三次分割图上的对应像素点标为0，并对三次分割图轮廓进行平滑，三次分割图上为1的区域代表待测物。本发明采用深度学习模型建立待测物核心区域，再利用Canny算法检测边缘的优势，提高检测精度。

Description

融合深度学习网络和改进边缘检测的图像精确分割方法

技术领域

本发明涉及了一种在现有技术分割图像基础上进一步提高图像分割精度的方法，具体涉及一种融合深度学习网络和改进边缘检测算法的图像精确分割方法。

背景技术

图像分割是将图像区分为多个特定区域来代表不同的事物的过程，是目标识别中重要的步骤。

在猪的行为检测中，需要将猪从各种背景中识别出来，实现猪的图像分割，为进一步的行为分析打下基础。但由于猪场内各种设施的存在及光照条件的不断变化，传统的图像分割方法很容易失效。

近年来，深度学习方法在图像分割中得到了应用。

FCN是图像分割最早的经典模型(LONG J,SHELHAMER E,DARRELL T.Fullyconvolutional networks for semantic segmentation；proceedings of theProceedings of the IEEE conference on computer vision and patternrecognition,F,2015)，其主要思想是将图像识别的神经网络模型的最后一层全连接层替换成全卷积层。使得原来输出单个识别结果的模型可以进行像素级别的图像识别。

MaskRCNN(HE K,GKIOXARI G,DOLLáR P,et al.Mask r-cnn；proceedings of theComputer Vision(ICCV),2017IEEE International Conference on,F,2017[C].IEEE.)是在Faster R-CNN(EN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-timeobject detection with region proposal networks；proceedings of theInternational Conference on Neural Information Processing Systems,F,2015)基础上做了另一条类似FCN结构的分支，其在图像分割领域成绩不俗。

SegNet(KENDALL A,BADRINARAYANAN V,CIPOLLA R.Bayesian segnet:Modeluncertainty in deep convolutional encoder-decoder architectures for sceneunderstanding[J].arXiv preprint arXiv:151102680,2015。RONNEBERGER O,FISCHER P,BROX T.U-net:Convolutional networks for biomedical image segmentation；proceedings of the International Conference on Medical image computing andcomputer-assisted intervention,F,2015[C].Springer.)的权重比FCN小很多，同时还有简化版的网络用于道路情况的实时分割，简化版的权重仅有5MB。除了原版的SegNet，作者还结合了贝叶斯概率原理设计了Bayesian SegNet，它主要利用了Dropout将每次网络的输出变成了不确定的结果，单次网络的前向传播得出预测概率是先验概率，而通过多次传播得到多个输出来确定总体的后验概率，得出置信度。

CRFasRNN(ZHENG S,JAYASUMANA S,ROMERA-PAREDES B,et al.Conditionalrandom fields as recurrent neural networks；proceedings of the Proceedings ofthe IEEE international conference on computer vision,F,2015[C])使用FCN输出像素判别为某一类的概率作为CRF能量方程的一元势能，并设计了一个标签相性函数、像素特征向量(主要为颜色与位置)与高斯核相结合的二元势能来反映像素和周边像素的关系。

DeepLab(CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Semantic imagesegmentation with deep convolutional nets and fully connected crfs[J].arXivpreprint arXiv:14127062,2014。CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs[J].IEEE transactions on pattern analysis and machineintelligence,2018,40(4):834-48。CHEN L-C,PAPANDREOU G,SCHROFF F,etal.Rethinking atrous convolution for semantic image segmentation[J].arXivpreprint arXiv:170605587,2017。CHEN L-C,ZHU Y,PAPANDREOU G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[J].arXiv preprint arXiv:180202611,2018)图像分割领域的主流模型。DeepLab的第一个版本引入了空洞卷积代替池化，从而使得网络输出的分辨率不会太低，也就避免了需要引入大尺寸的填充，同时在网络最后接上了条件随机场(CRF)，利用图像的空间相关性精细化分割结果。DeepLab的第二个版本使用了空洞空间金字塔池化，即借鉴了空间金字塔池化网络[57]在不同尺度上使用了空洞卷积从而使得分割能适应不同尺度变化。DeepLab的第三版本改进了空洞空间金字塔池化的模块，形成串联结构。最新版本命名为V3+，主要是结合了解码结构，使得输出在上采样的时候与同尺度的图像特征结合，获取更好的精度。

在猪个体识别中，由于场景复杂且光照环境多变，采用深度学习模型得到猪分割结果和真实结果不完全一致的，有些情况下，差距还很大，需研究进一步提高分割精度的方法。

发明内容

为了解决背景技术中存在的精确分割的问题，本发明提供了融合深度学习网络和改进边缘检测算法的图像精确分割方法，使用边缘检测方法对初分割结果周围的区域再进行精分割，能提高图像分割精度。

本发明所采用技术方案如下：

步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；

所述的待测物图像为完整包含有待测物的图像。

具体实施中，所述的图像为母猪图像，图像中完整包含有母猪对象。

步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；

所述待测物图像为模型训练的已知样本图像。

步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；并且对初始分割图中的待测物进行边缘提取，得到初始轮廓L；

所述步骤3的初始分割图上，属于待测物的像素点灰度值被赋值为1，不属于待测物的像素点的灰度值被赋值为0。

步骤4：采用下面的公式对待定图像进行灰度拉伸，得到灰度拉伸图像：

式中，g′_x,y是灰度拉伸图像上像素点(x,y)的灰度值，g_x,y是待定图像上像素点(x,y)的灰度值，C表示非零参数，是正数常数；i表示与像素点相邻的像素点的行差序数，j表示与像素点相邻的像素点的列差序数；

步骤5：对灰度拉伸图像采用Canny算法提取边缘，得到边缘N；

步骤6：对初始轮廓L上的每个轮廓点，在边缘N上搜索与轮廓点距离最小的点，组成收敛边缘E；

步骤7：将收敛边缘E在初始分割图上对应相同位置的像素点灰度值均赋值为0，再利用半径为2的圆形结构元对赋值后的初始分割图做形态学开运算，将前景作为初始主体连通域，并将除去最大面积连通域以外的其他连通域均赋值为0，得到二次分割图；

步骤8：将收敛边缘E在二次分割图上对应相同位置的像素点灰度值均赋值为1，利用半径为2的圆形结构元对赋值后的二次分割图做形态学闭运算，并填充空洞，得到三次分割图；

步骤9：将收敛边缘E在三次分割图上对应相同位置的像素点灰度值均赋值为0，最后利用均值滤波优化处理三次分割图，并将除去最大面积连通域以外的其他连通域均赋值为0，完成操作后获得精确分割图，精确分割图上赋值为1的区域代表待测物。

所述的图像为可见光图像。

本发明的有益效果是：本发明采用深度学习模型建立母猪核心区域，再利用Canny算法检测边缘的优势，提高检测精度。

附图说明

图1是待定图像。

图2是直接使用Canny算法进行边缘检测结果图。

图3是经过灰度拉伸后使用Canny算法进行边缘检测的结果图。

图4是待定图像中母猪A的初始分割图与待定图像的交集图像。

图5是初始分割图和精确分割图的差异图。

图6是待定图像中母猪A的精确分割图与待定图像的交集图像。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

本发明的实施例具体如下：

采用摄像机(在本例中，采用DS-2CD3T20-I3)和硬盘录像机(在本例中，采用ST4000VX000)连续拍摄并记录多头妊娠期母猪的图像。

步骤1：选取1000幅不同场景、时段及拍摄角度的母猪图像，采用常用的图像处理软件处理获得母猪初步轮廓，将母猪初步轮廓以外的图像区域变为黑色，作为数据集。

步骤2：从数据集中随机挑取124幅图像作为测试集，剩余的876幅图像作为训练集，采用DeepLab进行模型训练，得到母猪识别模型。

步骤3：待定图像如图1所示，对待定图像用母猪识别模型进行识别，得到与待定图像大小一致的且初始分割图。在初始分割图上，属于母猪A的像素点灰度值为1，作为前景，其余像素点的灰度值为0，作为背景。对母猪A进行边缘提取，得到初始轮廓L。

经步骤3处理后得到的待定图像中母猪A的初始分割图与待定图像的交集如图4所示。

步骤4：采用下面的公式对待定图像进行灰度拉伸，得到灰度拉伸图像：

g′_x,y是灰度拉伸图像上像素点(x,y)的灰度值，g_x,y是待定图像上像素点(x,y)的灰度值，C是常数(在本例中为1)。

步骤5：对灰度拉伸图像采用Canny算法提取边缘，得到边缘N。Canny算法有助于抑制高灰度区的边缘，提升猪体轮廓附近的边缘检测效果，提升效果对比可见图2、图3。图3中猪体部分不必要的边缘明显减少，而其余边缘没有明显增多。

步骤6：对母猪A的初始轮廓L上的每个轮廓点，在边缘N上搜索距离最小的点，组成收敛边缘E。

步骤7：将收敛边缘E在初始分割图上的对应像素点灰度值都标记为0，利用半径为2的圆形结构元对初始分割图做形态学开运算，并将断开的连通域都标为0，得到二次分割图。

形态学开运算处理前，以像素值为1的图像区域作为初始连通域，经形态学开运算会将初始连通域划分为一个位于中心占据主体的连通域和位于主体连通域周围间隔开的小连通域，小连通域即为断开的连通域。

步骤8：将收敛边缘E在二次分割图上的对应像素点的灰度值都标记为1，利用半径为2的圆形结构元对二次分割图做形态学闭运算，并填充空洞，得到三次分割图。

步骤9：将收敛边缘E在三次分割图上的对应像素点灰度值都标记为0。利用均值滤波优化处理三次分割图，并将断开的连通域标为0，完成操作后，三次分割图上为1的区域代表母猪A。

均值滤波优化处理前，以像素值为1的图像区域作为初始连通域，经形态学开运算会将初始连通域划分为一个位于中心占据主体的连通域和位于主体连通域周围间隔开的小连通域，小连通域即为断开的连通域。

精确分割图与待定图像的交集如图6所示。

经步骤10处理后得到的待定图像中母猪A的精确分割图与初始分割图的差别如图5所示，即图4和图6之间的差异图，黑色部分为原标记为1后标记0，白色部分为原标记为0后标记1，灰色部分为无变动，观察图5可以发现在外缘轮廓尤其是脚部和尾部有明显改进。

采用测试集作为待定图像，重复上述步骤实施后，通过对测试集图像进行测试，经本发明处理后，图像分割准确率可达96.68％。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种融合深度学习网络和改进边缘检测的图像精确分割方法，其特征在于：包括如下步骤：

步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；

所述的图像为猪图像，图像中完整包含有猪对象；

步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；

步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；并且对初始分割图中的待测物进行边缘提取，得到初始轮廓L；

步骤4：采用下面的公式对待定图像进行灰度拉伸，得到灰度拉伸图像：

式中，g′_x,y是灰度拉伸图像上像素点(x,y)的灰度值，g_x,y是待定图像上像素点(x,y)的灰度值，C表示非零参数，是正数常数；i表示与像素点相邻的像素点的行差序数，j表示与像素点相邻的像素点的列差序数；

步骤5：对灰度拉伸图像采用Canny算法提取边缘，得到边缘N；

步骤6：对初始轮廓L上的每个轮廓点，在边缘N上搜索与轮廓点距离最小的点，组成收敛边缘E；

步骤7：将收敛边缘E在初始分割图上对应相同位置的像素点灰度值均赋值为0，再利用半径为2的圆形结构元对赋值后的初始分割图做形态学开运算，并将除去最大面积连通域以外的其他连通域均赋值为0，得到二次分割图；

步骤8：将收敛边缘E在二次分割图上对应相同位置的像素点灰度值均赋值为1，利用半径为2的圆形结构元对赋值后的二次分割图做形态学闭运算，并填充空洞，得到三次分割图；

步骤9：将收敛边缘E在三次分割图上对应相同位置的像素点灰度值均赋值为0，最后利用均值滤波优化处理三次分割图，并将除去最大面积连通域以外的其他连通域均赋值为0，完成操作后获得精确分割图，精确分割图上赋值为1的区域代表待测物。

2.根据权利要求1所述的一种融合深度学习网络和改进边缘检测的图像精确分割方法，其特征在于：所述的图像为可见光图像。

3.根据权利要求1所述的一种融合深度学习网络和改进边缘检测的图像精确分割方法，其特征在于：所述步骤3的初始分割图上，属于待测物的像素点灰度值被赋值为1，不属于待测物的像素点的灰度值被赋值为0。

Images