CN109886985B - 融合深度学习网络和分水岭算法的图像精确分割方法 - Google Patents
融合深度学习网络和分水岭算法的图像精确分割方法 Download PDFInfo
- Publication number
- CN109886985B CN109886985B CN201910060144.9A CN201910060144A CN109886985B CN 109886985 B CN109886985 B CN 109886985B CN 201910060144 A CN201910060144 A CN 201910060144A CN 109886985 B CN109886985 B CN 109886985B
- Authority
- CN
- China
- Prior art keywords
- image
- determined
- regions
- undetermined
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 4
- 241000282887 Suidae Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005381 potential energy Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010668 complexation reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种融合深度学习网络和分水岭算法的图像精确分割方法。采用DeepLab识别模型并对待定图像进行识别，得到初始分割图，采用分水岭算法对待定图像进行分割，得到一组待定区域，将待定区域数量与初始分割图点乘，将待定区域划分为待测物区域，否则将待测物区域内的待定区域去除。本发明综合利用待定点与待测物质心的距离和待定点与前景及背景的灰度差异来判断等点的属性，实现了图像的精确分割。本发明利用分水岭将相邻灰度相近的像素间分区的特性，采用深度学习方法，建立待测物核心区域，提高检测精度。
Description
技术领域
本发明涉及一种在现有技术分割图像基础上进一步提高图像分割精度的方法，具体涉及一种融合深度学习网络和分水岭算法的图像精确分割方法。
背景技术
图像分割是将图像区分为多个特定区域来代表不同的事物的过程，是目标识别中重要的步骤。
在猪的行为检测中，需要将猪从各种背景中识别出来，实现猪的图像分割，为进一步的行为分析打下基础。但由于猪场内各种设施的存在及光照条件的不断变化，传统的图像分割方法很容易失效。
近年来，深度学习方法在图像分割中得到了应用。
FCN是图像分割最早的经典模型(LONG J,SHELHAMER E,DARRELL T.Fullyconvolutional networks for semantic segmentation；proceedings of theProceedings of the IEEE conference on computer vision and patternrecognition,F,2015)，其主要思想是将图像识别的神经网络模型的最后一层全连接层替换成全卷积层。使得原来输出单个识别结果的模型可以进行像素级别的图像识别。
MaskRCNN(HE K,GKIOXARI G,DOLLáR P,et al.Mask r-cnn；proceedings of theComputer Vision(ICCV),2017IEEE International Conference on,F,2017[C].IEEE.)是在Faster R-CNN(EN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-timeobject detection with region proposal networks；proceedings of theInternational Conference on Neural Information Processing Systems,F,2015)基础上做了另一条类似FCN结构的分支，其在图像分割领域成绩不俗。
SegNet(KENDALL A,BADRINARAYANAN V,CIPOLLA R.Bayesian segnet:Modeluncertainty in deep convolutional encoder-decoder architectures for sceneunderstanding[J].arXiv preprint arXiv:151102680,2015。RONNEBERGER O,FISCHER P,BROX T.U-net:Convolutional networks for biomedical image segmentation；proceedings of the International Conference on Medical image computing andcomputer-assisted intervention,F,2015[C].Springer.)的权重比FCN小很多，同时还有简化版的网络用于道路情况的实时分割，简化版的权重仅有5MB。除了原版的SegNet，作者还结合了贝叶斯概率原理设计了Bayesian SegNet，它主要利用了Dropout将每次网络的输出变成了不确定的结果，单次网络的前向传播得出预测概率是先验概率，而通过多次传播得到多个输出来确定总体的后验概率，得出置信度。
CRFasRNN(ZHENG S,JAYASUMANA S,ROMERA-PAREDES B,et al.Conditionalrandom fields as recurrent neural networks；proceedings of the Proceedings ofthe IEEE international conference on computer vision,F,2015[C])使用FCN输出像素判别为某一类的概率作为CRF能量方程的一元势能，并设计了一个标签相性函数、像素特征向量(主要为颜色与位置)与高斯核相结合的二元势能来反映像素和周边像素的关系。
DeepLab(CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Semantic imagesegmentation with deep convolutional nets and fully connected crfs[J].arXivpreprint arXiv:14127062,2014。CHEN L-C,PAPANDREOU G,KOKKINOS I,et al.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs[J].IEEE transactions on pattern analysis and machineintelligence,2018,40(4):834-48。CHEN L-C,PAPANDREOU G,SCHROFF F,etal.Rethinking atrous convolution for semantic image segmentation[J].arXivpreprint arXiv:170605587,2017。CHEN L-C,ZHU Y,PAPANDREOU G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[J].arXiv preprint arXiv:180202611,2018)图像分割领域的主流模型。DeepLab的第一个版本引入了空洞卷积代替池化，从而使得网络输出的分辨率不会太低，也就避免了需要引入大尺寸的填充，同时在网络最后接上了条件随机场(CRF)，利用图像的空间相关性精细化分割结果。DeepLab的第二个版本使用了空洞空间金字塔池化，即借鉴了空间金字塔池化网络[57]在不同尺度上使用了空洞卷积从而使得分割能适应不同尺度变化。DeepLab的第三版本改进了空洞空间金字塔池化的模块，形成串联结构。最新版本命名为V3+，主要是结合了解码结构，使得输出在上采样的时候与同尺度的图像特征结合，获取更好的精度。
在猪个体识别中，由于场景复杂且光照环境多变，采用深度学习模型得到猪分割结果和真实结果不完全一致的，有些情况下，差距还很大，需研究进一步提高分割精度的方法。
发明内容
为了解决背景技术中存在的精确分割的问题，本发明提供了融合深度学习网络和分水岭算法的图像精确分割方法，对初分割结果周围的区域再进行精分割，能提高图像分割精度。
本发明所采用技术方案如下：
步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；
所述的待测物图像为完整包含有待测物的图像。
具体实施中，所述的图像为母猪图像，图像中完整包含有母猪对象。
步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；
所述待测物图像为模型训练的已知样本图像。
步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；
步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…BN表示，N为待定区域数量，每个待定区域的大小不一定相同；
步骤5：新建一幅与待定图像大小一致的图像作为参考图像C，然后针对步骤4中的每一个待定区域，采用以下方式处理参考图像C，并根据参考图像C结果处理初始分割图：
步骤5.1：选取一个待定区域(例如B1)，计算像素点数量S1，并参考图像C上将与待定区域相同位置图像区域的像素点的灰度值设置为1，其余的像素点的灰度值设置为0；
步骤5.2：将参考图像C与初始分割图对应相同位置的像素点逐对相乘，并将相乘的结果更新赋值到参考图像C上；
步骤5.3：将参考图像C上所有像素点的灰度值相加，获得灰度值总和S2，即参考图像C上灰度值设置为1的像素点的总数；
步骤5.4：如果S2>S1/2，则在初始分割图上将与待定区域相同位置图像区域的像素点全部赋值为1，否则将与待定区域相同位置图像区域的像素点全部赋值为0；
步骤6：重复步骤5对所有待定区域处理后获得的初始分割图作为最后精确分割图，初始分割图上赋值为1的区域代表待测物。
所述的图像为可见光图像。
本发明的有益效果是：
本发明综合利用待定点与母猪质心的距离和待定点与前景及背景的灰度差异来判断等点的属性，实现了图像的精确分割。
本发明利用分水岭将相邻灰度相近的像素间分区的特性，采用深度学习方法，建立母猪核心区域，提高检测精度。
附图说明
图1是待定图像。
图2是待定图像中母猪A的初始分割图与待定图像的交集图像。
图3是初始分割图和精确分割图的差异图。
图4是待定图像中母猪A的精确分割图与待定图像的交集图像。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
本发明的实施例具体如下：
采用摄像机(在本例中，采用DS-2CD3T20-I3)和硬盘录像机(在本例中，采用ST4000VX000)连续拍摄并记录多头妊娠期母猪的图像。
步骤1：选取1000幅不同场景、时段及拍摄角度的母猪图像，采用常用的图像处理软件进行图像识别获得母猪轮廓，将图像上母猪轮廓以外的区域变为黑色，作为数据集。
步骤2：从数据集中随机挑取124幅图像作为测试集，剩余的876幅图像作为训练集，采用DeepLab进行模型训练，得到母猪识别模型。
步骤3：待定图像如图1所示，对待定图像用母猪识别模型进行识别，得到与待定图像大小一致的且初始分割图。在初始分割图上，属于母猪A的像素点灰度值为1，其余像素点的灰度值为0。
经步骤3处理后得到的待定图像中母猪A的初始分割图与待定图像的交集如图2所示。
步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…BN表示，N为待定区域数量。
步骤5：新建一幅与待定图像大小一致的图像，标记为图像C。
步骤6：选取一个待定区域(例如B1)，计算其像素点数量，并记为S1。并在图像C上将该待定区域对应的像素点的灰度值设置为1，其余的像素点的灰度值设置为0。
步骤7：将图像C与初始分割图对应的像素点逐点相乘，并将相乘的结果记录在图像C上。
步骤8：将图像C上所有像素点的灰度值相加，并记为S2。
步骤9：如果S2>S1/2，则在初始分割图上将待定区域B1对应的像素点全部标记为1，否则将待定区域B1对应的像素点全部标记为0。
步骤10：对其余持待定区域重复步骤6至步骤9。完成操作后，初始分割图上为1的区域代表母猪A，获得精确分割图。
精确分割图与待定图像的交集如图4所示。
经步骤10处理后得到的待定图像中母猪A的精确分割图与初始分割图的差别如图3所示，即图2和图4之间的差异图，黑色部分为原标记为1后标记0，白色部分为原标记为0后标记1，灰色部分为无变动，观察图3可以发现在轮廓细节和尾巴末端上有所改进。
采用测试集作为待定图像，重复上述步骤实施后，通过对测试集图像进行测试，经本发明处理后，图像分割准确率可达96.21％。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (3)
1.一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：包括如下步骤：
步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；
所述的图像为猪图像，图像中完整包含有猪对象；
步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；
步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；
步骤4：采用分水岭算法对待定图像进行分割，得到一组待定区域，分别用B1、B2…BN表示，N为待定区域数量；
步骤5：新建一幅与待定图像大小一致的图像作为参考图像C，然后针对步骤4中的每一个待定区域，采用以下方式处理参考图像C，并根据参考图像C结果处理初始分割图：
步骤5.1：选取一个待定区域，计算像素点数量S1，并参考图像C上将与待定区域相同位置图像区域的像素点的灰度值设置为1，其余的像素点的灰度值设置为0；
步骤5.2：将参考图像C与初始分割图对应相同位置的像素点逐对相乘，并将相乘的结果更新赋值到参考图像C上；
步骤5.3：将参考图像C上所有像素点的灰度值相加，获得灰度值总和S2；
步骤5.4：如果S2>S1/2，则在初始分割图上将与待定区域相同位置图像区域的像素点全部赋值为1，否则将与待定区域相同位置图像区域的像素点全部赋值为0；
步骤6：重复步骤5对所有待定区域处理后获得的初始分割图作为最后精确分割图，初始分割图上赋值为1的区域代表待测物。
2.根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：
所述的图像为可见光图像。
3.根据权利要求1所述的一种融合深度学习网络和分水岭算法的图像精确分割方法，其特征在于：
所述步骤3的初始分割图上，属于待测物的像素点灰度值被赋值为1，不属于待测物的像素点的灰度值被赋值为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060144.9A CN109886985B (zh) | 2019-01-22 | 2019-01-22 | 融合深度学习网络和分水岭算法的图像精确分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060144.9A CN109886985B (zh) | 2019-01-22 | 2019-01-22 | 融合深度学习网络和分水岭算法的图像精确分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886985A CN109886985A (zh) | 2019-06-14 |
| CN109886985B true CN109886985B (zh) | 2021-02-12 |
Family
ID=66926491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910060144.9A Active CN109886985B (zh) | 2019-01-22 | 2019-01-22 | 融合深度学习网络和分水岭算法的图像精确分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886985B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567731A (zh) * | 2011-12-06 | 2012-07-11 | 北京航空航天大学 | 一种感兴趣区域提取方法 |
| CN105261006A (zh) * | 2015-09-11 | 2016-01-20 | 浙江工商大学 | 基于傅里叶变换的医学图像分割算法 |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN107274413A (zh) * | 2017-05-27 | 2017-10-20 | 江苏大学 | 一种钢材金相组织晶界自动提取方法 |
| CN107527351A (zh) * | 2017-08-31 | 2017-12-29 | 华南农业大学 | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337711A1 (en) * | 2011-03-29 | 2017-11-23 | Lyrical Labs Video Compression Technology, LLC | Video processing and encoding |
| CN108229506A (zh) * | 2016-12-13 | 2018-06-29 | 上海安维尔信息科技股份有限公司 | 基于层次聚类和深度学习的箱号识别方法 |
| CN107194943A (zh) * | 2017-04-07 | 2017-09-22 | 北京工业大学 | 图像分割方法及装置、用于渣片的图像分割方法及装置 |
-
2019
- 2019-01-22 CN CN201910060144.9A patent/CN109886985B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567731A (zh) * | 2011-12-06 | 2012-07-11 | 北京航空航天大学 | 一种感兴趣区域提取方法 |
| CN105261006A (zh) * | 2015-09-11 | 2016-01-20 | 浙江工商大学 | 基于傅里叶变换的医学图像分割算法 |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN107274413A (zh) * | 2017-05-27 | 2017-10-20 | 江苏大学 | 一种钢材金相组织晶界自动提取方法 |
| CN107527351A (zh) * | 2017-08-31 | 2017-12-29 | 华南农业大学 | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| Image processing-aided FEA for monitoring dynamic response of potato tubers to impact loading;Yingwang Gao 等;《Computers and Electronics in Agriculture》;20180601;第21-30页 * |
| 基于全卷积网络的生猪轮廓提取;胡志伟 等;《华南农业大学学报》;20181231;第111-119页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886985A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176027B (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
| CN108985259B (zh) | 人体动作识别方法和装置 | |
| CN109886271B (zh) | 融合深度学习网络和改进边缘检测的图像精确分割方法 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN110245579B (zh) | 人流密度预测方法及装置、计算机设备及可读介质 | |
| US20220215656A1 (en) | Method, apparatus, device for image processing, and storage medium | |
| CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN110246181A (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
| CN111931720B (zh) | 跟踪图像特征点的方法、装置、计算机设备和存储介质 | |
| CN112734931B (zh) | 一种辅助点云目标检测的方法及系统 | |
| CN109886984B (zh) | 利用前后景灰度差和深度学习网络的图像精确分割方法 | |
| CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
| Jia et al. | Effective meta-attention dehazing networks for vision-based outdoor industrial systems | |
| CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
| CN110472632B (zh) | 基于字符特征的字符分割方法、装置及计算机存储介质 | |
| CN117253044A (zh) | 一种基于半监督交互学习的农田遥感图像分割方法 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| Wang et al. | AAC: Automatic augmentation for crowd counting | |
| CN117953581A (zh) | 动作识别的方法、装置、电子设备及可读存储介质 | |
| CN111914809A (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN109886985B (zh) | 融合深度学习网络和分水岭算法的图像精确分割方法 | |
| CN117036392A (zh) | 图像检测方法及相关装置 | |
| CN116704432A (zh) | 基于分布不确定性的多模态特征迁移人群计数方法及装置 | |
| CN112750124B (zh) | 模型生成、图像分割方法、装置、电子设备及存储介质 | |
| CN111144441B (zh) | 一种基于特征匹配的dso光度参数估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |