CN110517267B - 一种图像分割方法及装置、存储介质 - Google Patents

一种图像分割方法及装置、存储介质 Download PDF

Info

Publication number
CN110517267B
CN110517267B CN201910712963.7A CN201910712963A CN110517267B CN 110517267 B CN110517267 B CN 110517267B CN 201910712963 A CN201910712963 A CN 201910712963A CN 110517267 B CN110517267 B CN 110517267B
Authority
CN
China
Prior art keywords
sample image
image
sample
feature
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910712963.7A
Other languages
English (en)
Other versions
CN110517267A (zh
Inventor
刘钰安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910712963.7A priority Critical patent/CN110517267B/zh
Publication of CN110517267A publication Critical patent/CN110517267A/zh
Application granted granted Critical
Publication of CN110517267B publication Critical patent/CN110517267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像分割方法及装置、存储介质，包括：利用初始分类网络，对样本图像进行金字塔下采样处理，得到图像对应的多层样本图像特征；将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图，多个样本特征图的图像通道值和分辨率相同；利用多个样本特征图，得到目标分割样本图像；利用目标分割样本图像和样本图像对应的标准分割样本图像，对初始分类网络进行训练，得到预设分类网络；将待分割图像输入预设分类网络中，得到待分割图像对应的目标分割图像。

Description

一种图像分割方法及装置、存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像分割方法及装置、存储介质。
背景技术
图像分割是计算视觉领域一个基础的课题，人像分割是其中一个相当重要的应用。在利用智能终端进行人像虚化、背景替换等方面的应用中，都需要高精度的人像分割技术。随着深度学习的长足发展，目前通常使用卷积神经网络来处理人像分割任务。具体的，在编码阶段，图像经过一定数目的依次连接的卷积-下采样层，输出编码阶段的下采样特征图；在解码阶段，下采样特征图经过一定数目依次连接的卷积-上采样层生成上采样特征图，然后输出分割结果图。
然而，现有的人像分割的深度学习模型，在重复利用基础网络提取出来的特征时往往只利用了分辨率最低，通道数最高的特征图或者对于特征图的利用方式非常有限，进而降低了图像分割的精度。
发明内容
本申请实施例提供一种图像分割方法及装置、存储介质，能够提高图像分割的精度。
本申请的技术方案是这样实现的：
本申请实施例提供一种图像分割方法，所述方法包括：
利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征，所述多层样本图像特征对应多个分辨率，所述多层样本图像特征按照所述多个分辨率的大小进行排序；
将所述多层样本图像特征的所述多个分辨率对应的多个图像通道值转换成第一图像通道值，并将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，所述多个样本特征图的图像通道值和分辨率相同；
利用所述多个样本特征图，得到目标分割样本图像；
利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络；
将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像。
在上述方法中，所述将所述多层样本图像特征的所述多个图像通道值转换成第一图像通道值，包括：
对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，所述多层压缩样本图像特征的图像通道值为所述第一图像通道值。
在上述方法中，所述对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，包括：
当所述样本图像特征为所述多层样本图像特征中图像通道值最小的第一样本图像特征时，对所述第一样本图像特征进行卷积处理，得到所述第一样本图像特征对应的第一压缩样本图像特征，所述第一压缩样本图像特征为所述多层压缩样本图像特征中所述第一样本图像特征对应的压缩样本图像特征；
当所述样本图像特征为所述多层样本图像特征中除所述第一样本图像特征外的第二样本图像特征时，对所述第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；
将所述中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到所述第二样本图像特征对应的第二压缩样本图像特征，所述第三样本图像特征为与所述第二样本图像特征相邻、且图像通道值大于所述第二样本图像特征的图像通道值的样本图像特征。
在上述方法中，所述将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，包括：
根据所述第一分辨率和所述多层压缩样本图像特征，确定所述多层压缩样本图像特征对应的多个下采样网络块，所述多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；
将所述多层压缩样本图像特征输入对应的所述多个下采样网络块中，得到分辨率为所述第一分辨率的所述多个样本特征图。
在上述方法中，所述利用所述多个样本特征图，得到目标分割样本图像，包括：
将所述多个样本特征图相加之后进行卷积处理，得到第一样本特征图；
对所述第一样本特征图进行第二预设上采样倍数的上采样处理，得到所述目标分割样本图像。
在上述方法中，所述利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络，包括：
确定所述目标分割样本图像和所述标准分割样本图像之间的损失函数值和评价函数值；
利用所述损失函数值调整所述初始分类网络的网络参数，直至所述评价函数值满足预设阈值时，得到所述预设分类网络。
在上述方法中，所述将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像，包括：
将所述待分割图像输入所述预设分类网络中，输出所述待分割图像对应的图像掩膜；
利用所述图像掩膜，从所述待分割图像中划分出所述目标分割图像。
本申请实施例提供一种图像分割装置，所述图像分割装置包括：
金字塔下采样模块，用于利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征，所述多层样本图像特征对应多个分辨率，所述多层样本图像特征按照所述多个分辨率的大小进行排序；
转换模块，用于将所述多层样本图像特征的所述多个分辨率对应的多个图像通道值转换成第一图像通道值，并将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，所述多个样本特征图的图像通道值和分辨率相同；
确定模块，用于利用所述多个样本特征图，得到目标分割样本图像；
模型训练模块，用于利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络；
图像分割模块，用于将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像。
在上述装置中，所述装置还包括：卷积模块和上采样处理模块；
所述卷积模块和所述上采样处理模块，用于对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，所述多层压缩样本图像特征的图像通道值为所述第一图像通道值。
在上述装置中，所述卷积模块，还用于当所述样本图像特征为所述多层样本图像特征中图像通道值最小的第一样本图像特征时，对所述第一样本图像特征进行卷积处理，得到所述第一样本图像特征对应的第一压缩样本图像特征，所述第一压缩样本图像特征为所述多层压缩样本图像特征中所述第一样本图像特征对应的压缩样本图像特征；
所述卷积模块和所述上采样处理模块，还用于当所述样本图像特征为所述多层样本图像特征中除所述第一样本图像特征外的第二样本图像特征时，对所述第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；
所述卷积模块，还用于将所述中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到所述第二样本图像特征对应的第二压缩样本图像特征，所述第三样本图像特征为与所述第二样本图像特征相邻、且图像通道值大于所述第二样本图像特征的图像通道值的样本图像特征。
在上述装置中，所述确定模块，还用于根据所述第一分辨率和所述多层压缩样本图像特征，确定所述多层压缩样本图像特征对应的多个下采样网络块，所述多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；将所述多层压缩样本图像特征输入对应的所述多个下采样网络块中，得到分辨率为所述第一分辨率的所述多个样本特征图。
在上述装置中，所述卷积模块，还用于将所述多个样本特征图相加之后进行卷积处理，得到第一样本特征图；
所述上采样处理模块，还用于对所述第一样本特征图进行第二预设上采样倍数的上采样处理，得到所述目标分割样本图像。
在上述装置中，所述确定模块，还用于确定所述目标分割样本图像和所述标准分割样本图像之间的损失函数值和评价函数值；
所述模型训练模块，还用于利用所述损失函数值调整所述初始分类网络的网络参数，直至所述评价函数值满足预设阈值时，得到所述预设分类网络。
在上述装置中，所述图像分割模块，还用于将所述待分割图像输入所述预设分类网络中，输出所述待分割图像对应的图像掩膜；利用所述图像掩膜，从所述待分割图像中划分出所述目标分割图像。
本申请实施例提供一种图像分割装置，所述图像分割装置包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。
本申请实施例提供一种存储介质，其上存储有计算机程序，应用于图像分割装置，该计算机程序被处理器执行时实现如上述任一项所述的方法。
本申请实施例提供了一种图像分割方法及装置、存储介质，该方法包括：利用初始分类网络，对样本图像进行金字塔下采样处理，得到图像对应的多层样本图像特征，多层样本图像特征对应多个分辨率，多层样本图像特征按照多个分辨率的大小进行排序；将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图，多个样本特征图的图像通道值和分辨率相同；利用多个样本特征图，得到目标分割样本图像；利用目标分割样本图像和样本图像对应的标准分割样本图像，对初始分类网络进行训练，得到预设分类网络；将待分割图像输入预设分类网络中，得到待分割图像对应的目标分割图像。采用上述实现方案，图像分割装置对样本图像进行金字塔下采样处理，得到的多层样本图像特征，之后统一多层样本图像特征的各个图像通道值和分辨率，提升了分割指标，进而提高了图像分割的精度。
附图说明
图1为本申请实施例提供的一种图像分割方法的流程图一；
图2为本申请实施例提供的一种示例性的预设分类网络的模型结构示意图；
图3为本申请实施例提供的一种示例性的图像分割装置对待分割图像进行人像分割的流程示意图；
图4为本申请实施例提供的一种图像分割装置的结构示意图一；
图5为本申请实施例提供的一种图像分割装置的结构示意图二。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
实施例一
本申请实施例提供一种图像分割方法，如图1所示，该方法可以包括：
S101、利用初始分类网络，对样本图像进行金字塔下采样处理，得到图像对应的多层样本图像特征，多层样本图像特征对应多个分辨率，多层样本图像特征按照多个分辨率的大小进行排序。
本申请实施例提供的一种图像分割方法适用于人像分割的场景下。
本申请实施例中，初始分类网络为残差神经网络(ResNet，Residual NeuralNetwork)模型或者结构更加复杂的分类网络，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，模型训练采用supervisely数据集，将数据集按照2:8的比例划分为测试集和训练集，并对训练集做包括镜面翻转、尺度缩放、Gamma变换等的数据增强处理。
本申请实施例中，图像分割装置对训练集进行随机裁剪和归一化处理等预处理，得到样本图像，之后将样本图像输入初始分类网络中，利用特征金字塔对样本图像进行多个倍数的下采样，得到不同分辨率的样本图像特征，不同分辨率的样本图像特征组成了多层样本图像特征，其中，多层样本图像特征可以按照分辨率从大到小的顺序排序，也可以按照分辨率从小到大的顺序排序，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，图像分割装置可以利用特征金字塔对样本图像进行64倍、32倍、16倍的下采样，下采样倍数越大则得到的图像细节信息越多。
示例性的，图像分割装置将样本图像输入ResNet网络中，得到下采样后分辨率相对于原图的1/4倍，1/8倍，1/16倍和1/32倍的特征金字塔(多层样本图像特征)，其中，1/4倍对应的图像通道值为2048、1/8倍对应的图像通道值为1024、1/16倍对应的图像通道值为512、1/32倍对应的图像通道值为256。
S102、将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图，多个样本特征图的图像通道值和分辨率相同。
当图像分割装置利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征之后，图像分割装置将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图。
本申请实施例中，图像分割装置将多层样本图像特征的多个图像通道值转换成第一图像通道值的过程为：图像分割装置对多层样本图像特征进行卷积处理和上采样处理，将多层样本图像特征转换为多层压缩样本图像特征，多层压缩样本图像特征的图像通道值为第一图像通道值。
具体的，图像分割装置对多层样本图像特征中图像通道值最小的第一样本图像特征和多层样本图像特征中除第一样本图像特征外的第二样本图像特征进行卷积处理和上采样处理的过程不相同，其中，当样本图像特征为多层样本图像特征中图像通道值最小的第一样本图像特征时，图像分割装置对第一样本图像特征进行卷积处理，得到第一样本图像特征对应的第一压缩样本图像特征，其中，第一压缩样本图像特征为多层压缩样本图像特征中第一样本图像特征对应的压缩样本图像特征；当样本图像特征为多层样本图像特征中除第一样本图像特征外的第二样本图像特征时，图像分割装置对第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；之后，图像分割装置将中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到第二样本图像特征对应的第二压缩样本图像特征，其中，第三样本图像特征为与第二样本图像特征相邻、且图像通道值大于第二样本图像特征的图像通道值的样本图像特征。
示例性的，图像分割装置对2048×1/32(图像通道值×分辨率)的特征图(第一样本图像特征)进行卷积处理，得到256×1/32的特征图(第一压缩样本图像)，之后，图像分割装置对1024×1/16的特征图(第二样本图像特征)进行卷积处理和双线性差值2倍上采样，得到中间样本图像特征，将中间样本图像特征和256×1/32的特征图相加之后进行卷积，得到256×1/16的特征图(第二压缩样本图像)，依次类推，图像分割装置对512×1/8的特征图进行卷积处理和双线性差值2倍上采样，并将采样结果和256×1/16的特征图进行卷积，得到256×1/8的特征图；图像分割装置对256×1/4的特征图进行卷积处理和双线性差值2倍上采样，并将采样结果和256×1/18的特征图进行卷积，得到256×1/4的特征图，由此，图像分割装置得到由256×1/32的特征图、256×1/16的特征图、256×1/8的特征图和256×1/4的特征图组成的多层压缩样本图像特征。
本申请实施例中，图像分割装置将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图的过程为：图像分割装置根据第一分辨率和多层压缩样本图像特征，确定多层压缩样本图像特征对应的多个下采样网络块，其中，多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；之后，图像分割装置将多层压缩样本图像特征输入对应的多个下采样网络块中，得到分辨率为第一分辨率的多个样本特征图。
本申请实施例中，下采样网络块包括cgr2x、sgr2x和sgr，其中，cgr2x和sgr2x均由卷积层、组正则化层、线性整流函数(ReLU，Rectified Linear Unit)层和双线性插值2倍上采样层组成，sgr由卷积层、组正则化层和ReLU层组成，cgr2x的输入为256图像通道值，输出为256图像通道值；sgr2x和sgr的输入为256图像通道值，输出为128图像通道值。
示例性的，图像分割装置需要输出4个大小为128×1/4的特征图，图像分割装置将256×1/32的特征图输入cgr2x中得到256×1/16的特征图、再将256×1/16的特征图输入cgr2x中得到256×1/8的特征图，最后将256×1/8的特征图输入sgr2x中，输出128×1/4的特征图；图像分割装置将256×1/16的特征图输入cgr2x中得到256×1/8的特征图，最后将256×1/8的特征图输入sgr2x中，输出128×1/4的特征图；图像分割装置将256×1/8的特征图输入sgr2x中，输出128×1/4的特征图；图像分割装置将256×1/4的特征图输入sgr中，输出128×1/4的特征图，由此，图像分割装置输出了四个128×1/4的特征图。
S103、利用多个样本特征图，得到目标分割样本图像。
当图像分割装置将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图之后，图像分割装置利用多个样本特征图，得到目标分割样本图像。
本申请实施例中，图像分割装置将多个样本特征图相加之后进行卷积处理，得到第一样本特征图；之后，图像分割装置对第一样本特征图进行第二预设上采样倍数的上采样处理，得到目标分割样本图像。
示例性的，图像分割装置将四个128×1/4的特征图相加后经过卷积层，然后进行双线性插值4倍上采样，得到输出掩模Mask，图像分割装置根据输出掩膜Mask从样本图像中分割出人像区域(目标分割样本图像)。
S104、利用目标分割样本图像和样本图像对应的标准分割样本图像，对初始分类网络进行训练，得到预设分类网络。
当图像分割装置得到目标分割样本图像之后，图像分割装置利用目标分割样本图像和样本图像对应的标准分割样本图像，对初始分类网络进行训练，得到预设分类网络。
本申请实施例中，图像分割装置确定目标分割样本图像和标准分割样本图像之间的损失函数值和评价函数值；之后，图像分割装置利用损失函数值调整初始分类网络的网络参数，直至评价函数值满足预设阈值时，得到预设分类网络。
本申请实施例中，损失函数为可以为交叉熵损失函数，如公式(1)所示，
Figure BDA0002154406820000101
其中，yi表示为样本图像的标准分割样本图像，pi表示为目标分割样本图像。对所有样本的对数损失表示对每个样本的对数损失的平均值，在理想情况下，对数损失为0。
本申请实施例中，评价函数如公式(2)所示，
Figure BDA0002154406820000102
其中，X表示输出掩模Mask，Y表示标注Label(标准分割样本图像)。
本申请实施例中，图像分割装置利用损失函数值调整初始分类网络的网络参数，之后，利用评价函数判断调整后的初始分类网络的运行效果，当评价函数值不满足预设阈值时，重新利用损失函数值调整初始分类网络的网络参数，直至评价函数值满足预设阈值时，得到预设分类网络。
示例性的，图2为预设分类网络的模型结构示意图，将图像1输入ResNet101网络中，依次得到2048×1/32、1024×1/16、512×1/8和256×1/4这四张特征图，之后，将2048×1/32的特征图输入卷积层(CONV)中，得到256×1/32的特征图；将1024×1/16的特征图依次输入卷积层和双线性插值2倍上采样(2x)中，并将中间结果和256×1/32的特征图相加并卷积，得到256×1/16的特征图；将512×1/8的特征图依次输入卷积层和双线性插值2倍上采样中，并将中间结果和256×1/16的特征图相加并卷积，得到256×1/8的特征图；将256×1/4的特征图依次输入卷积层和双线性插值2倍上采样中，并将中间结果和256×1/8的特征图相加并卷积，得到256×1/4的特征图，由此，图像分割装置得到256×1/32、256×1/16、256×1/8和256×1/4这四张压缩特征图，之后，图像分割装置将256×1/32的特征图依次输入cgr2x网络块、cgr2x网络块和sgr2x网络块，输出128×1/4的特征图；将256×1/16特征图依次输入cgr2x网络块和sgr2x网络块，输出128×1/4的特征图；将256×1/8特征图输入sgr2x网络块，输出128×1/4的特征图；将256×1/4特征图输入sgrx网络块，输出128×1/4的特征图；最后，图像分割装置将四个128×1/4的特征图进行相加，依次输入卷积层和双线性插值4倍上采样(4x)，得到最终的图像掩膜。
S105、将待分割图像输入预设分类网络中，得到待分割图像对应的目标分割图像。
当图像分割装置利用目标分割样本图像和标准分割样本图像对初始分类网络进行训练，得到预设分类网络之后，图像分割装置将待分割图像输入预设分类网络中，得到待分割图像对应的目标分割图像。
本申请实施例中，图像分割装置将待分割图像输入预设分类网络中，输出待分割图像对应的图像掩膜；之后，图像分割装置利用图像掩膜，从待分割图像中划分出目标分割图像。
示例性的，图像掩膜由0和1两部分组成，其中，0对应背景图像，1对应人像图像，图像掩膜的图像尺寸与待分割图像的图像尺寸相同，图像分割装置将图像掩膜与待分割图像进行重叠，并将待分割图像中1对应的部分进行裁剪，得到待分割图像中的人像图像。
本申请实施例中，目标分割图像可以为人像、指定物体图像等，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，图像分割装置将待分割图像输入预设分类网络中，对待分割样本图像进行金字塔下采样处理，得到待分割图像对应的多层目标图像特征，其中，待分割图像对应的多层目标图像特征包括多个目标图像通道值和多个目标分辨率，待分割图像对应的多层目标图像特征按照多个目标图像通道值的大小进行排序；之后图像分割装置将多个目标图像通道值转换成第一目标图像通道值，并将多个目标分辨率转换成第一目标分辨率，得到多个目标特征图，其中多个目标特征图的图像通道值和分辨率相同；最后，图像分割装置利用多个目标特征图，得到目标分割图像。
示例性的，图像分割装置对待分割图像进行人像分割的过程如图3所示，图像分割装置首先对初始分类网络进行模型训练，得到预设分类网络，当图像分割装置接收到待分割图片时，对待分割图片进行预处理并利用预设分类网络对待分割图像进行人像分割，得到人像掩膜，图像分割装置利用人像掩膜从待分割图片分割出人像。
可以理解的是，图像分割装置对样本图像进行金字塔下采样处理，得到的多层样本图像特征，之后统一多层样本图像特征的各个图像通道值和分辨率，提升了分割指标，进而提高了图像分割的精度。
实施例二
本申请实施例提供一种图像分割装置1，如图4所示，该图像分割装置1可以包括：
金字塔下采样模块10，用于利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征，所述多层样本图像特征对应多个分辨率，所述多层样本图像特征按照所述多个分辨率的大小进行排序；
转换模块11，用于将所述多层样本图像特征的所述多个分辨率对应的多个图像通道值转换成第一图像通道值，并将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，所述多个样本特征图的图像通道值和分辨率相同；
确定模块12，用于利用所述多个样本特征图，得到目标分割样本图像；
模型训练模块13，用于利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络；
图像分割模块14，用于将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像。
可选的，所述装置还包括：卷积模块15和上采样处理模块16；
所述卷积模块15和所述上采样处理模块16，用于对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，所述多层压缩样本图像特征的图像通道值为所述第一图像通道值。
可选的，所述卷积模块15，还用于当所述样本图像特征为所述多层样本图像特征中图像通道值最小的第一样本图像特征时，对所述第一样本图像特征进行卷积处理，得到所述第一样本图像特征对应的第一压缩样本图像特征，所述第一压缩样本图像特征为所述多层压缩样本图像特征中所述第一样本图像特征对应的压缩样本图像特征；
所述卷积模块15和所述上采样处理模块16，还用于当所述样本图像特征为所述多层样本图像特征中除所述第一样本图像特征外的第二样本图像特征时，对所述第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；
所述卷积模块15，还用于将所述中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到所述第二样本图像特征对应的第二压缩样本图像特征，所述第三样本图像特征为与所述第二样本图像特征相邻、且图像通道值大于所述第二样本图像特征的图像通道值的样本图像特征。
可选的，所述确定模块12，还用于根据所述第一分辨率和所述多层压缩样本图像特征，确定所述多层压缩样本图像特征对应的多个下采样网络块，所述多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；将所述多层压缩样本图像特征输入对应的所述多个下采样网络块中，得到分辨率为所述第一分辨率的所述多个样本特征图。
可选的，所述卷积模块15，还用于将所述多个样本特征图相加之后进行卷积处理，得到第一样本特征图；
所述上采样处理模块16，还用于对所述第一样本特征图进行第二预设上采样倍数的上采样处理，得到所述目标分割样本图像。
可选的，所述确定模块12，还用于确定所述目标分割样本图像和所述标准分割样本图像之间的损失函数值和评价函数值；
所述模型训练模块13，还用于利用所述损失函数值调整所述初始分类网络的网络参数，直至所述评价函数值满足预设阈值时，得到所述预设分类网络。
可选的，所述图像分割模块14，还用于将所述待分割图像输入所述预设分类网络中，输出所述待分割图像对应的图像掩膜；利用所述图像掩膜，从所述待分割图像中划分出所述目标分割图像。
本申请实施例提供的一种图像分割装置，利用初始分类网络，对样本图像进行金字塔下采样处理，得到图像对应的多层样本图像特征，多层样本图像特征对应多个分辨率，多层样本图像特征按照多个分辨率的大小进行排序；将多层样本图像特征的多个分辨率对应的多个图像通道值转换成第一图像通道值，并将多层样本图像特征的多个分辨率转换成第一分辨率，得到多个样本特征图，多个样本特征图的图像通道值和分辨率相同；利用多个样本特征图，得到目标分割样本图像；利用目标分割样本图像和样本图像对应的标准分割样本图像，对初始分类网络进行训练，得到预设分类网络；将待分割图像输入预设分类网络中，得到待分割图像对应的目标分割图像准。由此可见，本实施例提出的图像分割装置，图像分割装置对样本图像进行金字塔下采样处理，得到的多层样本图像特征，之后统一多层样本图像特征的各个图像通道值和分辨率，提升了分割指标，进而提高了图像分割的精度。
图5为本申请实施例提供的一种图像分割装置1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图5所示，本实施例的图像分割装置1包括：处理器17、存储器18及通信总线19。
在具体的实施例的过程中，上述金字塔下采样模块10、转换模块11、确定模块12、模型训练模块13、图像分割模块14、卷积模块15和上采样处理模块16可由位于图像分割装置1上的处理器17实现，上述处理器17可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像分割装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像分割装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线19用于实现处理器17和存储器18之间的连接通信；上述处理器17执行存储器18中存储的运行程序时实现如实施例一所述的图像分割方法。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像分割装置中，该计算机程序实现如实施例一所述的图像分割方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (16)

1.一种图像分割方法，其特征在于，所述方法包括：
利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征，所述多层样本图像特征对应多个分辨率，所述多层样本图像特征按照所述多个分辨率的大小进行排序；其中，所述分辨率为缩放倍数；
将所述多层样本图像特征的所述多个分辨率对应的多个图像通道值转换成第一图像通道值，并将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，所述多个样本特征图的图像通道值和分辨率相同；
利用所述多个样本特征图，得到目标分割样本图像；
利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络；
将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述多层样本图像特征的所述多个图像通道值转换成第一图像通道值，包括：
对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，所述多层压缩样本图像特征的图像通道值为所述第一图像通道值。
3.根据权利要求2所述的方法，其特征在于，所述对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，包括：
当所述样本图像特征为所述多层样本图像特征中图像通道值最小的第一样本图像特征时，对所述第一样本图像特征进行卷积处理，得到所述第一样本图像特征对应的第一压缩样本图像特征，所述第一压缩样本图像特征为所述多层压缩样本图像特征中所述第一样本图像特征对应的压缩样本图像特征；
当所述样本图像特征为所述多层样本图像特征中除所述第一样本图像特征外的第二样本图像特征时，对所述第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；
将所述中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到所述第二样本图像特征对应的第二压缩样本图像特征，所述第三样本图像特征为与所述第二样本图像特征相邻、且图像通道值大于所述第二样本图像特征的图像通道值的样本图像特征。
4.根据权利要求2所述的方法，其特征在于，所述将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，包括：
根据所述第一分辨率和所述多层压缩样本图像特征，确定所述多层压缩样本图像特征对应的多个下采样网络块，所述多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；
将所述多层压缩样本图像特征输入对应的所述多个下采样网络块中，得到分辨率为所述第一分辨率的所述多个样本特征图。
5.根据权利要求1所述的方法，其特征在于，所述利用所述多个样本特征图，得到目标分割样本图像，包括：
将所述多个样本特征图相加之后进行卷积处理，得到第一样本特征图；
对所述第一样本特征图进行第二预设上采样倍数的上采样处理，得到所述目标分割样本图像。
6.根据权利要求1所述的方法，其特征在于，所述利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络，包括：
确定所述目标分割样本图像和所述标准分割样本图像之间的损失函数值和评价函数值；
利用所述损失函数值调整所述初始分类网络的网络参数，直至所述评价函数值满足预设阈值时，得到所述预设分类网络。
7.根据权利要求1所述的方法，其特征在于，所述将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像，包括：
将所述待分割图像输入所述预设分类网络中，输出所述待分割图像对应的图像掩膜；
利用所述图像掩膜，从所述待分割图像中划分出所述目标分割图像。
8.一种图像分割装置，其特征在于，所述图像分割装置包括：
金字塔下采样模块，用于利用初始分类网络，对样本图像进行金字塔下采样处理，得到所述图像对应的多层样本图像特征，所述多层样本图像特征对应多个分辨率，所述多层样本图像特征按照所述多个分辨率的大小进行排序；其中，所述分辨率为缩放倍数；
转换模块，用于将所述多层样本图像特征的所述多个分辨率对应的多个图像通道值转换成第一图像通道值，并将所述多层样本图像特征的所述多个分辨率转换成第一分辨率，得到多个样本特征图，所述多个样本特征图的图像通道值和分辨率相同；
确定模块，用于利用所述多个样本特征图，得到目标分割样本图像；
模型训练模块，用于利用所述目标分割样本图像和所述样本图像对应的标准分割样本图像，对所述初始分类网络进行训练，得到预设分类网络；
图像分割模块，用于将待分割图像输入所述预设分类网络中，得到所述待分割图像对应的目标分割图像。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：卷积模块和上采样处理模块；
所述卷积模块和所述上采样处理模块，用于对所述多层样本图像特征进行卷积处理和上采样处理，将所述多层样本图像特征转换为多层压缩样本图像特征，所述多层压缩样本图像特征的图像通道值为所述第一图像通道值。
10.根据权利要求9所述的装置，其特征在于，
所述卷积模块，还用于当所述样本图像特征为所述多层样本图像特征中图像通道值最小的第一样本图像特征时，对所述第一样本图像特征进行卷积处理，得到所述第一样本图像特征对应的第一压缩样本图像特征，所述第一压缩样本图像特征为所述多层压缩样本图像特征中所述第一样本图像特征对应的压缩样本图像特征；
所述卷积模块和所述上采样处理模块，还用于当所述样本图像特征为所述多层样本图像特征中除所述第一样本图像特征外的第二样本图像特征时，对所述第二样本图像特征进行卷积处理和第一预设上采样倍数的上采样处理，得到第二样本图像特征对应的中间样本图像特征；
所述卷积模块，还用于将所述中间样本图像特征和第三样本图像特征对应的第三压缩样本图像特征相加之后进行卷积处理，得到所述第二样本图像特征对应的第二压缩样本图像特征，所述第三样本图像特征为与所述第二样本图像特征相邻、且图像通道值大于所述第二样本图像特征的图像通道值的样本图像特征。
11.根据权利要求9所述的装置，其特征在于，
所述确定模块，还用于根据所述第一分辨率和所述多层压缩样本图像特征，确定所述多层压缩样本图像特征对应的多个下采样网络块，所述多个下采样网络块中的一个下采样网络块对应一个输入输出通道数和一个下采样倍数；将所述多层压缩样本图像特征输入对应的所述多个下采样网络块中，得到分辨率为所述第一分辨率的所述多个样本特征图。
12.根据权利要求9所述的装置，其特征在于，
所述卷积模块，还用于将所述多个样本特征图相加之后进行卷积处理，得到第一样本特征图；
所述上采样处理模块，还用于对所述第一样本特征图进行第二预设上采样倍数的上采样处理，得到所述目标分割样本图像。
13.根据权利要求8所述的装置，其特征在于，
所述确定模块，还用于确定所述目标分割样本图像和所述标准分割样本图像之间的损失函数值和评价函数值；
所述模型训练模块，还用于利用所述损失函数值调整所述初始分类网络的网络参数，直至所述评价函数值满足预设阈值时，得到所述预设分类网络。
14.根据权利要求8所述的装置，其特征在于，
所述图像分割模块，还用于将所述待分割图像输入所述预设分类网络中，输出所述待分割图像对应的图像掩膜；利用所述图像掩膜，从所述待分割图像中划分出所述目标分割图像。
15.一种图像分割装置，其特征在于，所述图像分割装置包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-7任一项所述的方法。
16.一种存储介质，其上存储有计算机程序，应用于图像分割装置，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201910712963.7A 2019-08-02 2019-08-02 一种图像分割方法及装置、存储介质 Active CN110517267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910712963.7A CN110517267B (zh) 2019-08-02 2019-08-02 一种图像分割方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910712963.7A CN110517267B (zh) 2019-08-02 2019-08-02 一种图像分割方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110517267A CN110517267A (zh) 2019-11-29
CN110517267B true CN110517267B (zh) 2022-05-10

Family

ID=68624918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910712963.7A Active CN110517267B (zh) 2019-08-02 2019-08-02 一种图像分割方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110517267B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062944B (zh) * 2019-12-10 2020-08-14 北京推想科技有限公司 网络模型训练方法及装置、图像分割方法及装置
CN111178211B (zh) * 2019-12-20 2024-01-12 天津极豪科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310408A (zh) * 2013-06-27 2013-09-18 博图旭然（北京）科技有限公司 适用于超精细影像的图像存储方法
CN107610146A (zh) * 2017-09-29 2018-01-19 北京奇虎科技有限公司 图像场景分割方法、装置、计算设备及计算机存储介质
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN109598269A (zh) * 2018-11-14 2019-04-09 天津大学 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977998B2 (en) * 2015-04-27 2018-05-22 Sony Corporation Method and system for processing one or more multi-channel images
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310408A (zh) * 2013-06-27 2013-09-18 博图旭然（北京）科技有限公司 适用于超精细影像的图像存储方法
CN107610146A (zh) * 2017-09-29 2018-01-19 北京奇虎科技有限公司 图像场景分割方法、装置、计算设备及计算机存储介质
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN109598269A (zh) * 2018-11-14 2019-04-09 天津大学 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Epithelial Segmentation From In Situ Hybridisation Histological Samples Using A Deep Central Attention Learning Approach;Tzu-Hsi Song 等;《2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)》;20190711;第1527-1531页 *
基于Faster RCNN和POLO的交通场景下的车辆检测;徐亮;《佳木斯大学学报(自然科学版)》;20190331;第232-235页 *

Also Published As

Publication number Publication date
CN110517267A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
US11875500B2 (en) Failure diagnosis method for power transformer winding based on GSMallat-NIN-CNN network
CN110517267B (zh) 一种图像分割方法及装置、存储介质
CN110084274B (zh) 实时图像语义分割方法及系统、可读存储介质和终端
TWI675349B (zh) 影像切割方法及裝置
CN116051549B (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN112801146A (zh) 一种目标检测方法及系统
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN111931857B (zh) 一种基于mscff的低照度目标检测方法
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN115775350A (zh) 一种图像增强方法和装置、计算设备
CN113313162A (zh) 一种多尺度特征融合目标检测的方法及系统
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN112580645A (zh) 基于卷积稀疏编码的Unet语义分割方法
CN116051532A (zh) 基于深度学习的工业零件缺陷检测方法、系统及电子设备
CN116258871A (zh) 一种基于融合特征的目标网络模型获取方法及装置
CN114863104A (zh) 一种基于标签分布学习的图像分割方法
CN112634153B (zh) 一种基于边缘增强的图像去模糊方法
CN111429388A (zh) 一种图像处理方法、装置和终端设备
CN115361555A (zh) 图像编码方法、图像编码方法、装置以及计算机存储介质
CN112801866B (zh) 图像重建模型的生成方法、图像重建方法及相关设备
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
CN111626298A (zh) 一种实时图像语义分割装置及分割方法
CN112733934A (zh) 复杂环境下的多模态特征融合道路场景语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant