CN109472799B - 基于深度学习的图像分割方法及装置 - Google Patents

基于深度学习的图像分割方法及装置 Download PDF

Info

Publication number
CN109472799B
CN109472799B CN201811172467.9A CN201811172467A CN109472799B CN 109472799 B CN109472799 B CN 109472799B CN 201811172467 A CN201811172467 A CN 201811172467A CN 109472799 B CN109472799 B CN 109472799B
Authority
CN
China
Prior art keywords
contour
image
shape
loss
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811172467.9A
Other languages
English (en)
Other versions
CN109472799A (zh
Inventor
徐枫
刘聪颖
雍俊海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201811172467.9A priority Critical patent/CN109472799B/zh
Publication of CN109472799A publication Critical patent/CN109472799A/zh
Application granted granted Critical
Publication of CN109472799B publication Critical patent/CN109472799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的图像分割方法及装置，其中，方法包括：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新轮廓分支的参数，在lossc_side收敛后，固定轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的形状分支进行约束，通过梯度反向传播更新形状分支的参数，以得到形状分支网络模型；根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到待分割图像的分割结果。该方法实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。

Description

基于深度学习的图像分割方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习的图像分割方法及装置。
背景技术
图像分割是计算机视觉领域一个重要的研究方向，也是图像处理、机器人视觉等其它相关技术应用的基础，被越来越广泛地应用于各种领域。图像分割指针对一幅图像，分别求出其前景分量、背景分量以及前景的透明值，从而将前景从图像中分割出来。
使用图像底层视觉特征进行分割的方法较容易收到噪声、伪边界等影响；然而，使用交互式分割如图割算法往往需要一定的人工初始前背景标注以进行求解或迭代优化，分割结果依赖于交互、初始标注质量等且耗时较长；使用深度学习方法进行分割往往不能很好的处理分割的精确度。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
图像分割是计算机视觉领域一个重要的研究方向，如何快速精确的获得图像分割结果是一项重要的研究课题。传统分割方法往往需要一定的交互指导，很难适应于大数据量批处理的情形；随着深度学习技术的广泛应用，许多借助深度学习进行图像分割的方法也被提出，但这些方法或是由于特征空间与图像空间存在偏差难以在轮廓边缘进行精确分割，或是借助RNN(Recurrent Neural Network，循环神经网络)等以时间作为代价提高描述轮廓的序列的准确性。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习的图像分割方法，该方法可以在不使用交互指导下提高图像分割的准确率，简单易实现。
本发明的另一个目的在于提出一种基于深度学习的图像分割装置。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习的图像分割方法，包括以下步骤：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。
本发明实施例的基于深度学习的图像分割方法，根据训练好的轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到最终的分割结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。
另外，根据本发明上述实施例的基于深度学习的图像分割方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，进一步包括：输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔。
进一步地，在本发明的一个实施例中，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果，进一步包括：通过多层感知器融合所述前景形状特征图金字塔和所述前景轮廓特征图金字塔，以得到所述待分割图像的分割结果。
进一步地，在本发明的一个实施例中，所述待分割图像包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
进一步地，在本发明的一个实施例中，其中，形状分支和多层感知器训练式为：
Figure BDA0001822876700000021
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；
形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
为达到上述目的，本发明另一方面实施例提出了一种基于深度学习的图像分割装置，包括：轮廓分支网络模型训练模块，用于使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；形状分支网络模型训练模块，用于使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；融合模块，用于根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。
本发明实施例的基于深度学习的图像分割装置，根据训练好的轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到最终的分割结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。
另外，根据本发明上述实施例的基于深度学习的图像分割装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述融合模块进一步用于输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；并输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔。
进一步地，在本发明的一个实施例中，所述融合模块进一步用于通过多层感知器融合所述前景形状特征图金字塔和所述前景轮廓特征图金字塔，以得到所述待分割图像的分割结果。
进一步地，在本发明的一个实施例中，所述待分割图像包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
进一步地，在本发明的一个实施例中，其中，形状分支和多层感知器训练式为：
Figure BDA0001822876700000031
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；
形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习的图像分割方法的流程图；
图2为根据本发明一个具体实施例的基于深度学习的图像分割方法的流程图；
图3为根据本发明一个实施例的基于深度学习的图像分割装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度学习的图像分割方法及装置，首先将参照附图描述根据本发明实施例提出的基于深度学习的图像分割方法。
图1是本发明一个实施例的基于深度学习的图像分割方法的流程图。
如图1所示，该基于深度学习的图像分割方法包括以下步骤：
在步骤S101中，使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新轮廓分支的参数，在lossc_side收敛后，固定轮廓分支的参数，以得到轮廓分支网络模型。
可以理解的是，如图2所示，步骤1：使用轮廓数据集Dc对轮廓分支进行训练，使用lossc_side进行约束，借助梯度反向传播的方法更新轮廓分支的参数，lossc_side收敛后，固定轮廓分支的参数。
需要说明的是，本发明实施例训练时使用的图像大小不定，图片可以为RGB三通道，且对应的标注为等分辨率单通道的二值图片，测试时使用分辨率为640×480的RGB图像，在此仅作为一种示例，不做具体限定。
在步骤S102中，使用自有数据集对形状分支进行训练，并使用losss对训练的形状分支进行约束，通过梯度反向传播更新形状分支的参数，以得到形状分支网络模型。
可以理解的是，如图2所示，步骤2：使用自有数据集Ds对形状分支进行训练，使用losss进行约束，借助梯度反向传播的方法更新形状分支的参数。为了加速收敛在迭代次数It1之前可以对losss_side使用较大的权重如α＝0.8，随着迭代次数的增加，可以不断减弱α的值直到α＝0。需要说明的是，形状分支也可以称为掩码分支。
在步骤S103中，根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到待分割图像的分割结果。
可以理解的是，如图2所示，测试时使用已经训练好的模型，即预设形状分支网络模型和预设轮廓特征网络模型，对输入的图片进行预测，例如，对于分辨率为640×480的RGB图像，在网络模型中间得到的形状特征图金字塔Fp，轮廓特征图金字塔Cp的分辨率同为640×480，分别有4通道；最终得到的二值前景掩码M的分辨率为640×480，通道数为1。
其中，在本发明的一个实施例中，待分割图像包括待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
进一步地，在本发明的一个实施例中，根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，进一步包括：输入待分割图像在形状分支网络模型的多个池化层之后得到形状特征图，并将形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入待分割图像在轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将轮廓特征图上采样到预设分辨率后拼接构成前景轮廓特征图金字塔。
在本发明的一个实施例中，其中，形状分支和多层感知器训练式为：
Figure BDA0001822876700000051
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片。
具体而言，(1)使用VGG(Visual Geometry Group，网络神经结构)网络模型生成前景形状特征图金字塔
假定网络的输入的待分割图片I为h*w*c,h为图片的高，w为图片的宽，c为图片的通道数，对于RGB输入图片c＝3。输入图片在形状分支的VGG网络的4个池化层之后分别得到形状特征图Fi(i＝1,2,…,4)，将特征图Fi分别上采样到h*w分辨率后进行拼接构成特征图金字塔Fp。其中网络可以使用在常见分类数据集上的预训练权重，再在自有数据集即具有特定前景集的数据集上与最后的多层感知器(层数可以为3)一同进行有监督的训练。
(2)使用VGG网络模型生成轮廓特征图金字塔
轮廓分支与形状分支结构类似，均使用相同的VGG网络模型结构，但不共享参数，最终拼接上采样后轮廓特征图Ci(i＝1,2,…,4)的得到轮廓特征图金字塔Cp作为分支输出结果。其中网络的训练使用轮廓数据集，每张训练图片Itrain都有对应的前景掩码标注图片CGT，使用如下带类平衡的交叉熵lossc_side约束轮廓特征图金字塔Cp中每一层的结果output,其中Npos,Nneg,Ntotal分别表示CGT中为是轮廓的像素数，不是轮廓的像素数，总像素数，lpos表示为是轮廓的标注值，lneg表示为不是轮廓的标注值，且轮廓分支的参数不会在形状分支和多层感知器训练式更新：
Figure BDA0001822876700000052
进一步地，在本发明的一个实施例中，根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到待分割图像的分割结果，进一步包括：通过多层感知器融合前景形状特征图金字塔和前景轮廓特征图金字塔，以得到待分割图像的分割结果。
在本发明的一个实施例中，形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
具体而言，借助一个多层感知器将形状信息和轮廓信息进行融合。
将形状特征图金字塔Fp和轮廓特征图金字塔Cp进行拼接后输入到一个多层感知器(层数可以为3)，最终得到与输入的待分割图片I等分辨率的单通道的前景掩码M。形状分支的形状特征图金字塔Fp使用losss_side的带类平衡的交叉熵loss进行约束，同时使用交叉熵losss_main去约束多层感知器的输出结果M，即最终形状分支及多层感知器的losss如下，其中losss_side，losss_main与lossc_side的定义相近，α是制衡特征loss和主路loss比重的参数：
losss＝αlosss_side+(1-α)losss_main。
综上，本发明实施例通过借助多尺度的特征信息和形状信息进行前景分割的结果生成，在精度上有一定提升，且本身基于深度学习方法，相比于传统方法和基于检测的分割方法的速度要快。
根据本发明实施例提出的基于深度学习的图像分割方法，通过训练好的网络模型提取待分割图片的前景的形状信息和图片中的轮廓信息，并借助形状信息和轮廓信息最终得到前景分割对应的掩码结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。
其次参照附图描述根据本发明实施例提出的基于深度学习的图像分割装置。
图3是本发明一个实施例的基于深度学习的图像分割装置的结构示意图。
如图3所示，该基于深度学习的图像分割装置10包括：轮廓分支网络模型训练模块100、形状分支网络模型训练模块200和融合模块300。
其中，轮廓分支网络模型训练模块100用于使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新轮廓分支的参数，在lossc_side收敛后，固定轮廓分支的参数，以得到轮廓分支网络模型。形状分支网络模型训练模块200用于使用自有数据集对形状分支进行训练，并使用losss对训练的形状分支进行约束，通过梯度反向传播更新形状分支的参数，以得到形状分支网络模型。融合模块300用于根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到待分割图像的分割结果。本发明实施例的装置10根据训练好的轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到最终的分割结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。
进一步地，在本发明的一个实施例中，融合模块300进一步用于输入待分割图像在形状分支网络模型的多个池化层之后得到形状特征图，并将形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；并输入待分割图像在轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将轮廓特征图上采样到预设分辨率后拼接构成前景轮廓特征图金字塔。
进一步地，在本发明的一个实施例中，融合模块300进一步用于通过多层感知器融合前景形状特征图金字塔和前景轮廓特征图金字塔，以得到待分割图像的分割结果。
进一步地，在本发明的一个实施例中，待分割图像包括待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
进一步地，在本发明的一个实施例中，其中，形状分支和多层感知器训练式为：
Figure BDA0001822876700000071
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；
形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
需要说明的是，前述对基于深度学习的图像分割方法实施例的解释说明也适用于该实施例的基于深度学习的图像分割装置，此处不再赘述。
根据本发明实施例提出的基于深度学习的图像分割装置，通过训练好的网络模型提取待分割图片的前景的形状信息和图片中的轮廓信息，并借助形状信息和轮廓信息最终得到前景分割对应的掩码结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于深度学习的图像分割方法，其特征在于，包括以下步骤：
使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；
使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；以及
根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果，具体地：输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔；将所述前景形状特征图金字塔和所述前景轮廓特征图金字塔进行拼接后输入到一个多层传感器，最终得到与输入的待分割图片等分辨率的单通道的前景掩码。
2.根据权利要求1所述的基于深度学习的图像分割方法，其特征在于，所述待分割图像的参数包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
3.根据权利要求l所述的基于深度学习的图像分割方法，其特征在于，其中，
形状分支和多层感知器训练式为：
Figure FDA0002668714520000011
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；
形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
4.一种基于深度学习的图像分割装置，其特征在于，包括：
轮廓分支网络模型训练模块，用于使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；
形状分支网络模型训练模块，用于使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；以及
融合模块，用于根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果，具体地：输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔；将所述前景形状特征图金字塔和所述前景轮廓特征图金字塔进行拼接后输入到一个多层传感器，最终得到与输入的待分割图片等分辨率的单通道的前景掩码。
5.根据权利要求4所述的基于深度学习的图像分割装置，其特征在于，所述待分割图像的参数包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。
6.根据权利要求4所述的基于深度学习的图像分割装置，其特征在于，其中，
形状分支和多层感知器训练式为：
Figure FDA0002668714520000021
其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；
形状分支及多层感知器的losss为：
losss＝αlosss_side+(1-α)losss_main，
其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。
CN201811172467.9A 2018-10-09 2018-10-09 基于深度学习的图像分割方法及装置 Active CN109472799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811172467.9A CN109472799B (zh) 2018-10-09 2018-10-09 基于深度学习的图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811172467.9A CN109472799B (zh) 2018-10-09 2018-10-09 基于深度学习的图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN109472799A CN109472799A (zh) 2019-03-15
CN109472799B true CN109472799B (zh) 2021-02-23

Family

ID=65664842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811172467.9A Active CN109472799B (zh) 2018-10-09 2018-10-09 基于深度学习的图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN109472799B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949309B (zh) * 2019-03-18 2022-02-11 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110110731A (zh) * 2019-05-07 2019-08-09 中建钢构有限公司 基于深度学习的定位方法及装置
CN110619639A (zh) * 2019-08-26 2019-12-27 苏州同调医学科技有限公司 一种结合深度神经网络和概率图模型分割放疗影像的方法
CN110930393A (zh) * 2019-11-28 2020-03-27 兰州石化职业技术学院 一种基于机器视觉的芯片料管计数方法、装置及系统
CN112634242B (zh) * 2020-12-25 2021-08-24 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的制动梁脱落检测方法
CN113192060A (zh) * 2021-05-25 2021-07-30 上海商汤临港智能科技有限公司 一种图像分割的方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
WO2011074671A1 (ja) * 2009-12-18 2011-06-23 株式会社日立ハイテクノロジーズ 画像処理装置、及び、測定／検査システム、並びに、プログラム
CN106548478A (zh) * 2016-10-28 2017-03-29 中国科学院苏州生物医学工程技术研究所 基于局部拟合图像的活动轮廓图像分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
WO2011074671A1 (ja) * 2009-12-18 2011-06-23 株式会社日立ハイテクノロジーズ 画像処理装置、及び、測定／検査システム、並びに、プログラム
CN106548478A (zh) * 2016-10-28 2017-03-29 中国科学院苏州生物医学工程技术研究所 基于局部拟合图像的活动轮廓图像分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DeepEdge: A Multi-Scale Bifurcated Deep Network for Top-Down Contour Detection;Gedas Bertasius 等;《Computer Vision and Pattern Recognition》;20150612;第4308-4389页 *
Efficient cellular automaton segmentation supervised by pyramid on medical volumetric data and real time implementation with graphics processing unit;Yonghui Gao 等;《Expert Systems with Applications》;20110630;第6866-6871页 *
One-Shot Video Object Segmentation;S. Caelles 等;《Computer Vision and Pattern Recognition》;20170731;第221-230页 *
Video-object segmentation and 3D-trajectory estimation for monocular video sequences;Feng Xu 等;《Image and Vision Computing》;20110228;第190-205页 *
基于局部形状结构分类的心血管内超声图像中-外膜边界检测;袁绍锋 等;《电子学报》;20180731;第46卷(第7期);第1601-1608页 *
基于形状共享初始化主动轮廓模型的图像分割方法;梅梦杰，徐军;《计算机应用研究》;20150630;第32卷(第6期);第1902-1905页 *

Also Published As

Publication number Publication date
CN109472799A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472799B (zh) 基于深度学习的图像分割方法及装置
JP6966989B2 (ja) 道路中の車線境界線を確定するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US11586851B2 (en) Image classification using a mask image and neural networks
US11610115B2 (en) Learning to generate synthetic datasets for training neural networks
US11055574B2 (en) Feature fusion and dense connection-based method for infrared plane object detection
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN106548192A (zh) 基于神经网络的图像处理方法、装置和电子设备
CN104484886B (zh) 一种mr图像的分割方法及装置
CN111461213A (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN113095129A (zh) 姿态估计模型训练方法、姿态估计方法、装置和电子设备
CN114863348A (zh) 基于自监督的视频目标分割方法
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN112508099A (zh) 一种实时目标检测的方法和装置
CN112183627A (zh) 生成预测密度图网络的方法和车辆年检标数量检测方法
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
CN114973031A (zh) 一种无人机视角下的可见光-热红外图像目标检测方法
CN114154563A (zh) 基于混合监督训练的目标检测方法
CN112801195A (zh) 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN109977797B (zh) 基于排序损失函数的一阶目标检测器的优化方法
CN112801201B (zh) 一种基于标准化的深度学习视觉惯导组合导航设计方法
Ferianc et al. ComBiNet: Compact convolutional Bayesian neural network for image segmentation
Sun et al. A Metaverse text recognition model based on character-level contrastive learning
US20230031919A1 (en) Image segmentation method and device
Anas et al. Scene disparity estimation with convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant