CN112561925A - 图像分割方法、系统、计算机设备及存储介质 - Google Patents

图像分割方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN112561925A
CN112561925A CN202011403860.1A CN202011403860A CN112561925A CN 112561925 A CN112561925 A CN 112561925A CN 202011403860 A CN202011403860 A CN 202011403860A CN 112561925 A CN112561925 A CN 112561925A
Authority
CN
China
Prior art keywords
image
center
super
image block
super pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011403860.1A
Other languages
English (en)
Inventor
贺娇瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011403860.1A priority Critical patent/CN112561925A/zh
Publication of CN112561925A publication Critical patent/CN112561925A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种图像分割的方法、系统、计算机设备及存储介质，所述方法包括：对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块；针对每个超像素，将截取的多个不同图像分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到超像素的多个不同分割结果，再根据超像素的多个不同分割结果得到超像素的最终分割结果；将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。本公开的技术方案可以实现图像中目标的精准分割，并且提高了图像分割的时效。

Description

图像分割方法、系统、计算机设备及存储介质
技术领域
本公开属于图像分割领域，具体涉及一种图像分割方法，一种图像分割系统，一种计算机设备，以及一种计算机可读存储介质。
背景技术
随着人工智能的兴起以及卷积神经网络的不断发展，计算机视觉的图像分割技术也越来越受欢迎，尤其是在医疗影像、交通监控、雷达遥感等领域。在实际行业应用场景中由于待分割的图像多数有目标不断移动以及图像背景复杂等特征，导致传统的阈值处理、图像浅层特征的提取等图像分割算法都难以实现图像精准分割。
而近几年，随着人工智能的发展，为实现图像的精准分割，基于深度学习的图像分割算法不断涌现。目前，可以将基于深度学习的图像分割算法归类如下：
第一类是基于CNN(Convolutional Neural Networks，卷积神经网络)的图像分割算法。图像中的每一个像素依次输入CNN，通过深层特征的提取，对每个像素实现分类进而实现图像的分割。也有研究为了提高分割精度，基于多分辨率CNN实现图像分割。
第二类是直接基于FCN(Fully Convolutional Networks，全卷积神经网络)、Segnet(语义分割网络)等实现图像的分割。这类网络模型与CNN的区别在于没有全连接层，CNN中的全连接层都被取代为卷积层，这一举措大幅度减少了网络的参数，提高了图像分割的速度。但是由于这类网络模型在反卷积过程中将最后一个卷积层的特征直接上采样为输入图像的尺寸大小，这导致最后输出的图像分割结果比较粗糙，分割图像中目标的边缘都非常模糊。
第三类是将深度学习算法与传统算法相结合。有算法提出将分割图像的目标进行聚类再输入卷积神经网络提取深层特征以实现分割，具体操作是从聚类的目标中选取n个像素，通过代表像素的特征分类投票实现图像分割。
但是，上述图像分割技术存在以下缺点：
第一类基于CNN的图像分割算法大大降低了图像分割的时效，平均每张图像的分割需耗时几个小时；
第二类直接基于FCN、Segnet等的图像分割算法，模型中的上采样使得图像分割结果比较粗糙；
第三类深度学习与传统算法相结合的图像分割方法，首先聚类预处理分割图像，然后选取聚类目标中的n个像素，通过n像素的深度特征学习投票实现图像分割。这在实际的行业应用中不具有普适性，n取不同数值对分割结果的影响比较大。同时，像素的特征学习不能充分表达聚类目标的全局特征。
因此，亟待提出一种能够克服上述问题的新的图像分割方案。
发明内容
本公开提供一种图像分割方法、系统、计算机设备及计算机可读存储介质，可以实现图像中目标的精准分割，并且提高了图像分割的时效，可适用于多数的实际行业应用。
第一方面，本公开实施例提供一种图像分割方法，包括：
对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块；
针对每个超像素，将截取的多个不同图像分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；以及，
将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
进一步的，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，包括：
从经过聚类分析的图像中选取一个超像素；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
进一步的，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，具体包括：
从经过聚类分析的图像中选取超像素A1；
以所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
以所述圆心O1为中心，从原始图像中选取2N×D1为边长的正方形图像块B1；
对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
进一步的，所述根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果，采用如下公式：
Figure BDA0002813288910000041
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure BDA0002813288910000042
n为不小于2的整数。
进一步的，所述对原始图像中的像素进行聚类分析采用均值漂移算法。
第二方面，本公开实施例提供一种图像分割系统，包括：聚类模块、截取模块、获取模块和映射模块；
所述聚类模块设置为对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
所述截取模块设置为从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同分辨率的图像块；
所述获取模块设置为针对每个超像素，将截取的多个不同分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；
所述映射模块设置为将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
进一步的，所述截取模块包括：
选取单元，其设置为从经过聚类分析的图像中选取一个超像素；
截取单元，其设置为以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块，
所述选取单元还设置为以所述最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
所述截取单元还设置为对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
所述选取单元和截取单元还设置为按同样步骤完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
进一步的，对于经过聚类分析的图像中的超像素A1，
所述选取单元具体设置为从经过聚类分析的图像中选取超像素A1；
所述截取单元具体设置为以所述选取单元选取的所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
所述选取单元还设置为以所述圆心O1为中心，从经过聚类分析的图像中选取2N×D1为边长的正方形图像块B1；
所述截取单元还设置为对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；以及，
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低。
进一步的，所述获取模采用如下公式得到所述超像素的最终分割结果：
Figure BDA0002813288910000051
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure BDA0002813288910000052
n为不小于2的整数。
第三方面，本公开实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行如第一方面中任一所述的图像分割方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，包括：计算机程序，当其在计算机上运行时，使得计算机执行如第一方面中任一所述的图像分割方法。
有益效果：
本公开提供的图像分割方法、系统、计算机设备及计算机可读存储介质，先通过传统聚类算法实现图像的预处理，使得图像中特征相似的像素聚类为一个超像素；然后基于多分辨率的CNN网络实现图像中每个超像素的深层特征提取，从而实现图像中目标的精准分割。这本公开技术方案中，超像素聚类的预处理不仅提高了图像分割的时效，而且更加明确了边缘有歧义像素的特征，使得待分割图像中目标的边缘更加清晰。并且，多分辨率CNN对超像素的特征提取过程不仅是对所输入超像素的特征学习，还有对相邻超像素的特征学习，这实现了图像的局部与全局特征同时学习，进一步提高了图像分割的精度。同时，本公开的图像分割方法没有特定的参数设置，可适用于多数的实际行业应用。
附图说明
图1为本公开实施例一提供的一种图像分割方法的流程图；
图2为本公开实施例二提供的一种图像分割方法的流程图；
图3为本公开实施例三提供的一种图像分割系统的架构图。
具体实施方式
为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和实施例对本公开作进一步详细描述。
其中，在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚的表示其他含义。
图像分割(image segmentation)技术是计算机视觉领域的重要研究方向，是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程，从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。近些年来随着深度学习技术的逐步深入，图像分割技术有了突飞猛进的发展，该技术相关的场景物体分割、人体前背景分割、人脸人体Parsing、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。但现有的图像分割方法还存在耗时长，图像分割结果粗糙，以及适用性较差的问题，如何通过各种新理论和新技术结合，使图像分割方法更快速、更精确是目前亟待解决的问题。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本公开实施例一提供的一种图像切割方法的流程图，如图1所示，所述方法包括：
步骤S101：对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
步骤S102：从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块；
步骤S103：针对每个超像素，将截取的多个不同图像分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；以及，
步骤S104：将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
图像分割中的超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定意义的不规则的像素块。它利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图像特征，很大程度上降低了图像处理的复杂度，所以通常作为分割算法的预处理步骤。超像素作为图像处理其他算法的预处理，在不牺牲太大精确度的情况下降维。超像素最直观的解释是把一些具有相似特性的像素“聚合”起来，形成一个更具有代表性的大“元素”。而这个大元素，将作为其他图像处理算法的基本单位。这样可以降低维度，剔除一些异常像素点。
将图像进行聚类分析后，选取图像中的超像素，计算该超像素的最小外接圆，以该圆的圆心为中心，分别截取多个不同分辨率的图像块，通过下采样可以截取出该超像素从高到低的不同分辨率的图像块，分别输入到对应的已经过训练的多个CNN网络中进行特征提取，CNN网络的数量一般为3个，分别对应3种不同分辨率的图像块；获得各个分辨率图像块的CNN网络特征提取结果，即从CNN网络输出的所述超像素的各个分割结果，按其占比计算得到超像素的最终分割结果。将每个超像素分割结果映射到原图，得到原始图像的分割结果；所述映射过程与现有技术中采用的方式相同，此处不在赘叙。
通过超像素聚类的预处理不仅提高了图像分割的时效，而且更加明确了边缘有歧义像素的特征，使得待分割图像中目标的边缘更加清晰。并且，多分辨率CNN对超像素的特征提取实现了图像的局部与全局特征同时学习，进一步提高了图像分割的精度。
进一步的，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，包括：
从经过聚类分析的图像中选取一个超像素；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
下采样原理：对于一幅图像I尺寸为M×N，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值；图像下采样可以通俗地理解成缩小图像，又称为降采样；可以使得图像符合显示区域的大小；并生成对应图像的缩略图。
通过对下采样后截取同一中心的不同分辨率的图像块，由此获得的图像块包含了更多的全局特征，下采样的次数可由本领域技术人员根据实际情况进行设定，最少可以为一次；通过多分辨率图像块截取不仅是对所输入超像素的特征学习，还有对相邻超像素的特征学习，实现了图像的局部与全局特征同时学习，进一步提高了图像分割的精度。
进一步的，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，具体包括：
从经过聚类分析的图像中选取超像素A1；
以所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
以所述圆心O1为中心，从原始图像中选取2N×D1为边长的正方形图像块B1；
对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
截取的高分辨率图像块相对具有最高(与原图相同)的分辨率P1，并且图像块P1包含局部特征；截取的相对低分辨率图像块P2，所述图像块P2既包含局部特征也包含相对全局的特征；
对所述图像块B2再进行一次下采样得到以所述圆心O1为中心的D1×D1的图像块P3；截取的低分辨率图像块P3，所述图像块P3包含相对全局的特征；一般的，N可以为2、3、4。
通过对包含超像素的图像块P1进行截取，图像块P1的分辨率最高，包括的局部特征相对较多，在通过下采样后截取相对低分辨率图像块P2，以及进一步下采样得到低分辨率图像块P3，得到从高到低分辨率的3个图像块，各个图像块包括的全局特征和局部特征不同，全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，全局特征描述不适用于图像混叠和有遮挡的情况。局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。通过局部与全局特征同时学习，可以提高图像分割的精度。
进一步的，所述根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果，采用如下公式：
Figure BDA0002813288910000101
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure BDA0002813288910000102
n为不小于2的整数。
在本实施例的一种实施方式中，截取了如上所述的3个图像块块P1、P2、P3，分别将三个不同分辨率图像块P1、P2、P3输入CNN网络提取特征，输出所述超像素的三个分割结果S1、S2、S3；
根据输出的所述超像素的三个分割结果S1、S2、S3得到所述超像素的最终分割结果S，其中，
Figure BDA0002813288910000111
在提取特征时，预先训练有对应不同分辨率的3个不同的CNN网络，高分辨率图像块P1输入CNN1网络提取特征，相对低分辨率图像块P2输入CNN2网络提取特征，低分辨率图像块P3输入CNN3网络提取特征，得到三个分割结果S1、S2、S3；通过基于多分辨率的CNN网络实现图像中每个超像素的深层特征提取，通过多分辨率特征的分类投票实现图像分割。进一步提高了图像分割的精度。
CNN网络的训练过程是比较成熟的现有技术，例如可以采用反向传播算法，反向传播，就是对比预测值和真实值，继而返回去修改网络参数的过程，一开始我们随机初始化卷积核的参数，然后以误差为指导通过反向传播算法，自适应地调整卷积核的值，从而最小化模型预测值和真实值之间的误差。
进一步的，所述对原始图像中的像素进行聚类分析采用均值漂移算法。
均值漂移聚类是基于滑动窗口的算法，以试图找到数据点的密集区域。这是一个基于质心的算法，目标是定位每个组/类的中心点，通过将中心点的候选点更新为滑动窗口内点的均值来完成。然后，在后处理阶段对这些候选窗口进行过滤以消除近似重复，形成最终的中心点集及其相应的组。均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。它显著的优点是算法计算量小，简单易实现。
本公开实施例的图像分割方法是基于超像素聚类的多分辨率CNN图像分割方法。先通过聚类算法实现图像的预处理，使得图像中特征相似的像素聚类为一个超像素。再基于多分辨率的CNN网络实现图像中每个超像素的深层特征提取，从而实现图像中目标的精准分割。在本实施例中，超像素聚类的预处理不仅提高了图像分割的时效，而且更加明确了边缘有歧义像素的特征，使得待分割图像中目标的边缘更加清晰。然后，多分辨率CNN对超像素的特征提取过程不仅是对所输入超像素的特征学习，还有对相邻超像素的特征学习，实现了图像的局部与全局特征同时学习，进一步提高了图像分割的精度。同时，由于本实施例的图像分割方法没有特定的参数设置，可适用于多数的实际行业应用。
为了更加清楚的描述本公开的技术方案，如图2所示，本公开实施例二提供一种图像分割方法，包括：
步骤S1：预处理阶段，包括输入图像和图像预处理；
图像预处理采用均值漂移(mean-shift)的方法对图像中的像素进行聚类分析，实现特征相似的像素聚集为一个超像素，此时图像的基本单位是超像素而不是像素；
步骤S2：多分辨率CNN提取特征阶段，包括：
截取3种不同分辨率的超像素区域：
从原始图像中选取一个超像素A1，计算该超像素的最小外接圆，以该圆的圆心O1为中心，以该圆的直径D1为边长，截取D1×D1的图像块P1，此时P1包含局部特征；
截取以O1为中心4×D1为边长的图像块B1，对B1进行下采样得到2×D1为边长的B2图像块，在B2中以O1为圆心截取D1×D1的图像块P2，此时P2包含局部特征也包含相对全局的特征；
对B2再进行一次下采样得到D1×D1的图像块P3，此时P3包含相对全局的特征。
超像素分割结果：
将截取的高分辨率图像块P1输入CNN1网络提取特征，截取的相对低分辨率图像块P2输入CNN2网络提取特征，截取的低分辨率图像块P3输入CNN3网络提取特征，通过三个不同分辨率的CNN网络特征提取，输出所在超像素的三个分割结果S1、S2、S3，超像素的最终分割结果S可表示为：
Figure BDA0002813288910000131
步骤S3：分割结果输出，将每个超像素分割结果映射到原图，得到原始图像的分割结果。
图3为本公开实施例三提供的一种图像分割系统的架构图，如图2所示，包括：聚类模块1、截取模块2、获取模块3和映射模块4；
所述聚类模块1设置为对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
所述截取模块2设置为从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同分辨率的图像块；
所述获取模块3设置为针对每个超像素，将截取的多个不同分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；
所述映射模块4设置为将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
进一步的，所述截取模块2包括：
选取单元21，其设置为从经过聚类分析的图像中选取一个超像素；
截取单元22，其设置为以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块，
所述选取单元21还设置为以所述最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
所述截取单元22还设置为对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
所述选取单元21和截取单元22还设置为按同样步骤完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
进一步的，对于经过聚类分析的图像中的超像素A1，
所述选取单元21具体设置为从经过聚类分析的图像中选取超像素A1；
所述截取单元22具体设置为以所述选取单元21选取的所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
所述选取单元21还设置为以所述圆心O1为中心，从经过聚类分析的图像中选取2N×D1为边长的正方形图像块B1；
所述截取单元22还设置为对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；以及，
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低。
进一步的，所述获取模3采用如下公式得到所述超像素的最终分割结果：
Figure BDA0002813288910000141
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure BDA0002813288910000142
n为不小于2的整数。
进一步的，所述获取模块3包括
输入单元31，其设置为分别将截取单元22截取的三个不同分辨率图像块P1、P2、P3输入CNN网络提取特征，以输出所述超像素的三个分割结果S1、S2、S3；
计算单元32，其设置为根据输出的所述超像素的三个分割结果S1、S2、S3得到所述超像素的最终分割结果S，其中，
Figure BDA0002813288910000151
本公开实施例的图像分割系统用于实施方法实施例一中的图像分割方法，所以描述的较为简单，具体可以参见前面方法实施例一中的相关描述，此处不再赘述。
此外，本公开实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述各种可能的方法。
此外，本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC(Application Specific Integrated Circuit，专用集成电路)中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (11)

1.一种图像分割方法，其特征在于，包括：
对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块；
针对每个超像素，将截取的多个不同图像分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；以及，
将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，包括：
从经过聚类分析的图像中选取一个超像素；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块；
以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
3.根据权利要求2所述的方法，其特征在于，所述从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同图像分辨率的图像块，具体包括：
从经过聚类分析的图像中选取超像素A1；
以所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
以所述圆心O1为中心，从原始图像中选取2N×D1为边长的正方形图像块B1；
对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低；
重复上述步骤直至完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
4.根据权利要求1所述的方法，其特征在于，所述根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果，采用如下公式：
Figure FDA0002813288900000021
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure FDA0002813288900000022
n为不小于2的整数。
5.根据权利要求1所述的方法，其特征在于，所述对原始图像中的像素进行聚类分析采用均值漂移算法。
6.一种图像分割系统，其特征在于，包括：聚类模块、截取模块、获取模块和映射模块；
所述聚类模块设置为对原始图像中的像素进行聚类分析，以将特征相似的像素聚集为超像素；
所述截取模块设置为从经过聚类分析的图像中选取每个超像素，并以每个超像素的最小外接圆的圆心为中心，分别截取每个超像素对应的多个不同分辨率的图像块；
所述获取模块设置为针对每个超像素，将截取的多个不同分辨率的图像块分别输入至对应的卷积神经网络进行提取特征，以得到所述超像素的多个不同分割结果，再根据所述超像素的多个不同分割结果得到所述超像素的最终分割结果；
所述映射模块设置为将每个超像素的最终分割结果映射到原始图像，以得到原始图像的分割结果。
7.根据权利要求6所述的系统，其特征在于，所述截取模块包括：
选取单元，其设置为从经过聚类分析的图像中选取一个超像素；
截取单元，其设置为以所述超像素的最小外接圆的圆心为中心从经过聚类分析的图像中截取包含所述超像素的第一图像块，
所述选取单元还设置为以所述最小外接圆的圆心为中心从经过聚类分析的图像中选取包含所述第一图像块的第二图像块；
所述截取单元还设置为对所述第二图像块依次进行下采样，每次下采样后都以所述超像素的最小外接圆的圆心为中心，从完成本次下采样的图像中截取一个与所述第一图像块尺寸相同且图像分辨率更低的图像块；
所述选取单元和截取单元还设置为按同样步骤完成其余超像素各自对应的多个不同图像分辨率的图像块的截取。
8.根据权利要求7所述的系统，其特征在于，对于经过聚类分析的图像中的超像素A1，
所述选取单元具体设置为从经过聚类分析的图像中选取超像素A1；
所述截取单元具体设置为以所述选取单元选取的所述超像素A1的最小外接圆的圆心O1为中心，以该最小外接圆的直径D1为边长，从经过聚类分析的图像中截取D1×D1的图像块P1；
所述选取单元还设置为以所述圆心O1为中心，从经过聚类分析的图像中选取2N×D1为边长的正方形图像块B1；
所述截取单元还设置为对所述图像块B1进行下采样以得到边长为2N-1×D1的正方形图像块B2，并以所述圆心O1为中心从所述图像块B2中截取D1×D1的图像块P2；以及，
对所述图像块B2进行下采样直至得到以所述圆心O1为中心的D1×D1的图像块，截取该图像块作为图像块P3；
其中N为不小于2的整数，图像块P1、P2、P3的图像分别率依次变低。
9.根据权利要求7所述的系统，其特征在于，所述获取模采用如下公式得到所述超像素的最终分割结果：
Figure FDA0002813288900000041
其中，S为所述超像素的最终分割结果；Si为所述超像素的第i个分割结果，Ai为Si的对应权重值，且
Figure FDA0002813288900000042
n为不小于2的整数。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-5中任一项中所述的图像分割方法。
11.一种计算机可读存储介质，包括：计算机程序，当其在计算机上运行时，使得计算机执行根据权利要求1-5中任一项所述的图像分割方法。
CN202011403860.1A 2020-12-02 2020-12-02 图像分割方法、系统、计算机设备及存储介质 Pending CN112561925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011403860.1A CN112561925A (zh) 2020-12-02 2020-12-02 图像分割方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011403860.1A CN112561925A (zh) 2020-12-02 2020-12-02 图像分割方法、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112561925A true CN112561925A (zh) 2021-03-26

Family

ID=75048094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011403860.1A Pending CN112561925A (zh) 2020-12-02 2020-12-02 图像分割方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112561925A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
CN118097309A (zh) * 2024-04-23 2024-05-28 西安交通大学医学院第一附属医院 基于k-means聚类的颅脑肿瘤提取方法
CN118097309B (zh) * 2024-04-23 2024-07-12 西安交通大学医学院第一附属医院 基于k-means聚类的颅脑肿瘤提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107016677A (zh) * 2017-03-24 2017-08-04 北京工业大学 一种基于fcn和cnn的云图分割方法
US20180012365A1 (en) * 2015-03-20 2018-01-11 Ventana Medical Systems, Inc. System and method for image segmentation
CN111860465A (zh) * 2020-08-10 2020-10-30 华侨大学 基于超像素的遥感图像提取方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012365A1 (en) * 2015-03-20 2018-01-11 Ventana Medical Systems, Inc. System and method for image segmentation
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107016677A (zh) * 2017-03-24 2017-08-04 北京工业大学 一种基于fcn和cnn的云图分割方法
CN111860465A (zh) * 2020-08-10 2020-10-30 华侨大学 基于超像素的遥感图像提取方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANGYANG CHEN等: "Superpixel based land cover classification of VHR satellite image combining multi-scale CNN and scale parameter estimation", 《EARTH SCIENCE INFORMATICS》, pages 1 - 23 *
刘丹等: "一种多尺度CNN的图像语义分割算法", 《遥感信息》, vol. 32, no. 1, pages 57 - 64 *
高涵: "面向对象的高分辨率遥感图像深度特征提取与分类研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 04, pages 53 - 54 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
CN113657479B (zh) * 2021-08-12 2022-12-06 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
CN118097309A (zh) * 2024-04-23 2024-05-28 西安交通大学医学院第一附属医院 基于k-means聚类的颅脑肿瘤提取方法
CN118097309B (zh) * 2024-04-23 2024-07-12 西安交通大学医学院第一附属医院 基于k-means聚类的颅脑肿瘤提取方法

Similar Documents

Publication Publication Date Title
Ma et al. Infrared and visible image fusion via gradientlet filter
CN109635744B (zh) 一种基于深度分割网络的车道线检测方法
Shi et al. Infrared dim and small target detection based on denoising autoencoder network
CN102360421B (zh) 一种基于视频流的人脸识别方法及系统
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
Zhou et al. Scale adaptive image cropping for UAV object detection
Roa'a et al. Generation of high dynamic range for enhancing the panorama environment
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
Freedman et al. Fast mean shift by compact density representation
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
Xu et al. Unsupervised color image segmentation with color-alone feature using region growing pulse coupled neural network
Kang et al. Context pyramidal network for stereo matching regularized by disparity gradients
CN114612456B (zh) 一种基于深度学习的钢坯自动语义分割识别方法
CN111199245A (zh) 油菜害虫识别方法
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
Gu et al. A classification method for polsar images using SLIC superpixel segmentation and deep convolution neural network
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112561925A (zh) 图像分割方法、系统、计算机设备及存储介质
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN117115563A (zh) 基于区域语义感知的遥感土地覆盖分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination