CN104123713B - 多图像联合分割方法和装置 - Google Patents
多图像联合分割方法和装置 Download PDFInfo
- Publication number
- CN104123713B CN104123713B CN201310150162.9A CN201310150162A CN104123713B CN 104123713 B CN104123713 B CN 104123713B CN 201310150162 A CN201310150162 A CN 201310150162A CN 104123713 B CN104123713 B CN 104123713B
- Authority
- CN
- China
- Prior art keywords
- image
- energy function
- subregion
- foreground area
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分割。所述方法包括：将每张图像划分为多个子区域；提取每一张图像的各张子区域的特征；基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
Description
技术领域
本发明涉及图像分割技术，特别涉及对于多张具有相同物体的图像进行联合分割的技术。
背景技术
传统的图像分割方法是对每张图像独立进行分割。为了增强分割准确度，传统方法会采集一些训练样本进行学习，用学习出来的模型对测试图像进行分割。上述方法的缺点在于需要为这些训练样本精确地标注出前背景图像，而这需要投入高昂的人力劳动，因此难以有效推广到实际问题中。
联合分割问题是另一类图像分割方法，该方法同时对多张图像进行分割。对于若干张包含同一类物体的图像，联合分割的目标是根据图像间的相似性，同时找到每张图像中的前景部分。
然而，由于没有精确的训练样本可供参考，且不同图像间的前景物体可能会呈现一定的视觉差异，导致联合分割的难度很大。现有的联合分割方法往往只适合同时分割两张或少量的几张图像，而对于十张以上的图像则难以进行有效处理。本专利提出一种有效的快速算法，同时考虑了图像内距离，图像间距离和前背景平衡度，可以快速地分割大量的包含同一物体的图像。本专利所提出的联合分割技术，可以用于图像分类，图像检索以及物体跟踪等多种实际问题，具有广泛的通用性。
发明内容
本专利提出一种高效的联合分割方法，其中同时考虑了图像内距离，图像间距离和前背景平衡度，可以快速地对大量包含同一物体的图像进行图像分割。本专利所提出的联合分割技术，可以用于图像分类，图像检索以及物体跟踪等多种实际问题，具有广泛的通用性。
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本发明的一个方面，公开了一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分割，所述方法包括：将每张图像分割为多个子区域，提取每一张图像的各张子区域的特征；基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各张子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；根据上述计算结果，对各张图像进行分割，得到各张图像中的前景区域。
根据本发明的另一个方面，公开了一种对多张图像实现联合分割的装置，用于对多张包含同一类物体的图像进行分割，所述装置包括：子区域划分单元，用于将每张图像划分为多个子区域；特征提取单元，用于提取每一张图像的各张子区域的特征；前景区域确定单元，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；图像分割单元，用于根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。
图1示出了根据本发明的对多张图像实现联合分割的方法示意性流程图；
图2示出了根据本发明的对多张图像实现联合分割的装置的示意性结构图；
图3示出了前景区域确定单元203的示意性结构图；
图4示出了N张具有同一类物体的图像在分割前与分割后的示意图；
图5示出了可用于实施根据本公开的实施例的计算机的示意性结构图。
具体实施方式
图1示出了根据本发明的多图像联合分割方法的示意性流程图。
首先，在步骤S101中，将要进行分割的多张包含同一类物体的图片分别划分为多个子区域。
在步骤S102中，提取每一张图像中的各个子区域的特征，提取每一张图像的各张子区域的特征，其中，所述特征包括子区域的图像特征以及相邻子区域的相邻边长，并且所述图像特征可以包括颜色特征、纹理特征或灰度特征等。
在步骤S103中，基于在步骤S102中所提取的各个子区域的特征，并根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵。
最后，在步骤S104中，根据步骤S103的计算结果，将各张图像分割为前景和背景。
上述步骤S103中的计算各张图像中的各个子区域是否属于前景区域具体包括构建能量函数、最小化所述能量函数、计算各个子区域的向量，以及对计算得出的子区域向量进行二值化，从而确定该子区域是否属于前景区域等几个步骤。
首先，根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数，所述能量函数中包括根据各张图像内相邻子区域的特征的相似度构建的基于图像内距离的能量函数部分、根据各张图像的前景区域的特征的相似度构建的基于图像间距离的能量函数部分，以及根据各张图像的前景区域和背景区域的比例构建的基于前背景平衡度的能量函数部分，将上述三部分能量函数加权求和，即形成了基于每张图像的子区域向量的能量函数。
其次，将所构建的能量函数转化为凸集二次规划形式，并使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环；其中，判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
其中，对每次迭代中计算得出的当前子区域的向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
通过上述步骤，确定了各张图像中的子区域属于前景区域或是背景区域，从而实现了图像中前景区域和背景区域的分割。
如图2所示，本发明还公开了一种对多个图像实现联合分割的装置200，其用于对多张包含同一类物体的图像进行分割。所述装置200包括子区域划分单元201、特征提取单元202、前景区域确定单元203，图像分割单元204，其中，前景区域确定单元203进一步包括能量函数构建模块2031、能量函数计算模块2032，以及子区域向量值确定模块2033。
其中，子区域划分单元201用于将每张图像划分为多个子区域，特征提取单元202用于提取每一张图像的各张子区域的特征，前景区域确定单元203，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；图像分割单元204，用于根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
下面将参照图3详细描述前景区域确定单元203的处理过程。
前景区域确定单元203中的能量函数构建模块2031基于特征提取单元202所提取每一张图像的各张子区域的特征，根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数，所述能量函数中包括根据各张图像内相邻子区域的特征的相似度构建的基于图像内距离的能量函数部分、根据各张图像的前景区域的特征的相似度构建的基于图像间距离的能量函数部分，以及根据各张图像的前景区域和背景区域的比例构建的基于前背景平衡度的能量函数部分，将上述三部分能量函数加权求和，即形成了基于每张图像的子区域向量的能量函数。
接下来，能量函数计算模块将能量函数构建模块2031所构建的能量函数转化为凸集二次规划形式，并使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环；其中，判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
其中，子区域向量值确定模块2033对每次迭代中计算得出的当前子区域的向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
通过上述处理，确定了各张图像中的子区域属于前景区域或是背景区域，从而在各张图像中分割出前景区域和背景区域。
下文中，为了更清楚的描述本发明的方法以及装置，将以图4中所示的多个图像的联合分割为例来进行说明。
如图4所示，其中的输入为N张图像，并已知每张图像都包含了同一类物体（即，人体），目标是对每张图像分割出该物体所处的前景区域。
本实施例的操作包括以下步骤：
（1）首先将每张图像Xi划分为si个子区域，其中，可以采用一些现有的技术实现图像的分割，例如，快速移动(quick shift)图像分割算法。子区域的数目si为经验参数，一般在40到60个之间。
（2）预处理，包括：
（2.1）对每张图像Xi中每个子区域j，根据其包含的像素点颜色值计算颜色直方图(color histogram)，作为该子区域的特征，表示为向量hi(j),j∈[1,si]。
（2.2）计算每个子区域与其相邻子区域的边长，即相邻像素点的个数。子区域j和k的相邻的边长表示为α(j,k)。
（3）以子区域为变量，建立一个能量函数最小化问题(energy functionminimization problem)。
具体来说，对于N张输入图像，每张图像Xi的前景区域由向量yi来定义。该向量yi的维度si为图像Xi中子区域的数量，每个子区域j对应yi(j)，yi(j)为二值变量，当值为1时代表该子区域属于前景，为0时代表背景。
使用每张图像的yi作为能量函数的变量进行最小化求解。该能量函数由图像内距离，图像间距离和前背景平衡度三部分组成，每部分的定义和作用如下：
图像内距离考虑了图像内部相邻子区域的前背景一致性，目的是使得当相邻子区域的特征接近时，它们的前背景取值尽可能一致。图像Xi内相邻两个子区域j,k的距离Wi(j,k)定义为:
其中，α(j,k)为子区域j和k的相邻的边长，N(j)为j的相邻子区域的集合，θ为常数。当j和k不相邻时，Wi(j,k)定义为0。得到Wi(j,k)后，对应的能量函数Eintra按如下方式计算：
其中
用于衡量相邻子区域j和k的取值是否一致。
计算图像之间前景区域的相似度，即图像间距离测度，目的是使图像之间的前景区域尽可能相似。图像前景区域的特征可表示为:
其中Hi是一个维度si×si的矩阵，每一行代表了每个子区域的特征hi(j)。与图像间距离所对应的能量函数Einter按如下方式计算：
前背景平衡度的目的是为了防止在求解能量函数最小化时，所得到的所有子区域都属于前景或都属于背景区域。本实施例中采用属于前景和背景子区域的比例熵来度量前背景平衡度，前景比例可由(yi T·e)/si得到，其中e是一个维度与yi相等，每个元素值为1的向量，背景比例可由得到。与前背景平衡度对应的能量函数Ebal按如下方式计算：
综上所述，整个能量函数即由三部分相加得到:
E＝Einter+λ1Eintra+λ2Ebal
其中λ1和λ2用于控制相应部分所占的比例，可以在104-106之间根据经验进行取值。
（4）得到能量函数的定义后，本实施例将其转化为凸集二次规划问题进行最小化求解。由此，上述能量函数各部分的转化方式分别如下：
图像内距离对应的能量函数Eintra可直接转化为：
其中是一个维度si×si的矩阵，其主对角线上的元素(j,j)通过如下公式得到：
其他位置的元素（j，k）通过如下公式得到：
图像间距离对应的能量函数Einter可直接转化为：
其中
前背景平衡度对应的能量函数Ebal通过泰勒展开式近似为如下二次规划的形式：
整个能量函数E即由三部分相加得到：
对于该凸集二次规划式，本实施例采用一种迭代的方法，在每次迭代中固定其他图像的子区域变量值，对每张图像的子区域变量yi单独进行求解，以降低每次求解过程中变量的个数，从而加快计算速度，具体流程如下:
第一步，设定每张图像yi中每个子区域的初始值为1。
第二步，在一次循环过程中分别计算每张图像yi的值，在计算当前图像yi的时候固定其他图像子区域变量的当前值（即视为常数）。此时整个能量函数可转化成以yi为变量的凸集二次规划函数Ei：
其中C在该二次规划函数中为常数项，其值对求解该函数的yi没有影响，yi(j)在求解过程中暂时从二值放宽到[0,1]区间。可以采用一些现有的技术来解该二次规划函数，如内点法(interior point)、活动集(active set)和共轭梯度法等，本实施例采用活动集方法来得到该问题的解。
在得到yi的解之后，再将yi中的每个元素yi(j)进行二值化，以得到图像的当前前景区域，具体方式为：若yi(j)≥0.5，将yi(j)设为1，该子区域j划为前景，反之yi(j)设为0，划为背景区域。
第三步，判断能量函数是否收敛，或循环次数是否大于阈值，若均没有，则返回第二步循环继续迭代计算每张图像yi的值，否则结束求解过程，输出当前每张图像的yi值。
通过上述方法步骤，能够对图4中所示的N张图像进行联合分割，从而得到N张分割后的图像，其中前景区域和背景区域成功的实现分割。
由于本专利所提出的能量函数最小化方法同时考虑了图像内部相似区域的前背景一致性，图像之间的前景区域相似度，以及前景和背景区域的平衡性，由该算法所解出的前景区域可以有效的定位到这些图像共同包含的物体所在位置。
应理解，上述实施例和示例是示例性的，而不是穷举性的，本公开不应被视为局限于任何具体的实施例或示例。
作为一个示例，上述方法的各张步骤以及上述设备的各张组成模块和/或装置可以实施为的软件、固件、硬件或其组合。例如，可以作为具有图像处理功能的各种设备（如计算机、个人数字助理、照相机、摄像机及其他图像处理设备等，这里不一一列举）的一部分。上述设备中各张组成模块通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。
如上所述，上述方法和设备中对图像进行处理的步骤和模块可以通过软件来实现。从存储介质或网络向具有专用硬件结构的计算机（例如图5所示的通用计算机500）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM503中，也根据需要存储当CPU501执行各种处理等等时所需的数据。CPU501、ROM502和RAM503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505：输入部分506（包括键盘、鼠标等等）、输出部分507（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分508（包括硬盘等）、通信部分509（包括网络接口卡比如LAN卡、调制解调器等）。通信部分509经由网络比如因特网执行通信处理。根据需要，驱动器510也可连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上，使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘（包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
通过以上的描述可以看出，根据本公开的实施例，提供了如下的方案：
附记1.一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分割，所述方法包括：
将每张图像划分为多个子区域；
提取每一张图像的各张子区域的特征；
基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；
根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
附记2.如附记1所述的方法，其中，根据各张图像的图像内距离、图像间距离以及前背景平衡度的计算步骤包括：
根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数；
通过对所述能量函数最小化来计算每张图像的子区域向量,所述每张图像的子区域向量包括多个元素，每一元素反映该图像中的相应子区域是否属于前景区域。
附记3.如附记2所述的方法，其中，根据图像内距离、图像间距离以及前背景平衡度构建基于每张图像的子区域向量的能量函数的步骤进一步包括：
根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数；
根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数；
根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数；
对上述分别构建的能量函数进行加权求和来构建基于每张图像的子区域向量的能量函数。
附记4.如附记2所述的方法，其中，所述计算步骤进一步包括：
将所述能量函数转化为凸集二次规划形式。
附记5.如附记4所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子区域向量包括：
使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环。
附记6.如附记5所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子区域向量进一步包括：
判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
附记7.如附记2-6中任意一项所述的方法，其中，所述计算步骤进一步包括：
对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
附记8.如附记2-6中任意一项所述的方法，其中，对于能量函数的计算使用内点法、活动集法或共轭梯度法。
附记9.如附记1-3中任意一项所述的方法，其中，所述各张图像中的子区域的特征包括：
子区域的图像特征以及相邻子区域的相邻边长。
附记10.如附记9所述的方法，其中，所述图像特征包括颜色特征、纹理特征或灰度特征。
附记11.一种对多个图像实现联合分割的装置，用于对多张包含同一类物体的图像进行分割，所述装置包括：
子区域划分单元，用于将每张图像划分为多个子区域；
特征提取单元，用于提取每一张图像的各张子区域的特征；
前景区域确定单元，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；
图像分割单元，用于根据上述计算结果，在各张图像中分割出前景区域以及背景区域。
附记12.如附记11所述的装置，其中，所述前景区域确定单元进一步包括能量函数构建模块，被配置为：
根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数；
通过对所述能量函数最小化来计算每张图像的子区域向量,所述每张图像的子区域向量包括多个元素，每一元素反映该图像中的相应子区域是否属于前景区域。
附记13.如附记12所述的装置，其中，所述能量函数构建模块进一步被配置为：
根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数；
根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数；
根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数；
对上述分别构建的能量函数进行加权求和来构建基于每张图像的子区域向量的能量函数。
附记14.如附记12所述的装置，其中，所述前景区域确定单元进一步包括能量函数计算模块，被配置为：
将所述能量函数转化为凸集二次规划形式。
附记15.如附记14所述的装置，其中，所述能量函数计算模块进一步被配置为：
使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环。
附记16.如附记15所述的装置，其中，所述能量函数计算模块进一步被配置为：
判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
附记17.如附记12-16中任意一项所述的装置，其中，所述前景区域确定单元进一步包括子区域向量值确定模块，被配置为：
对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
附记18.如附记12-16中任意一项所述的装置，其中，对于能量函数的计算使用内点法、活动集法或共轭梯度法。
附记19.如附记11-13中任意一项所述的装置，其中，所述各张图像中的子区域的特征包括：
子区域的图像特征以及相邻子区域的相邻边长。
附记20.如附记19所述的装置，其中，所述图像特征包括颜色特征、纹理特征或灰度特征。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
Claims (14)
1.一种对多张图像实现联合分割的方法，用于对多张包含同一类物体的图像进行分割，所述方法包括：
将每张图像划分为多个子区域；
提取每一张图像的各个子区域的特征；
基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；
根据上述计算的结果，在各张图像中分割出前景区域以及背景区域。
2.如权利要求1所述的方法，其中，根据各张图像的图像内距离、图像间距离以及前背景平衡度的计算步骤包括：
根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数；
通过对所述能量函数最小化来计算每张图像的子区域向量,所述每张图像的子区域向量包括多个元素，每一元素反映图像中的相应子区域是否属于前景区域。
3.如权利要求2所述的方法，其中，根据图像内距离、图像间距离以及前背景平衡度构建基于每张图像的子区域向量的能量函数的步骤进一步包括：
根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数；
根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数；
根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数；
对分别构建的基于图像内距离的能量函数、基于图像间距离的能量函数以及基于前背景平衡度的能量函数进行加权求和来构建基于每张图像的子区域向量的能量函数。
4.如权利要求2所述的方法，其中，所述计算步骤进一步包括：
将所述能量函数转化为凸集二次规划形式。
5.如权利要求4所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子区域向量包括：
使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环。
6.如权利要求5所述的方法，其中，通过对所述能量函数最小化来计算每张图像的子区域向量进一步包括：
判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
7.如权利要求2-6中任意一项所述的方法，其中，所述计算步骤进一步包括：
对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
8.一种对多个图像实现联合分割的装置，用于对多张包含同一类物体的图像进行分割，所述装置包括：
子区域划分单元，用于将每张图像划分为多个子区域；
特征提取单元，用于提取每一张图像的各个子区域的特征；
前景区域确定单元，用于基于上述提取的特征，根据各张图像的图像内距离、图像间距离以及前背景平衡度来计算各张图像中的各个子区域是否属于前景区域，其中，所述图像内距离表示各张图像中相邻子区域之间的相似度，所述图像间距离表示各张图像之间前景区域的相似度，所述前背景平衡度表示各张图像中属于前景区域的子区域和属于背景区域的子区域之间的比例熵；
图像分割单元，用于根据上述计算的结果，在各张图像中分割出前景区域以及背景区域。
9.如权利要求8所述的装置，其中，所述前景区域确定单元进一步包括能量函数构建模块，被配置为：
根据图像内距离、图像间距离以及前背景平衡度来构建基于每张图像的子区域向量的能量函数；
通过对所述能量函数最小化来计算每张图像的子区域向量,所述每张图像的子区域向量包括多个元素，每一元素反映图像中的相应子区域是否属于前景区域。
10.如权利要求9所述的装置，其中，所述能量函数构建模块进一步被配置为：
根据各张图像内相邻子区域的特征的相似度构建基于图像内距离的能量函数；
根据各张图像的前景区域的特征的相似度构建基于图像间距离的能量函数；
根据各张图像的前景区域和背景区域的比例构建基于前背景平衡度的能量函数；
对分别构建的基于图像内距离的能量函数、基于图像间距离的能量函数以及基于前背景平衡度的能量函数进行加权求和来构建基于每张图像的子区域向量的能量函数。
11.如权利要求8所述的装置，其中，所述前景区域确定单元进一步包括能量函数计算模块，被配置为：
将所述能量函数转化为凸集二次规划形式。
12.如权利要求11所述的装置，其中，所述能量函数计算模块进一步被配置为：
使用迭代的方式对所述凸集二次规划形式的能量函数进行计算；其中，在每次迭代中，将所述能量函数中其他图像的子区域向量设定为固定值，从而仅计算一个图像中的子区域向量，并依次循环。
13.如权利要求12所述的装置，其中，所述能量函数计算模块进一步被配置为：
判断所述能量函数是否收敛或迭代的循环次数是否大于预定阈值，如果其中任一结果为确定，则计算过程结束，如果均为否定，则继续进行迭代。
14.如权利要求9-13中任意一项所述的装置，其中，所述前景区域确定单元进一步包括子区域向量值确定模块，被配置为：
对计算得出的各个子区域的子区域向量进行二值化；其中，当子区域向量值为1时，该子区域为前景区域，当子区域向量值为0时，该子区域为背景区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310150162.9A CN104123713B (zh) | 2013-04-26 | 2013-04-26 | 多图像联合分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310150162.9A CN104123713B (zh) | 2013-04-26 | 2013-04-26 | 多图像联合分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104123713A CN104123713A (zh) | 2014-10-29 |
| CN104123713B true CN104123713B (zh) | 2017-03-01 |
Family
ID=51769112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310150162.9A Active CN104123713B (zh) | 2013-04-26 | 2013-04-26 | 多图像联合分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104123713B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2532194A (en) * | 2014-11-04 | 2016-05-18 | Nokia Technologies Oy | A method and an apparatus for automatic segmentation of an object |
| CN113077410A (zh) * | 2020-01-03 | 2021-07-06 | 上海依图网络科技有限公司 | 图像检测方法、装置方法、芯片及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663728A (zh) * | 2012-03-11 | 2012-09-12 | 西安电子科技大学 | 基于字典学习的医学图像交互式联合分割 |
| CN102855497A (zh) * | 2011-06-27 | 2013-01-02 | 富士通株式会社 | 获取图像描述信息的方法及装置以及分类器训练方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2814312B1 (fr) * | 2000-09-07 | 2003-01-24 | France Telecom | Procede de segmentation d'une surface image video par objets elementaires |
-
2013
- 2013-04-26 CN CN201310150162.9A patent/CN104123713B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855497A (zh) * | 2011-06-27 | 2013-01-02 | 富士通株式会社 | 获取图像描述信息的方法及装置以及分类器训练方法 |
| CN102663728A (zh) * | 2012-03-11 | 2012-09-12 | 西安电子科技大学 | 基于字典学习的医学图像交互式联合分割 |
Non-Patent Citations (5)
| Title |
|---|
| A Hierarchical Image Clustering Cosegmentation Framework;Edward Kim et al.;《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》;20120616;第686-693页 * |
| Discriminative clustering for image co-segmentation;Armand Joulin et al.;《2010 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》;20100613;第1943-1950页 * |
| From co-saliency to co-segmentation:An efficient and fully unsupervised energy minimization model;Kai-Yueh Chang et al.;《2011 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)》;20110620;第2129-2136页 * |
| 基于多尺度联合分割的SAR图像电力线走廊变化检测;吴晓东 等;《电力科学与技术学报》;20121231;第27卷(第4期);第51-56页 * |
| 基于局部图金字塔的不规则块匹配视频分割方法;彭小宁 等;《计算机科学》;20080430;第35卷(第4期);第233-237页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104123713A (zh) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108109162B (zh) | 一种利用自适应特征融合的多尺度目标跟踪方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN104732545B (zh) | 结合稀疏近邻传播和快速谱聚类的纹理图像分割方法 | |
| CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
| CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN111178261B (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
| CN109598220A (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
| CN108364305B (zh) | 基于改进型dsst的车载摄像视频目标跟踪方法 | |
| CN110147816B (zh) | 一种彩色深度图像的获取方法、设备、计算机存储介质 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN111310768A (zh) | 基于鲁棒性背景先验和全局信息的显著性目标检测方法 | |
| CN104123713B (zh) | 多图像联合分割方法和装置 | |
| JP6070420B2 (ja) | 画像処理装置及びプログラム | |
| CN114119669A (zh) | 一种基于Shuffle注意力的图匹配目标跟踪方法与系统 | |
| CN107194917B (zh) | 基于dap和arelm的在轨sar图像变化检测方法 | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| Xiao et al. | FastNet: A Lightweight Convolutional Neural Network for Tumors Fast Identification in Mobile Computer-Assisted Devices | |
| Lee et al. | Parallel block sequential closed-form matting with fan-shaped partitions | |
| CN107818287B (zh) | 一种客流统计装置及系统 | |
| CN106033550B (zh) | 目标跟踪方法及装置 | |
| Dzyubachyk et al. | A variational model for level-set based cell tracking in time-lapse fluorescence microscopy images | |
| Chalfoun et al. | Overlap-based cell tracker | |
| CN113506266A (zh) | 舌头腻苔的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |