CN111223118A - 图像处理装置、图像处理方法及计算机可读记录介质 - Google Patents

Abstract

公开了一种图像处理装置、图像处理方法及计算机可读记录介质。图像处理装置包括获得类别分割图单元、预测单元以及聚类单元，其中：获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；预测单元和聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

Description

图像处理装置、图像处理方法及计算机可读记录介质

技术领域

本公开涉及信息处理领域，具体涉及一种图像处理装置、图像处理方法及计算机可读记录介质。

背景技术

图像语义分割是当前热门的研究领域。大多数语义分割算法可以分割出图像中属于同一类别的区域，但是，这些语义分割算法不能识别属于同一类的对象实例。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

鉴于以上问题，本公开的目的是提供能够解决现有技术中的一个或多个缺点的图像处理装置和图像处理方法。

根据本公开的一方面，提供了一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；预测单元和聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

根据本公开的另一方面，提供了一种图像处理方法，包括获得类别分割图步骤、预测步骤以及聚类步骤，其中：在获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行预测步骤和聚类步骤中的处理：在预测步骤中，按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及在聚类步骤中，基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

根据本公开的又一方面，提供了一种记录有程序的计算机可读记录介质，所述程序用于使得计算机执行获得类别分割图步骤、预测步骤以及聚类步骤：在获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行预测步骤和聚类步骤中的处理：在预测步骤中，按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及在聚类步骤中，基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品。

在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。

附图说明

本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示出根据本公开实施例的图像处理装置的功能配置示例的框图；

图2A和2B分别是示出原始图像和该原始图像的类别分割图的示例的图，以及图2C是示出所选对象的掩膜的示例的图；

图3A和3B分别是示出根据本公开实施例的要构成超像素的像素的集合和所选对象的掩膜的示例的图；

图4A是示出根据本公开实施例的有关超像素的图模型的示例的图，以及图4B是示出根据本公开实施例的有关超像素的图模型的示意图；

图5是示出根据本公开实施例的确定分割区域中是否包括不止一个对象的示例的图；

图6是示出根据本公开实施例的图像处理方法的流程示例的流程图；以及

图7是示出作为本公开实施例中可采用的个人计算机的示例结构的框图。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。

下面结合附图详细说明根据本公开的实施例。

首先，将参照图1描述本公开实施例的图像处理装置100的功能框图。图1是示出根据本公开实施例的图像处理装置100的功能配置示例的框图。如图1所示，根据本公开实施例的图像处理装置100包括获得类别分割图单元102、预测单元104以及聚类单元106。

获得类别分割图单元102可以被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象。

现有的语义分割算法可以从原始图像分割出包括属于同一类别的对象的区域，从而获得分别与不同类别对应的类别分割图。作为示例，在获得类别分割图单元102中，可以利用现有的语义分割算法对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象。

图2A和2B分别是示出原始图像和该原始图像的类别分割图的示例的图。

在图2A所示的原始图像中，包括属于同一类别(即，车)的两个对象(即，两辆车)。在图2B所示的类别分割图中，从图2A所示的原始图像中分割出属于同一类别(即，车)的上述两个对象。

预测单元104和聚类单元106可以被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元104被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元106被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

作为示例，类别分割图中的分割区域是类别分割图中的前景区域。例如，在图2B所示的类别分割图中，包括两辆车的区域为分割区域。

作为示例，对于图2B所示的类别分割图中的分割区域，预测单元104从分割区域中选择一个对象例如位于左侧的车，并且利用现有技术预测图2B所示的位于左侧的车的掩膜。图2C是示出所选对象的掩膜的示例的图。图2C中的白色区域示出了图2B中位于左侧的车的掩膜。聚类单元106基于例如图2C所示的所预测的掩膜和像素区域的特征对像素区域进行聚类，从而可以得到图2B所示的位于左侧的车的轮廓。作为示例，聚类单元106可以使用k均值方法对原始图像中的所选对象的像素区域进行聚类，由此将原始图像中的与所选对象对应的区域分离为前景和背景两个部分，从而可以得到所选对象的轮廓。

作为示例，预测单元104和聚类单元106可以针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行以上处理，或者可以针对所述至少一个类别分割图中的每个类别分割图中的分割区域进行以上处理。

综上，根据本公开实施例的图像处理装置100针对包括属于同一类别的对象的类别分割图，通过结合掩膜信息和像素区域的特征来得到对象的轮廓，以分离出对象，因此能够将类别语义分割的结果变换成对象实例语义分割。即，通过根据本公开实施例的图像处理装置100，可以在不需要任何先验信息的情况下，从类别语义分割的结果分离出单个对象。

优选地，预测单元104可以进一步被配置为：当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。

作为示例，本领域技术人员可以根据经验来设定预定阈值。例如，可以将预定阈值设置为40％。在预定阈值被设置为40％的情况下，当面积最大的对象比其余对象的面积大40％时，选择面积最大的对象作为所述一个对象。

优选地，预测单元104可以进一步被配置为：当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。

作为示例，在预定阈值被设置为40％的情况下，当两个对象的面积之间的差别小于40％时，选择所述两个对象中的位于预定位置的一个对象，例如，选择所述两个对象中的位于左侧位置的一个对象。

优选地，在预测单元104中，利用神经网络来预测所选对象的掩膜。作为示例，可以利用全卷积网络来预测所选对象的掩膜。

作为示例，聚类单元106可以直接将所选对象中的像素作为像素区域，并基于所预测的掩膜和像素的特征对像素进行聚类，以得到所选对象的轮廓。作为示例，像素的特征包括像素的颜色信息和像素的位置信息。

优选地，聚类单元106可以被配置成将原始图像中与所选对象相对应的区域中的、其特性之间的差异小于预定阈值的像素构成的超像素作为像素区域，并基于所预测的掩膜和超像素的特征对超像素进行聚类，以得到所选对象的轮廓。具体地，由原始图像中的像素构成超像素。

作为示例，可以使用通过例如简单线性迭代聚类(SLIC)方法构建的超像素替代原始像素来进行聚类。图3A和3B分别是示出根据本公开实施例的要构成超像素的像素的集合和所选对象的掩膜的示例的图。图3A是基于原始图像得到的。在图3A中，原始图像的前景对象包括三头牛，每头牛上标出的曲线框代表通过例如SLIC方法得到的、要构成超像素的像素的集合(即，其特性之间的差异小于预定阈值的像素的集合)。在参照通过语义类别分割而获得的类别分割图、将图3A中的面积最大的牛(即，最左侧的牛)选择为所选对象的情况下，图3B中的白色区域示出了通过预测单元104预测得到的该所选对象的掩膜。

优选地，超像素的特征包括超像素的颜色信息和超像素的位置信息。

可以使用超像素的颜色信息、超像素的位置信息以及预测的所选对象的掩膜来对超像素进行聚类。用于聚类的特征向量由以下表达式表示：

f＝{x,y,r,g,b,m}

其中，x和y是超像素在整个对象中的位置，r、g以及b是超像素中颜色的均值，变量m是超像素中的掩膜的均值。

通过基于所预测的所选对象的掩膜和超像素的特征对超像素进行聚类，可以获得所选对象的最终掩膜，从而得到所选对象的轮廓。

根据本公开实施例的图像处理装置100从类别分割图中选择对象并预测所选对象的掩膜，基于所预测的掩膜和从原始图像得到的超像素的特征对超像素进行聚类，从而结合了类别分割图的信息和原始图像的信息。

此外，根据本公开实施例的图像处理装置100针对从类别分割图所选的所选对象，通过结合由神经网络获得的掩膜信息和从原始图像得到的超像素的特征，可以减少分离对象的处理中的错误概率。此外，由于超像素是由其特性之间的差异小于预定阈值的像素构成的，因此使用超像素替代原始像素来进行聚类，可以减少计算量。

优选地，聚类单元106可以被配置成利用有关超像素的图模型来对所述超像素进行聚类，其中，图模型的顶点为超像素，图模型的边表示通过所述边连接的超像素之间的相似度。

图4A是示出根据本公开实施例的有关超像素的图模型的示例的图，图4B是示出根据本公开实施例的有关超像素的图模型的示意图。

在图4A所示的图模型中，与图3A中的曲线框对应的曲线框中的点是图模型的顶点，该顶点表示超像素，连接顶点之间的边表示通过所述边连接的超像素之间的相似度。作为示例，边的权重可以是由相邻超像素的特征计算得到的欧氏距离。在图4B中，作为示例，两个顶点a和b分别表示超像素，连接顶点a和b的边表示通过所述边连接的超像素a和b之间的相似度。

由以上描述可知，使用图形模型可以为聚类提供更多的超像素之间的位置信息。

优选地，根据本公开实施例的图像处理装置100还可以包括确定单元，确定单元被配置成确定所述分割区域中是否包括不止一个对象。

作为示例，可以使用神经网络确定分割区域中是否包括不止一个对象。作为示例，可以仅使用一个神经网络来确定分割区域是否包括不止一个对象。具体地，该神经网络输出分割区域中包括多个对象的多对象概率，在所输出的多对象概率小于预定阈值的情况下，确定分割区域中包括单个对象，而在所输出的多对象概率大于所述预定阈值的情况下，确定分割区域中包括不止一个对象。

图5是示出根据本公开实施例的确定分割区域中是否包括不止一个对象的示例的图。

图5所示的原始图像的前景包括一个人和一个瓶子。现有的语义类别分割模型会将图5所示的原始图像分割成包括所述一个人的一个类别分割图和包括所述一个瓶子的另一类别分割图。作为示例，上述用于确定分割区域中是否包括不止一个对象的神经网络输出包括所述一个人的所述一个类别分割图的多对象概率为0.166，并且输出包括所述一个瓶子的所述另一个类别分割图的多对象概率为0.18。在所述预定阈值为0.5的情况下，因为0.166和0.18均小于0.5，因此，神经网络确定包括所述一个人的所述一个类别分割图和包括所述一个瓶子的所述另一个类别分割图中均包含单个对象。

作为示例，对于图2B所示的类别分割图，上述用于确定分割区域中是否包括不止一个对象的神经网络输出的多对象概率大于预定阈值，因此，确定图2B所示的类别分割图中包括不止一个对象。

优选地，根据本公开实施例的图像处理装置100还可以包括去除单元，去除单元被配置成从所述分割区域去除所选对象的轮廓所对应的区域，从而更新所述分割区域。

以图2B所示的类别分割图中的分割区域为例，假设所选对象为位于左侧的车，在聚类单元106得到该位于左侧的车的轮廓之后，去除单元可以从分割区域去除该位于左侧的车的轮廓所对应的区域，从而更新分割区域，使得更新后的分割区域不再包括两辆车，而是仅包括位于右侧的车。

优选地，在确定单元确定分割区域中包括不止一个对象的情况下，针对分割区域迭代地依次执行确定单元、预测单元104、聚类单元106以及去除单元中的处理，直到分割区域中仅包括一个对象为止。

作为示例，对于迭代处理终止时分割区域中仅包括的所述一个对象，可以通过预测单元104预测该对象的掩膜、然后通过聚类单元基于所预测的掩膜和超像素的特征对超像素进行聚类，来得到该对象的轮廓。替选地，还可以通过预测单元104预测该对象的掩膜，并基于所预测的掩膜直接得到该对象的轮廓。

由以上描述可知，通过对分割区域进行上述迭代处理，可以从分割区域分离出每个对象实例。以图2B所示的类别分割图中的分割区域为例，通过对分割区域进行上述迭代处理，可以从分割区域分别分离出作为左侧的车和位于右侧的车。

与上述图像处理装置实施例相对应地，本公开还提供了以下图像处理方法的实施例。

图6是示出根据本公开实施例的图像处理方法600的流程示例的流程图。

如图6所示，根据本公开实施例的图像处理方法600包括获得类别分割图步骤S602、预测步骤S604以及聚类步骤S606。

在获得类别分割图步骤S602中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象。

现有的语义分割算法可以从原始图像分割出包括属于同一类别的对象的区域，从而获得分别与不同类别对应的类别分割图。作为示例，在获得类别分割图步骤S602中，可以利用现有的语义分割算法对原始图像进行语义分割而获得至少一个类别分割图。

针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行S604以及聚类步骤S606中的处理：在预测步骤S604中，按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及在聚类步骤S606中，基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

作为示例，在聚类步骤S606中，可以使用k均值方法对原始图像中的所选对象的像素区域进行聚类，由此将原始图像中的与所选对象对应的区域分离为前景和背景两个部分，从而可以得到所选对象的轮廓。

综上，根据本公开实施例的图像处理方法600针对包括属于同一类别的对象的类别分割图，通过结合掩膜信息和像素区域的特征来得到对象的轮廓，以分离出对象，因此能够将类别语义分割的结果变换成对象实例语义分割。即，通过根据本公开实施例的图像处理方法600，可以在不需要任何先验信息的情况下，从类别语义分割的结果分离出单个对象。

优选地，在预测步骤S604中，当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。

优选地，在预测步骤S604中，当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。

优选地，在预测步骤S604中，利用神经网络来预测所选对象的掩膜。作为示例，可以利用全卷积网络来预测所选对象的掩膜。

作为示例，在聚类步骤S606中，可以直接将所选对象中的像素作为像素区域，并基于所预测的掩膜和像素的特征对像素进行聚类，以得到所选对象的轮廓。作为示例，像素的特征包括像素的颜色信息和像素的位置信息。

优选地，在聚类步骤S606中，将使所选对象中的、其特性之间的差异小于预定阈值的像素构成的超像素作为像素区域，并基于所预测的掩膜和超像素的特征对超像素进行聚类，以得到所选对象的轮廓。

优选地，超像素的特征包括超像素的颜色信息和超像素的位置信息。

有关超像素的具体示例可以参见以上装置实施例中相应部分例如关于聚类单元106的描述，在此不再重复。

根据本公开实施例的图像处理方法600从类别分割图中选择对象并预测所选对象的掩膜，基于所预测的掩膜和从原始图像得到的超像素的特征对超像素进行聚类，从而结合了类别分割图的信息和原始图像的信息。

此外，根据本公开实施例的图像处理方法600针对从类别分割图所选的所选对象，通过结合由神经网络获得的掩膜信息和从原始图像得到的超像素的特征，可以减少分离对象的处理中的错误概率。此外，由于超像素是由其特性之间的差异小于预定阈值的像素构成的，因此使用超像素替代原始像素来进行聚类，可以减少计算量。

优选地，在聚类步骤S606中，利用有关超像素的图模型来对所述超像素进行聚类，其中，图模型的顶点为超像素，图模型的边表示通过所述边连接的超像素之间的相似度。

关于有关超像素的图模型的具体示例可以参见以上装置实施例中相应部分例如关于图4A和4B的描述，在此不再重复。

优选地，根据本公开实施例的图像处理方法600还可以包括确定步骤，在确定步骤中，确定分割区域中是否包括不止一个对象。

有关确定分割区域中是否包括不止一个对象的具体示例可以参见以上装置实施例中相应部分例如关于确定单元的描述，在此不再重复。

优选地，根据本公开实施例的图像处理方法600还可以包括去除步骤，在去除步骤中，从分割区域去除所选对象的轮廓所对应的区域，从而更新分割区域。

优选地，在确定步骤中确定分割区域中包括不止一个对象的情况下，针对分割区域迭代地依次执行确定步骤、预测步骤、聚类步骤以及去除步骤中的处理，直到分割区域中仅包括一个对象为止。

通过对分割区域进行上述迭代处理，可以从分割区域分离出每个对象实例。

应指出，尽管以上描述了根据本公开实施例的图像处理装置和方法的功能配置以及操作，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块和操作进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。

此外，还应指出，这里的方法实施例是与上述装置实施例相对应的，因此在方法实施例中未详细描述的内容可参见装置实施例中相应部分的描述，在此不再重复描述。

此外，本公开还提供了存储介质和程序产品。根据本公开实施例的存储介质和程序产品中的机器可执行的指令可以被配置成执行上述图像处理方法，因此在此未详细描述的内容可参考先前相应部分的描述，在此不再重复进行描述。

相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图7所示的通用个人计算机700安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，也根据需要存储当CPU 701执行各种处理等时所需的数据。

CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。

下述部件连接到输入/输出接口705：输入部分706，包括键盘、鼠标等；输出部分707，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分708，包括硬盘等；和通信部分709，包括网络接口卡比如LAN卡、调制解调器等。通信部分709经由网络比如因特网执行通信处理。

根据需要，驱动器710也连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。

例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。

在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。

另外，根据本公开的技术还可以如下进行配置。

附记1.一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：

所述获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

所述预测单元和所述聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：

预测单元被配置成按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

聚类单元被配置成基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

附记2.根据附记1所述的图像处理装置，其中，所述聚类单元被配置成将使所述所选对象中的、其特性之间的差异小于预定阈值的像素构成的超像素作为所述像素区域，并基于所预测的掩膜和所述超像素的特征对所述超像素进行聚类，以得到所选对象的轮廓。

附记3.根据附记2所述的图像处理装置，其中，所述聚类单元进一步被配置成利用有关所述超像素的图模型来对所述超像素进行聚类，其中，所述图模型的顶点为超像素，所述图模型的边表示通过所述边连接的超像素之间的相似度。

附记4.根据附记1所述的图像处理装置，其中，所述预测单元进一步被配置为：当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。

附记5.根据附记4所述的图像处理装置，其中，所述预测单元进一步被配置为：当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。

附记6.根据附记1所述的图像处理装置，还包括确定单元，所述确定单元被配置成确定所述分割区域中是否包括不止一个对象。

附记7.根据附记6所述的图像处理装置，还包括去除单元，所述去除单元被配置成从所述分割区域去除所选对象的轮廓所对应的区域，从而更新所述分割区域。

附记8.根据附记7所述的图像处理装置，其中，在所述确定单元确定所述分割区域中包括不止一个对象的情况下，针对所述分割区域迭代地依次执行所述确定单元、所述预测单元、所述聚类单元以及所述去除单元中的处理，直到所述分割区域中仅包括一个对象为止。

附记9.根据附记2所述的图像处理装置，其中，所述特征包括所述超像素的颜色信息和所述超像素的位置信息。

附记10.根据附记1所述的图像处理装置，其中，在所述预测单元中，利用神经网络来预测所选对象的掩膜。

附记11.一种图像处理方法，包括获得类别分割图步骤、预测步骤以及聚类步骤，其中：

在所述获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行所述预测步骤和所述聚类步骤中的处理：

在所述预测步骤中，按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

在所述聚类步骤中，基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

附记12.根据附记11所述的图像处理方法，其中，在所述聚类步骤中，将使所述所选对象中的、其特性之间的差异小于预定阈值的像素构成的超像素作为所述像素区域，并基于所预测的掩膜和所述超像素的特征对所述超像素进行聚类，以得到所选对象的轮廓。

附记13.根据附记12所述的图像处理方法，其中，在所述聚类步骤中，利用有关所述超像素的图模型来对所述超像素进行聚类，其中，所述图模型的顶点为超像素，所述图模型的边表示通过所述边连接的超像素之间的相似度。

附记14.根据附记11所述的图像处理方法，其中，在所述预测步骤中，当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。

附记15.根据附记14所述的图像处理方法，其中，在所述预测步骤中，当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。

附记16.根据附记11所述的图像处理方法，还包括确定步骤，在所述确定步骤中，确定所述分割区域中是否包括不止一个对象。

附记17.根据附记16所述的图像处理方法，还包括去除步骤，在所述去除步骤中，从所述分割区域去除所选对象的轮廓所对应的区域，从而更新所述分割区域。

附记18.根据附记17所述的图像处理方法，其中，在所述确定步骤中确定所述分割区域中包括不止一个对象的情况下，针对所述分割区域迭代地依次执行所述确定步骤、所述预测步骤、所述聚类步骤以及所述去除步骤中的处理，直到所述分割区域中仅包括一个对象为止。

附记19.根据附记12所述的图像处理方法，其中，所述特征包括所述超像素的颜色信息和所述超像素的位置信息。

附记20.一种记录有程序的计算机可读记录介质，所述程序用于使得计算机执行获得类别分割图步骤、预测步骤以及聚类步骤：

在所述获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行所述预测步骤和所述聚类步骤中的处理：

在所述预测步骤中，按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

在所述聚类步骤中，基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

Claims (10)

1.一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：

所述获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

所述预测单元和所述聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：

预测单元被配置成按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

聚类单元被配置成基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

2.根据权利要求1所述的图像处理装置，其中，所述聚类单元被配置成将所述所选对象中的、其特性之间的差异小于预定阈值的像素构成的超像素作为所述像素区域，并基于所预测的掩膜和所述超像素的特征对所述超像素进行聚类，以得到所选对象的轮廓。

3.根据权利要求2所述的图像处理装置，其中，所述聚类单元进一步被配置成利用有关所述超像素的图模型来对所述超像素进行聚类，其中，所述图模型的顶点为超像素，所述图模型的边表示通过所述边连接的超像素之间的相似度。

4.根据权利要求1所述的图像处理装置，其中，所述预测单元进一步被配置为：当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。

5.根据权利要求4所述的图像处理装置，其中，所述预测单元进一步被配置为：当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。

6.根据权利要求1所述的图像处理装置，还包括确定单元，所述确定单元被配置成确定所述分割区域中是否包括不止一个对象。

7.根据权利要求6所述的图像处理装置，还包括去除单元，所述去除单元被配置成从所述分割区域去除所选对象的轮廓所对应的区域，从而更新所述分割区域。

8.根据权利要求7所述的图像处理装置，其中，在所述确定单元确定所述分割区域中包括不止一个对象的情况下，针对所述分割区域迭代地依次执行所述确定单元、所述预测单元、所述聚类单元以及所述去除单元中的处理，直到所述分割区域中仅包括一个对象为止。

9.一种图像处理方法，包括获得类别分割图步骤、预测步骤以及聚类步骤，其中：

在所述获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行所述预测步骤和所述聚类步骤中的处理：

在所述预测步骤中，按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

在所述聚类步骤中，基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

10.一种记录有程序的计算机可读记录介质，所述程序用于使得计算机执行获得类别分割图步骤、预测步骤以及聚类步骤：

在所述获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；

针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行所述预测步骤和所述聚类步骤中的处理：

在所述预测步骤中，按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及

在所述聚类步骤中，基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。

Images