CN111932557A - 基于集成学习和概率图模型的图像语义分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于集成学习和概率图模型的图像语义分割方法，包括：对待分割图像进行语义分割，得到多个分割结果；对所述多个分割结果进行集成，得到集成结果；将所述集成结果转换为一元势能；将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。本发明既可以利用多个不同方法或模型或在不同尺度上的性能偏好，并利用其差异度，又可利用概率图模型的建模和推理能力进行图像语义分割，提高了图像语义分割的准确度。另外，基于概率图模型推理的图像语义分割具有更强的可解释性。

Description

基于集成学习和概率图模型的图像语义分割方法及装置

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于集成学习和概率图模型的图像语义分割方法及装置。

背景技术

图像语义分割是指将各种模态的图像分割为不同的语义区域的操作。语义分割有着广泛的应用前景，例如对街道场景进行语义分割以作为自动驾驶的判定依据，将物体从照片中分割出来并指出其为何种物体，从医学图像中提取出病灶区域并指出其为良性或恶行以作为诊断或手术依据，这些都属于图像语义分割的实际应用实例。在不同的任务或场景中，人们对语义的具体范围和关注重点是千差万别的，自动驾驶重点关注交通指示及车辆行人，自然场景中关注物体的类别，医学场景中关注病灶的性质和边界范围。

近年来，随着深度神经网络学习方法的发展的应用，图像语义分割取得了突破性的进展。典型的深度神经网络方法有FCN，DEEPLAB系列，SEGNET，HRNET等。这些方法取得很大的进度，成功将深度神经网络方法应用于解决图像语义分割问题。但是，深度神经网络方法有几个比较突出的问题限制了其性能的进一步提高和实际应用。第一，神经网络的输出结果没有考虑图像局部特征，有时候会出现明显的错误，例如将视觉上非常相似的区域划分不同的类别；第二，深度神经网络受超参数的影响非常大，不同的超参数得到的模型及其预测结果性能表现很不稳定，有时候甚至是大相径庭；第三，深度神经网络的可解释性较弱，其神经网络模型中的参数缺乏可解释性和实际的物理意义且不可以按照预期进行人工参数调整。第四，深度神经网络模型在预测阶段无法进行人工干预或引入先验知识。针对问题一，有研究提出在深度神经网络的输出层后加上条件随机场的概率图模型；进一步，使用循环神经网络求解概率图模型的参数，但是这个方法只是对单个神经网络结果进行优化，受单个神经网络的输出限制非常明显。针对问题二，一个可解决的方案是，使用集成学习，从多个神经网络的输出结果找出最后的分割结果，传统的集成学习方法往往使用多数投票的方式来决定最后的分割结果，但是，多数投票在图像分割问题上却没有考虑图像本身的信息，仍然会出现一些明显的错误。因此，亟待新的解决方案以进一步推动图像语义分割的发展和进步。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于集成学习和概率图模型的图像语义分割方法及装置，用于解决现有技术的至少一个缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于集成学习和概率图模型的图像语义分割方法，包括：

对待分割图像进行语义分割，得到多个分割结果；

对所述多个分割结果进行集成，得到集成结果；

将所述集成结果转换为一元势能；

将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

可选地，对待分割图像进行语义分割，得到多个分割结果，包括：

使用不同语义分割方法或不同的语义分割模型对待分割图像进行自动语义分割，得到多个分割结果；

或/和对待分割图像进行人工语义分割，得到多个分割结果。

可选地，使用不同方法或不同的语义分割模型对待分割图像的进行不同尺度变换后的图像进行语义分割，并将分割结果通过插值运算变换回原始尺度。

可选地，将多个分割结果通过堆叠的方式得到集成结果。

可选地，对于二值语义分割,即只有两个标签类别的图像语义分割，将多个分割结果通过加和的方式得到集成结果。

可选地，将所述集成结果转换为一元势能，包括：

获取集成结果中不同分割结果间的差异度；

基于所述差异度得到所述一元势能。

可选地，获取差异度的方法为：对于某个像素，假设有n个预测结果构成的向量v，统计向量v在每个类别的个数构成统计向量c，那么这个像素的差异度为

max(c)为c中最大值。

可选地，基于所述差异度得到所述一元势能，包括：设语义类别数为n_label，对于某个像素i的差异度为d_i和类别统计向量c_i，那么该像素对应某个类别j的一元势能ψ_u(x_i,j)为

可选地，对于二值语义分割，一个类别值设为0，另一个类别值设为1，则先将多个分割结果直接按像素对应相加，然后将相加的结果通过以下方式转换为一元势能，包括：

设某一像素i的多个分割的相加值为b_i，那么该像素对应的某一类别的一元势能为

其中，τ和κ为阈值，p为对一元势能赋值的置信度；另一类别的一元势能将p替换为1-p即可。

可选地，所述语义分割模型为深度神经网络模型或非深度神经网络模型；概率图模型采用马尔可夫随机场或条件随机场基础上的各种具体的概率图模型。

为实现上述目的及其他相关目的，本发明提供一种基于集成学习和概率图模型的图像语义分割装置，包括：

图像分割模块，用于对待分割图像进行语义分割，得到多个分割结果；

分割结果集成模块，用于对所述多个分割结果进行集成，得到集成结果；

集成结果转换模块，用于将所述集成结果转换为一元势能；

概率图推理模块，用于将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

如上所述，本发明的一种基于集成学习和概率图模型的图像语义分割方法及装置，具有以下有益效果：

本发明提供的一种基于集成学习和概率图模型的图像语义分割方法，包括：对待分割图像进行语义分割，得到多个分割结果；对所述多个分割结果进行集成，得到集成结果；将所述集成结果转换为一元势能；将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。本发明既可以利用多个不同方法或模型或在不同尺度上的性能偏好，并利用其差异度，又可利用概率图模型的建模和推理能力进行图像语义分割，提高了图像语义分割的准确度。另外，基于概率图模型推理的图像语义分割具有更强的可解释性。

该发明所述的分割方法可应用在场景分割、自动驾驶、病灶分割、器官勾画、数据标注等多个方面或领域。在医学应用中，由于本方法具有较强的可解释性且可针对每张图单独调整模型超参数，临床实践的应用性更强。

附图说明

图1为一实施例中一种基于集成学习和概率图模型的图像语义分割方法的流程图；

图2为另一实施例中一种基于集成学习和概率图模型的图像语义分割方法的流程图；

图3为一实施例中使用多个不同尺度的图像作为输入，使用多个语义分割模型对自然场景图像进行物体分割的示意图；

图4为一实施例中使用图3所示方法对图像进行分割与其他方法的效果对比图；

图5为一实施例中使用多个不同尺度的图像作为输入，使用一个语义分割模型对皮肤镜图像进行病灶分割的示意图；

图6为一实施例中使用图5所示方法对图像进行分割与其他方法的效果对比图；

图7为一实施例中使用一个尺度的待分割图像作为输入，使用多个语义分割模型对皮肤镜图像进行病灶分割的示意图；

图8为一实施例中使用图7所示方法对图像进行分割与其他方法的效果对比图；

图9为一实施例中一种基于集成学习和概率图模型的图像语义分割装置的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1、2所示，一种基于集成学习和概率图模型的图像语义分割方法，包括：

S11对待分割图像进行语义分割，得到多个分割结果；

S12对所述多个分割结果进行集成，得到集成结果；

S13将所述集成结果转换为一元势能；

S14将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

本发明所述的图像语义分割方法可应用在场景分割、自动驾驶、病灶分割、器官勾画、数据标注等多个方面或领域。在医学应用中，由于本方法具有较强的可解释性且可针对每张图单独调整概率图模型超参数，临床实践的应用性更强。

在一实施例中，对待分割图像进行语义分割，得到多个分割结果，包括：使用不同语义分割方法或不同的语义分割模型对待分割图像进行自动语义分割，得到多个分割结果；

采用多个不同的语义分割模型对同一个待分割图像进行分割，具体是将待分割图像分别作为不同语义分割模型的输入，每个语义分割模型输出一个分割结果，则最终包含了多个分割结果。

在一实施例中，对所述待分割图像进行不同尺度变换，得到多个不同尺度的图像，对多个不同尺度的图像进行语义分割。其中，多个不同尺度的图像指的是通过对待分割图像进行尺度变换后，得到一幅图像的多个尺度，例如原始图像的0.5倍，1.0倍，1.5倍等等。语义分割模型可以为深度卷积神经网络(DCNN)模型。

若采用多不同尺度的图像和多个语义分割模型进行图像分割，则可以得到多个分割结果。例如，有h个不同尺度的图像，有k个语义分割模型，则至多可以得到h*k个分割结果。

在另一实施例中，对待分割图像进行语义分割，得到多个分割结果，包括：对待分割图像进行人工语义分割。所述人工语义分割，即通过人工将待分割图像中的目标大致标记出来并指明其语义类别，例如使用闭合的线条将目标标注，使目标在闭合线条内。

在另一实施例中，可以将采用不同的语义分割模型对待分割图像进行语义分割的方式与人工语义分割的方式进行组合，即同时采用这两种方式。

在一实施例中，将多个分割结果通过堆叠的方式得到集成结果。对多个分割结果进行集成得到的集成结果也可以被认为是集成堆栈。其中，多个分割结果是指两个及两个以上的分割结果。图像语义分割的语义类别必须大于等于2，这里称之为普通语义分割；特别地，当语义类别等于2时可被称为二值语义分割，二值语义分割是普通语义分割的特殊情况。

具体的，使用多个不同尺度的图像作为输入，使用多个语义分割模型对图像进行分割，其中语义分割模型为深度神经网络(DCNN)模型，当然语义分割模型可以为非深度神经网络模型，或通过人工勾画进行语义分割；概率图模型可使用马尔可夫随机场或条件随机场基础上的各种具体的概率图模型，例如全连接条件随机场模型(FC-CRF)。如图3所示，将不同尺度的图像分别输入到多个语义分割模型，得到多个分割结果；对于普通语义分割，将多个分割结果通过堆叠的方式得到集成结果；将集成结果转换为一元势能，最后将待分割图像和一元势能一起输入到FC-CRF中得到预测结果。其中，将所述集成结果转换为一元势能，包括：获取集成结果中不同分割结果间的差异度；基于所述差异度得到所述一元势能。求差异度的方法为，对于某个像素，假设有n个预测结果构成的向量v，统计向量v在每个类别的个数构成统计向量c，那么这个像素的差异度为

max(c)为c中最大值。从差异度到一元势能的求解方法为：设语义类别数为n_label，对于某个像素i的差异度为d_i和类别统计向量c_i，那么该像素对应某个类别j的一元势能ψ_u(x_i,j)为

其中t为阈值，p为对一元势能赋值的置信度。

图4为一实施例中使用图3所示方法对图像进行分割与其他方法的效果对比图；在图4中，Test Image为输入图像，Ground Truth为人工标注的标准结果，Diversity为在集成结果基础上求得的差异度，Mean Unary为一元势能的均值平面，Majority Vote表示用多数投票集成方法得到的分割结果，Our表示使用本专利提出方法得到的分割结果，MajorityVote和Our中的数字表示抽取的IoU值。IoU值全称为Intersection over Union，又名Jaccard Index(JI)，用于度量两个集合的重合程度，值越高表示抽取的准确率越高。在图4中用多数投票的集成方法(Majority Vote)进行图像语义分割，从上至下，其IoU分别为88.9％、84.2％、80.6％、97.8％，而使用本发明的方法进行图像语义分割，从上至下，其IoU分别为98.1％、97.5％、90.0％、98.7％。从这些数据对比可以自出，采用本发明的方法的分割结果的准确率更高。同时从最后一行图片来看，采用Majority Vote进行图像语义分割，包括了sheep的分割结果和图片右上角的car的分割结果，而采用本发明的方法进行图像语义分割，只包含了sheep的分割结果，因此采用本发明的方法进行图像语义分割的精度高于采用MajorityVote进行图像语义分割。

在另一实施例中，将所述多个分割结果直接按像素对应相加，得到集成结果。

使用多个不同尺度的图像作为输入，使用一个语义分割模型对图像进行分割，其中语义分割模型为深度神经网络(DCNN)模型，当然语义分割模型可以为非深度神经网络模型，或通过人工勾画进行语义分割；概率图模型可使用马尔可夫随机场或条件随机场基础上的各种具体的概率图模型，例如全连接条件随机场模型(FC-CRF)。如图5所示，将多个不同尺度的图像分别输入到一个语义分割模型对，得到多个分割结果。对于二值语义分割，例如皮肤病灶分割的语义只有两个类别(非病灶和病灶)，所以将多个分割结果通过加和的方式得到集成结果，然后根据集成结果求得一元势能，最后将待分割图像和一元势能一起输入到概率图模型中得到预测结果。对于二值语义分割，一个类别值设为0，另一个类别值设为1，则先将多个分割结果直接按像素对应相加，然后将相加的结果通过以下方式转换为一元势能，包括：

设某一像素i的多个分割的相加，值为b_i，那么该像素对应的某一类别的一元势能为

其中，τ和κ为阈值，p为对一元势能赋值的置信度；另一类别的一元势能将p替换为1-p即可。

图6为一实施例中使用图5所示方法对图像进行分割与其他方法的效果对比图；在图6中，Test Image为输入图像，GroundTruth为医学专家标注的病灶区域，Blend为多个分割结果加和后得到的融合图，Unary是由blend转换得到一元势能的某一平面图，DirectlyPredict为直接使用多种深度神经网络方法能得到的最好的结果，MajorityVote表示在同样集成结果基础上使用多数投票得到语义分割结果，Our为使用本发明的方法得到语义分割结果。在图6中，可以看出，使用Directly Predict方法得到的分割结果的JI值(即IoU值)，从上至下依次为69.49％、70.52％、87.76％、84.70％，而采用Majority Vote方法得到的分割结果的JI值，从上至下依次为79.00％、74.48％、87.05％、48.77％，而使有本发明方法得到的分割结果的JI值，从上至下依次为90.06％、92.78％、92.40％、89.93％，从这些数据可以看出，本发明方法的对图像分割的精度更高。

需要说明的是，使用不同尺度的割图像进行分割后，得到的也是不同尺度的分割结果，在进行图像融合时，需要将不同尺度的分割结果转换为同一尺度的分割结果。具体可以通过插值计算将不同尺度的图像转换为同一尺度的图像。

在另一实施例中，使用待分割图像作为输入，使用多个语义分割模型对图像进行分割，其中语义分割模型为深度神经网络(DCNN)模型，当然语义分割模型可以为非深度神经网络模型，或通过人工勾画进行语义分割；概率图模型可使用马尔可夫随机场或条件随机场基础上的各种具体的概率图模型，例如全连接条件随机场模型(FC-CRF)。如图7所示，将待分割图像分别输入到不同的语义分割模型对，得到多个分割结果；将不同的分割结果集成得到集成结果，然后将集成结果转换为一元势能；集成结果到一元势能的转换过程与图5所示的实施例一致，最后将待分割图像和一元势能一起输入到FC-CRF中得到预测结果。

图8为一实施例中使用图7所示方法对图像进行分割与其他方法的效果对比图；在图8中，Test Image为输入皮肤镜图片，Ground Truth为医学专家标注的病灶分割结果，Blend为多个分割结果加和后得到的融合图，Majority Vote表示在同样集成结果基础上使用多数投票得到语义分割结果，Our为使用本发明的方法得到语义分割结果。在图8中，使用MajorityVote方法得到的分割结果的JI值，从上至下依次为0.7994、0.7611、0.6843、0.7747，而使用本发明的方法得到的分割结果的JI值，从上至下依次为0.9097、0.8923、0.9095、0.9345。从这些数据可以看出，本发明方法的对图像分割的精度更高。

如图9所示，一种基于集成学习和概率图模型的图像语义分割装置，包括：

图像分割模块91，用于对待分割图像进行语义分割，得到多个分割结果；

分割结果集成模块92，用于对所述多个分割结果进行集成，得到集成结果；

集成结果转换模块93，用于将所述集成结果转换为一元势能；

概率图推理模块94，用于将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合、或云服务来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于集成学习和概率图模型的图像语义分割方法，其特征在于，包括：

对待分割图像进行语义分割，得到多个分割结果；

对所述多个分割结果进行集成，得到集成结果；

将所述集成结果转换为一元势能；

将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

2.根据权利要求1所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，对待分割图像进行语义分割，得到多个分割结果，包括：

使用不同语义分割方法或不同的语义分割模型对待分割图像进行自动语义分割，得到多个分割结果；

或/和对待分割图像进行人工语义分割，得到多个分割结果。

3.根据权利要求2所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，使用不同方法或不同的语义分割模型对待分割图像的进行不同尺度变换后的图像进行语义分割，并将分割结果通过插值运算变换回原始尺度。

4.根据权利要求1所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，将多个分割结果通过堆叠的方式得到集成结果。

5.根据权利要求4所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，对于二值语义分割，即只有两个标签类别的图像语义分割，还可以将多个分割结果通过加和的方式得到集成结果。

6.根据权利要求4所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，将所述集成结果转换为一元势能，包括：

获取集成结果中不同分割结果间的差异度；

基于所述差异度得到所述一元势能。

7.根据权利要求6所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，获取差异度的方法为：对于某个像素，假设有n个预测结果构成的向量v，统计向量v在每个类别的个数构成统计向量c，那么这个像素的差异度为

max(c)为c中最大值。

8.根据权利要求7所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，基于所述差异度得到所述一元势能，包括：设语义类别数为n_label，对于某个像素i的差异度为d_i和类别统计向量c_i，那么该像素对应某个类别j的一元势能ψ_u(x_i，j)为

其中t为阈值，p为对一元势能赋值的置信度。

9.根据权利要求5所述的基于集成学习和概率图模型的图像语义分割方法，其特征在于，对于二值语义分割，一个类别值设为0，另一个类别值设为1，则先将多个分割结果直接按像素对应相加，然后将相加的结果通过以下方式转换为一元势能，包括：

设某一像素i的多个分割的相加，值为b_i，那么该像素对应的某一类别的一元势能为

其中，τ和κ为阈值，p为对一元势能赋值的置信度；另一类别的一元势能将p替换为1-p即可。

10.一种基于集成学习和概率图模型的图像语义分割装置，其特征在于，包括：

图像分割模块，用于对待分割图像进行语义分割，得到多个分割结果；

分割结果集成模块，用于对所述多个分割结果进行集成，得到集成结果；

集成结果转换模块，用于将所述集成结果转换为一元势能；

概率图推理模块，用于将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

Images