CN108305266A - 基于条件随机场图结构学习的语义图像分割方法 - Google Patents

Abstract

一种基于条件随机场图结构学习的语义图像分割的方法，所述方法包括以下步骤：1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；2)使用rcf神经网络学习条件随机场图结构；3)采用学习得到的图结构来训练条件随机场模型参数；使用训练得到的条件随机场模型做语义图像细分割，过程如下：解决最大后验MAP推理问题，通过调用alpha‑beta扩展例程来找到x的最优标签。本发明提供一种分割效果较好的基于条件随机场图结构学习的语义图像分割的方法。

Description

基于条件随机场图结构学习的语义图像分割方法

技术领域

本发明属于计算机视觉中的图像理解领域，涉及一种语义图像语义分割方法。

背景技术

语义图像分割(像素标注)是模式识别中的一项重要任务。这个问题已经在计算机视觉领域得到了广泛的研究，并且已经开发了许多技术，其中基于条件随机场(CRF)的方法是至关重要的，因为它们1)结合丰富的特征(无论是学习的还是手工的表示)来区分类别；2)平滑的分割边界与对比敏感势能；3)能够模拟局部区域的标记一致性。有了这样的实力，CRF的分割显然胜过没有CRF的结果，特别是当局部特征表示较弱时。

发明内容

为了克服现有的语义图像分割方式的分割效果较差的不足，本发明提供一种分割效果较好的基于条件随机场图结构学习的语义图像分割的方法。

本发明解决其技术问题所采用的技术方案是：

一种基于条件随机场图结构学习的语义图像分割的方法，所述方法包括以下步骤：

1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；

2)使用rcf神经网络学习条件随机场图结构，过程如下：

对于图像中的每个像素，考虑在四个方向与其邻居的连接，四个方向是指左，上，左上和右上方，对于每个方向，训练一个卷积神经网络，通过微调rcf网络模型来估计该方向上的连接；获得了四个网络，它们在四个方向覆盖相邻像素的连通性，每个网络的输出给出连接存在于相应方向的概率；

给定四个网络的输出，首先对图像进行图像处理以获得超像素，然后采用这些超像素来构建CRF模型，对于彼此相邻的每一对超像素(k，l)，考虑在8个方向上的所有它们的相邻像素，由集合A_k，l＝{(i，j)|i∈k，j∈l，i is j’s 8-neighbor}，对于(i，j)∈A_k，l，令p_i，j表示相应网络的输出，定义：

这给出了每个CRF图中两个相邻超像素的连通性的评估，e_u,v∈{0，1}表示(u，v)之间的边存在(e_u，v＝1)或不存在(e_u,v＝0)，建立CRF图根据

这里δ是一个常量，通过交叉验证来确定；

融合四个网络的输出并获得超像素级的CRF图；

3)采用学习得到的图结构来训练条件随机场模型参数，过程如下：

让z表示任意图像，x表示图像中所有超像素的标签，让是第i个超像素的标签，令G＝(V，E)表示学习图，其中V＝{1，...，n}是在n个超像素集合，并且

给定输入z和图结构E，x的概率分布函数PDF由下式给出：

其中w＝[w_u，w_p1，w_p2，w_c]是该分布要学习的参数，1(x_i，x_j)是相对于标签x_i，x_j的一个指标向量，并且该向量除了由(x_i，x_j)索引的那个之外的所有位置都取0，N(z，w)是分区函数：

公式(3)中的四个项，p_i(x_i)是根据观测值z来衡量的，第i个超像素取标签x_i，用softmax输出层训练一个深度神经网络，由于网络输出像素方向概率，通过平均由这个超像素包围的所有像素的概率来计算p_i(x_i)；

Potts模型h₁(x_i，x_j，z)，h₂(x_j，x_j，z)被定义为：

c，l表示超像素的颜色矢量和位置矢量；

最后一项是参数向量w_c和指标向量1(x_i，x_j)之间的点积；

训练：给定一个训练集，通过伪对数似然估计估计所有的模型参数，规则化的负伪对数似然代替了PDF表达式(3)的对数似然性；

有以下近似值：

其中Ω(i)表示在G中与节点i相邻的所有节点，x_i的条件PDF是

这里分区函数由以下得出：

其中是联合特征向量的形式从以下得出：

用梯度下降策略训练模型参数；

4)使用训练得到的条件随机场模型做语义图像细分割，过程如下：

解决最大后验MAP推理问题，即：

通过调用alpha-beta扩展例程来找到x的最优标签。

本发明提出一个简单但有效的方法，以有监督的方式，来学习条件随机场图结构来进行图像语义分割。首先，这是第一个学习条件随机场(CRF)图表进行语义分割的工作。其次，我们提出一种通过卷积神经网络(CNN)学习CRF图的方法。第三，我们通过实证验证，使用学习得到图结构的CRF比使用预先设计图结构的CRF实现了更好的图像语义分割效果。这是一种基于条件随机场图结构学习的语义图像分割的方法。

本发明的有益效果主要表现在：使用学习得到图结构的CRF比使用预先设计图结构的CRF实现了更好的分割。

具体实施方式

下面对本发明作进一步描述。

一种基于条件随机场图结构学习的语义图像分割的方法，所述方法包括以下步骤：

1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；

2)使用rcf神经网络学习条件随机场图结构，过程如下：

目前已经有人利用更丰富的卷积特征(RCF)来检测图像中的物体边界。本实施例采用相同的深度神经网络来通过微调CRF图形数据上的网络参数来学习CRF图形。首先描述网络的结构，这实际上是对VGG16网络的修改。修改内容包括：1)剪切所有完全连接的图层和pool5图层；2)VGG16中的每个conv层都连接到一个核心大小为1x1，通道深度为21的conv层，并且每个阶段的结果层都使用一个精确的层进行累加；3)内核大小为1x1和一个通道的conv层跟在每个eltwise层之后。然后，该层的输出特征映射被一个解卷层上采样；4)在每个阶段，交叉熵损失或S形层连接到上采样层；5)所有上采样层的输出连接在一起。然后将级联与1x1的conv层进行融合，最后，交叉熵损失或乙状结构层得到融合损失或输出。

从像素标记中获得groundtruth：分解CRF图的确定，以预测每个像素与其周围像素的连接。对于图像中的每个像素，考虑在四个方向(左，上，左上，右上方)与其邻居的连接。对于每个方向，训练一个卷积神经网络，通过微调在BSDS500上预先训练的用于边缘检测的模型(该模型可以在线获得)来估计该方向上的连接。为了训练特定方向的CNN模型，通过以下两个步骤生成图形groundtruth(黑白图像)：

i)首先我们创建一个与图像大小相同的零矩阵。对于每个像素，如果其标签与特定方向上的像素相同，则将其值设置为255。得到的黑白图像在视觉上与原始图像的边缘检测相似。

ii)其次，加厚黑白图像中的边缘。对于边缘中的每个像素，将在特定方向上最靠近像素的两个像素的值分别设置为56和161。

为了训练，通过水平翻转来增加数据。批量大小为1，全局学习率设为le-6，每10k次迭代后除以10。动量和重量衰减分别设定为0.9和0.0002。当损失达到平价时，我们停止训练。结果获得了四个网络，它们在四个方向(包括左，上，左上，右上方)覆盖相邻像素的连通性。每个网络的输出给出连接存在于相应方向的概率。直观上，如果相邻像素在外观上在视觉上相似，则概率很高，反之亦然。

给定四个网络的输出，为了减少问题的大小，首先对图像进行图像处理以获得超像素，然后采用这些超像素来构建我们的CRF模型(尽管所有评估都是像文献中通常所做的那样在像素级进行的)。对于彼此相邻的每一对超像素(k，l)，我们考虑在8个方向上的所有它们的相邻像素，由集合A_k，l＝{(i，j)|i∈k，j∈l，i is j’s 8-neighbor}。对于(i，j)∈A_k，l，令p_i，j表示相应网络的输出，定义：

这给出了每个CRF图中两个相邻超像素的连通性的评估。e_u,v∈{0，1}表示(u，v)之间的边存在(e_u，v＝1)或不存在(e_u,v＝0)。建立CRF图根据

这里δ是一个常量，通过交叉验证来确定。融合四个网络的输出，并获得超像素级的CRF图。

3)采用学习得到的图结构来训练条件随机场模型参数，过程如下：

让z表示任意图像，x表示图像中所有超像素的标签。让是第i个超像素的标签。令G＝(V，E)表示学习图，其中V＝{1，...，n}是在n个超像素集合，并且

给定输入z和图结构E，x的概率分布函数(PDF)由下式给出：

其中w＝[w_u，w_p1，w_p2，w_c]是该分布要学习的参数，1(x_i，x_j)是相对于标签x_i，x_j的一个指标向量，并且该向量除了由(x_i，x_j)索引的那个之外的所有位置都取0。N(z，w)是所谓的分区函数：

描述公式(3)中的四个项。p_i(x_i)是根据观测值(图像)z来衡量的，第i个超像素取标签x_i。为了获得这样的测量结果，用softmax输出层训练一个深度神经网络。由于网络输出像素方向概率，通过平均由这个超像素包围的所有像素的概率来计算p_i(x_i)。

Potts模型h₁(x_i，x_j，z)，h₂(x_j，x_j，z)被定义为：

c，l表示超像素的颜色矢量(HSV空间)和位置矢量(质心)。这些函数通常用于平滑分割，因为鼓励距离或外观相近的相邻超级像素采用相同的标签。

最后一项是参数向量w_c和指标向量1(x_i，x_j)之间的点积，能够了解相邻超像素标签的兼容性，而不必知道它们的颜色或位置。因为一些标签配置(例如汽车道路)比其他一些(例如汽车水)更有意义。

训练：给定一个训练集，通过伪对数似然估计估计所有的模型参数。规则化的负伪对数似然代替了PDF表达式(3)的对数似然性：

有以下近似值：

其中Ω(i)表示G(i的马尔可夫毯)中与节点i相邻的所有节点。x_i的条件PDF是

这里分区函数由以下得出：

其中是联合特征向量的形式从以下得出

可以用梯度下降策略训练模型参数；

4)使用训练得到的条件随机场模型做语义图像细分割，过程如下：

模型参数w已知后，为了估计超像素标签，我解决最大后验(MAP)推理问题，即：

在这里我们通过调用alpha-beta扩展例程来找到x的最优标签(近似)，尝试了其他的推理算法，例如loopy置信传播和树重新加权的消息传递，并且它们的性能更差。

本实施例提出了一个基于条件随机场图结构学习的语义图像分割方法，发现CRF图对训练适当的CRF模型进行语义分割非常重要；通过减少复杂的图形结构学习问题来确定相邻像素的连接，可以通过有监督的方式学习具有CNN的拓扑CRF图，而不引入额外的注释，通过学习得到的图结构，CRF可以比手工绘制的图结构更有效。实际上，本发明所提出的方法比基准(即手工制作的图形的CRF)大幅度提高，并且与现有技术相比具有竞争力。本实施例使用伪对数似然估计训练方法来学习模型参数，并提出了用OpenGM包中的alpha-beta来解决相关的推理问题。

Claims (1)

1.一种基于条件随机场图结构学习的语义图像分割的方法，其特征在于，所述方法包括以下步骤：

1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；

2)使用rcf神经网络学习条件随机场图结构，过程如下：

对于图像中的每个像素，考虑在四个方向与其邻居的连接，四个方向是指左，上，左上和右上方，对于每个方向，训练一个卷积神经网络，通过微调rcf网络模型来估计该方向上的连接；获得了四个网络，它们在四个方向覆盖相邻像素的连通性，每个网络的输出给出连接存在于相应方向的概率；

给定四个网络的输出，首先对图像进行图像处理以获得超像素，然后采用这些超像素来构建CRF模型，对于彼此相邻的每一对超像素(k，l)，考虑在8个方向上的所有它们的相邻像素，由集合A_k，l＝{(i，j)|i∈k，j∈l，i is j’s 8-ncighbor}，对于(i，j)∈A_k，l，令p_i，j表示相应网络的输出，定义：

这给出了每个CRF图中两个相邻超像素的连通性的评估，e_u，v∈{0，1}表示(u，v)之间的边存在(e_u，v＝1)或不存在(e_u，v＝0)，建立CRF图根据

这里δ是一个常量，通过交叉验证来确定；

融合四个网络的输出并获得超像素级的CRF图；

3)采用学习得到的图结构来训练条件随机场模型参数，过程如下：

让z表示任意图像，x表示图像中所有超像素的标签，让x_i∈χ是第i个超像素的标签，令G＝(V，E)表示学习图，其中V＝{1，...，n}是在n个超像素集合，并且

给定输入z和图结构E，x的概率分布函数PDF由下式给出：

其中w＝[w_u，w_p1，w_p2，w_c]是该分布要学习的参数，w_c∈R^l(l＝|χ|×(|χ|+1)/2)，1(x_i，x_j)是相对于标签x_i，x_j的一个指标向量，并且该向量除了由(x_i，x_j)索引的那个之外的所有位置都取0，N(z，w)是分区函数：

公式(3)中的四个项，p_i(x_i)是根据观测值z来衡量的，第i个超像素取标签x_i，用softmax输出层训练一个深度神经网络，由于网络输出像素方向概率，通过平均由这个超像素包围的所有像素的概率来计算p_i(x_i)；

Potts模型h₁(x_i，x_j，z)，h₂(x_i，x_j，z)被定义为：

c，l表示超像素的颜色矢量和位置矢量；

最后一项是参数向量w_c和指标向量1(x_i，x_j)之间的点积；

训练：给定一个训练集，通过伪对数似然估计估计所有的模型参数，规则化的负伪对数似然代替了PDF表达式(3)的对数似然性；

有以下近似值：

其中Ω(i)表示在G中与节点i相邻的所有节点，x_i的条件PDF是

这里分区函数由以下得出：

其中是联合特征向量的形式从以下得出：

用梯度下降策略训练模型参数；

4)使用训练得到的条件随机场模型做语义图像细分割，过程如下：

解决最大后验MAP推理问题，即：

通过调用alpha-beta扩展例程来找到x的最优标签。