CN111915629B - 基于边界检测的超像素分割方法 - Google Patents

Abstract

本发明属于计算机视觉、计算机图像处理和深度学习等计算机领域，为提出基于图像边界检测和可微聚类算法来获取超像素的方法来解决现有技术问题，从而获得更好的超像素分割效果。为此，本发明，基于边界检测的超像素分割方法，步骤如下：步骤1：准备图像数据集；步骤2：提取像素特征图(pixel feature map)F_pixel及物体边界图E；步骤3：采用可微的聚类算法产生最终的超像素；步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异；步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像。本发明主要应用于超像素分割方面的应用场合。

Description

基于边界检测的超像素分割方法

技术领域

本发明属于计算机视觉、计算机图像处理和深度学习等计算机领域，本发明更加专注于深度学习对于超像素分割方面的应用。

背景技术

超像素分割是基于低级图像特征对像素进行分组产生均匀、规则超像素的图像分割方法，超像素通过对图像内容中差异性较低的像素进行聚类，从而替代像素作为图像处理的基元而极大降低后续图像处理的基元数量。超像素在2003年被Ren(任)等人提出后[1]，由于其高效的计算特性和对图像内容的准确表达，超像素被广泛研究用于计算机视觉领域，如图像语义分割、目标检测、光流估计、目标跟踪等任务。

一个良好的超像素算法需要满足下列性质：

(i)良好的边界依赖性，超像素需要严格遵循图像中物体的边界以对图像内容具有准确的表达；

(ii)紧密性和规则性，超像素的排列和形状应当紧密、规则，以便于后续图像处理的应用；

(iii)良好的计算效率，超像素算法应当具备高效的计算能力以便提高整体算法的执行效率。

传统的超像素算法基于视觉特性和位置特性计算像素的相似度并以此指导像素的聚类过程[2]。近些年来，随着深度学习技术在计算机视觉领域取得举世瞩目的成绩，已经有越来越多的学者探索使用卷积神经网络在超像素分割算法中的应用。如V.Jampani(V·扬帕尼)等人在2018年提出的超像素采样网络[3]，通过取代传统算法中的argmin操作使得聚类算法具备可微性，训练了一个端到端的超像素生成模型，产生的超像素具备良好的图像物体边界依赖。然而，该算法生成的超像素在排列和形状上并不具备紧密和规则的特性，使得该算法在后续图像处理中较难应用。

参考文献

[1]X.Ren and J.Malik,“Learning a classification model forsegmentation,”in ICCV,2003

[2]R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Ssstrunk,“Slicsuperpixels compared to state-of-the-art superpixel methods,”IEEETrans.Pattern Anal.Mach.Intell.,vol.34,pp.2274–2282,2012.

[3]V.Jampani,D.Sun,M.-Y.Liu,M.-H.Yang,and J.Kautz,“Superpixelsampling networks,”in ECCV,2018。

发明内容

为克服现有技术的不足，本发明旨在提出基于图像边界检测和可微聚类算法来获取超像素的方法来解决现有技术问题，从而获得更好的超像素分割效果。为此，本发明采取的技术方案是，基于边界检测的超像素分割方法，步骤如下：

步骤1：准备图像数据集；

步骤2：提取像素特征图(pixel feature map)F_pixel及物体边界图E；

步骤3：采用可微的聚类算法产生最终的超像素；

步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异；

步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像。

其中：

步骤1详细步骤：准备数据集，下载VGG-16.npy权重；

步骤2详细步骤：采用基于VGG-16网络模型的网络模型M，提取像素特征图F_pixel及物体边界图E，但只保留使用VGG-16中conv1～conv5层，并且去掉全连接层，在每个池化层之前引出网络的分支并添加1×1conv的卷积层以获取不同尺度的图像特征图，采用上采样保持不同尺度图像特征分辨率的一致性，将得到的不同尺度的图像特征图合并以获得像素特征，同时，运用深度监督技术以获取不同尺度的图像边界图，同样将不同尺度的边界图合并为最终的物体边界图；

步骤3：采用可微的聚类算法产生最终的超像素：首先初始化一定数量的超像素，遍历图像中的像素并计算与其相邻超像素的距离得到一个分配矩阵，随后更新超像素中心特征，循环执行该计算过程达到最大迭代次数，根据最终的分配矩阵为每个像素分配对应的超像素从而达到对图像进行超像素分割的目的。

步骤3分成三小步：

(i)初始化m个超像素，并将图像中的每个像素分配到距其最近的超像素，表征像素p与超像素k的距离计算公式为：

其中ω_p＝exp(E(p))表示像素p在物体边界图E上的自然指数值，t表示迭代次数；

(ii)计算用于分配像素所属聚类簇的分配矩阵R：遍历图像中的像素，计算每个像素与其相邻的超像素的距离，求其自然指数值得到分配矩阵R，即：

(iii)超像素聚类中心特征的更新：以像素特征的权重之和计算超像素聚类中心特征，即：

其中表示归一化常数。

网络模型M的损失函数可以分为三部分：

(i)监督边界图损失：边界损失产生于经过模型侧输出得到的E_side1,E_side2…,E_side5及合并后的物体边界图E，采用sigmoid交叉熵损失函数计算边界损失，为了平衡因边界像素和非边界像素数量的差异导致的不合理计算，设置了两个平衡参数α,β，其值分别为：

其中，|Y⁺|,|Y^-|分别表示人工标注数据中的边界像素集和非边界像素集，σ为平衡参数，此处设置为1.1，加权后的侧输出边界损失及合并边界损失经sigmoid交叉熵损失函数分别表示为：

其中，W表示网络中需要学习的参数，m∈{1…5}表示侧输出，L_fuse分别表示第m个侧输出边界图损失和合并边界图损失。总的边界损失表示为：

其中，分别表示侧输出边界图及合并边界图在像素p处的激活值。

(ii)超像素重建损失：对分配矩阵列标准化后，用像素特征表示超像素中心特征：通过对分配矩阵行标准化则可将超像素中心特征映射回像素特征，过程表示为：/>其重建损失表示为：

其中l表示交叉熵损失函数；

(iii)超像素紧密性损失：超像素紧密性损失保证生成的超像素内部在空间上具有较小的差异性，假设I^xy,S^xy表示像素和超像素的空间特征，用列标准化的分配矩阵表示从像素空间特征到超像素空间特征的映射为：从超像素到像素的空间特征映射过程是直接用超像素中心的空间特征替代该超像素内部所有像素的空间特征，即：则用L2范数计算紧密性损失表示为：

本模型的总损失函数表示为：

L＝ηL_edge+μL_recon+vL_compact, (12)

本发明的特点及有益效果是：

本发明所提供的基于边界检测的超像素分割方法将BSDS500数据集中的图像经处理后输入网络模型M，经过训练后的网络可直接产生图像边界图和像素特征，再经过可微聚类算法可以直接生成对图像进行超像素分割的结果。本发明所提出的超像素分割算法是一个端到端的超像素分割算法，能够获得更好的超像素分割效果，在图像超像素分割领域属于一种比较先进的方法。

附图说明：

图1是本发明的流程图。

图2是本发明的网络结构图。

图3是本发明的梯度胶囊结构图。

图4是原输入图与本发明生成的100个超像素(左上)300个超像素(右下)效果图。

具体实施方式

本发明使用基于VGG-16(VGG-16网络模型)的卷积神经网络为基础的结构作为主要模型，提出了基于图像边界检测和可微聚类算法来获取超像素的方法来解决超像素分割问题，使用了伯克利图像分割数据集BSDS500(Berkeley segmentation dataset)进行训练及测试，从而获得更好的超像素分割效果。本发明技术方案如下：

一种基于边界检测的超像素分割方法，大致步骤如下描述：

步骤1：准备数据集，下载VGG-16.npy权重。

步骤2：提取像素特征图(pixel feature map)F_pixel及物体边界图E，本发明建立基于VGG-16的网络模型M，但只保留使用VGG-16中conv1～conv5层，并且去掉全连接层。模型M中的滤波器的大小是3×3-k，其中k是特征图的数量，池化层的池化范围为2×2，使其特征图向下采样两倍。本发明在每个池化层之前引出网络的分支并添加1×1conv的卷积层以获取不同尺度的图像特征图，采用上采样技术(Upsample)保持不同尺度图像特征分辨率的一致性。将得到的不同尺度的图像特征图合并以获得像素特征。同时，运用深度监督技术以获取不同尺度的图像边界图，同样将不同尺度的边界图合并为最终的物体边界图。

步骤3：采用可微的聚类算法产生最终的超像素。可微的聚类算法是对简单线性迭代聚类算法(SLIC)算法的改进。可微的聚类算法首先初始化一定数量的超像素，遍历图像中的像素并计算与其相邻超像素的距离得到一个分配矩阵，随后更新超像素中心特征，循环执行该计算过程达到最大迭代次数，根据最终的分配矩阵为每个像素分配对应的超像素从而达到对图像进行超像素分割的目的。

这一步骤可以分成三小步：

(i)初始化m个超像素，并将图像中的每个像素分配到距其最近的超像素，表征像素p与超像素k的距离计算公式为：

其中ω_p＝exp(E(p))表示像素p在物体边界图E上的自然指数值，t表示迭代次数。

(ii)计算用于分配像素所属聚类簇的分配矩阵R：遍历图像中的像素，计算每个像素与其相邻的超像素的距离，求其自然指数值得到分配矩阵R，即：

(iii)超像素聚类中心特征的更新：以像素特征的权重之和计算超像素聚类中心特征，即：

其中表示归一化常数。

步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异。

步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像。

为了使本发明目的、技术方案及优点更加清楚明白，以下参照附图并举实例，对本发明进行详细说明。显然，所描述的实施仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施及实施例中的特征可以互相结合。

本发明的处理步骤包括：数据准备及处理、提取模型像素特征图和物体边界图、使用可微的聚类算法产生超像素、设置损失函数、训练卷积神经网络等主要步骤。

步骤1：数据准备及处理。准备BSDS500数据集，并将BSDS500数据集进行预处理。BSDS500中包含有500张自然景观、人像、动物图像，其中300张用于训练、验证模型，200张用于测试模型。每张图像都有若干人工标注的分割图和物体边界图。原始BSDS500数据集假设为D₁，需要对数据集中的多个边界标注图(ground truth)进行整合形成数据集D₂。整合过程为：每张图像的边界标注图用e₁,e₂,e₃…,e_n表示，其中n表示边界标注图的数量，本发明将超过一半的标注者标注为真的像素整合为真，其余为假，即：

其中p表示图像中第p个像素。

步骤2：提取模型像素特征图和物体边界图。如图2所示，模型M基于VGG-16网络结构，以池化层(pooling)为界分为五个阶段，每个阶段的侧输出描述为：F_side1,F_side2…F_side5，其中F表示卷积神经网络中的特征图。模型M可以分为提取像素特征图和物体边界图两个部分，即：

(i)对第2～4阶段的侧输出经上采样操作后进行1×1-1卷积，与输入图像经1×1-1卷积后进行合并(concat)，再经1×1-20卷积后得到像素特征图F_pixel。

(ii)对五个经过1×1-1卷积后的侧输出分别经梯度胶囊得到不同尺度的物体边界图E_side1,E_side2…,E_side5,梯度胶囊的结构如图3所示，梯度胶囊是一种由多个卷积层和ReLU层组成的残差单元，其作用是缓冲来自顶层网络的边界相关梯度，保证主体网络不受干扰。随后，对不同尺度物体边界图进行合并(concat)，并使用1×1-1卷积得到物体边界图E。模型M的训练过程中不同尺度的物体边界图E_side和最终的物体边界图E由数据集D₂中的边界标注图监督。

步骤3：设置损失函数通过可微聚类算法训练网络。可微聚类算法将最邻近操作转换为可微分操作，并用像素特征的权重之和替换上次迭代过程的超像素聚类中心特征(通过等式3)，在等式3中，列标准化的分配矩阵R^t可以表示为由此，超像素中心特征可以表示为/>R的大小的n×m，其中n,m分别表示图像中像素和超像素的个数，为了计算的高效和简化，本发明设置m＝9，表示计算每个像素与其相邻的九个超像素的距离。本发明设置初始化的超像素数量为100，迭代可微聚类算法共5次。

本发明设计的网络需要对生成的边界图E和最终的超像素进行监督。其损失函数可以分为三部分：

(i)监督边界图损失：边界损失产生于经过模型侧输出得到的E_side1,E_side2…,E_side5及合并后的E，本发明采用sigmoid交叉熵损失函数计算边界损失。为了平衡因边界像素和非边界像素数量的差异导致的不合理计算，设置了两个平衡参数α,β，其值分别为：

其中，|Y⁺|,|Y^-|分别表示人工标注数据中的边界像素集和非边界像素集，σ为平衡参数，此处设置为1.1，加权后的侧输出边界损失及合并边界损失经sigmoid交叉熵损失函数分别表示为：

其中，W表示网络中需要学习的参数，m∈{1…5}表示侧输出，L_fuse分别表示第m个侧输出边界图损失和合并边界图损失。总的边界损失可以表示为：

其中，分别表示侧输出边界图及合并边界图在像素p处的激活值。

(ii)超像素重建损失：对分配矩阵列标准化后，可以用像素特征表示超像素中心特征：通过对分配矩阵行标准化则可将超像素中心特征映射回像素特征，过程表示为：/>其重建损失表示为：

其中l表示交叉熵损失函数。

(iii)超像素紧密性损失：超像素紧密性损失保证生成的超像素内部在空间上具有较小的差异性。假设I^xy,S^xy表示像素和超像素的空间特征，用列标准化的分配矩阵表示从像素空间特征到超像素空间特征的映射为：从超像素到像素的空间特征映射过程是直接用超像素中心的空间特征替代该超像素内部所有像素的空间特征，即：则用L2范数计算紧密性损失表示为：

本模型的总损失函数表示为：

L＝ηL_edge+μL_recon+νL_compact, (12)

本发明设置参数η,μ,ν的值为10^-1,10^-5,1

步骤4：使用处理过的数据集D₂进行卷积神经网络模型M的训练。直至损失降到最低并保持稳定。

步骤5：经过反向传播算法更新参数。利用训练好的参数对输入图像进行计算，最终生成输入图像对应的超像素分割图像。

本发明中的网络结构使用Caffe框架进行搭建，使用的语言是Python。在本实施例中，利用了Caffe框架中的用于构建卷积神经网络的Conv层、ReLU层、Crop层等Caffe中已经有的结构，同时也自定义了了可微聚类算法所需的计算分配矩阵、更新超像素中心特征的网络层。

本发明所提供的基于边界检测的超像素分割方法将BSDS500数据集中的图像经处理后输入网络模型M，经过训练后的网络可直接产生图像边界图和像素特征，再经过可微聚类算法可以直接生成对图像进行超像素分割的结果。本发明所提出的超像素分割算法是一个端到端的超像素分割算法，在图像超像素分割领域属于一种比较先进的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于边界检测的超像素分割方法，其特征是，步骤如下：

步骤1：准备图像数据集；

步骤2：提取像素特征图(pixel feature map)F_pixel及物体边界图E；

步骤3：采用可微的聚类算法产生最终的超像素；

步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异；

步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像；

其中：

步骤3分成三小步：

(i)初始化m个超像素，并将图像中的每个像素分配到距其最近的超像素，表征像素p与超像素k的距离计算公式为：

其中ω_p＝exp(E(p))表示像素p在物体边界图E上的自然指数值，t表示迭代次数；

(ii)计算用于分配像素所属聚类簇的分配矩阵R：遍历图像中的像素，计算每个像素与其相邻的超像素的距离，求其自然指数值得到分配矩阵R，即：

(iii)超像素聚类中心特征的更新：以像素特征的权重之和计算超像素聚类中心特征，即：

其中表示归一化常数；

网络模型M的损失函数分为三部分：

(i)监督边界图损失：边界损失产生于经过模型侧输出得到的E_side1,E_side2…,E_side5及合并后的物体边界图E，采用sigmoid交叉熵损失函数计算边界损失，为了平衡因边界像素和非边界像素数量的差异导致的不合理计算，设置了两个平衡参数α,β，其值分别为：

其中，|Y⁺|,|Y^-|分别表示人工标注数据中的边界像素集和非边界像素集，σ为平衡参数，此处设置为1.1，加权后的侧输出边界损失及合并边界损失经sigmoid交叉熵损失函数分别表示为：

其中，W表示网络中需要学习的参数，m∈{1…5}表示侧输出，分别表示第m个侧输出边界图损失和合并边界图损失，总的边界损失表示为：

其中，分别表示侧输出边界图及合并边界图在像素p处的激活值；

(ii)超像素重建损失：对分配矩阵列标准化后，用像素特征表示超像素中心特征：通过对分配矩阵行标准化则可将超像素中心特征映射回像素特征，过程表示为：/>其重建损失表示为：

其中表示交叉熵损失函数；

(iii)超像素紧密性损失：超像素紧密性损失保证生成的超像素内部在空间上具有较小的差异性，假设I^xy,S^xy表示像素和超像素的空间特征，用列标准化的分配矩阵表示从像素空间特征到超像素空间特征的映射为：从超像素到像素的空间特征映射过程是直接用超像素中心的空间特征替代该超像素内部所有像素的空间特征，即：

则用L2范数计算紧密性损失表示为：

本模型的总损失函数表示为：

L＝ηL_edge+μL_recon+νL_compact, (12)。

2.如权利要求1所述的基于边界检测的超像素分割方法，其特征是，其中：

步骤1详细步骤：准备数据集，下载VGG-16.npy权重；

步骤2详细步骤：采用基于VGG-16网络模型的网络模型M，提取像素特征图F_pixel及物体边界图E，但只保留使用VGG-16中conv1～conv5层，并且去掉全连接层，在每个池化层之前引出网络的分支并添加1×1conv的卷积层以获取不同尺度的图像特征图，采用上采样保持不同尺度图像特征分辨率的一致性，将得到的不同尺度的图像特征图合并以获得像素特征，同时，运用深度监督技术以获取不同尺度的图像边界图，同样将不同尺度的边界图合并为最终的物体边界图；

步骤3：采用可微的聚类算法产生最终的超像素：首先初始化一定数量的超像素，遍历图像中的像素并计算与其相邻超像素的距离得到一个分配矩阵，随后更新超像素中心特征，循环执行该计算过程达到最大迭代次数，根据最终的分配矩阵为每个像素分配对应的超像素从而达到对图像进行超像素分割的目的。