CN109191485B - 一种基于多层超图模型的多视频目标协同分割方法 - Google Patents

Abstract

本发明公开了一种基于多层超图模型的多视频目标协同分割方法，属于计算机视觉领域，本发明针对视频中包含较多非相关帧的视频，引入全卷积神经网络得到的分割结果作为超边构造的语义特征，在视频的每一帧生成若干潜在目标区域，利用视频内和视频间的相关关系，得到可靠目标区域，作为高层特征并构造高层目标模型；利用外观、光流以及显著性检测方法，提取视频帧的相关特征作为低层特征，并构造低层目标模型。利用低层模型和高层模型共同构造超图，最后利用超图分割算法，实现视频目标分割，提升了分割准确率。

Description

一种基于多层超图模型的多视频目标协同分割方法

技术领域

本发明属于计算机视觉领域，涉及一种基于多层超图模型的多视频目标协同分割方法。

背景技术

视频分割技术作为视频处理的关键步骤，对视频处理的效果有很大影响。目前现有的视频分割技术普遍存在以下几个问题：(1)大多数分割方法均基于简单图模型，简单图仅仅保留两个像素或分块间的相关关系，而在许多现实问题中，结点之间的关系十分复杂，利用简单图来表征分割问题势必会导致信息的丢失。(2)基于目标区域的分割方法通常在每一个视频帧内仅选择单个潜在目标区域作为特征信息，一旦该潜在目标区域不准确，必然导致分割结果出现较大误差。(3)目前提出的方法均建立在所有视频的每一帧中均包含前景目标的基础上。而这一假设在现实场景中很难实现，目标往往在不确定时刻会被遮挡或超出视野范围，而对于包含较多噪声帧(非相关帧)的视频，此类方法会受到较大影响，大大降低了分割准确性。

发明内容

本发明主要针对现有方法存在的视频特征信息不完整、目标区域选择不准确、不能处理噪声视频等问题，提出了基于多层超图模型的视频目标分割算法，有效保存结点之间的复杂关系，完整地描述客观世界中数据间的多重关系及特征信息，针对视频中包含较多非相关帧的视频，可以更有效的分割视频中的目标，提高了分割准确率。

本发明是通过下述技术方案来实现的。

一种基于多层超图模型的多视频目标协同分割方法，该方法针对包含较多非相关帧的视频集，引入全卷积神经网络作为高级语义特征，在视频的每一帧生成若干潜在目标区域，利用视频内和视频间的相关关系，得到可靠目标区域，作为高层特征并构造高层目标模型；利用外观、运动及显著性等低层特征构造低层目标模型，共同构造超图，之后利用超图分割算法，实现视频目标分割。该方法与现有方法进行对比实验分析，在XJTU-Stevens和Noisy-ViCoSeg两个公开数据集上验证分割算法的准确性和有效性。

本发明一种基于多层超图模型的多视频目标协同分割方法，包括如下步骤：

步骤1：超图结点表示：

1)利用过分割算法对视频的每一帧进行处理，得到的超像素作为超图的结点；

2)对拉普拉斯矩阵进行特征值分解，将相同属性超图的结点聚类到同一个超边中；分别由高层目标模型和低层目标模型计算得到；

步骤2：高层目标模型构造超边：

1)利用基于类别独立的潜在目标区域生成方法，在视频的每一帧生成若干个潜在目标区域；对每一个潜在目标区域设置分数，其目标分数O(r_m)利用运动、外观和语义信息计算得到；

2)根据潜在目标区域目标分数O(r_m)对每一视频帧的潜在目标区域排序，挑选前M个潜在目标区域融合得到一个备选目标区域；

3)利用k-means聚类算法，将同一类视频中所有视频帧的潜在目标区域进行聚类，得到两组集合，可靠集合Q_b和不可靠集合Q_u；

4)利用可靠集合Q_b中包含的备选目标区域分别对应的前M个潜在目标区域作为正样本，其余潜在目标区域作为负样本，训练一个线性SVM分类器，其中潜在目标区域的特征提取利用Resnet的fc7层特征；

5)利用SVM分类器对于所有的原始潜在目标区域进行测试，得到每一个原始潜在目标区域r_m的分类分数O_c(r_m)；利用该分类分数，重新优化视频目标分数O(r_m)←O(r_m)+O_c(r_m)；

6)根据优化后的视频目标分数，对于每一视频帧，重新挑选前M个潜在目标区域，融合得到可靠目标区域，作为超边构造的高层特征；

步骤3：低层目标模型构造超边：

1)利用外观特征构造超边：首先获取视频帧中每个超像素的Lab值，计算每个超像素的外观特征P_c；基于所述外观特征P_c，定义超图的任意两个结点p和q之间的相似度矩阵；

2)利用运动特征构造超边：一个超像素的运动由超像素的运动强度P_u和运动角度P_d表示，为P_m＝(P_u,P_d)，由一个超像素中包含的所有像素的运动平均值得到；基于运动特征，定义超图的任意两个结点p和q之间的相似度矩阵；

3)利用显著性特征构造超边：任意超像素的显著性值P_s，由该超像素所包含的所有像素的平均显著性值计算得到；基于显著性特征，定义超图的任意两个结点p和q之间的相似度矩阵；

步骤4：超边权重：

超边的权重越大，表示超边内的结点相似程度越高，且与其它超边包含的结点相似程度越低。根据权重的以上特点，定义超边e的权重w(e)；

步骤5：超图分割：

1)将超图的所有结点分别划分至前景目标集合或背景集合中，即为超图的标准二划分；类似于标准割，超图的标准二划分的最小化问题是一个NP完全问题，它可以松弛化为实值优化问题；采用谱分析的近似算法，定义超图的拉普拉斯矩阵；

2)超图拉普拉斯矩阵的最小非零特征值对应的特征向量即为该实值优化问题的最优解，超图的二划分结果即为最终目标分割的结果。

与现有技术相比，本发明的有益效果是：

本发明是一种基于多层超图模型的多视频目标协同分割方法，针对目前视频分割方法中存在的特征信息不完整、目标区域选择不准确、不能处理噪声视频等问题，引入多层超图模型，自动分割出视频中包含的目标，提高了分割准确率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1(a)、图1(b)分别为本发明的验证数据集实例，其中：图1(a)是XJTU-Stevens数据集示例图，图1(b)是Noisy-ViCoSeg数据集示例图；

图2为本发明分割方法流程图；

图3为超图结构示意图；

图4为两个视频不同帧的运动(光流)特征示例图；

图5为一个视频其中三帧的显著性特征示例。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如附图1(a)、图1(b)所示，图1(a)、图1(b)分别是验证本发明方法可行性的数据集：图1(a)是XJTU-Stevens数据集的部分相关和不相关帧的示例。视频相关帧被标记为(√)，非相关帧被标记为(×)。相关帧展示了对应的像素级的分割掩码。每一类视频下方为相关数据，以airplane为例，11(4/7)表示视频集包含11个视频，其中4个视频仅包含相关帧，7个视频包含非相关帧；“1763(1702/61)”表示视频集中所有视频帧的个数为1763，其中相关帧和非相关帧分别为1702和61。图1(b)是Noisy-ViCoseg数据集的部分视频帧示例，其中红色叉表示噪声帧，帧内不包含目标；绿色勾号表示相关帧，帧内包含目标。

参见图2，为本发明所述的基于多层超图模型的多视频目标协同分割方法的方法流程图，步骤如下：

步骤1：超图结点表示：

1)利用过分割算法对视频的每一帧进行处理，得到的区域块(超像素)作为超图的结点；

2)利用拉普拉斯矩阵L＝D^-1/2(D-A)D^-1/2的特征值分解，将相同属性的结点聚类到同一个超边中。其中A(p,q)表示两个结点p和q之间的相似度，分别由高层目标模型和低层目标模型计算得到。

步骤2：高层目标模型构造超边：

1)利用基于类别独立的潜在目标区域生成方法，在视频的每一帧生成若干个潜在目标区域。对每一个潜在目标区域设置分数，其目标分数利用运动、外观信息计算得到：

O(r_m)＝O_a(r_m)+O_m(r_m)+O_s(r_m)

其中，r_m表示潜在目标区域；O_a(r_m)表示r_m的外观分数；O_m(r_m)表示r_m的运动分数；O_s(r_m)表示r_m的语义分数，由训练后的全卷积神经网络计算得到。

2)根据潜在目标区域目标分数O(r_m)对每一视频帧的潜在目标区域排序，挑选前M个潜在目标区域融合得到一个备选目标区域；

3)利用k-means聚类算法，将同一类视频中所有视频帧的潜在目标区域进行聚类，得到两组集合，可靠集合Q_b和不可靠集合Q_u；

4)利用可靠集合Q_b中包含的备选目标区域分别对应的前M个潜在目标区域作为正样本，其余潜在目标区域作为负样本，训练一个线性SVM分类器，其中潜在目标区域的特征提取利用Resnet的fc7层特征；

5)利用SVM分类器对于所有的原始潜在目标区域进行测试，得到每一个原始潜在目标区域r_m的分类分数O_c(r_m)。利用该分类分数，重新优化视频目标分数O(r_m)←O(r_m)+O_c(r_m)；

6)根据优化后的视频目标分数，对于每一视频帧，重新挑选前M个潜在目标区域，融合得到可靠目标区域，作为超边构造的高层特征；

步骤3：低层目标模型构造超边：

1)利用外观特征构造超边：首先获取视频帧中每个超像素的Lab值，计算每个超像素的外观特征P_c为：

其中，N_s表示超像素中包含像素的个数；c_j表示超像素中第j个像素颜色Lab值。

基于外观特征，超图的任意两个结点(超像素)p和q之间的相似度矩阵

A_c(p,q)定义如下：

其中，P_c(p)表示结点p的外观特征；P_c(q)表示结点q的外观特征；σ^c为||P_c(p)-P_c(q)||₂的标准差。

2)利用运动特征构造超边：视频的运动特征示例如图4所示；一个超像素的运动由超像素的运动强度P_u和运动角度P_d表示，为P_m＝(P_u,P_d)，由一个超像素中包含的所有像素的运动平均值得到：

其中，N_s表示超像素中包含像素的个数；ω_j表示超像素中第j个像素的权重大小；u_j,d_j分别表示第j个像素运动强度和运动角度。

基于运动特征，超图的任意两个结点(超像素)p和q之间的相似度矩阵A_m(p,q)定义如下：

其中，P_m(p)表示结点p的运动特征；P_m(q)表示结点q的运动特征；σ^m表示||P_m(p)-P_m(q)||₂的标准差。

3)利用显著性特征构造超边：视频的显著性特征如图5所示；任意超像素的显著性值P_s，由该超像素所包含的所有像素的平均显著性值计算得到：

式中，N_s表示超像素中包含像素的个数；s_j表示超像素中第j个像素的显著性值；

基于显著性特征，超图的任意两个结点(超像素)p和q之间的相似度矩阵A_s(p,q)定义为：

其中，P_s(p)表示结点p的显著性特征；P_s(q)表示结点q的显著性特征；σ^s表示||P_s(p)-P_s(q)||₂的标准差。

步骤4：超边权重：

超边的权重越大，表示超边内的结点相似程度越高，且与其它超边包含的结点相似程度越低。根据权重的以上特点，定义超边e的权重：

其中，c表示归一化系数；A(p,q)表示结点p和q之间的相似度矩阵。

步骤5：超图分割：

1)将超图的所有结点分别划分至前景目标集合或背景集合中，即为超图的标准二划分；类似于标准割，超图的标准二划分的最小化问题是一个NP完全问题，它可以松弛化为实值优化问题；采用谱分析的近似算法，定义超图的拉普拉斯矩阵为：

式中，I表示单位矩阵；D_v、D_e分别表示结点度数和超边度数的对角矩阵；H表示超图的邻接矩阵；W表示超边权重的对角矩阵。

2)超图拉普拉斯矩阵的最小非零特征值对应的特征向量即为该实值优化问题的最优解，超图的二划分结果即为最终目标分割的结果。

图3是超图结构的示例图，其中X＝{x₁,x₂,...,x_n}表示超图的顶点，超图的超边分别是：E₁＝{x₁,x₂,x₃}，E₂＝{x₁,x₄}，E₃＝{x₄,x₅,x₆}，E₄＝{x₃,x₅,x₇}，E₅＝{x₇,x₈}，E₆＝{x₉}。

表1a、1b分别是分割方法的实验结果，表1a为在XJTU-Stevens数据集下该方法的实验结果，表1b为在Noisy-ViCoSeg数据集下该方法的实验结果。

表1a 在XJTU-Stevens数据集下该方法的实验结果

表1b 在Noisy-ViCoSeg数据集下该方法的实验结果

从表1a和表1b中可以看出，与VOS、FOS、BVS、MVC以及VOC五种方法进行对比，本发明基于多层超图模型的多视频目标协同分割方法的分割准确率有了较大的提高。

需要说明的是：以上所述仅为本发明的优选实施例，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，凡在本发明的精神、原则和宗旨之内，在本领域的普通技术人员所具备的知识范围内，其对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多层超图模型的多视频目标协同分割方法，其特征在于，包括如下步骤：

步骤1：超图结点表示：

1)利用过分割算法对视频的每一帧进行处理，得到的超像素作为超图的结点；

2)对拉普拉斯矩阵进行特征值分解，将相同属性超图的结点聚类到同一个超边中；相同属性超图的结点之间的相似度分别由高层目标模型和低层目标模型计算得到；

步骤2：高层目标模型构造超边：

1)利用基于类别独立的潜在目标区域生成方法，在视频的每一帧生成若干个潜在目标区域；对每一个潜在目标区域设置分数，其目标分数O(r_m)利用运动、外观和语义信息计算得到；

2)根据潜在目标区域目标分数O(r_m)对每一视频帧的潜在目标区域排序，挑选前M个潜在目标区域融合得到一个备选目标区域；

3)利用k-means聚类算法，将同一类视频中所有视频帧的潜在目标区域进行聚类，得到两组集合，即可靠集合Q_b和不可靠集合Q_u；

4)利用可靠集合Q_b中包含的备选目标区域分别对应的前M个潜在目标区域作为正样本，其余潜在目标区域作为负样本，训练一个线性SVM分类器，其中潜在目标区域的特征提取利用Resnet的fc7层特征；

5)利用SVM分类器对所有的原始潜在目标区域进行测试，得到每一个原始潜在目标区域r_m的分类分数O_c(r_m)；利用该分类分数，重新优化视频目标分数O(r_m)←O(r_m)+O_c(r_m)；

6)根据优化后的视频目标分数，对于每一视频帧，重新挑选前M个潜在目标区域，融合得到可靠目标区域，作为超边构造的高层特征；

步骤3：低层目标模型构造超边：

1)利用外观特征构造超边：首先获取视频帧中每个超像素的Lab值，计算每个超像素的外观特征P_c；基于所述外观特征P_c，定义超图的任意两个结点p和q之间的相似度矩阵；

2)利用运动特征构造超边：一个超像素的运动由超像素的运动强度P_u和运动角度P_d表示，为P_m＝(P_u,P_d)，由一个超像素中包含的所有像素的运动平均值得到；基于运动特征，定义超图的任意两个结点p和q之间的相似度矩阵；

3)利用显著性特征构造超边：任意超像素的显著性值P_s，由该超像素所包含的所有像素的平均显著性值计算得到；基于显著性特征，定义超图的任意两个结点p和q之间的相似度矩阵；

步骤4：超边权重：

根据超边的权重越大，表示超边内的结点相似程度越高，且与其它超边包含的结点相似程度越低的特点，定义超边e的权重w(e)；

步骤5：超图分割：

1)将超图的所有结点分别划分至前景目标集合或背景集合中，即为超图的标准二划分；类似于标准割，超图的标准二划分的最小化问题是一个NP完全问题，它可以松弛化为实值优化问题；采用谱分析的近似算法，定义超图的拉普拉斯矩阵；

2)超图拉普拉斯矩阵的最小非零特征值对应的特征向量即为该实值优化问题的最优解，超图的二划分结果即为最终目标分割的结果。

2.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤1中，拉普拉斯矩阵如下：

L＝D^-1/2(D-A)D^-1/2

式中，A(p,q)表示两个结点p和q之间的相似度；D表示对角矩阵D(p,p)＝∑_qA(p,q)。

3.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤2-1)中，潜在目标区域目标分数如下：

O(r_m)＝O_a(r_m)+O_m(r_m)+O_s(r_m)

其中，r_m表示潜在目标区域；O_a(r_m)表示r_m的外观分数；O_m(r_m)表示r_m的运动分数；O_s(r_m)表示r_m的语义分数，由训练后的全卷积神经网络计算得到。

4.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤3-1)中，每个超像素的外观特征P_c如下：

其中，N_s表示超像素中包含像素的个数；c_j表示超像素中第j个像素的颜色Lab值；

超图的任意两个结点p和q之间的相似度矩阵A_c(p,q)如下：

其中，P_c(p)表示结点p的外观特征；P_c(q)表示结点q的外观特征；σ^c为||P_c(p)-P_c(q)||₂的标准差。

5.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤3-2)中，超像素的运动强度P_u和运动角度P_d如下：

其中，N_s表示超像素中包含像素的个数；ω_j表示超像素中第j个像素的权重大小；u_j,d_j分别表示第j个像素运动强度和运动角度；

超图的任意两个结点p和q之间的相似度矩阵A_m(p,q)如下：

其中，P_m(p)表示结点p的运动特征；P_m(q)表示结点q的运动特征；σ^m表示||P_m(p)-P_m(q)||₂的标准差。

6.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤3-3)中，超像素的显著性值P_s如下：

式中，N_s表示超像素中包含像素的个数；s_j表示超像素中第j个像素的显著性值；

超图的任意两个结点p和q之间的相似度矩阵A_s(p,q)如下：

其中，P_s(p)表示结点p的显著性特征；P_s(q)表示结点q的显著性特征；σ^s表示||P_s(p)-P_s(q)||₂的标准差。

7.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤4中，超边e的权重为：

式中：c′表示归一化系数；A(p,q)表示结点p和q之间的相似度矩阵。

8.根据权利要求1所述的一种基于多层超图模型的多视频目标协同分割方法，其特征在于，所述步骤5-1)中，超图的拉普拉斯矩阵为：

式中，I表示单位矩阵；D_v、D_e分别表示结点度数和超边度数的对角矩阵；H表示超图的邻接矩阵；W表示超边权重的对角矩阵。

Images