CN107194375A - 基于三维主成分分析网络的视频序列分类方法 - Google Patents

Abstract

本发明提出了一种基于三维主成分分析网络的视频序列分类方法，用于解决现有技术中存在的视频序列动态特征提取不充分的技术问题。实现步骤为：(1)利用三维主成分分析法提取待分类视频序列的三维主成分特征；(2)提取待分类视频序列的三维主成分特征的一阶网络全局特征；(3)提取待分类视频序列的三维主成分特征的二阶网络全局特征；(4)获取待分类视频序列的三维主成分分析网络特征；(5)对支持向量机SVM分类器进行训练；(6)对视频序列进行分类。本发明利用三维主成分分析网络实现了对视频序列的分类，有效提高了视频序列分类的准确率，可用于视频序列特征提取和视频序列分类。

Description

基于三维主成分分析网络的视频序列分类方法

技术领域

本发明属于图像处理技术领域，涉及一种视频序列分类方法，具体涉及一种基于三维主成分分析网络的视频序列分类方法，可用于视频序列特征提取和视频序列分类。

背景技术

随着多媒体技术和互联网技术的发展，人们可以从各种渠道获得视频序列数据，其中，视频序列数据包括行为视频序列、自然视频序列等，每一类视频序列都蕴含有极其重要的意义。例如，自然视频序列中的极光视频序列，是各种磁层动力学过程最为直观的电离层踪迹，合理有效的对极光视频序列分类对研究各类极光现象及其与磁层动力学过程之间的关系尤为重要。

视频序列分类是图像处理和模式识别中非常关键的技术之一，它是利用计算机对视频序列进行定量分析，根据视频序列信息中所反映的不同特征，把不同类别的目标区分开，从而代替人的视觉判读。由于海量的视频序列数据太过于庞大，如何对这些视频序列数据进行分类，使人们能够更加方便的获取有效的数据成为计算机视觉领域里面非常重要同时也非常具有挑战性的研究热点之一。

在视频序列分类中常利用的一种视频序列分类的手段为，提取视频序列中的不同图像特征，把提取到的不同图像特征连接起来，形成组合图像特征。然后通过组合图像特征对支持向量机SVM分类器、神经网络等进行训练，生成训练好的视频序列分类器。并利用训练好的视频序列分类器对视频序列分类，得到视频序列分类的结果。2013年，Yang等人在文章“Yang Qiuju.Auroral Events Detection and Analysis Based on ASI and UVIImages[D].Xi’an:Xidian university,2013.”中提出基于隐马尔科夫模型视频序列分类理论，该方法经由隐马尔科夫模型提取视频序列单帧图像特征，并将所有单帧特征进行线性串联，实现了对视频序列的分类，但是该方法假设了视频序列的不同特征之间是简单互补的，并未对视频序列的动态特征进行提取，分类准确率较低；授权公告号为CN103971120B，名称为“基于空时极向局部二值模式的极光图像序列分类方法”的中国专利，公开了一种基于空时极向局部二值模式的极光图像序列分类方法，该方法主要是在极光视频序列上进行研究的，通过对极光视频序列中的图像进行旋转、分块和空时极向局部二值模式ST-PVLBP处理，利用极光视频序列某一极向的空间信息，对极光视频序列进行特征提取，并利用支持向量机SVM分类器实现对极光视频序列的最终分类，该方法对极光视频序列分类的效率较高，但是，对极光视频序列的动态特征提取不充分，分类准确率欠佳。

发明内容

本发明的目的在于针对上述已有技术的不足，提出了一种基于三维主成分分析网络的视频序列分类方法，利用三维主成分分析对视频序列进行特征提取，实现了对不同类别视频序列的特征表征及分类，用于解决现有技术中存在的视频序列动态特征提取不充分的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)利用三维主成分分析法，提取待分类视频序列的三维主成分特征S；

(2)提取待分类视频序列的三维主成分特征S的一阶网络全局特征U：

2a)获取待分类视频序列的三维主成分特征S的J个一阶分段S_j，并提取S_j的L₁个一阶特征向量其中，j表示S的分段序号，且j＝1,2,…,J，J表示一阶分段S_j的总段数，d表示一阶特征向量的序号，且d＝1,2,…,L₁，L₁表示一阶特征向量的总个数；

2b)对应每个一阶特征向量生成一个一阶滤波器矩阵

2c)将一阶分段S_j的第i帧三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶单独特征映射其中，i表示S_j的三维映射的帧序号，且i＝1,2,…,a，a表示S_j中所含的三维映射的总帧数；

2d)依次将一阶分段S_j中除第i帧三维映射以外的三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶局部特征

2e)对除第d个一阶滤波器矩阵以外的一阶滤波器矩阵与一阶分段S_j中除第i帧三维映射以外的三维映射均进行步骤2c)和步骤2d)的操作，生成一阶特征

2f)对待分类视频序列的三维主成分特征S的所有分段S_j均进行步骤2a)～步骤2e)的操作，生成一阶网络全局特征

(3)提取待分类视频序列的三维主成分特征S的二阶网络全局特征R：

3a)从待分类视频序列的三维主成分特征S的一阶网络全局特征U中选取第j个一阶特征并以的第d个一阶局部特征为目标，提取的L₂个二阶特征向量其中，k表示二阶特征向量序号，且k＝1,2,…,L₂，L₂表示二阶特征向量总个数；

3b)对应每个二阶特征向量生成一个二阶滤波器矩阵

3c)将一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶单独特征

3d)依次将一阶局部特征中除第i个一阶单独特征以外的一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶局部特征

3e)将一阶特征中除第d个一阶局部特征以外的一阶局部特征与除第k个二阶滤波器矩阵以外的二阶滤波器矩阵均进行步骤3c)和步骤3d)的操作，生成二阶特征

3f)对一阶特征中除第d个一阶局部特征以外的一阶局部特征进行步骤3a)～步骤3e)的操作，生成二阶整合特征

3g)对除第j个一阶特征以外的一阶特征均进行步骤3a)～步骤3f)的操作，生成二阶网络全局特征

(4)获取待分类视频序列的三维主成分分析网络特征f：从待分类视频序列的三维主成分特征S的二阶网络全局特征R中提取视频序列的三维主成分分析网络特征f，得到视频序列的三维主成分分析网络特征f；

(5)对支持向量机SVM分类器进行训练：选取视频序列数据库中的部分视频序列作为带标签数据，对各带标签的视频序列分别执行步骤(1)～步骤(4)，得到多个三维主成分分析网络特征，并利用所有三维主成分分析网络特征，对支持向量机SVM分类器进行训练，得到训练后的支持向量机SVM分类器；

(6)对视频序列进行分类：将待分类视频序列的三维主成分分析网络特征f输入到训练后的支持向量机SVM分类器中，得到不同类别视频序列的分类标签。

本发明与现有技术相比，具有如下优点：

本发明由于采用了深度学习的思想，将三维主成分分析法经过多层卷积拓扑结构连接形成三维主成分分析网络，以此对视频序列的特征进行多层表征，使视频序列的动态特征得到充分提取，避免了视频序列空间信息的丢失，与现有技术相比，有效地提高了视频序列分类的准确率。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下结合附图和具体实施例，对本发明的技术方案和效果进行进一步描述。

参照图1，基于三维主成分分析网络的视频序列分类方法，包括如下步骤：

步骤1，利用三维主成分分析法，提取待分类极光视频序列的三维主成分特征S。

本实施例适用于行为视频序列和自然视频序列，本实例所针对的研究对象为极光视频序列，其是由我国北极黄河站的全天空摄像仪在黄河站拍摄到的极光视频序列。利用三维主成分分析法，提取待分类极光视频序列的三维主成分特征S；

步骤2，提取待分类极光视频序列的三维主成分特征S的一阶网络全局特征U。

2a)获取待分类极光视频序列的三维主成分特征S的J个一阶分段S_j，并提取S_j的L₁个一阶特征向量

提取极光视频序列一阶特征向量可采用多种现有方法进行，例如三维卷积、二维卷积等方法，本实例采用三维卷积提取S_j的L₁个一阶特征向量步骤如下：

2a1)以m为跨度，n为步长对待分类极光视频序列的三维主成分特征S进行分段，得到S的J个一阶分段S_j；

2a2)提取一阶分段S_j的第i帧三维映射的一阶平均矩阵并计算的一阶局部均值矩阵

2a3)对一阶分段S_j中除第i帧三维映射以外的三维映射均进行步骤2a2)的操作，生成一阶全局均值矩阵

2a4)对一阶全局均值矩阵X和其转置矩阵X^T做乘积，生成一阶乘积矩阵P＝XX^T；

2a5)计算一阶乘积矩阵P的特征向量，并取前L₁个特征向量作为一阶特征向量

2b)对应每个一阶特征向量生成一个一阶滤波器矩阵

2c)将一阶分段S_j的第i帧三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶单独特征映射其中，i表示S_j的三维映射的帧序号，且i＝1,2,…,a，a表示S_j中所含的三维映射的总帧数；

2d)依次将一阶分段S_j中除第i帧三维映射以外的三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶局部特征

2e)对除第d个一阶滤波器矩阵以外的一阶滤波器矩阵与一阶分段S_j中除第i帧三维映射以外的三维映射均进行步骤2c)和步骤2d)的操作，生成一阶特征

2f)对待分类极光视频序列的三维主成分特征S的所有分段S_j均进行步骤2a)～步骤2e)的操作，生成一阶网络全局特征

步骤三，提取待分类极光视频序列的三维主成分特征S的二阶网络全局特征R。

3a)从待分类极光视频序列的三维主成分特征S的一阶网络全局特征U中选取第j个一阶特征并以的第d个一阶局部特征为目标，提取的L₂个二阶特征向量

提取二阶特征向量可采用多种现有方法进行，例如三维卷积、二维卷积等方法，本实例采用三维卷积提取一阶特征内第d个一阶局部特征的二阶特征向量步骤如下：

3a1)从待分类极光视频序列的三维主成分特征S的一阶网络全局特征U中选取第j个一阶特征并获取的第d个一阶局部特征

3a2)对一阶局部特征提取其一阶单独特征映射的二阶平均矩阵并计算的二阶局部均值矩阵

3a3)对一阶局部特征中除第i个一阶单独特征映射以外的一阶单独特征映射均进行步骤3a2)的操作，生成二阶全局均值矩阵

3a4)对二阶全局均值矩阵Y和其转置矩阵Y^T做乘积生成二阶乘积矩阵Q＝YY^T；

3a5)计算二阶乘积矩阵Q的特征向量，并取前L₂个特征向量作为二阶特征向量

3b)对应每个二阶特征向量生成一个二阶滤波器矩阵

3c)将一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶单独特征

3d)依次将一阶局部特征中除第i个一阶单独特征以外的一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶局部特征

3e)将一阶特征中除第d个一阶局部特征以外的一阶局部特征与除第k个二阶滤波器矩阵以外的二阶滤波器矩阵均进行步骤3c)和步骤3d)的操作，生成二阶特征

3f)对一阶特征中除第d个一阶局部特征以外的一阶局部特征进行步骤3a)～步骤3e)的操作，生成二阶整合特征

3g)对除第j个一阶特征以外的一阶特征均进行步骤3a)～步骤3f)的操作，生成二阶网络全局特征

步骤四，获取待分类极光视频序列的三维主成分分析网络特征f：从待分类极光视频序列的三维主成分特征S的二阶网络全局特征R中提取极光视频序列的三维主成分分析网络特征f，得到极光视频序列的三维主成分分析网络特征f。

4a)在二阶网络全局特征R中，选取第j个二阶整合特征并将其转化为整合二进制矩阵

4b)对整合二进制矩阵进行分块直方图统计，生成整合分块直方图

4c)对二阶网络全局特征R中除第j个二阶整合特征以外的二阶整合特征均进行步骤4a)和步骤4b)的操作，生成极光视频序列的三维主成分分析网络特征f＝{f₁,f₂,…,f_j,…,f_J}；

步骤五，对支持向量机SVM分类器进行训练：选取极光视频序列数据库中的部分极光视频序列作为带标签数据，对各带标签的极光视频序列分别执行步骤(1)～步骤(4)，得到多个三维主成分分析网络特征，并利用所有三维主成分分析网络特征，对支持向量机SVM分类器进行训练，得到训练后的支持向量机SVM分类器；

步骤六，对极光视频序列进行分类：将待分类极光视频序列的三维主成分分析网络特征f输入到训练后的支持向量机SVM分类器中，得到弧状极光视频序列、帷幔状极光视频序列和辐射状极光视频序列的分类标签。

本发明的效果通过下面的实验仿真进一步说明：

1.仿真条件与方法：

硬件平台为：Intel Core i3、2.93GHz、3.45GB RAM；

软件平台为：Windows7操作系统下的MATLAB R2011b；

实验的数据：选用我国北极黄河站的全天空极光数据中已经建立好的极光数据库，这些数据来自2003年11月到2010年12月，共含有917个极光视频序列，其中，弧状极光视频序列309个，辐射状极光视频序列444个，帷幔状极光视频序列164个。极光视频序列中每帧极光图像均为512*512的灰度图像。

2.仿真内容与结果

用本发明和现有基于ST-PVLBP的极光视频序列分类方法对上述实验数据进行平均分类准确率对比实验。

当训练样本数分别为30、60、120、300、600时，现有的ST-PVLBP的平均分类准确率分别为83.3％、84.7％、86.7％、87.3％、87.2％，本发明的平均分类准确率分别为86.5％、87.7％、90.3％、91.7％、92.1％。可见，本发明相较于现有的极光视频序列分类方法提高了极光视频序列的分类准确率。

Claims (4)

1.一种基于三维主成分分析网络的视频序列分类方法，包括如下步骤：

(1)利用三维主成分分析法，提取待分类视频序列的三维主成分特征S；

(2)提取待分类视频序列的三维主成分特征S的一阶网络全局特征U：

2a)获取待分类视频序列的三维主成分特征S的J个一阶分段S_j，并提取S_j的L₁个一阶特征向量其中，j表示S的分段序号，且j＝1,2,…,J，J表示一阶分段S_j的总段数，d表示一阶特征向量的序号，且d＝1,2,…,L₁，L₁表示一阶特征向量的总个数；

2b)对应每个一阶特征向量生成一个一阶滤波器矩阵

2c)将一阶分段S_j的第i帧三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶单独特征映射其中，i表示S_j的三维映射的帧序号，且i＝1,2,…,a，a表示S_j中所含的三维映射的总帧数；

2d)依次将一阶分段S_j中除第i帧三维映射以外的三维映射与第d个一阶滤波器矩阵进行卷积，生成一阶局部特征

2e)对除第d个一阶滤波器矩阵以外的一阶滤波器矩阵与一阶分段S_j中除第i帧三维映射以外的三维映射均进行步骤2c)和步骤2d)的操作，生成一阶特征

2f)对待分类视频序列的三维主成分特征S的所有分段S_j均进行步骤2a)～步骤2e)的操作，生成一阶网络全局特征

(3)提取待分类视频序列的三维主成分特征S的二阶网络全局特征R：

3a)从待分类视频序列的三维主成分特征S的一阶网络全局特征U中选取第j个一阶特征并以的第d个一阶局部特征为目标，提取的L₂个二阶特征向量其中，k表示二阶特征向量序号，且k＝1,2,…,L₂，L₂表示二阶特征向量总个数；

3b)对应每个二阶特征向量生成一个二阶滤波器矩阵

3c)将一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶单独特征

3d)依次将一阶局部特征中除第i个一阶单独特征以外的一阶单独特征与第k个二阶滤波器矩阵进行卷积，生成二阶局部特征

3e)将一阶特征中除第d个一阶局部特征以外的一阶局部特征与除第k个二阶滤波器矩阵以外的二阶滤波器矩阵均进行步骤3c)和步骤3d)的操作，生成二阶特征

3f)对一阶特征中除第d个一阶局部特征以外的一阶局部特征进行步骤3a)～步骤3e)的操作，生成二阶整合特征

3g)对除第j个一阶特征以外的一阶特征均进行步骤3a)～步骤3f)的操作，生成二阶网络全局特征

(4)获取待分类视频序列的三维主成分分析网络特征f：从待分类视频序列的三维主成分特征S的二阶网络全局特征R中提取视频序列的三维主成分分析网络特征f，得到视频序列的三维主成分分析网络特征f；

(5)对支持向量机SVM分类器进行训练：选取视频序列数据库中的部分视频序列作为带标签数据，对各带标签的视频序列分别执行步骤(1)～步骤(4)，得到多个三维主成分分析网络特征，并利用所有三维主成分分析网络特征，对支持向量机SVM分类器进行训练，得到训练后的支持向量机SVM分类器；

(6)对视频序列进行分类：将待分类视频序列的三维主成分分析网络特征f输入到训练后的支持向量机SVM分类器中，得到不同类别视频序列的分类标签。

2.根据权利要求1所述的基于三维主成分分析网络的视频序列检测方法，其特征在于，步骤2a)中所述的获取待分类视频序列的三维主成分特征S的J个一阶分段S_j，并提取S_j的L₁个一阶特征向量实现步骤为：

2a1)以m为跨度，n为步长对待分类视频序列的三维主成分特征S进行分段，得到S的J个一阶分段S_j；

2a2)提取一阶分段S_j的第i帧三维映射的一阶平均矩阵并计算的一阶局部均值矩阵

2a3)对一阶分段S_j中除第i帧三维映射以外的三维映射均进行步骤2a2)的操作，生成一阶全局均值矩阵

2a4)对一阶全局均值矩阵X和其转置矩阵X^T做乘积，生成一阶乘积矩阵P＝XX^T；

2a5)计算一阶乘积矩阵P的特征向量，并取前L₁个特征向量作为一阶特征向量

3.根据权利要求1所述的基于三维主成分分析网络的视频序列检测方法，其特征在于，步骤3a)中所述的提取的L₂个二阶特征向量实现步骤为：

3a1)从待分类视频序列的三维主成分特征S的一阶网络全局特征U中选取第j个一阶特征并获取的第d个一阶局部特征

3a2)对一阶局部特征提取其一阶单独特征映射的二阶平均矩阵并计算的二阶局部均值矩阵

3a3)对一阶局部特征中除第i个一阶单独特征映射以外的一阶单独特征映射均进行步骤3a2)的操作，生成二阶全局均值矩阵

3a4)对二阶全局均值矩阵Y和其转置矩阵Y^T做乘积生成二阶乘积矩阵Q＝YY^T；

3a5)计算二阶乘积矩阵Q的特征向量，并取前L₂个特征向量作为二阶特征向量

4.根据权利要求1所述的基于三维主成分分析网络的视频序列检测方法，其特征在于，步骤(4)中所述的获取待分类视频序列的三维主成分分析网络特征f，实现步骤为：

4a)在二阶网络全局特征R中，选取第j个二阶整合特征并将其转化为整合二进制矩阵

4b)对整合二进制矩阵进行分块直方图统计，生成整合分块直方图

4c)对二阶网络全局特征R中除第j个二阶整合特征以外的二阶整合特征均进行步骤4a)和步骤4b)的操作，生成视频序列的三维主成分分析网络特征f＝{f₁,f₂,…,f_j,…,f_J}。