CN104200220A - 一种基于静态纹理模型聚集的动态纹理识别方法 - Google Patents

Abstract

本发明公开了一种基于静态纹理模型聚集的动态纹理识别方法，提出了识别动态纹理并不需要对整个复杂的运动过程建模，可以绕开对运动模式进行数学建模这一瓶颈，直接将动态纹理视为若干帧静态纹理图像的聚集，从而将其转化为静态纹理分类问题，最后通过聚集静态纹理模型识别动态纹理。而关于静态纹理识别目前有很多成熟有效的算法。本发明利用现有的静态纹理模型算法，将其拓展至动态纹理识别的应用，建立基于静态纹理模型聚集的动态纹理识别框架，推动了动态纹理识别技术发展，实现了高效快速识别动态纹理。

Description

一种基于静态纹理模型聚集的动态纹理识别方法

技术领域

本发明属于视频处理与分析领域，特别涉及用于动态纹理视频的分类，是一种通过聚集静态纹理模型实现动态纹理识别的方法。

相关背景

动态纹理(dynamic texture)是指在时间上具有统计的规律性和重复性的图像序列或视频片段，可以视为多帧时间上连续的静态纹理组成的图像序列。动态纹理在自然界中广泛存在，比如火焰、烟雾、流动的河流、随风摆动的树叶或者多个目标对象的整体运动(如：鸟群、车流或人群)。

纹理识别则是通过对纹理进行特征提取、描述和分析，将不同类别的未知纹理正确地归类到已知的纹理类型。动态纹理识别(dynamic texture recognition)，顾名思义就是分辨出不同类型的动态纹理，它是视频分析中的一项关键技术，也是计算机视觉中一个极具挑战性的课题。同时，动态纹理识别有着广泛的应用前景，它使我们不仅能够分辨燃烧的火焰和摆动的树叶，还能分辨汹涌的海浪和流淌的河流，或者通过观察树叶而检测到狂风的存在。通过动态纹理的识别技术，我们可以进行远程监控，如：监控森林中有无火灾，从而阻止自然灾害的发生；监控交通堵塞状况。我们还能够从录像中分辨出真正自然的和人为的类似周期性的视觉过程。结合对周期性行为的检索、识别技术，可以实现如“查找呈现一个人在小河边的火焰旁挖洞的视频”这样的任务。因此，动态纹理识别技术的研究具有重要的理论价值和实践意义。

现有的动态纹理识别方法可以归纳为四类：基于运动的方法、基于模型的方法、基于统计的方法以及基于滤波器的方法。然而这些方法受到动态纹理变化的运动方向以及速度的限制，因此难以对动态纹理的运动模式建立合适的模型，制约了传统的动态纹理识别技术发展。

发明内容

为了解决上述的技术问题，本发明提出一种基于静态纹理模型聚集的动态纹理识别方法，通过研究动态纹理在时间上和空间上呈现的同质特性，尤其在时间上表现为动态纹理视频的图像帧之间具有自相似性，使得图像序列位于某种连续的流形结构；因此对于动态纹理，随机抽取几幅图像就足以表达整个视频的信息，这样通过聚集一组静态纹理模型，就能够将动态纹理识别的问题转换为静态纹理图像分类，从而实现高效快速识别动态纹理。

本发明所采用的技术方案是：一种基于静态纹理模型聚集的动态纹理识别方法，其特征在于，包括以下步骤：

步骤1：从动态纹理视频中随机采样m帧图像，其中m≥3；

步骤2：对采样的m帧图像，采用静态纹理模型建立其纹理描述，获得所述的动态纹理视频的静态纹理模型聚集体；

步骤3：利用分类器，对采样的m帧图像的静态纹理分类，得到帧纹理的类别标号，对于静态纹理模型聚集体则会有多个类别标号，采用投票法确定动态纹理的唯一类别标号；

步骤4：对采样的m帧图像进行动态纹理识别，其具体实现过程包括以下子步骤：

步骤4.1：模型训练；随机选取若干个动态纹理视频作为训练样本，用每个动态纹理的真实类别标号标记属于该动态纹理视频的每帧静态纹理图像，将提取的静态纹理模型聚集体和对应的类别标号送入分类器进行训练；

步骤4.2：识别测试；对某个未知类别的动态纹理样本按照步骤1和步骤2所述，建立其对应的静态纹理模型聚集体，然后通过训练得到的分类器判别、并采用投票法预测类别标号，从而完成动态纹理识别的任务。

作为优选，步骤2中所述的采用静态纹理模型建立其纹理描述，对于不包含几何结构的简单的动态纹理视频，采用传统的纹理描述算子LBP、Gabor建立每帧图像的静态纹理模型；对于包含明显几何结构的场景复杂的动态纹理，采用稳定性更强的静态纹理模型ScatNet和SCOP。

作为优选，步骤3中所述的分类器，是kNN或者SVM分类器。

本发明的动态纹理识别方法，提出了识别动态纹理并不需要对整个复杂的运动过程建模，可以绕开对运动模式进行数学建模这一瓶颈，直接将动态纹理视为若干帧静态纹理图像的聚集，从而将其转化为静态纹理分类问题，最后通过聚集静态纹理模型识别动态纹理。而关于静态纹理识别目前有很多成熟有效的算法。本发明利用现有的静态纹理模型算法，将其拓展至动态纹理识别的应用，建立基于静态纹理模型聚集的动态纹理识别框架，推动了动态纹理识别技术发展，实现了高效快速识别动态纹理。

同时，本发明通过挖掘动态纹理在时间维度上的同质性，即动态纹理视频表现为图像帧与帧之间的相似性，利用静态纹理模型对视频中少数几帧纹理图像建模，由一组静态纹理模型聚集体表示一个动态纹理，在保证动态纹理识别精度的前提下，本发明不仅为静态纹理方法拓展至动态纹理应用提供了途径，而且大大降低了动态纹理模型学习过程中的计算代价。

附图说明

图1：为本发明实施例的流程示意图；

图2：为本发明实施例的动态纹理视频图像帧之间相似性示意图(以Gabor特征为例)；

图3：为本发明实施例的动态纹理在时间上呈现出连续的流形结构示意图(以Gabor特征为例)；

图4-1：为本发明实施例的DynTex数据库动态纹理样本示例；

图4-2：为本发明实施例的动态纹理视频提取不同帧数图像，分别用LBP、Gabor、ScatNet、SCOP四种特征建立的静态纹理模型聚集体获得的识别率。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本实施例以动态纹理数据库DynTex数据库中的样本为例，一个动态纹理视频尺寸为352×288×3×250，即由352×288大小的250帧3通道彩色图像构成。

请见图1，本发明所采用的技术方案是：一种基于静态纹理模型聚集的动态纹理识别方法，包括以下步骤：

步骤1：从动态纹理视频中随机采样5帧图像；

从250帧图像等间隔均匀选取5帧图像，分别是第1、63、126、188、250帧，由V_t＝{I₁,I₂,I₃,I₄,I₅}表示，I_i中下标i表示选取后的5帧图像第i帧的编号。

步骤2：对采样的5帧图像，采用静态纹理模型建立其纹理描述，获得所述的动态纹理视频的静态纹理模型聚集体；

将一个动态纹理视频转换成一组静态纹理图像之后，采用静态纹理模型形状共生模式(Shape Co-occurrence Patterns， SCOP)提取每帧图像的纹理特征，然后将这组静态纹理模型聚集体用来描述动态纹理。静态纹理模型聚集体表示为STM(I₁),STM(I₂),STM(I₃),STM(I₄),STM(I₅)。

本实施例中使用形状共生模式(Shape Co-occurrence Patterns, SCOP)作为静态纹理模型，SCOP由拓扑图(Topographic map)生成形状树，并对这些形状定义某些形状属性来描述，然后通过统计观测形状之间的共生模式，从而建立一种基于形状结构的纹理分析模型。这里对纹理图像进行形状树共生模式表达是基于纹理几何结构构造以形状基元为树节点的树形结构表达，并且以树节点与节点之间的关系定义纹理基元之间的相互关系。

首先建立纹理图像的拓扑图，具体方法是根据图像灰度级数定义图像水平集(Level sets)，由水平集关系构造树形结构，水平集的定义为：

χ_l(I_l)＝{p∈Ω；I_l(p)≥l}

χ^l(I_l)＝{p∈Ω；I_l(p)≤l}

其中χ_l(I_l)与χ^l(I_l)分别表示图像I的上水平集与下水平集，Ω是图像空间，p是图像像素点索引；l∈[1,…,L]表示递增的图像灰度水平。水平集可以看作是一个二值图像，即属于该水平的部分或不属于该水平的部分。并且水平集二值图像包含一个或多个独立的孔洞，这些孔洞代表了水平集之外的像素。将这些孔洞用与之位置相对应的原始图像中的像素进行填充，即可得到独立的形状，这些形状即是拓扑图的基本构成单元。

拓扑图中的形状基元作为对图像的局部描述用以分析图像的纹理基元，因此对纹理的建模转换为形状树建模的问题，接下来将要对模型进行数学描述。利用形状的一阶与二阶统计量，计算形状的长短轴比、紧凑度、归一化对比度、归一化面积、尺度比等统计量，并根据这些统计量构造形状基元的局部描述算子。

为了计算以上统计量，首先定义任意形状s的(p+q)阶统计量：

${\mathrm{\μ}}_{\mathrm{pq}}={\∫\∫}_s{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^q\mathrm{dxdy}$

这里是形状s的重心，计算稳定性最强的形状s的二阶惯性矩 $C=\left(\begin{array}{cc}{\mathrm{\μ}}_{00}& {\mathrm{\μ}}_{01}\\ {\mathrm{\μ}}_{10}& {\mathrm{\μ}}_{11}\end{array}\right),$ 它的两个特征值为(λ₁,λ₂)，其中λ₁>λ₂。形状的特征由形状属性描述，定义形状的属性如长短轴比ε＝λ₂/λ₁，紧凑度对比度γ＝(l-mean_A)/std_A，归一化面积尺度比其中变量a,p分别为形状s的面积与周长，mean_A与std_A分别表示形状区域内像素的均值与方差，将s的上述形状属性记为：

f(s)＝[ε,κ,γ,α,β]

用s^r表示形状s在拓扑树中的第r阶祖先，s′作为s的兄弟，s^τ是s的远祖，满足τ>r。SCOP被定义为形状s与其兄弟、祖先、远祖之间的联合分布统计，并由f(s)定义的形状属性进行数值描述，从而获得纹理的形状共生模式SCOP模型，用以表示纹理图像的局部特征。纹理图像的全局特征表达则采用基于词袋模型的框架，利用K-means算法对训练样本提取的SCOP特征进行聚类获得词典，将一幅纹理图像计算得到的SCOP映射到词典上做量化操作，统计生成直方图，将直方图表示作为该幅静态纹理图像的全局特征描述。

步骤3：利用分类器，对采样的5帧图像的静态纹理分类，得到帧纹理的类别标号，对于静态纹理模型聚集体则会有多个类别标号，采用投票法确定动态纹理的唯一类别标号；

可以选用常用的分类器例如k近邻法(kNN)或者支持向量机(SVM)对动态纹理视频中的每个静态纹理模型分类，获得一组包含5个值的类别标签l₁,l₂,l₃,l₄,l₅，即选取的图像中每帧将有一个类别标号，并且这些类别标号不一定属于同一个类别。DynTex数据库中包含k个类别的动态纹理，则静态纹理模型聚集体的5个类别标号中可能涵盖其中几种类别。为了使一个动态纹理标记为唯一确定的类别，采用最大投票法将5个类别标签中频率出现最多的动态纹理类别作为该动态纹理的类别标记L，最大投票法的计算公式如下式所示：

$L=\underset{j}{\arg \max }\mathrm{\ΣH}\{l_i==j\}$

i＝1,2,...,5；j＝1,2,...,k.

$H\left\{A\right\}=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{A\; is\; true};\\ 0,& \mathrm{if}& \mathrm{A\; is\; false}.\end{array}\right.$

其中H{·}为判别函数。

步骤4：对采样的5帧图像进行动态纹理识别；

动态纹理识别中的分类过程分为两步：已知类别样本训练分类器和测试样本标号预测。首先对于DynTex数据库中每一类动态纹理类别，选择若干训练样本，按照步骤1、2计算其静态纹理模型聚集体作为动态纹理特征描述，利用获得的动态纹理特征和其对应的类别标号训练步骤3中选用的分类器；然后再通过训练得到的分类器对数据库中其它未知类别的测试样本进行标号预测，由步骤3中的最大投票法最终确定每个样本的动态纹理类别。

本实施例的静态纹理模型采用的SCOP模型，这并不是对本发明的限定，事实上，本发明采用静态纹理模型建立其纹理描述，对于不包含几何结构的简单的动态纹理视频，采用传统的纹理描述算子LBP、Gabor建立每帧图像的静态纹理模型；对于包含明显几何结构的场景复杂的动态纹理，采用稳定性更强的静态纹理模型ScatNet和SCOP。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于静态纹理模型聚集的动态纹理识别方法，其特征在于，包括以下步骤：

步骤1：从动态纹理视频中随机采样m帧图像，其中m≥3；

步骤2：对采样的m帧图像，采用静态纹理模型建立其纹理描述，获得所述的动态纹理视频的静态纹理模型聚集体；

步骤3：利用分类器，对采样的m帧图像的静态纹理分类，得到帧纹理的类别标号，对于静态纹理模型聚集体则会有多个类别标号，采用投票法确定动态纹理的唯一类别标号；

步骤4：对采样的m帧图像进行动态纹理识别，其具体实现过程包括以下子步骤：

步骤4.1：模型训练；随机选取若干个动态纹理视频作为训练样本，用每个动态纹理的真实类别标号标记属于该动态纹理视频的每帧静态纹理图像，将提取的静态纹理模型聚集体和对应的类别标号送入分类器进行训练；

步骤4.2：识别测试；对某个未知类别的动态纹理样本按照步骤1和步骤2所述，建立其对应的静态纹理模型聚集体，然后通过训练得到的分类器判别、并采用投票法预测类别标号，从而完成动态纹理识别的任务。

2.根据权利要求1所述的基于静态纹理模型聚集的动态纹理识别方法，其特征在于：步骤2中所述的采用静态纹理模型建立其纹理描述，对于不包含明显几何结构的简单的动态纹理视频，采用传统的纹理描述算子LBP、Gabor建立每帧图像的静态纹理模型；对于包含明显几何结构的复杂场景的动态纹理，采用稳定性更强的静态纹理模型ScatNet和SCOP。

3.根据权利要求1所述的基于静态纹理模型聚集的动态纹理识别方法，其特征在于：步骤3中所述的分类器，是kNN或者SVM分类器。