CN109344902A - 一种基于局部时空连续性聚合描述的视频纹理描述方法 - Google Patents

一种基于局部时空连续性聚合描述的视频纹理描述方法 Download PDF

Info

Publication number
CN109344902A
CN109344902A CN201811186210.9A CN201811186210A CN109344902A CN 109344902 A CN109344902 A CN 109344902A CN 201811186210 A CN201811186210 A CN 201811186210A CN 109344902 A CN109344902 A CN 109344902A
Authority
CN
China
Prior art keywords
video
space time
lbp
continuity
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811186210.9A
Other languages
English (en)
Other versions
CN109344902B (zh
Inventor
王玉
吕颖达
黄永平
申铉京
马舒阳
沈哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201811186210.9A priority Critical patent/CN109344902B/zh
Publication of CN109344902A publication Critical patent/CN109344902A/zh
Application granted granted Critical
Publication of CN109344902B publication Critical patent/CN109344902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques

Abstract

本发明提出一种基于局部时空连续性聚合描述的视频纹理描述方法。该方法用图像集合表示视频，对图像集合划分分块，通过LBP‑TOP算子提取视频的局部时空纹理特征，利用k‑means算法获取该视频描述集合的聚类中心，基于这些聚类中心对视频描述集合进行聚合得到一个单独的向量，以得到更为细致的刻画视频的局部信息。特征向量之间的相似性是通过欧式距离来定义，并对不同分量赋予相应权重。最后利用最近邻方法获得最佳视频分类结果。通过在Honda/UCSD数据库上与当前几种主流视频描述算子进行的对比实验，验证了本文算法的有效性，所提算法识别精度较高，误差较低，并且具有较强的鲁棒性。

Description

一种基于局部时空连续性聚合描述的视频纹理描述方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种视频纹理描述方法。
背景技术
视频纹理描述算子的设计一直是计算机视觉、视频分析与处理等领域的研究热点和难点问题，对于解决视频人脸识别、视频人体行为识别、智能视频监控等问题具有重要意义和研究价值。虽然目前出现了一些有效的视频纹理描述方法，但仍然存在自动对齐、对各种环境变化鲁棒性较差等问题。围绕如何解决光照变化、复杂环境背景对视频描述鲁棒性的影响，众多学者也从多方面展开了相关的研究工作。总之，高效且鲁棒的视频纹理描述算子对于解决与视频相关的研究与应用具有重要作用。因此，需要一种行之有效的方法来解决上述问题。
发明内容
本发明所要解决的技术问题是为如何有效描述视频纹理问题，提出一种基于局部时空连续性聚合描述的视频纹理描述方法。所述方法对于解决视频人脸识别、视频人体动作视频以及视频处理与分析等方面具有重要价值。
为了解决上述技术问题，本发明所采用的技术方案是：
一种基于局部时空连续性聚合描述的视频纹理描述方法，包括如下步骤：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理；
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息；
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式；
步骤D，将上述聚合描述矩阵会以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
在步骤B中，所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，最后将这三个LBP特征直方图进行级联操作已获得视频序列的纹理特征。
在步骤D中，所述基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，对于含有多个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间，这里对视频局部聚合描述向量的权重学习利用了Fisher准则，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。
本发明的有益效果：本发明提出了一种基于局部时空连续性聚合描述的视频纹理描述方法，该算法用图像集合表示视频，对图像集合划分分块，通过LBP-TOP算子提取视频的局部时空纹理特征，利用k-means算法获取该视频描述集合的聚类中心，基于这些聚类中心对视频描述集合进行聚合得到一个单独的向量，以得到更为细致的刻画视频的局部信息。特征向量之间的相似性是通过欧式距离来定义，并对不同分量赋予相应权重。最后利用最近邻方法获得最佳视频分类结果。通过在Honda/UCSD数据库上与当前几种主流视频描述算子进行的对比实验，验证了本文算法的有效性，所提算法识别精度较高，误差较低，并且具有较强的鲁棒性。
附图说明
图1是本发明基于局部时空连续性聚合描述的视频纹理描述方法的流程图。
具体实施方式
下面结合附图，对本发明提出的一种基于局部时空连续性聚合描述的视频纹理描述方法进行详细说明：
如图1所示，本发明的视频纹理描述方法，其步骤如下：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理。
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息。
所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，通过对每段视频进行划分分块操作就可以获得大量的局部LBP-TOP描述符，可以通过将这些分块级的LBP-TOP进行级联以获得视频的全局纹理特征，而本文为了更为细致的刻画视频的局部信息，同时保证特征没有损失，引入了VLAD的思想，即设法将一个视频序列的局部描述符聚合到一个单独的向量中去。该描述是一种对视频更加紧凑的表达形式，可以反映视频特征某些方面的分布特性。
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式。
对视频库中的每个视频序列通过上述视频纹理特征提取可以获得大量的局部LBP-TOP描述符{x1,…,xi,…,xN}，其中N代表描述符数量。对这些局部描述符进行聚合的具体步骤如下：
1、聚类。对上述训练集中的N个d维的局部LBP-TOP描述符i＝1,2,…,N，利用k-means聚类算法聚类成k类，设C＝{c1,…,ck}为通过聚类得到的聚类中心向量集合，NN(xi)为每个局部LBP-TOP描述符xi所属聚类中心编号。
2、聚合。对其中一个视频序列来说，其局部LBP-TOP描述符集合为{x1,…,xi,…,xN}，对每一个聚类中心cj，计算所有xi-cj的差，其中xi满足NN(xi)＝cj。即计算每个局部LBP-TOP描述符xi与所属聚类中心向量cj的残差值，统计属于相同聚类的残差向量求和，聚类中心个数为k，这样，最终可得到k个d维的子向量，这种方式能够描述所有的局部特征在集合C上的分布。如式(2)所示，vj为d维向量，j＝{1,…,k}为聚类中心下标。
将k个子向量拉成一个D＝k*d的一维向量。如下式所示：
v＝[v1,v2,…,vk]＝[v1,v2,v3,…,vD] (3)
3、幂律归一化。对向量v的每个分量执行vj:＝|vj|α×sign(vj)，j＝1,2,…,D，其中参数0≤a＜1，这里取α＝0.5，此时，对于上述训练集的局部LBP-TOP特征空间分布来说，当出现某些LBP-TOP特征出现的次数过多的情况时，聚类中心通常会落在其附近，这样对该聚类中心计算得到的残差值会比较小，而幂律归一化的目的就是为了减少聚类过于密集所带来的影响。
4、L2范数归一化。为保证对视频局部时空聚合描述特征的比较可以在同一个尺度上进行，可以对整个子向量执行操作，目的主要是为了使得聚合描述向量的范数为1。同时，归一化操作还可以减少由于光照变化等因素带来的特征差异，进一步提升算法的鲁棒性。
步骤D，将上述聚合描述矩阵会以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
这里对视频局部聚合描述向量进行加权的基本思想，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。对于含有C个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间。则聚合描述向量每个分量的类内相似度均值和方差可通过如下公式计算得到。
类内相似度均值为：
类内相似度方差为：
这里，和分别表示第i个类别中的第j个和第k个视频序列的聚合向量，Ni表示属于第i类的视频序列数目，b用来表示当前分量。每个分量的类间相似度均值和方差可通过下式得到。
类间相似度均值为：
类间相似度方差为：
最终聚合描述向量的第b个分量的权重可以通过如下公式计算得到：
对于给定训练集，可通过上述方式获得视频局部聚合描述。
通过上述实施方式，可见本发明具有如下优点：
本发明可以得到高效的视频纹理描述向量，有效解决视频纹理表示及视频相似度度量的问题，并且该方法对复杂背景具有较强的抗干扰能力。
另外，本发明利用LBP-TOP算子获取空间纹理特征，该算子对光照变化、旋转等具有较好的鲁棒性。另外，本发明采用Fisher准则进行特征的权重学习，增强了该方法的可辨别能力。

Claims (3)

1.一种基于局部时空连续性聚合描述的视频纹理描述方法，包括如下步骤：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理；
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息；
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式；
步骤D，将上述聚合描述矩阵会以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
2.根据权利要求1所述的一种基于局部时空连续性聚合描述的视频纹理描述方法，其特征在于，在步骤B中，所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，最后将这三个LBP特征直方图进行级联操作已获得视频序列的纹理特征。
3.根据权利要求1所述的一种基于局部时空连续性聚合描述的视频纹理描述方法，其特征在于，在步骤D中，所述基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，对于含有多个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间，这里对视频局部聚合描述向量的权重学习利用了Fisher准则，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。
CN201811186210.9A 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法 Active CN109344902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186210.9A CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186210.9A CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Publications (2)

Publication Number Publication Date
CN109344902A true CN109344902A (zh) 2019-02-15
CN109344902B CN109344902B (zh) 2021-07-20

Family

ID=65309726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186210.9A Active CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Country Status (1)

Country Link
CN (1) CN109344902B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112699A1 (en) * 2005-06-20 2007-05-17 Samsung Electronics Co., Ltd. Image verification method, medium, and apparatus using a kernel based discriminant analysis with a local binary pattern (LBP)
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN104778457A (zh) * 2015-04-18 2015-07-15 吉林大学 基于多示例学习的视频人脸识别算法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112699A1 (en) * 2005-06-20 2007-05-17 Samsung Electronics Co., Ltd. Image verification method, medium, and apparatus using a kernel based discriminant analysis with a local binary pattern (LBP)
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN104778457A (zh) * 2015-04-18 2015-07-15 吉林大学 基于多示例学习的视频人脸识别算法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIMO GUO ET AL.: "Video Texture Synthesis With Multi-Frame LBP-TOP and Diffeomorphic Growth Model", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Also Published As

Publication number Publication date
CN109344902B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN106897390B (zh) 基于深度度量学习的目标精确检索方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN105893936B (zh) 一种基于hoirm和局部特征融合的行为识别方法
CN104268593B (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN107944431B (zh) 一种基于运动变化的智能识别方法
CN109902736A (zh) 一种基于自动编码器构建特征表示的肺结节图像分类方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN101383008A (zh) 基于视觉注意模型的图像分类方法
Beksi et al. Object classification using dictionary learning and rgb-d covariance descriptors
CN106250701B (zh) 计算机软件系统中实现肺结节危险程度分类的系统和方法
CN104050460B (zh) 多特征融合的行人检测方法
CN107341505A (zh) 一种基于图像显著性与Object Bank的场景分类方法
CN113569895A (zh) 图像处理模型训练方法、处理方法、装置、设备及介质
CN102902976A (zh) 一种基于目标及其空间关系特性的图像场景分类方法
CN106326914B (zh) 一种基于svm的珍珠多分类方法
CN106529544A (zh) 一种基于无监督机器学习的织物平整度客评定方法及装置
Zhou et al. A novel bag generator for image database retrieval with multi-instance learning techniques
CN105389588A (zh) 基于多语义码本图像特征表示方法
CN111414958B (zh) 一种视觉词袋金字塔的多特征图像分类方法及系统
CN101561875B (zh) 一种二维人脸图像定位的方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN109344902A (zh) 一种基于局部时空连续性聚合描述的视频纹理描述方法
CN107871110B (zh) 一种基于多尺度结构相关性的行人目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant