CN109344902B - 一种基于局部时空连续性聚合描述的视频纹理描述方法 - Google Patents

一种基于局部时空连续性聚合描述的视频纹理描述方法 Download PDF

Info

Publication number
CN109344902B
CN109344902B CN201811186210.9A CN201811186210A CN109344902B CN 109344902 B CN109344902 B CN 109344902B CN 201811186210 A CN201811186210 A CN 201811186210A CN 109344902 B CN109344902 B CN 109344902B
Authority
CN
China
Prior art keywords
video
description
texture
lbp
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811186210.9A
Other languages
English (en)
Other versions
CN109344902A (zh
Inventor
王玉
吕颖达
黄永平
申铉京
马舒阳
沈哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201811186210.9A priority Critical patent/CN109344902B/zh
Publication of CN109344902A publication Critical patent/CN109344902A/zh
Application granted granted Critical
Publication of CN109344902B publication Critical patent/CN109344902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于局部时空连续性聚合描述的视频纹理描述方法。该方法用图像集合表示视频，对图像集合划分分块，通过LBP‑TOP算子提取视频的局部时空纹理特征，利用k‑means算法获取该视频描述集合的聚类中心，基于这些聚类中心对视频描述集合进行聚合得到一个单独的向量，以得到更为细致的刻画视频的局部信息。特征向量之间的相似性是通过欧式距离来定义，并对不同分量赋予相应权重。最后利用最近邻方法获得最佳视频分类结果。通过在Honda/UCSD数据库上与当前几种主流视频描述算子进行的对比实验，验证了本文算法的有效性，所提算法识别精度较高，误差较低，并且具有较强的鲁棒性。

Description

一种基于局部时空连续性聚合描述的视频纹理描述方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种视频纹理描述方法。
背景技术
视频纹理描述算子的设计一直是计算机视觉、视频分析与处理等领域的研究热点和难点问题，对于解决视频人脸识别、视频人体行为识别、智能视频监控等问题具有重要意义和研究价值。虽然目前出现了一些有效的视频纹理描述方法，但仍然存在自动对齐、对各种环境变化鲁棒性较差等问题。围绕如何解决光照变化、复杂环境背景对视频描述鲁棒性的影响，众多学者也从多方面展开了相关的研究工作。总之，高效且鲁棒的视频纹理描述算子对于解决与视频相关的研究与应用具有重要作用。因此，需要一种行之有效的方法来解决上述问题。
发明内容
本发明所要解决的技术问题是为如何有效描述视频纹理问题，提出一种基于局部时空连续性聚合描述的视频纹理描述方法。所述方法对于解决视频人脸识别、视频人体动作视频以及视频处理与分析等方面具有重要价值。
为了解决上述技术问题，本发明所采用的技术方案是：
一种基于局部时空连续性聚合描述的视频纹理描述方法，包括如下步骤：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理；
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息；
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式；
步骤D，将上述聚合描述矩阵会以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
在步骤B中，所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，最后将这三个LBP特征直方图进行级联操作已获得视频序列的纹理特征。
在步骤D中，所述基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，对于含有多个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间，这里对视频局部聚合描述向量的权重学习利用了Fisher准则，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。
本发明的有益效果：本发明提出了一种基于局部时空连续性聚合描述的视频纹理描述方法，该算法用图像集合表示视频，对图像集合划分分块，通过LBP-TOP算子提取视频的局部时空纹理特征，利用k-means算法获取该视频描述集合的聚类中心，基于这些聚类中心对视频描述集合进行聚合得到一个单独的向量，以得到更为细致的刻画视频的局部信息。特征向量之间的相似性是通过欧式距离来定义，并对不同分量赋予相应权重。最后利用最近邻方法获得最佳视频分类结果。通过在Honda/UCSD数据库上与当前几种主流视频描述算子进行的对比实验，验证了本文算法的有效性，所提算法识别精度较高，误差较低，并且具有较强的鲁棒性。
附图说明
图1是本发明基于局部时空连续性聚合描述的视频纹理描述方法的流程图。
具体实施方式
下面结合附图，对本发明提出的一种基于局部时空连续性聚合描述的视频纹理描述方法进行详细说明：
如图1所示，本发明的视频纹理描述方法，其步骤如下：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理。
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息。
所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，通过对每段视频进行划分分块操作就可以获得大量的局部LBP-TOP描述符，可以通过将这些分块级的LBP-TOP进行级联以获得视频的全局纹理特征，而本文为了更为细致的刻画视频的局部信息，同时保证特征没有损失，引入了VLAD的思想，即设法将一个视频序列的局部描述符聚合到一个单独的向量中去。该描述是一种对视频更加紧凑的表达形式，可以反映视频特征某些方面的分布特性。
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式。
对视频库中的每个视频序列通过上述视频纹理特征提取可以获得大量的局部LBP-TOP描述符{x1,…,xi,…,xN}，其中
Figure BDA0001826287510000031
N代表描述符数量。对这些局部描述符进行聚合的具体步骤如下：
1、聚类。对上述训练集中的N个d维的局部LBP-TOP描述符
Figure BDA0001826287510000034
i＝1,2,…,N，利用k-means聚类算法聚类成k类，设C＝{c1,…,ck}为通过聚类得到的聚类中心向量集合，NN(xi)为每个局部LBP-TOP描述符xi所属聚类中心编号。
Figure BDA0001826287510000032
2、聚合。对其中一个视频序列来说，其局部LBP-TOP描述符集合为{x1,…,xi,…,xN}，对每一个聚类中心cj，计算所有xi-cj的差，其中xi满足NN(xi)＝cj。即计算每个局部LBP-TOP描述符xi与所属聚类中心向量cj的残差值，统计属于相同聚类的残差向量求和，聚类中心个数为k，这样，最终可得到k个d维的子向量，这种方式能够描述所有的局部特征在集合C上的分布。如式(2)所示，vj为d维向量，j＝{1,…,k}为聚类中心下标。
Figure BDA0001826287510000033
将k个子向量拉成一个D＝k*d的一维向量。如下式所示：
v＝[v1,v2,…,vk]＝[v1,v2,v3,…,vD] (3)
3、幂律归一化。对向量v的每个分量执行vj:＝|vj|α×sign(vj)，j＝1,2,…,D，其中参数0≤a＜1，这里取α＝0.5，此时，
Figure BDA0001826287510000041
对于上述训练集的局部LBP-TOP特征空间分布来说，当出现某些LBP-TOP特征出现的次数过多的情况时，聚类中心通常会落在其附近，这样对该聚类中心计算得到的残差值会比较小，而幂律归一化的目的就是为了减少聚类过于密集所带来的影响。
4、L2范数归一化。为保证对视频局部时空聚合描述特征的比较可以在同一个尺度上进行，可以对整个子向量执行
Figure BDA0001826287510000042
操作，目的主要是为了使得聚合描述向量的范数为1。同时，归一化操作还可以减少由于光照变化等因素带来的特征差异，进一步提升算法的鲁棒性。
步骤D，将上述聚合描述矩阵会以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
这里对视频局部聚合描述向量进行加权的基本思想，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。对于含有C个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间。则聚合描述向量每个分量的类内相似度均值和方差可通过如下公式计算得到。
类内相似度均值为：
Figure BDA0001826287510000043
类内相似度方差为：
Figure BDA0001826287510000044
这里，
Figure BDA0001826287510000045
和
Figure BDA0001826287510000046
分别表示第i个类别中的第j个和第k个视频序列的聚合向量，Ni表示属于第i类的视频序列数目，b用来表示当前分量。每个分量的类间相似度均值和方差可通过下式得到。
类间相似度均值为：
Figure BDA0001826287510000051
类间相似度方差为：
Figure BDA0001826287510000052
最终聚合描述向量的第b个分量的权重可以通过如下公式计算得到：
Figure BDA0001826287510000053
对于给定训练集，可通过上述方式获得视频局部聚合描述。
通过上述实施方式，可见本发明具有如下优点：
本发明可以得到高效的视频纹理描述向量，有效解决视频纹理表示及视频相似度度量的问题，并且该方法对复杂背景具有较强的抗干扰能力。
另外，本发明利用LBP-TOP算子获取空间纹理特征，该算子对光照变化、旋转等具有较好的鲁棒性。另外，本发明采用Fisher准则进行特征的权重学习，增强了该方法的可辨别能力。

Claims (3)

1.一种基于局部时空连续性聚合描述的视频纹理描述方法，包括如下步骤：
步骤A，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理；
步骤B，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，对每个分块提取LBP-TOP视频纹理特征，以获得每个分块级的特征直方图信息；
步骤C，在所有分块级的LBP-TOP特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式；
步骤D，将上述聚合描述矩阵以向量的形式表示，同时基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。
2.根据权利要求1所述的一种基于局部时空连续性聚合描述的视频纹理描述方法，其特征在于，在步骤B中，所述LBP-TOP特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取LBP特征，最后将这三个LBP特征直方图进行级联操作以 获得视频序列的纹理特征。
3.根据权利要求1所述的一种基于局部时空连续性聚合描述的视频纹理描述方法，其特征在于，在步骤D中，所述基于Fisher准则对向量进行权重计算以提高视频纹理的表示能力，对于含有多个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间，这里对视频局部聚合描述向量的权重学习利用了Fisher准则，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。
CN201811186210.9A 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法 Active CN109344902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186210.9A CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186210.9A CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Publications (2)

Publication Number Publication Date
CN109344902A CN109344902A (zh) 2019-02-15
CN109344902B true CN109344902B (zh) 2021-07-20

Family

ID=65309726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186210.9A Active CN109344902B (zh) 2018-10-12 2018-10-12 一种基于局部时空连续性聚合描述的视频纹理描述方法

Country Status (1)

Country Link
CN (1) CN109344902B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043021B2 (en) * 2019-11-11 2021-06-22 Manticore Games, Inc. Programmatically configuring materials

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN104778457A (zh) * 2015-04-18 2015-07-15 吉林大学 基于多示例学习的视频人脸识别算法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723406B1 (ko) * 2005-06-20 2007-05-30 삼성전자주식회사 국부이진패턴 구별 방법을 이용한 얼굴 검증 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN104778457A (zh) * 2015-04-18 2015-07-15 吉林大学 基于多示例学习的视频人脸识别算法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video Texture Synthesis With Multi-Frame LBP-TOP and Diffeomorphic Growth Model;Yimo Guo et al.;《 IEEE Transactions on Image Processing》;20130514;第22卷(第10期);全文 *

Also Published As

Publication number Publication date
CN109344902A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN110717554B (zh) 图像识别方法、电子设备及存储介质
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN111931592B (zh) 对象识别方法、装置及存储介质
Walker et al. Locating Salient Object Features.
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN109376787B (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
Zheng et al. Pedestrian detection based on gradient and texture feature integration
CN112784722B (zh) 基于YOLOv3和词袋模型的行为识别方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN107886066A (zh) 一种基于改进hog‑sslbp的行人检测方法
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
CN105389588A (zh) 基于多语义码本图像特征表示方法
Li et al. Support cluster machine
Kpalma et al. An overview of advances of pattern recognition systems in computer vision
Xu et al. Automatic recognition of palaeobios images under microscope based on machine learning
Najibi et al. Towards the success rate of one: Real-time unconstrained salient object detection
Song et al. Two-level hierarchical feature learning for image classification
CN109344902B (zh) 一种基于局部时空连续性聚合描述的视频纹理描述方法
CN113592030A (zh) 基于复值奇异谱分析的图像检索方法和系统
CN112084353A (zh) 一种快速陆标-卷积特征匹配的词袋模型方法
CN111738194A (zh) 一种用于人脸图像相似性的评价方法和装置
CN104008095A (zh) 一种基于语义特征提取与匹配的物体识别方法
Gao et al. Data-driven lightweight interest point selection for large-scale visual search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant