CN107808391A - 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 - Google Patents

一种基于特征选择与光滑表示聚类的视频动态目标提取方法 Download PDF

Info

Publication number
CN107808391A
CN107808391A CN201711030113.6A CN201711030113A CN107808391A CN 107808391 A CN107808391 A CN 107808391A CN 201711030113 A CN201711030113 A CN 201711030113A CN 107808391 A CN107808391 A CN 107808391A
Authority
CN
China
Prior art keywords
matrix
video sequence
video
clustering
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711030113.6A
Other languages
English (en)
Other versions
CN107808391B (zh
Inventor
郑建炜
路程
杨平
秦梦洁
杨弘
陈婉君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201711030113.6A priority Critical patent/CN107808391B/zh
Publication of CN107808391A publication Critical patent/CN107808391A/zh
Application granted granted Critical
Publication of CN107808391B publication Critical patent/CN107808391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于特征选择与光滑表示聚类的视频动态目标提取方法，包括如下步骤：(1)对视频数据进行预处理，编码成视频序列矩阵Y；(2)以视频序列矩阵Y为输入，建立FSSR聚类模型；(3)使用增广拉格朗日函数和交替方向乘子法对聚类模型进行优化，获得最优系数矩阵Z*；(4)使用公式(|Z*|+|Z*T|)/2，计算关联矩阵S；(5)使用规范化分割算法对关联矩阵S进行分割，根据聚类结果获取动态目标图像。本发明具有运行效率高、数据适应性强、准确度高、运动一致性强等的优点，非常适合高维特征视频数据的目标提取。

Description

一种基于特征选择与光滑表示聚类的视频动态目标提取方法
技术领域
本发明涉及一种基于特征选择与光滑表示聚类的视频动态目标提取方法，可用于目标跟踪和目标检测。
背景技术
计算机视觉中对视频序列场景的分析和理解是其中一项重要的研究内容，其应用包括：视频编码、治安监控、智能交通、自动导航、机器视觉、医学图像、气象图像等等。视频序列场景的分析和理解包括运动目标的跟踪、检测、分割、估计和识别，其中对动态目标的提取是视频序列场景分析和理解的前提。
视频动态目标提取的关键问题是根据场景中提取的视觉特征，对视频序列中不同的运动物体进行聚类划分。常用的视频动态目标提取算法分为三个大类：基于透视几何约束的算法，例如对极几何和Planar-Parallax分解；基于仿射相机模型的算法，例如子空间聚类；基于轨迹相似性的聚类算法，例如光流法。
近几年国内外很多学者采用仿射相机模型，利用高维数据中存在的低维子结构，将视频动态目标提取问题转化为子空间划分问题，借助相关的子空间聚类算法很好的解决了视频动态目标提取中鲁棒性、相机运动、大规模高维数据等问题。基于子空间聚类的视频动态目标提取方法构造衡量数据点两两之间相似程度的关联矩阵，利用相关的谱聚类方法划分关联矩阵，最终完成视频动态目标提取。相关的子空间聚类算法众多，当中最为典型的是低秩子空间聚类和稀疏子空间聚类。稀疏子空间聚类利用数据本身作为字典，寻找每个数据点关于其他数据点的最优稀疏表示；低秩子空间聚类利用整个数据作为字典，寻找每个数据点关于其他数据点的最优低秩表示。低秩表示带有全局约束，稀疏表示对表示系数不带有显式的全局约束，抗噪声干扰方面表现较好，而这两种方法在数据信噪比小、子空间不相互独立时，其构造的关联矩阵块对角结构较差，从而不利于正确聚类。
特征选择(Feature Selection)是指从原始特征集合中选择相关特征子集的操作，实际应用中，越来越多的高维数据降低了学习性能，特征选择是解决这一问题的有效方法。
规范化分割(Normalized cut)算法是基于Shi和Malik在2000年建立的2-way划分的规范割目标函数的谱聚类分割方法。该方法不仅能够衡量类内样本间的相似程度,也能衡量类间样本间的相异程度。
发明内容
本发明要解决传统视频动态目标提取技术中存在高维数据计算复杂、实时性差、抗噪声能力差等缺点，提供一种基于特征选择与光滑表示聚类的视频动态目标提取方法，可用于目标跟踪和目标检测。
针对实际视频数据存在的高维特征，使用特征选择操作进行维数约简，进一步使用权值因子来衡量特征相关贡献度；鉴于传统稀疏与低秩表示存在的块对角化的苛刻条件，使用具有组效应的迹范数约束表示系数矩阵，增强其块对角化，通过提高子空间聚类的准确率最终提高视频动态目标提取的准确度。本发明提出的基于特征选择与光滑表示聚类(Feature Selection and Smooth Representation,FSSR)的视频动态目标提取方法，包括如下步骤：
步骤1，对视频数据进行预处理，编码生成视频序列矩阵Y；
步骤2，以视频序列矩阵Y为输入，建立FSSR聚类模型；
步骤3，使用增广拉格朗日函数和交替方向乘子法对聚类模型进行优化，获得最优系数矩阵Z*；
步骤4，使用公式(|Z*|+|Z*T|)/2，计算关联矩阵S；
步骤5，使用规范化分割算法对关联矩阵进行分割，根据聚类结果获取动态目标图像。
本发明的优点是：具有运行效率高、数据适应性强、准确度高、运动一致性强等的优点，非常适合高维特征视频数据的目标提取。
附图说明
图1是本发明的视频序列矩阵结构图。
图2是本发明的流程图。
图3是本发明的输入视频与各类目标输出图像。
图4是本发明的实施结构图。
具体实施方式
下面结合附图，进一步说明本发明的技术方案。
一种基于特征选择与光滑表示聚类的视频动态目标提取方法，包括如下步骤：
步骤1，视频序列数据预处理。假设视频序列为f＝[1,2,…,F]，共F帧，我们选取N个像素点，对每一帧的N个像素点进行提取和跟踪。这样就得到N条链，又称为像素轨迹，每条链表示为一个长度为2F的向量 N条像素轨迹组合成一个2F×N的矩阵Y＝[y1,y2,…,yN]∈R2F×N。如图1所示。
步骤2，以视频序列矩阵Y为输入，建立FSSR聚类模型
s.t.pT1＝1 pi≥0
其中Z是表示系数矩阵，p是特征选择向量，L是拉普拉斯矩阵，L＝D–W，D是对角度矩阵，W＝(wij)为相似图，wij＝||yi-yj||2代表两个数据点之间的距离相似度，本发明采用0-1权重来构造k近邻(k-nearest neighbor,knn)图W，λ为正则项系数，tr(·)是矩阵的迹。
步骤3，使用增广拉格朗日函数和交替方向乘子法(Alternating DirectionMethod ofMultipliers,ADMM)对函数模型优化。引入虚变量J＝Z，根据增广拉格朗日函数可以使目标模型转化为如下形式
s.t.pT1＝1 pi≥0
最优表示系数矩阵Z*的求解过程如下：
输入：视频序列矩阵Y，参数值λ，ρ和κ，最大迭代数tmax
初始化：Z，J，p，Θ，t＝0
迭代31–34
31.根据式(1)计算辅助变量J；
J＝(YTdiag2(p)Y+ρI)-1(YTdiag2(p)Y+ρZ-Θ) (1)
32.根据式(2)计算表示系数矩阵Z；
Z＝(ρJ+Θ)(2λL+ρI)-1 (2)
33.根据式(3)计算特征权值p；
p＝PM(p) (3)
设则p的初始解为当设定特征选择参数M后，根据p的初始值对pi进行降序排序p1≥p2≥,...,≥pM≥pM+1≥,...,≥pd≥0，当i≤M时，pi保持初始值不变；当i>M时，pi置为0，PM是表示这一关系的算子。
34.根据式(4)迭代Θ和ρ；
其中κ>1控制收敛速度，用于防止ρ变得过大，本发明设置为108。
t＝t+1
直至t≥tmax或函数收敛，输出Z*
步骤4，由步骤3求得表示系数矩阵Z*之后，利用公式
求关联矩阵S。
步骤5，利用规范化分割算法对关联矩阵S进行分割，根据聚类结果最终提取出动态目标。
如上所示，根据本发明，可以提供一种基于特征选择与光滑表示聚类的视频动态目标提取方法。

Claims (1)

1.一种基于特征选择与光滑表示聚类的视频动态目标提取方法，包括如下步骤：
步骤1，视频序列数据预处理；假设视频序列为f＝[1,2,…,F]，共F帧，选取N个像素点，对每一帧的N个像素点进行提取和跟踪；这样就得到N条链，又称为像素轨迹，每条链表示为一个长度为2F的向量N条像素轨迹组合成一个2F×N的矩阵Y＝[y1,y2,…,yN]∈R2F×N；
步骤2，以视频序列矩阵Y为输入，建立FSSR聚类模型
<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>Z</mi> <mo>,</mo> <mi>p</mi> </mrow> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>Y</mi> <mi>Z</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>ZLZ</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> </mrow>
s.t.pT1＝1 pi≥0
其中Z是表示系数矩阵，p是特征选择向量，L是拉普拉斯矩阵，L＝D–W，D是对角度矩阵，W＝(wij)为相似图，wij＝||yi-yj||2代表两个数据点之间的距离相似度，采用0-1权重来构造k近邻图W，λ为正则项系数，tr(·)是矩阵的迹；
步骤3，使用增广拉格朗日函数和交替方向乘子法对函数模型优化；引入虚变量J＝Z，根据增广拉格朗日函数可以使目标模型转化为如下形式
<mrow> <msub> <mi>L</mi> <mi>&amp;rho;</mi> </msub> <mrow> <mo>(</mo> <mi>J</mi> <mo>,</mo> <mi>Z</mi> <mo>,</mo> <mi>&amp;Theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>Y</mi> <mi>J</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>ZLZ</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;rho;</mi> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>J</mi> <mo>-</mo> <mi>Z</mi> <mo>+</mo> <mi>&amp;Theta;</mi> <mo>/</mo> <mi>&amp;rho;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow>
s.t.pT1＝1 pi≥0
最优表示系数矩阵Z*的求解过程如下：
输入：视频序列矩阵Y，参数值λ，ρ和κ，最大迭代数tmax
初始化：Z，J，p，Θ，t＝0；
迭代31–34：
31.根据式(1)计算辅助变量J；
J＝(YTdiag2(p)Y+ρI)-1(YTdiag2(p)Y+ρZ-Θ) (1)
32.根据式(2)计算表示系数矩阵Z；
Z＝(ρJ+Θ)(2λL+ρI)-1 (2)
33.根据式(3)计算特征权值p；
p＝PM(p) (3)
设则p的初始解为当设定特征选择参数M后，根据p的初始值对pi进行降序排序p1≥p2≥,...,≥pM≥pM+1≥,...,≥pd≥0，当i≤M时，pi保持初始值不变；当i>M时，pi置为0，PM是表示这一关系的算子；
34.根据式(4)迭代Θ和ρ；
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>&amp;Theta;</mi> <mo>=</mo> <mi>&amp;Theta;</mi> <mo>+</mo> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>J</mi> <mo>-</mo> <mi>Z</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;rho;</mi> <mo>=</mo> <mi>min</mi> <mrow> <mo>(</mo> <mi>&amp;rho;</mi> <mi>&amp;kappa;</mi> <mo>,</mo> <mover> <mi>&amp;rho;</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中κ>1控制收敛速度，用于防止ρ变得过大，设置为108；
t＝t+1
直至t≥tmax或函数收敛，输出Z*；
步骤4，由步骤3求得表示系数矩阵Z*之后，利用公式
<mrow> <mi>S</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mo>|</mo> <msup> <mi>Z</mi> <mo>*</mo> </msup> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msup> <mi>Z</mi> <mrow> <mo>*</mo> <mi>T</mi> </mrow> </msup> <mo>|</mo> <mo>)</mo> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
求关联矩阵S；
步骤5，利用规范化分割算法对关联矩阵S进行分割，根据聚类结果最终提取出动态目标。
CN201711030113.6A 2017-10-30 2017-10-30 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 Active CN107808391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711030113.6A CN107808391B (zh) 2017-10-30 2017-10-30 一种基于特征选择与光滑表示聚类的视频动态目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711030113.6A CN107808391B (zh) 2017-10-30 2017-10-30 一种基于特征选择与光滑表示聚类的视频动态目标提取方法

Publications (2)

Publication Number Publication Date
CN107808391A true CN107808391A (zh) 2018-03-16
CN107808391B CN107808391B (zh) 2020-10-02

Family

ID=61591447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711030113.6A Active CN107808391B (zh) 2017-10-30 2017-10-30 一种基于特征选择与光滑表示聚类的视频动态目标提取方法

Country Status (1)

Country Link
CN (1) CN107808391B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956397A (zh) * 2018-05-23 2018-12-07 南京大学 一种基于迹范数的道路能见度检测方法
CN110020599A (zh) * 2019-02-28 2019-07-16 浙江工业大学 一种稀疏强化型低秩约束的人脸图像聚类方法
CN113033602A (zh) * 2021-02-05 2021-06-25 西北民族大学 一种基于张量低秩稀疏表示的图像聚类方法
CN116843721A (zh) * 2023-08-28 2023-10-03 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632138A (zh) * 2013-11-20 2014-03-12 南京信息工程大学 一种低秩分块稀疏表示的人脸识别方法
CN104517123A (zh) * 2014-12-24 2015-04-15 西安理工大学 一种采用局部运动特征相似性引导的子空间聚类方法
CN105279964A (zh) * 2015-08-07 2016-01-27 北京工业大学 一种基于低秩算法的路网交通数据的补全方法
US9418318B2 (en) * 2013-08-30 2016-08-16 Siemens Aktiengesellschaft Robust subspace recovery via dual sparsity pursuit
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418318B2 (en) * 2013-08-30 2016-08-16 Siemens Aktiengesellschaft Robust subspace recovery via dual sparsity pursuit
CN103632138A (zh) * 2013-11-20 2014-03-12 南京信息工程大学 一种低秩分块稀疏表示的人脸识别方法
CN104517123A (zh) * 2014-12-24 2015-04-15 西安理工大学 一种采用局部运动特征相似性引导的子空间聚类方法
CN105279964A (zh) * 2015-08-07 2016-01-27 北京工业大学 一种基于低秩算法的路网交通数据的补全方法
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CANYI LU ET AL: "Correlation Adaptive Subspace Segmentation by Trace Lasso", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
HAN HU ET AL: "Smooth Representation Clustering", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YONG XU: "LPP Solution schemes for use with face recognition", 《PATTERN RECOGNITION》 *
姚刚 等: "稀疏子空间聚类的惩罚参数自调整交替方向法", 《计算机技术与发展》 *
王卫卫 等: "稀疏子空间聚类综述", 《自动化学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956397A (zh) * 2018-05-23 2018-12-07 南京大学 一种基于迹范数的道路能见度检测方法
CN110020599A (zh) * 2019-02-28 2019-07-16 浙江工业大学 一种稀疏强化型低秩约束的人脸图像聚类方法
CN113033602A (zh) * 2021-02-05 2021-06-25 西北民族大学 一种基于张量低秩稀疏表示的图像聚类方法
CN113033602B (zh) * 2021-02-05 2022-07-05 西北民族大学 一种基于张量低秩稀疏表示的图像聚类方法
CN116843721A (zh) * 2023-08-28 2023-10-03 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备
CN116843721B (zh) * 2023-08-28 2024-01-19 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备

Also Published As

Publication number Publication date
CN107808391B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN107808391B (zh) 一种基于特征选择与光滑表示聚类的视频动态目标提取方法
CN108229416B (zh) 基于语义分割技术的机器人slam方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN106599810B (zh) 一种基于栈式自编码的头部姿态估计方法
CN109242019B (zh) 一种水面光学小目标快速检测与跟踪方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN110135344B (zh) 基于加权固定秩表示的红外弱小目标检测方法
CN110059597B (zh) 基于深度相机的场景识别方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN114693720A (zh) 基于无监督深度学习的单目视觉里程计的设计方法
CN104077742A (zh) 基于Gabor特征的人脸素描合成方法及系统
CN110766782A (zh) 基于多无人机视觉协同的大型施工场景实时重构方法
CN109872343B (zh) 弱纹理物体姿态跟踪方法、系统及装置
CN114972426A (zh) 一种基于注意力和卷积的单目标跟踪方法
CN109300148B (zh) 基于方法协同的多源图像配准方法
CN102324043B (zh) 基于dct的特征描述算子及优化空间量化的图像匹配方法
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
Liu et al. A kronecker product model for repeated pattern detection on 2d urban images
CN107609565B (zh) 一种基于图像全局特征主成分线性回归的室内视觉定位方法
CN111428555B (zh) 一种分关节的手部姿态估计方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant