CN112308877B - 基于异质模型拟合的运动分割方法 - Google Patents

基于异质模型拟合的运动分割方法 Download PDF

Info

Publication number
CN112308877B
CN112308877B CN202011165026.3A CN202011165026A CN112308877B CN 112308877 B CN112308877 B CN 112308877B CN 202011165026 A CN202011165026 A CN 202011165026A CN 112308877 B CN112308877 B CN 112308877B
Authority
CN
China
Prior art keywords
matrix
model
correlation
follows
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011165026.3A
Other languages
English (en)
Other versions
CN112308877A (zh
Inventor
王菡子
林舒源
江斓
严严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011165026.3A priority Critical patent/CN112308877B/zh
Publication of CN112308877A publication Critical patent/CN112308877A/zh
Application granted granted Critical
Publication of CN112308877B publication Critical patent/CN112308877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

基于异质模型拟合的运动分割方法，涉及计算机视觉技术。首先，使用基于密度估计技术的投票方法，通过对异质模型假设质量的评价，生成高质量的累积相关矩阵。在此基础上，利用信息论构造稀疏亲和矩阵的方法，有效地抑制了不同目标之间的关联值。最后，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割，得到准确的分割结果。解决现有技术存在的真实场景中外界的光照变化、运动物体的表观和遮挡，可能会导致跟踪点包含异常值和噪声等问题。

Description

基于异质模型拟合的运动分割方法
技术领域
本发明涉及计算机视觉技术，具体是涉及一种基于异质模型拟合的运动分割方法。
背景技术
运动分割是计算机视觉领域一个具有挑战性的研究课题。运动分割的任务是根据不同的运动属性对视频序列中的运动对象进行分组。这是视频分割和场景理解的重要步骤。运动分割已被广泛应用于视频处理[1]、视觉监控[2]、目标识别[3]和动态场景理解[4,5]等。在实际应用中，真实场景中运动目标的跟踪点轨迹往往会受到遮挡和透视效果的破坏，这对有效地分割运动对象提出了很大的挑战。
在过去的几十年里，学者们提出了许多运动分割方法[6-10]。这些方法大致可分为基于两帧的方法和基于多帧的方法。与基于两帧的方法相比，基于多帧的方法通常可以捕获多帧之间的运动信息以获得更精确的结果。现有的基于多帧的方法可以进一步分为基于子空间的方法[11-14]和基于相似性的方法[9,10,15,16]。基于子空间的方法将跟踪点的聚类问题转化为跟踪点的标记问题。每个跟踪点由相应子空间中其他跟踪点的线性组合表示。与此相反，基于相似性的方法则使用谱聚类来分割与跟踪点对应的相似性矩阵，该矩阵包含所有跟踪点对之间的相似性。以上方法大多依赖于跟踪点的质量，也就是说，跟踪点的质量反映了运动目标的特性。然而，真实场景中外界的光照变化、运动物体的表观和遮挡，可能会导致跟踪点包含异常值和噪声。
参考文献：
[1]Junjue Wang,Brandon Amos,Anupam Das,Padmanabhan Pillai,NormanSadeh,and Mahadev Satyanarayanan.Enabling live video analytics with ascalable and privacy-aware framework.ACM Transactions on MultimediaComputing,Communications,and Applications,14(3):1–24,2018.
[2]Xiaobai Liu,Yadong Mu,Yu-Gang Jiang,and Jiebo Luo.Vscc’2017:Visualanalysis for smart and connected communities.In Proceedings of the ACMInternational Conference on Multimedia,pages 1976–1977,2017.
[3]Xindi Shang,Junbin Xiao,Donglin Di,and Tat-Seng Chua.Relationunderstanding in videos:A grand challenge overview.In Proceedings of the ACMInternational Conference on Multimedia,pages 2652–2656,2019.
[4]Ali Elqursh and Ahmed Elgammal.Online motion segmentation usingdynamic label propagation.Proceedings of the IEEE International Conference onComputer Vision,pages 2008–2015,2013.
[5]Stefano Alletto,Giuseppe Serra,and Rita Cucchiara.Motionsegmentation using visual and bio-mechanical features.In Proceedings of theACM International Conference on Multimedia,pages 476–480,2016.
[6]Gerald Khne,Stephan Richter,and Markus Beier.Motion-basedsegmentation and contour-based classification of video objects.In Proceedingsof the ACM international conference on Multimedia,pages 41–50,2001.
[7]Yong Dian Jian and Chu Song Chen.Two-view motion segmentation withmodel selection and outlier removal by ransac-enhanced dirichlet processmixture models.International Journal of Computer Vision,88(3):489–501,2010.
[8]Bryan Poling and Gilad Lerman.A new approach to two-view motionsegmentation using global dimension minimization.International Journal ofComputer Vision,2013.
[9]Zhuwen Li,Jiaming Guo,Loong Fah Cheong,and Steven ZhiyingZhou.Perspective motion segmentation via collaborative clustering.InProceedings of the IEEE International Conference on Computer Vision,volume 2,pages 1369–1376,2013.
[10]Heechul Jung,Jeongwoo Ju,and Junmo Kim.Rigid motion segmentationusing randomized voting.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,pages 1210–1217,2014.
[11]Shankar Rao,Roberto Tron,Rene Vidal,and Yi Ma.Motion segmentationin the presence of outlying,incomplete,or corrupted trajectories.IEEETransactions on Pattern Analysis and Machine Intelligence,32(10):1832–1845,2010.
[12]Tat-Jun Chin,Hanzi Wang,and David Suter.The ordered residualkernel for robust motion subspace clustering.In Proceedings of the Advancesin Neural Information Processing Systems,pages 333–341,2009.
[13]Jiashi Feng,Zhouchen Lin,Huan Xu,and Shuicheng Yan.Robustsubspace segmentation with block-diagonal prior.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,pages 3818–3825,2014.
[14]Ren Vidal,Roberto Tron,and Richard Hartley.Multiframe motionsegmentation with missing data using PowerFactorization andGPCA.International Journal of Computer Vision,79(1):85–105,2008.
[15]Ralf Dragon,Bodo Rosenhahn,and Jorn Ostermann.Multiscaleclustering of frame-to-frame correspondences for motion segmentation.InProceedings of the European Conference on Computer Vision,pages 445–458,2012.
[16]Peter Ochs,Jitendra Malik,and Thomas Brox.Segmentation of movingobjects by long term video analysis.IEEE Transactions on Pattern Analysis andMachine Intelligence,36(6):1187–1200,2013.
发明内容
本发明的目的在于针对现有技术存在的真实场景中外界的光照变化、运动物体的表观和遮挡，可能会导致跟踪点包含异常值和噪声等问题,提供一种结果准确的基于异质模型拟合的运动分割方法。
本发明包括以下步骤：
A.准备一个运动分割数据集(一个包含
Figure BDA0002745497620000031
个连续帧的视频，其中，每个连续帧包含一组跟踪点X)。给定指定异质参数模型V(仿射矩阵A、基础矩阵F与单应性矩阵H)。
B.对于每一个参数模型v∈V，计算参数模型v的累积相关矩阵Θ(v)；
C.根据步骤B中的累积相关矩阵Θ(v)，利用信息论获取自适应阈值来移除不显著的矩阵元素，得到精密累积相关矩阵
Figure BDA0002745497620000032
D.根据步骤D中的
Figure BDA0002745497620000033
构造稀疏亲和矩阵，以有效抑制不同目标之间的关联值；
E.根据步骤D中的稀疏亲和矩阵Ω(v)，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割；
F.输出分割结果。
在步骤B中，所述对于每一个参数模型v∈V，计算参数模型v的累积相关矩阵Θ(v)的具体步骤为：
B1.在每一个连续帧
Figure BDA0002745497620000041
中，随机采样跟踪点，生成M个模型假设；其中，仿射矩阵A、基础矩阵F与单应性矩阵H生成的模型假设，分别对应
Figure BDA0002745497620000042
Figure BDA0002745497620000043
B2.计算该模型假设集的残差信息。点
Figure BDA0002745497620000044
到模型假设集的残差向量定义如下：
Figure BDA0002745497620000045
其中，v∈V。这里，V代表不同的参数模型(仿射矩阵A、基础矩阵F与单应性矩阵H)。
之后，降序排列该残差向量元素，得到一个置换：
Figure BDA0002745497620000046
满足
Figure BDA0002745497620000047
这里，
Figure BDA0002745497620000048
描述了数据点与模型假设的偏好关系。
B3.计算跟踪点两两之间的相关性Φ，跟踪点
Figure BDA0002745497620000049
与
Figure BDA00027454976200000410
的相关性定义如下：
Figure BDA00027454976200000411
其中，|·∩·|表示两个置换之间共享相同索引的元素的交集；
Figure BDA00027454976200000412
表示置换的前c项；c是窗口大小，实验设置为c＝0.1×M；
B4.根据步骤B3所计算的跟踪点之间的相关性，构造相关矩阵Φ(v)f：
Figure BDA00027454976200000413
B5.根据步骤B4计算的相关矩阵Φ(v)f，利用基于密度估计技术的投票方法，计算该连续帧的投票分数D(v)f，步骤如下：
给定第j个模型假设
Figure BDA00027454976200000414
使用密度估计方法计算投票分数
Figure BDA00027454976200000415
Figure BDA00027454976200000416
其中，
Figure BDA00027454976200000417
是Epanechnikov核函数；
Figure BDA00027454976200000418
是带宽；
Figure BDA00027454976200000419
是使用IKOSE估计的内点尺度。
每对连续帧的累积投票分数D(v)f的公式如下：
Figure BDA0002745497620000051
B6.根据步骤B5得到的累积投票分数，计算累积相关矩阵Θ(v)，如下所示：
Figure BDA0002745497620000052
B7.执行步骤B1～B6处理所有连续帧，利用相关矩阵集Φ(v)与连续帧的投票分数集D(v)，计算所有参数模型v∈V的累积相关矩阵Θ(v)。
在步骤C中，所述利用信息论获取自适应阈值来移除不显著的矩阵元素，得到精密累积相关矩阵
Figure BDA0002745497620000053
的具体步骤如下：
首先定义Θ(v)第j列(即
Figure BDA0002745497620000054
)与
Figure BDA0002745497620000055
的第i项(即
Figure BDA0002745497620000056
)的最大值之间的间隙μi：
Figure BDA0002745497620000057
其中，γ是一个参数，用于调整相关矩阵的稀疏性。
接着，先验概率p(μi)计算如下:
Figure BDA0002745497620000058
先验概率的熵测量如下：
Figure BDA0002745497620000059
将熵作为一个自适应阈值，用于去除不重要的元素：
Figure BDA00027454976200000510
其中，τ是无穷小的正数。
Figure BDA00027454976200000511
表示精密相关矩阵。
在步骤D中，所述构造稀疏亲和矩阵Ω(v)如下：
Figure BDA00027454976200000512
在步骤E中，所述根据步骤D中的稀疏亲和矩阵Ω(v)，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割的具体步骤可为：将D(v)定义为稀疏亲和矩阵Ω(v)的对角矩阵，Ω(v)的对称归一化拉普拉斯矩阵L(v)计算如下：
Figure BDA0002745497620000061
假设L(v)的特征值分解(EVD)为Q(v)TQ(v)，则L(v)的分解转化为如下优化函数：
Figure BDA0002745497620000062
Figure BDA0002745497620000063
其中，trace(·)表示迹运算；Q(v)和I分别是特征向量矩阵和单位矩阵。
根据Q(v)，得到融合谱嵌入矩阵Q：
Q＝Σv∈VQ(v) (公式15)
将单位长度内的每一行Q规范化，形成矩阵Z，如下所示：
Figure BDA0002745497620000065
最后，使用一种简单而有效的K-means算法将Z聚类成k簇，即将跟踪点分割成k个运动组。
本发明提出一种基于异质模型拟合的运动分割方法。首先，使用基于密度估计技术的投票方法，通过对异质模型假设质量的评价，生成高质量的累积相关矩阵。在此基础上，利用信息论构造稀疏亲和矩阵的方法，有效地抑制了不同目标之间的关联值。最后，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割，得到准确的分割结果。
附图说明
图1为本发明实施例的流程图。(a)带有跟踪点(用黄色标记)的输入视频序列。(b)通过采样最小子集生成三种类型的模型假设(以红色标记)。(c)构造了相应的三个参数模型的相关矩阵。(d)生成累积相关矩阵。(e)构造了稀疏亲和矩阵。(f)根据融合后的稀疏亲和矩阵对多个运动目标进行分割。(g)最终分割结果。不同运动物体的跟踪点用不同的颜色标记。
图2为本发明在Hopkins155(a-d)、Hopkins12(e-h)和MTPV62(i-l)数据集部分结果图。
图3为本发明在KT3DMoSeg数据集上的部分结果。(a)为正确的标注结果，(b)为本发明的方法的分割结果。第一行到第四行为别为Seq013 Clip01，Seq011 Clip01，Seq009Clip03和Seq038 Clip01。不同运动物体的跟踪点用不同的颜色标记。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明，但本发明的保护范围不限于下述的实施例。
参见图1，本发明实施例的包括以下步骤：
S1.准备一个运动分割数据集(一个包含
Figure BDA0002745497620000071
个连续帧的视频，其中，每个连续帧包含一组跟踪点X)。给定指定异质参数模型V(仿射矩阵A、基础矩阵F与单应性矩阵H)。
S2.对于每一个参数模型v∈V，计算参数模型v的累积相关矩阵Θ(v)，具体步骤为：
S2-1.在每一个连续帧
Figure BDA0002745497620000072
中，随机采样跟踪点，生成M个模型假设；其中，仿射矩阵A、基础矩阵F与单应性矩阵H生成的模型假设，分别对应
Figure BDA0002745497620000073
Figure BDA0002745497620000074
S2-2.计算该模型假设集的残差信息。点
Figure BDA0002745497620000075
到模型假设集的残差向量定义如下：
Figure BDA0002745497620000076
其中，v∈V。这里，V代表不同的参数模型(仿射矩阵A、基础矩阵F与单应性矩阵H)。
之后，降序排列该残差向量元素，得到一个置换：
Figure BDA0002745497620000077
满足
Figure BDA0002745497620000078
这里，
Figure BDA0002745497620000079
描述了数据点与模型假设的偏好关系。
S2-3.计算跟踪点两两之间的相关性Φ，跟踪点
Figure BDA00027454976200000710
与
Figure BDA00027454976200000711
的相关性定义如下：
Figure BDA00027454976200000712
其中|·∩·|表示两个置换之间共享相同索引的元素的交集。
Figure BDA00027454976200000713
表示置换的前c项；c是窗口大小，实验设置为c＝0.1×M。
S2-4.根据S2-3所计算的跟踪点之间的相关性，构造相关矩阵Φ(v)f：
Figure BDA0002745497620000081
S2-5.根据S2-4计算的相关矩阵Φ(v)f，利用基于密度估计技术的投票方法，计算该连续帧的投票分数D(v)f。步骤如下：
给定第j个模型假设
Figure BDA0002745497620000082
使用密度估计方法计算投票分数
Figure BDA0002745497620000083
Figure BDA0002745497620000084
其中，
Figure BDA0002745497620000085
是Epanechnikov核函数；
Figure BDA0002745497620000086
是带宽；
Figure BDA0002745497620000087
是使用IKOSE估计的内点尺度。
每对连续帧的累积投票分数D(v)f的公式如下：
Figure BDA0002745497620000088
S2-6.根据步骤S2-5得到的累积投票分数，计算累积相关矩阵Θ(v)，如下所示：
Figure BDA0002745497620000089
S2-7.执行步骤(B1-B6)处理所有连续帧，利用相关矩阵集Φ(v)与连续帧的投票分数集D(v)，计算所有参数模型v∈V的累积相关矩阵Θ(v)。
S3.根据步骤B中的累积相关矩阵Θ(v)，利用信息论获取自适应阈值来移除不显著的矩阵元素，得到精密累积相关矩阵
Figure BDA00027454976200000810
具体步骤如下：
首先定义Θ(v)第j列(即
Figure BDA00027454976200000811
)与
Figure BDA00027454976200000812
的第i项(即
Figure BDA00027454976200000813
)的最大值之间的间隙μi：
Figure BDA00027454976200000814
其中，γ是一个参数，用于调整相关矩阵的稀疏性。
接着，先验概率p(μi)计算如下：
Figure BDA0002745497620000091
先验概率的熵测量如下：
Figure BDA0002745497620000092
将熵作为一个自适应阈值，用于去除不重要的元素：
Figure BDA0002745497620000093
其中，τ是无穷小的正数。
Figure BDA0002745497620000094
表示精密相关矩阵。
S4.根据步骤D中的
Figure BDA0002745497620000095
构造稀疏亲和矩阵，以有效抑制不同目标之间的关联值。
构造稀疏亲和矩阵Ω(v)：
Figure BDA0002745497620000096
S5.根据步骤D中的稀疏亲和矩阵Ω(v)，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割。
将D(v)定义为稀疏亲和矩阵Ω(v)的对角矩阵，Ω(v)的对称归一化拉普拉斯矩阵L(v)计算如下：
Figure BDA0002745497620000097
假设L(v)的特征值分解(EVD)为Q(v)TQ(v)，则L(v)的分解转化为如下优化函数：
Figure BDA0002745497620000098
Figure BDA0002745497620000099
其中，trace(·)表示迹运算；Q(v)和I分别是特征向量矩阵和单位矩阵。
根据Q(v)，得到融合谱嵌入矩阵Q：
Q＝Σv∈VQ(v) (公式15)
将单位长度内的每一行Q规范化，形成矩阵Z，如下所示：
Figure BDA00027454976200000911
最后，使用一种简单而有效的K-means算法将Z聚类成k簇，即将跟踪点分割成k个运动组。
S6.输出分割结果。
本发明在4个具有挑战性的数据集(Hopkins155、Hopkins12、MTPV62和KT3DMoSeg)上进行运动分割的部分的结果如图2～3所示。图2(a-d)为本发明的方法在Hopkins155数据集上的结果；图2(e-h)为本发明的方法在Hopkins12数据集上的结果；图2(i-l)为本发明的方法在MTPV62数据集上的结果，不同运动物体的跟踪点可用不同的颜色标记。图3(b)为本发明的方法在KT3DMoSeg数据集上的结果。
由实验结果所示，本发明所提出的基于异质模型拟合的运动分割方法获得了较准确的分割结果。

Claims (5)

1.基于异质模型拟合的运动分割方法，其特征在于包括以下步骤：
A.准备一个运动分割数据集，给定指定异质参数模型V；
B.对于每一个参数模型v∈V，计算参数模型v的累积相关矩阵Θ(v)，具体步骤为：
B1.在每一个连续帧
Figure FDA0003574497330000011
中，随机采样跟踪点，生成M个模型假设；其中，仿射矩阵A、基础矩阵F与单应性矩阵H生成的模型假设，分别对应
Figure FDA0003574497330000012
Figure FDA0003574497330000013
B2.计算模型假设集的残差信息；点
Figure FDA0003574497330000014
到模型假设集的残差向量定义如下：
Figure FDA0003574497330000015
其中，v∈V；这里，V代表不同的参数模型：仿射矩阵A、基础矩阵F与单应性矩阵；
之后，降序排列该残差向量元素，得到一个置换：
Figure FDA0003574497330000016
满足
Figure FDA0003574497330000017
这里，
Figure FDA0003574497330000018
描述了数据点与模型假设的偏好关系；
B3.计算跟踪点两两之间的相关性Φ，跟踪点
Figure FDA0003574497330000019
与
Figure FDA00035744973300000110
的相关性定义如下：
Figure FDA00035744973300000111
其中，|·∩·|表示两个置换之间共享相同索引的元素的交集；
Figure FDA00035744973300000112
表示置换的前c项；c是窗口大小，实验设置为c＝0.1×M；
B4.根据步骤B3所计算的跟踪点之间的相关性，构造相关矩阵Φ(v)f：
Figure FDA00035744973300000113
B5.根据步骤B4计算的相关矩阵Φ(v)f，利用基于密度估计技术的投票方法，计算该连续帧的投票分数D(v)f，步骤如下：
给定第j个模型假设
Figure FDA00035744973300000114
使用密度估计方法计算投票分数
Figure FDA00035744973300000115
Figure FDA0003574497330000021
其中，
Figure FDA0003574497330000022
是Epanechnikov核函数；
Figure FDA0003574497330000023
是带宽；
Figure FDA0003574497330000024
是使用IKOSE估计的内点尺度；
每对连续帧的累积投票分数D(v)f的公式如下：
Figure FDA0003574497330000025
B6.根据步骤B5得到的累积投票分数，计算累积相关矩阵Θ(v)，如下所示：
Figure FDA0003574497330000026
B7.执行步骤B1～B6处理所有连续帧，利用相关矩阵集Φ(v)与连续帧的投票分数集D(v)，计算所有参数模型v∈V的累积相关矩阵Θ(v)；
C.根据步骤B中的累积相关矩阵Θ(v)，利用信息论获取自适应阈值来移除不显著的矩阵元素，得到精密累积相关矩阵
Figure FDA0003574497330000027
D.根据步骤D中的
Figure FDA0003574497330000028
构造稀疏亲和矩阵，以有效抑制不同目标之间的关联值；
E.根据步骤D中的稀疏亲和矩阵Ω(v)，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割；
F.输出分割结果。
2.如权利要求1所述基于异质模型拟合的运动分割方法，其特征在于在步骤A中，所述一个运动分割数据集包括一个包含
Figure FDA0003574497330000029
个连续帧的视频，其中，每个连续帧包含一组跟踪点X，所述给定指定异质参数模型V包括仿射矩阵A、基础矩阵F与单应性矩阵H。
3.如权利要求1所述基于异质模型拟合的运动分割方法，其特征在于在步骤C中，所述利用信息论获取自适应阈值来移除不显著的矩阵元素，得到精密累积相关矩阵
Figure FDA00035744973300000210
的具体步骤如下：
首先定义Θ(v)第j列即
Figure FDA00035744973300000211
与
Figure FDA00035744973300000212
的第i项即
Figure FDA00035744973300000213
的最大值之间的间隙μi：
Figure FDA0003574497330000031
其中，γ是一个参数，用于调整相关矩阵的稀疏性；
接着，先验概率p(μi)计算如下:
Figure FDA0003574497330000032
先验概率的熵测量如下：
Figure FDA0003574497330000033
将熵作为一个自适应阈值，用于去除不重要的元素：
Figure FDA0003574497330000034
其中，τ是无穷小的正数；
Figure FDA0003574497330000035
表示精密相关矩阵。
4.如权利要求1所述基于异质模型拟合的运动分割方法，其特征在于在步骤D中，所述构造稀疏亲和矩阵Ω(v)如下：
Figure FDA0003574497330000036
5.如权利要求1所述基于异质模型拟合的运动分割方法，其特征在于在步骤E中，所述根据步骤D中的稀疏亲和矩阵Ω(v)，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割的具体步骤为：将D(v)定义为稀疏亲和矩阵Ω(v)的对角矩阵，Ω(v)的对称归一化拉普拉斯矩阵L(v)计算如下：
Figure FDA0003574497330000037
假设L(v)的特征值分解为Q(v)TQ(v)，则L(v)的分解转化为如下优化函数：
Figure FDA0003574497330000038
Figure FDA0003574497330000039
其中，trace(·)表示迹运算；Q(v)和I分别是特征向量矩阵和单位矩阵；
根据Q(v)，得到融合谱嵌入矩阵Q：
Q＝∑v∈VQ(v) (公式15)
将单位长度内的每一行Q规范化，形成矩阵Z，如下所示：
Figure FDA0003574497330000041
最后，使用一种简单而有效的K-means算法将Z聚类成k簇，即将跟踪点分割成k个运动组。
CN202011165026.3A 2020-10-27 2020-10-27 基于异质模型拟合的运动分割方法 Active CN112308877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011165026.3A CN112308877B (zh) 2020-10-27 2020-10-27 基于异质模型拟合的运动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011165026.3A CN112308877B (zh) 2020-10-27 2020-10-27 基于异质模型拟合的运动分割方法

Publications (2)

Publication Number Publication Date
CN112308877A CN112308877A (zh) 2021-02-02
CN112308877B true CN112308877B (zh) 2022-05-17

Family

ID=74331067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011165026.3A Active CN112308877B (zh) 2020-10-27 2020-10-27 基于异质模型拟合的运动分割方法

Country Status (1)

Country Link
CN (1) CN112308877B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034537B (zh) * 2021-02-26 2023-03-07 中国科学院计算技术研究所 基于多几何模型融合的结构一致性运动分割方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150739A (zh) * 2013-03-04 2013-06-12 上海大学 一种基于多特征稳健主成分分析的视频运动对象分割算法
CN104361611A (zh) * 2014-11-18 2015-02-18 南京信息工程大学 一种基于群稀疏鲁棒pca的运动目标检测方法
CN109614933A (zh) * 2018-12-11 2019-04-12 闽江学院 一种基于确定性拟合的运动分割方法
CN110163888A (zh) * 2019-05-30 2019-08-23 闽江学院 一种新型的运动分割模型数量检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150739A (zh) * 2013-03-04 2013-06-12 上海大学 一种基于多特征稳健主成分分析的视频运动对象分割算法
CN104361611A (zh) * 2014-11-18 2015-02-18 南京信息工程大学 一种基于群稀疏鲁棒pca的运动目标检测方法
CN109614933A (zh) * 2018-12-11 2019-04-12 闽江学院 一种基于确定性拟合的运动分割方法
CN110163888A (zh) * 2019-05-30 2019-08-23 闽江学院 一种新型的运动分割模型数量检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Dynamic Bayesian Framework for Motion Segmentation;Thanh Minh Nguyen et al.;《2013 International Conference on Computer and Robot Vision》;20130730;全文 *
Hypergraph Optimization for Multi-structural Geometric Model Fitting;shuyuan lin et al.;《arXiv》;20200213;全文 *
Superpixel-Guided Two-View Deterministic Geometric Model Fitting;Guobao Xiao et al.;《International Journal of Computer Vision》;20190401;第127卷(第4期);全文 *
基于结构化表示模型的人体动作识别与运动分割;陈万军;《中国博士学位论文全文数据库 信息科技辑》;20181115(第11期);全文 *

Also Published As

Publication number Publication date
CN112308877A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Dang et al. RPCA-KFE: Key frame extraction for video using robust principal component analysis
Li et al. Spatio-temporal unity networking for video anomaly detection
Lai et al. Motion segmentation via a sparsity constraint
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
Ayed et al. MapReduce based text detection in big data natural scene videos
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
Shrivastava et al. Unsupervised domain adaptation using parallel transport on Grassmann manifold
Kortylewski et al. Probabilistic Compositional Active Basis Models for Robust Pattern Recognition.
Chen et al. An effective subsuperpixel-based approach for background subtraction
Hu et al. Moving object detection based on non-convex RPCA with segmentation constraint
CN110991321A (zh) 一种基于标签更正与加权特征融合的视频行人再识别方法
CN110827265A (zh) 基于深度学习的图片异常检测方法
Masi et al. Towards learning structure via consensus for face segmentation and parsing
CN112308877B (zh) 基于异质模型拟合的运动分割方法
JP2019086979A (ja) 情報処理装置、情報処理方法及びプログラム
Thopalli et al. Multiple subspace alignment improves domain adaptation
Lin et al. Multi-motion segmentation via co-attention-induced heterogeneous model fitting
Mohammad et al. Contour-based character segmentation for printed Arabic text with diacritics
Singh et al. Binary face image recognition using logistic regression and neural network
Xiong et al. ψ-net: Point structural information network for no-reference point cloud quality assessment
Pham et al. A deep learning approach for real-time 3D human action recognition from skeletal data
Xiong et al. Distortion map-guided feature rectification for efficient video semantic segmentation
Sznaier et al. Sos-rsc: A sum-of-squares polynomial approach to robustifying subspace clustering algorithms
CN115393950A (zh) 基于多分支级联Transformer的手势分割网络装置和方法
Akhriev et al. Deep autoencoders with value-at-risk thresholding for unsupervised anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant