CN113034537B - 基于多几何模型融合的结构一致性运动分割方法和系统 - Google Patents

基于多几何模型融合的结构一致性运动分割方法和系统 Download PDF

Info

Publication number
CN113034537B
CN113034537B CN202110220558.0A CN202110220558A CN113034537B CN 113034537 B CN113034537 B CN 113034537B CN 202110220558 A CN202110220558 A CN 202110220558A CN 113034537 B CN113034537 B CN 113034537B
Authority
CN
China
Prior art keywords
matrix
motion segmentation
similarity matrix
model
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110220558.0A
Other languages
English (en)
Other versions
CN113034537A (zh
Inventor
许倩倩
姜阳邦彦
马坷
杨智勇
李朝鹏
操晓春
黄庆明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110220558.0A priority Critical patent/CN113034537B/zh
Publication of CN113034537A publication Critical patent/CN113034537A/zh
Application granted granted Critical
Publication of CN113034537B publication Critical patent/CN113034537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于多几何模型融合的结构一致性运动分割方法，包括：根据目标视频中多个几何模型的跟踪点的已知轨迹信息，获取各跟踪点之间的相似度，构建为基础相似度矩阵；更新该基础相似度矩阵直至收敛；对该基础相似度矩阵进行聚合得到共识相似度矩阵；对该共识相似度矩阵进行谱聚类得到运动分割标签；通过该运动分割标签对该几何模型进行运动分割。还提出一种基于多几何模型融合的结构一致性运动分割系统，以及一种数据处理装置。

Description

基于多几何模型融合的结构一致性运动分割方法和系统
技术领域
本发明涉及计算机视觉的运动分割领域，特别涉及一种基于几何模型融合的运动分割方法及系统。
背景技术
运动分割是计算机视觉领域的一项重要技术，是视频目标检测、视频目标跟踪和分割、视觉监控等多种计算机视觉应用的上游任务。运动分割的目标是将多个运动对象分组成不同的簇，运动对象通常用视频序列中跟踪的特征点的轨迹集来表示。由于现实场景较为复杂，存在透视效应、运动物体的特征点分散、小物体等因素，因此很难进行高质量的运动分割。
根据每次分割涉及的帧数，运动分割相关技术可以分为基于两帧的方法和基于多帧的方法。与基于两帧的方法相比，基于多帧的方法利用视频片段中的所有帧获取运动信息，具有较高的性能。现有的基于多帧的方法主要分为三类。第一类是基于子空间的方法，通常基于仿射几何模型下轨迹位于多个子空间的并集这一假设，探索轨迹的子空间结构，其经典方法包括基于代数、信息论和谱聚类的模型。第二类是探索多模型拟合的方法，在存在数据损坏和异常值的情况下，利用多个模型假设估计模型参数。这类方法通常基于一致性学习、偏好融合、超图学习和能量最小化进行实现。第三类方法是基于融合的方法，聚合多个模型从而输出单一的结果。其中，通过聚合仿射几何模型、单应性几何模型和基本几何模型克服每种单一模型的不足，进而获得更高的性能。为了使运动分割模型能够处理各种真实场景，需要将这些基本模型进行整合，以得到一致的分割结果。现有的基于融合的方法在子集约束下得到具有成对一致的谱嵌入，忽略了相似度级别的结构一致性，因此保留了部分与真实情况不一致的相似度，导致分割结果变差。
发明内容
针对上述问题，本发明提出一种基于多几何模型融合的结构一致性运动分割方法，包括：根据目标视频中多个几何模型的跟踪点的已知轨迹信息，获取各跟踪点之间的相似度，构建为基础相似度矩阵；更新该基础相似度矩阵直至收敛；对该基础相似度矩阵进行聚合得到共识相似度矩阵；对该共识相似度矩阵进行谱聚类得到运动分割标签；通过该运动分割标签对该几何模型进行运动分割。
本发明所述的结构一致性运动分割方法，其中构建该基础相似度矩阵
Figure BDA0002954668170000021
的步骤具体包括：
获取该目标视频的F个连续帧中的N个跟踪点的轨迹
Figure BDA0002954668170000022
对于该目标视频的V个几何模型中的任一个，在每两个连续帧中随机采样M个最小数据点子集对该几何模型进行估计，以生成M个模型假设，并在F个连续帧中共采样得到M×(F-1)个模型假设；
Figure BDA0002954668170000023
为跟踪点的坐标；
根据每个
Figure BDA0002954668170000024
和每个模型假设之间的Sampson距离获取二者的残差向量，其中，第v个几何模型下第f个连续帧对中的第i个跟踪点的残差向量
Figure BDA0002954668170000025
Figure BDA0002954668170000026
基于
Figure BDA0002954668170000027
采用有序残差核得到两个跟踪点之间的相似度矩阵A(v)，并除以整个目标视频中跟踪点对应的共现次数进行归一化，将从V个几何模型中得到的相似度生成矩阵，使用∈-近邻方法将该矩阵稀疏化，生成基础相似度矩阵
Figure BDA0002954668170000028
其中
Figure BDA0002954668170000029
本发明所述的结构一致性运动分割方法，其中更新
Figure BDA00029546681700000210
前对
Figure BDA00029546681700000211
进行初始化及矩阵元素分解，具体包括：
对于该目标视频的k个拟分割的运动数，
Figure BDA00029546681700000212
的每个矩阵元素A(v)都为k-块对角矩阵，将数据点根据所属运动进行排序，得到
Figure BDA00029546681700000213
其中，
Figure BDA00029546681700000214
非单位矩阵，ni表示第i类运动中跟踪点的个数，且满足∑ini＝N；
设置A(v)的对角线元素为零，使用共享块对角掩码矩阵S和幅值矩阵G(v)的逐元素乘积对每个几何模型的A(v)进行分解，得到A(v)＝S⊙G(v)；其中，S中每个矩阵元素的上界值为Smax，G(v)中每个矩阵元素的下界值为Gmin，Gmin≥0；
对于S施加k-块对角结构约束，最小化S对应的图拉普拉斯矩阵LS的最小k个特征根，该约束等价于最小化S为最小化图拉普拉斯矩阵LS与一新增变量U的内积，其中，U的迹为k，其特征根非负且均小于等于1；
初始化各变量
Figure BDA0002954668170000031
T为转置符号。
本发明所述的结构一致性运动分割方法，其中更新
Figure BDA0002954668170000032
的步骤具体包括：
固定S和U，更新
Figure BDA0002954668170000033
其中，
Figure BDA0002954668170000034
Figure BDA0002954668170000035
表示矩阵逐元素除法，a1为第一更新参数；
固定G(v)和U，更新S使得S中的元素
Figure BDA0002954668170000036
为：
Figure BDA0002954668170000037
其中，
Figure BDA0002954668170000038
a2为第二更新参数；
固定S和G(v)，更新
Figure BDA0002954668170000039
其中V为S的图拉普拉斯矩阵LS的特征根对应的特征向量，l为前k个特征根中最后一个与后一个特征根不相等的特征根的序号，h为后N-k个特征根中首个与后一个特征根不相等的特征根的序号；
重复对S、G(v)、U的更新步骤，直至S、G(v)、U改变量的绝对值均不大于预设阈值。
本发明所述的结构一致性运动分割方法，其中通过聚合得到共识相似度矩阵A的步骤具体包括：
Figure BDA00029546681700000310
本发明还提出一种基于多几何模型融合的结构一致性运动分割系统，包括：基础相似度矩阵构建模块，用于根据目标视频中多个几何模型的跟踪点的已知轨迹信息，获取各跟踪点之间的相似度，构建为基础相似度矩阵；并更新该基础相似度矩阵直至收敛；共识相似度矩阵构建模块，用于对该基础相似度矩阵进行聚合得到共识相似度矩阵；运动分割模块，用于对该共识相似度矩阵进行谱聚类得到运动分割标签；通过该运动分割标签对该几何模型进行运动分割。
本发明所述的结构一致性运动分割系统，其中该基础相似度矩阵构建模块具体包括：获取该目标视频的F个连续帧中的N个跟踪点的轨迹X；对于该目标视频的几何模型生成M个模型假设，并在F个连续帧中共采样得到M×(F-1)个模型假设；
Figure BDA0002954668170000041
为跟踪点的数据点；获取每个
Figure BDA0002954668170000042
和每个模型假设之间的残差向量
Figure BDA0002954668170000043
基于
Figure BDA0002954668170000044
采用有序残差核得到两个跟踪点之间的相似度矩阵A(v)，生成基础相似度矩阵
Figure BDA0002954668170000045
本发明所述的结构一致性运动分割方法，其中该共识相似度矩阵构建模块具体包括：矩阵元素分解模块，用于对A(v)进行分解，获得的相关分解矩阵，该相关分解矩阵包括：共享块对角掩码矩阵S、幅值矩阵G(v)和新增变量U；矩阵初始化模块，用于初始化S、G(v)和U；矩阵更新模块，用于更新S、G(v)和U以更新
Figure BDA0002954668170000046
矩阵聚合模块，用于通过聚合得到的共识相似度矩阵A。
本发明还提出一种计算机可读存储介质，存储有计算机可执行指令，当该计算机可执行指令被执行时，实现如前所述的基于多几何模型融合的结构一致性运动分割方法。
本发明还提出一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，执行对目标视频的基于多几何模型融合的结构一致性运动分割方法。
附图说明
图1是本发明的基于多几何模型融合的结构一致性运动分割方法流程图。
图2是本发明的数据处理装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。
发明人在进行运动分割算法研究时，发现现有的基于融合的方法在子集约束下得到具有成对一致的谱嵌入，忽略了相似度级别的一致性，因此仍然不能得到与实际情况一致的结果。具体而言，仿射、单应性和基本几何模型存在不同的关联问题：仿射模型很难处理透视效果；单应模型得到的同一刚体运动的不同平面之间的相似度较弱，不利于分散对象的分组；基本模型可以发现轨迹之间更丰富的信息，但是可能检测到假阳性相似度，导致相似度矩阵中含有重叠子空间结构。因此，仅通过简单的融合操作学习特定于模型的谱嵌入容易受到错误的相似度的影响，例如，不相关运动轨迹间过大的基本相似度，或者由离群值引起的非零相似度。因此，如何从这些基础模型得到的相似度中自动选择有价值的模式成为关键问题。此外，由于理想的相似度矩阵是块对角的，本发明通过探究多个基础相似度矩阵的结构一致性来学习其共识相似度矩阵。
本发明的目的是解决多几何模型运动分割方法中如何从多个基础几何模型中自动选择有价值的模式的问题，现有的基于融合的方法在子集约束下得到具有成对一致的谱嵌入，忽略了相似度级别的结构一致性，因此保留了部分与真实情况不一致的相似度，导致分割结果变差。为此，本发明提出一种新的基于多几何模型融合的结构一致性运动分割方法，通过构造一个共识相似度矩阵来实现所有几何模型之间的相似度级别的分割一致性。
本发明利用基础相似度矩阵之间共享的块对角结构信息，来选择相似关系中有价值的模式，即满足语义一致性的元素，利用乘性分解将基础相似度矩阵分解为共享的结构掩码矩阵与不共享的幅值矩阵的逐元素乘积，并使用一个结构正则化项约束共享结构掩码矩阵使其具有块对角结构，确保了多个相似度矩阵的结构一致性；还提出了求解该问题的具有全局收敛性的交替优化方法。
图1是本发明的基于多几何模型融合的结构一致性运动分割方法流程图。如图1所示，本发明提出的基于多几何模型融合的结构一致性运动分割方法，包括以下步骤：
S1、使用给定的轨迹信息从目标视频的V个几何模型中构建基础相似度矩阵
Figure BDA0002954668170000051
具体包括：
S11、给定目标视频的F个连续帧中的N个跟踪点的轨迹
Figure BDA0002954668170000054
Figure BDA0002954668170000052
拟合V个几何模型的参数得到模型假设。对于每一个几何模型，在每两个连续帧中随机采样M个最小数据点子集对模型进行估计，生成M个模型假设。因此，每个几何模型中可以采样得到M×(F-1)个模型假设。
S12、基于得到的模型假设，根据每个
Figure BDA0002954668170000053
和每个模型假设之间的Sampson距离计算二者的残差。可得，第v个几何模型下第f个连续帧对中的第i个跟踪点的残差向量为：
Figure BDA0002954668170000061
S13、采用有序残差核(ORK)计算得到两个跟踪点之间的相似性，并除以整个帧中对应的共现次数进行归一化。作为习惯性步骤，使用∈-近邻方法将相似度矩阵稀疏化，从而得到相似度矩阵
Figure BDA0002954668170000062
其中，相似度
Figure BDA0002954668170000063
Figure BDA0002954668170000064
为所有N×N的实数方阵的集合。
S2、初始化相关矩阵变量并对每个几何模型的A(v)进行分解；具体包括：
S21、理想情况下，属于不同运动的点之间的相似度应该为0。因此，每个A(v)至少有k个连通分量(k为拟分割的运动数)，即每个A(v)都为k-块对角矩阵。当将数据点根据其所属运动进行排序时，A(v)可表示为：
Figure BDA0002954668170000065
其中
Figure BDA0002954668170000066
非单位矩阵，ni表示第i类运动中跟踪点的个数，且满足∑ini＝N。显然，所有A(v)的ni均相同，因此其具有一致的块对角结构。
S22、使用共享块对角掩码矩阵S和幅值矩阵G(v)的逐元素乘积对每个模型的A(v)进行分解，即A(v)＝S⊙G(v)。在本发明中，期望S专注于捕获所有A(v)共享的一致结构，期望G(v)保持该结构中元素的幅值大小，从而从所有基础相似度矩阵中尽可能挖掘具有一致共识的元素。
S23、对于矩阵S中的每个元素，使用预定义的上界值Smax限制其大小，防止其主导乘法并且强迫其聚焦于结构信息。
S24、对于矩阵G(v)中的每个元素，使用一个非负的下界值Gmin避免G(v)产生非零元素，防止S⊙G(v)对应位置出现零元素，破坏结构。
S25、考虑到A(v)的对角线项的值不会影响之后的谱聚类，因此在分割前手动将这些对角线元素设置为零。这也产生S和G(v)的一个约束条件，即它们的对角线元素应为零。
S25、对于S施加k-块对角结构约束保证其结构一致性，即最小化S对应的图拉普拉斯矩阵LS的最小k个特征根。该约束等价于最小化图拉普拉斯矩阵LS与一新增变量U的内积，且U需满足迹为k、特征根非负同时均小于等于1。
S26、初始化各变量
Figure BDA0002954668170000067
其中，1N为元素均为1，长度为N的列向量，
Figure BDA0002954668170000071
为元素均为1，长度为N的行向量，T为转置符号，
Figure BDA0002954668170000072
为N×N的全1方阵，IN为N×N的单位矩阵。
S3、分别按给定规则更新相关矩阵变量直至收敛；
S31、固定S和U，更新G(v)。新的G(v)为
Figure BDA0002954668170000073
其中
Figure BDA0002954668170000074
代表矩阵逐元素除法。
S32、固定G(v)和U，更新S。新的S中的元素为：
Figure BDA0002954668170000075
其中
Figure BDA0002954668170000076
S33、固定S和G(v)，更新U。新的U为
Figure BDA0002954668170000077
其中V为S的图拉普拉斯矩阵LS的特征根(升序排列)对应的特征向量，l为前k个特征根中最后一个与后一个特征根不相等的特征根的序号，h为后N-k个特征根中首个与后一个特征根不相等的特征根的序号。
S34、重复步骤S31-S33，直至S、G(v)、U改变量的绝对值均不大于预设阈值(如0.001)。该算法具有全局收敛性质，即对S、G(v)、U的任意初始值均可收敛到一最优点，不会围绕最优点震荡。
S4、按给定规则聚合得到共识相似度矩阵
Figure BDA0002954668170000078
S5、对共识相似度矩阵A进行谱聚类得到运动分割标签y；
S6、以运动分割标签y对目标视频进行运动分割。
图2是本发明的数据处理装置示意图。如图2所示，本发明实施例还提供一种计算机可读存储介质，以及一种数据处理装置。本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被数据处理装置的处理器执行时，实现上述基于多几何模型融合的结构一致性运动分割方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
该发明提出的基于多几何模型融合的结构一致性运动分割方法，通过构造一个共识相似度矩阵来实现所有几何模型之间的相似度级别的分割一致性。同时，提出一种交替更新变量的方法，且具有良好的全局收敛性。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种基于多几何模型融合的结构一致性运动分割方法，其特征在于，包括：
获取目标视频的F个连续帧中的N个几何模型的跟踪点的轨迹
Figure FDA0003941295270000011
Figure FDA0003941295270000012
对于该目标视频的V个几何模型中的任一个，在每两个连续帧中随机采样M个最小数据点子集对该几何模型进行估计，以生成M个模型假设，并在F个连续帧中共采样得到M×(F-1)个模型假设；根据每个
Figure FDA0003941295270000013
和每个模型假设之间的Sampson距离获取二者的残差向量，其中，第v个几何模型下第f个连续帧对中的第i个跟踪点的残差向量
Figure FDA0003941295270000014
基于
Figure FDA0003941295270000015
采用有序残差核得到两个跟踪点之间的相似度矩阵A(v)，并除以整个目标视频中跟踪点对应的共现次数进行归一化，将从V个几何模型中得到的相似度生成矩阵，使用∈-近邻方法将该矩阵稀疏化，生成基础相似度矩阵
Figure FDA0003941295270000016
Figure FDA0003941295270000017
Figure FDA0003941295270000018
为跟踪点的坐标，
Figure FDA0003941295270000019
更新该基础相似度矩阵
Figure FDA00039412952700000117
直至收敛；更新
Figure FDA00039412952700000110
前对
Figure FDA00039412952700000111
进行初始化及矩阵元素分解，具体包括：
对于该目标视频的k个拟分割的运动数，
Figure FDA00039412952700000112
的每个矩阵元素A(v)都为k-块对角矩阵，将数据点根据所属运动进行排序，得到
Figure FDA00039412952700000113
其中，
Figure FDA00039412952700000114
非单位矩阵，ni表示第i类运动中跟踪点的个数，且满足∑ini＝N；
设置A(v)的对角线元素为零，使用共享块对角掩码矩阵S和幅值矩阵G(v)的逐元素乘积对每个几何模型的A(v)进行分解，得到A(v)＝S⊙G(v)；其中，S中每个矩阵元素的上界值为Smax，G(v)中每个矩阵元素的下界值为Gmin，Gmin≥0；
对于S施加k-块对角结构约束，最小化S对应的图拉普拉斯矩阵LS的最小k个特征根，该约束等价于最小化S为最小化图拉普拉斯矩阵LS与一新增变量U的内积，其中，U的迹为k，其特征根非负且均小于等于1；
初始化各变量G(v)←0，
Figure FDA00039412952700000115
U←IN，T为转置符号；
对该基础相似度矩阵
Figure FDA00039412952700000116
进行聚合得到共识相似度矩阵；
对该共识相似度矩阵进行谱聚类得到运动分割标签；通过该运动分割标签对该几何模型进行运动分割。
2.如权利要求1所述的结构一致性运动分割方法，其特征在于，更新
Figure FDA0003941295270000021
的步骤具体包括：
固定S和U，更新
Figure FDA0003941295270000022
其中，
Figure FDA0003941295270000023
Figure FDA0003941295270000024
Figure FDA0003941295270000025
表示矩阵逐元素除法，ɑ1为第一更新参数；
固定G(v)和U，更新S使得S中的元素
Figure FDA0003941295270000026
Figure FDA0003941295270000027
Figure FDA0003941295270000028
其中，
Figure FDA0003941295270000029
ɑ2为第二更新参数；
固定S和G(v)，更新
Figure FDA00039412952700000210
其中V为S的图拉普拉斯矩阵LS的特征根对应的特征向量，l为前k个特征根中最后一个与后一个特征根不相等的特征根的序号，h为后N-k个特征根中首个与后一个特征根不相等的特征根的序号；
重复对S、G(v)、U的更新步骤，直至S、G(v)、U改变量的绝对值均不大于预设阈值。
3.如权利要求2所述的结构一致性运动分割方法，其特征在于，通过聚合得到共识相似度矩阵A的步骤具体包括：
Figure FDA00039412952700000211
4.一种基于多几何模型融合的结构一致性运动分割系统，其特征在于，包括：
基础相似度矩阵构建模块，用于根据目标视频中多个几何模型的跟踪点的已知轨迹信息，获取各跟踪点之间的相似度，构建为基础相似度矩阵；并更新该基础相似度矩阵直至收敛；其中，获取目标视频的F个连续帧中的N个几何模型的跟踪点的轨迹
Figure FDA00039412952700000212
对于该目标视频的V个几何模型中的任一个，在每两个连续帧中随机采样M个最小数据点子集对该几何模型进行估计，以生成M个模型假设，并在F个连续帧中共采样得到M×(F-1)个模型假设；根据每个
Figure FDA00039412952700000213
和每个模型假设之间的Sampson距离获取二者的残差向量，其中，第v个几何模型下第f个连续帧对中的第i个跟踪点的残差向量
Figure FDA0003941295270000031
Figure FDA0003941295270000032
基于
Figure FDA0003941295270000033
采用有序残差核得到两个跟踪点之间的相似度矩阵A(v)，并除以整个目标视频中跟踪点对应的共现次数进行归一化，将从V个几何模型中得到的相似度生成矩阵，使用∈-近邻方法将该矩阵稀疏化，生成基础相似度矩阵
Figure FDA0003941295270000034
其中，
Figure FDA0003941295270000035
为跟踪点的坐标，
Figure FDA0003941295270000036
更新该基础相似度矩阵
Figure FDA0003941295270000037
直至收敛；更新
Figure FDA0003941295270000038
前对
Figure FDA0003941295270000039
进行初始化及矩阵元素分解，具体包括：对于该目标视频的k个拟分割的运动数，
Figure FDA00039412952700000310
的每个矩阵元素A(v)都为k-块对角矩阵，将数据点根据所属运动进行排序，得到
Figure FDA00039412952700000311
Figure FDA00039412952700000312
非单位矩阵，ni表示第i类运动中跟踪点的个数，且满足∑ini＝N；设置A(v)的对角线元素为零，使用共享块对角掩码矩阵S和幅值矩阵G(v)的逐元素乘积对每个几何模型的A(v)进行分解，得到A(v)＝S⊙G(v)；其中，S中每个矩阵元素的上界值为Smax，G(v)中每个矩阵元素的下界值为Gmin，Gmin≥0；对于S施加k-块对角结构约束，最小化S对应的图拉普拉斯矩阵LS的最小k个特征根，该约束等价于最小化S为最小化图拉普拉斯矩阵LS与一新增变量U的内积，其中，U的迹为k，其特征根非负且均小于等于1；初始化各变量G(v)←0，
Figure FDA00039412952700000313
U←IN，T为转置符号；
共识相似度矩阵构建模块，用于对该基础相似度矩阵进行聚合得到共识相似度矩阵；
运动分割模块，用于对该共识相似度矩阵进行谱聚类得到运动分割标签；通过该运动分割标签对该几何模型进行运动分割。
5.如权利要求4所述的结构一致性运动分割系统，其特征在于，该基础相似度矩阵构建模块具体包括：
获取该目标视频的F个连续帧中的N个跟踪点的轨迹
Figure FDA00039412952700000314
对于该目标视频的几何模型生成M个模型假设，并在F个连续帧中共采样得到M×(F-1)个模型假设；
Figure FDA00039412952700000315
为跟踪点的坐标；获取每个
Figure FDA00039412952700000316
和每个模型假设之间的残差向量
Figure FDA00039412952700000317
基于
Figure FDA00039412952700000318
采用有序残差核得到两个跟踪点之间的相似度矩阵A(v)，生成基础相似度矩阵
Figure FDA00039412952700000319
6.如权利要求5所述的结构一致性运动分割系统，其特征在于，该共识相似度矩阵构建模块具体包括：
矩阵元素分解模块，用于对A(v)进行分解，获得的相关分解矩阵，该相关分解矩阵包括：共享块对角掩码矩阵S、幅值矩阵G(v)和新增变量U；
矩阵初始化模块，用于初始化S、G(v)和U；
矩阵更新模块，用于更新S、G(v)和U以更新
Figure FDA0003941295270000041
矩阵聚合模块，用于通过聚合得到的共识相似度矩阵A。
7.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如权利要求1～3任一项所述的基于多几何模型融合的结构一致性运动分割方法。
8.一种数据处理装置，包括如权利要求7所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，执行针对目标视频的基于多几何模型融合的结构一致性运动分割方法。
CN202110220558.0A 2021-02-26 2021-02-26 基于多几何模型融合的结构一致性运动分割方法和系统 Active CN113034537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110220558.0A CN113034537B (zh) 2021-02-26 2021-02-26 基于多几何模型融合的结构一致性运动分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110220558.0A CN113034537B (zh) 2021-02-26 2021-02-26 基于多几何模型融合的结构一致性运动分割方法和系统

Publications (2)

Publication Number Publication Date
CN113034537A CN113034537A (zh) 2021-06-25
CN113034537B true CN113034537B (zh) 2023-03-07

Family

ID=76462179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110220558.0A Active CN113034537B (zh) 2021-02-26 2021-02-26 基于多几何模型融合的结构一致性运动分割方法和系统

Country Status (1)

Country Link
CN (1) CN113034537B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605952A (zh) * 2013-10-27 2014-02-26 西安电子科技大学 基于拉普拉斯正则组稀疏的人体行为识别方法
CN104517123A (zh) * 2014-12-24 2015-04-15 西安理工大学 一种采用局部运动特征相似性引导的子空间聚类方法
CN109215053A (zh) * 2018-10-16 2019-01-15 西安建筑科技大学 一种无人机航拍视频中含暂停状态的运动车辆检测方法
CN109614933A (zh) * 2018-12-11 2019-04-12 闽江学院 一种基于确定性拟合的运动分割方法
CN109657611A (zh) * 2018-12-19 2019-04-19 河南科技大学 一种用于人脸识别的自适应图正则化非负矩阵分解方法
CN110276049A (zh) * 2019-06-24 2019-09-24 河南科技大学 一种半监督自适应图正则化判别非负矩阵分解方法
CN112308877A (zh) * 2020-10-27 2021-02-02 厦门大学 基于异质模型拟合的运动分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485734B (zh) * 2016-10-12 2019-06-07 天津大学 一种基于非局部自相似性的视频运动物体检测方法
CN111611323A (zh) * 2020-04-09 2020-09-01 山东财经大学 一种面向数据融合的迭代结构化多视图子空间聚类方法，设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605952A (zh) * 2013-10-27 2014-02-26 西安电子科技大学 基于拉普拉斯正则组稀疏的人体行为识别方法
CN104517123A (zh) * 2014-12-24 2015-04-15 西安理工大学 一种采用局部运动特征相似性引导的子空间聚类方法
CN109215053A (zh) * 2018-10-16 2019-01-15 西安建筑科技大学 一种无人机航拍视频中含暂停状态的运动车辆检测方法
CN109614933A (zh) * 2018-12-11 2019-04-12 闽江学院 一种基于确定性拟合的运动分割方法
CN109657611A (zh) * 2018-12-19 2019-04-19 河南科技大学 一种用于人脸识别的自适应图正则化非负矩阵分解方法
CN110276049A (zh) * 2019-06-24 2019-09-24 河南科技大学 一种半监督自适应图正则化判别非负矩阵分解方法
CN112308877A (zh) * 2020-10-27 2021-02-02 厦门大学 基于异质模型拟合的运动分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HIERARCHICAL ITERATIVE EIGENDECOMPOSITION FOR MOTION SEGMENTATION;Robles-Kelly等;《International Conference on Image Processing (ICIP 2001)》;20011010;全文 *
基于子空间聚类的运动分割方法研究;郭江桥;《中国优秀硕士学位论文全文数据库》;20170215(第2期);全文 *
基于深度信息的人体动作识别研究综述;陈万军;《西安理工大学学报》;20151109(第3期);全文 *
基于结构化表示模型的人体动作识别与运动分割;陈万军;《中国优秀博士学位论文全文数据库》;20181115(第11期);全文 *
基于谱聚类的运动捕获数据分割;胡晓雁等;《计算机辅助设计与图形学学报》;20160826;第28卷(第8期);全文 *
视频分割算法研究;王洋洋等;《数码设计（下）》;20201217;第9卷(第8期);全文 *

Also Published As

Publication number Publication date
CN113034537A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
Ranftl et al. Deep fundamental matrix estimation
Wang et al. Transferring rich feature hierarchies for robust visual tracking
Yeo et al. Superpixel-based tracking-by-segmentation using markov chains
Zhao et al. A robust method for vector field learning with application to mismatch removing
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
WO2017059576A1 (en) Apparatus and method for pedestrian detection
Adhikari et al. Iterative bounding box annotation for object detection
CN106228121B (zh) 手势特征识别方法和装置
CN113496247A (zh) 估计生成对抗网络的隐含似然
Lai et al. Efficient robust model fitting for multistructure data using global greedy search
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN107358172B (zh) 一种基于人脸朝向分类的人脸特征点初始化方法
Yigitbasi et al. Edge detection using artificial bee colony algorithm (ABC)
Cong et al. Speeded up low-rank online metric learning for object tracking
EP4053757A1 (en) Degradation suppression program, degradation suppression method, and information processing device
Cui et al. Label error correction and generation through label relationships
JP2021051589A5 (zh)
CN114118303B (zh) 基于先验约束的人脸关键点检测方法及装置
Zhang et al. Tensor graph convolutional neural network
Zhang et al. A componentwise approach to weakly supervised semantic segmentation using dual-feedback network
CN113034537B (zh) 基于多几何模型融合的结构一致性运动分割方法和系统
CN111695526B (zh) 网络模型生成方法、行人重识别方法及装置
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
KR20180082680A (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant