CN111316323A - 一种三维轨迹数据的异常值处理方法及装置 - Google Patents

一种三维轨迹数据的异常值处理方法及装置 Download PDF

Info

Publication number
CN111316323A
CN111316323A CN201980005276.XA CN201980005276A CN111316323A CN 111316323 A CN111316323 A CN 111316323A CN 201980005276 A CN201980005276 A CN 201980005276A CN 111316323 A CN111316323 A CN 111316323A
Authority
CN
China
Prior art keywords
data
target
mark point
matrix
target mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980005276.XA
Other languages
English (en)
Other versions
CN111316323B (zh
Inventor
杭建伟
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Publication of CN111316323A publication Critical patent/CN111316323A/zh
Application granted granted Critical
Publication of CN111316323B publication Critical patent/CN111316323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种三维轨迹数据的异常值处理方法、装置及光学动作捕捉方法,其中请求保护的异常值处理方法包括通过构建数据源矩阵、构建鲁棒性主成分分析、对目标数据矩阵进行数据提取与数据结构恢复等步骤尽可能找出三维轨迹数据中的有效三维数据,达到去除异常值的目的,从而为用户提供异常值处理效果好、处理效率高的解决方案。

Description

一种三维轨迹数据的异常值处理方法及装置
技术领域
本发明涉及动作捕捉技术,具体涉及一种三维轨迹数据的异常值处理方法及装置。
背景技术
动作捕捉技术(Motion capture,简称Mocap)是指在运动物体的关键部位设置跟踪器,由动捕系统捕捉跟踪器位置,再经过计算机处理后得到三维空间坐标的数据。当三维空间坐标数据被计算机识别后,可以应用在动画制作、步态分析、生物力学、人机工程等领域。特别是在电影特效领域,将多个摄影机捕捉到的真人影像换为数字模型,捕捉并记录演员表演时的动作,然后把这些动作同步到电脑中的虚拟角色上,使虚拟角色的动作和真人毫无差别,以达到逼真、自然的效果。
目前,光学式动作捕捉凭借着采集精度高、可实时反馈等优势已成为运动捕捉技术中的重要研究分支。常见的光学式运动捕捉大多基于计算机视觉原理,从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置,而当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的三维运动轨迹。凭借该技术发展的光学式动捕系统已在游戏和电影领域广泛应用,通过对目标上特定光点(比如捕捉球或反光标记点)的监视和跟踪来完成运动捕捉的任务,由于每一个光点都对应一个捕捉目标的特殊部位,所以光点的移动就可以映射成为目标的分段位移,甚至是结构非常复杂的目标(比如人体)的运动形态,在高光点数量、高定位精度的基础下,也能够构建出目标物每一个细致关节的移动。
在光学动作捕捉过程中,动捕相机在拍摄标记点的图像时,若捕捉环境发生变化,则会对标记点的三维空间坐标的定位精度造成影响。例如,当捕捉环境突然出现强光、其它物体突然加入、遮挡等情形时,计算出的标记点的三维空间坐标则会出现异常值,如果不对这些出现的异常值进行处理,则最终会影响运动物体的定位精度。
现有技术中,在对标记点运动过程形成的三维轨迹数据中的异常值处理时,常用的做法是线性差值,该种方法简单实用,当存在大量非异常信息损失的情形;另一种方法是字典学习,该种方法要求事先预备一个标准的数据库然后才能进行数据处理,该方法则存在算法处理过程比较耗时的问题。还有一种做法进行奇异值分解以进行矩阵降维,该种方法在去除噪声的同时也可能会去除有效值,效果不太好。
发明内容
有鉴于此,为克服上述三维轨迹数据的异常值处理方法的不足,本申请提供一种三维轨迹数据的异常值处理方法及装置。
根据第一方面,本发明实施例提供一种三维轨迹数据的异常值处理方法,包括:
依据与目标标记点相关的标记点的三维轨迹数据,构建数据源矩阵,所述数据源矩阵含有所述目标标记点的异常值且所述数据源矩阵是非满秩的;
对所述数据源矩阵构建鲁棒性主成分分析,得到目标数据矩阵和异常值矩阵;
根据所述目标数据矩阵,获取所述目标标记点的有效三维轨迹数据。
根据第二方面,本发明实施例中提供一种三维轨迹数据的异常值处理装置,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述第一方面任一项所述的三维轨迹数据的异常值处理方法。
根据第三方面,本发明实施例中提供一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现上述任一项所述的三维轨迹数据的异常值处理方法。
根据第三方面,本发明实施例中提供一种光学动作捕捉方法,包括:
获取运动空间中一测量对象的二维图像;
根据获取的所述二维图像得到测量对象的三维轨迹数据;
将得到的所述三维轨迹数据进行异常值处理,获取光学动作捕捉数据。
本申请的有益效果是:
依据上述实施例的一种三维轨迹数据的异常值处理方法,其中,请求保护的异常值处理方法包括:构建数据源矩阵、构建鲁棒性主成分分析、对目标数据矩阵进行数据恢复等步骤,以尽可能找出三维轨迹数据中的有效三维数据,达到去除异常值的目的,从而为用户提供异常值处理效果好、处理效率高的解决方案。
其中,在构建数据源矩阵时,依据与目标标记点相关的标记点的三维轨迹数据,该与目标标记点相关的标记点的三维轨迹数据包括:目标标记点的三维轨迹数据;或,目标标记点的三维轨迹数据和与该目标标记点具有关联关系的标记点的三维轨迹数据,由此使得构建数据源矩阵时,可根据实际情况选择数据源,数据源的选择性比较灵活,同时又能够保证尽可能地将与目标标记点相关的数据纳入分析,以提高异常值处理效率,更好地找到有效的三维数据。
并且,在构建数据源矩阵时,先构建每一标记点的汉克尔矩阵,基于汉克尔矩阵的特性,可以保证构建的汉克尔矩阵具有低秩性,然后再根据分析数据源的不同,对构建的汉克尔矩阵进行组合,由于标记点之间的数据相关性,从而可以保证构建的数据源矩阵的低秩性,以保证后续进行鲁棒性主成分分析的效果。
其中,构建鲁棒性主成分分析时,选用增广拉格朗日乘子法。采用增广拉格朗日乘子法进行鲁棒性主成分分析,可以使得分析效率更高。
附图说明
图1为异常值处理方法的第一实施例的流程示意图;
图2为异常值处理方法的第二实施例的流程示意图;
图3为光学动作捕捉方法的流程示意图;
图4为异常值处理装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
现有技术中,常采用鲁棒性主成分分析(Robust PCA)进行图像数据处理。该种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音和冗余,将原有的复杂数据降维。鲁棒性主成分分析本质上也是寻找数据在低维空间上的最佳投影问题。对于低秩数据观测矩阵X,假如X受到随机(稀疏)噪声的影响,则X的低秩性就会破坏,使X变成满秩的。所以我们就需要将X分解成包含其真实结构的低秩矩阵和稀疏噪声矩阵之和。找到了低秩矩阵,实际上就找到了数据的本质低维空间。
鲁棒性主成分分析(Robust PCA)考虑的问题:数据矩阵X会包含结构信息,也包含噪声。那么可以将这个矩阵分解为两个矩阵相加,一个是低秩的(由于内部有一定的结构信息,造成各行或列间是线性相关的),另一个是稀疏的(由于含有噪声,而噪声是稀疏的),则鲁棒性主成分分析可以写成以下的优化问题:
Figure BDA0002459489530000041
基于上述关于鲁棒性主成分分析的作用及效果,可以考虑将该方法运用于动作捕捉的三维轨迹数据的异常值处理。
需要说明的是,现有光学动作捕捉系统对测量对象定位跟踪时存在定位精度差的问题,一个原因是因为得到的三维轨迹数据中存在异常值,而这些异常值会影响定位精度。现有中一些针对三维轨迹数据的异常值处理方法仍旧不能较好地解决三维轨迹数据中的异常值问题。由此,本申请的发明构思是:提出另一种针对测量对象的三维轨迹数据的异常值处理方法,该方法利用人体的链式结构,通过构造低秩的数据矩阵,提供一种多模式(数据源的选择具有很强灵活性),便携式的异常值处理方法。具体实现时,通过构建数据源矩阵、构建鲁棒性主成分分析、对目标数据矩阵进行数据恢复等步骤尽可能找出三维轨迹数据中的有效三维数据,达到去除异常值的目的,从而为用户提供异常值处理效果好、处理效率高的解决方案。下面将结合实施例对本申请请求保护的技术方案进行详细说明。
---------------------------------------------------------------
实施例一:
请参考图1,本申请公开一种三维轨迹数据的异常值处理方法,其包括步骤101-103,下面分别说明。
步骤101,依据与目标标记点相关的标记点的三维轨迹数据,构建数据源矩阵,该数据源矩阵含有所述目标标记点的异常值,且数据源矩阵是非满秩的。
由于目标标记点相关的标记点的三维轨迹数据是动捕系统采集的,且本发明要解决的是异常值去除的问题,所以目标标记点的三维轨迹数据一定存在异常值。本发明的目的是:更好地去除目标标记点的异常值。需要说明的是,这里的目标标记点,是指需要跟踪的、且为光学动作捕捉系统捕捉的被测对象上的标记点,布置在人体关节上的反光标记点。关于如何得到一测量对象的三维轨迹数据的方法将在下文的实施例三中进行说明。
其中,目标标记点相关的标记点大致可以包括:目标标记点和与目标标记点具有关联关系的标记点。相应地,与目标标记点相关的标记点的三维数据,是动捕系统采集的,大致可以分为两种大的类型:目标标记点的三维轨迹数据和与该目标标记点具有关联关系的标记点的三维轨迹数据。也即是说,目标标记点相关的标记点的三维轨迹数据,可以为:只包括目标标记点的三维轨迹数据;也可以为:既包括目标标记点的三维轨迹数据,还包括与该目标标记点具有关联关系的标记点的三维轨迹数据。
另外需要说明的一点是:与该目标标记点具有关联关系的标记点,可以是:与目标标记点所属肢体处于相同肢体的标记点,例如,若目标标记点处于左上臂,则与该目标标记点具有关联关系的标记点可以是左上臂上的其他标记点。
也可以是:所属肢体与目标标记点所属肢体存在父或子关系的标记点,例如,若目标标记点所属肢体为左下臂,则与该目标标记点具有关联关系的标记点可以是左上臂上的标记点。
还可以是:所属肢体与目标标记点所属肢体功能相似的标记点,例如,若目标标记点所属肢体为左下臂,则与该目标标记点具有关联关系的标记点可以是右下臂上的标记点。
由于目标标记点相关的标记点的三维轨迹数据是动捕系统采集的,该目标标记点的三维轨迹数据中含有异常值,因此依据与该目标标记点相关的标记点的三维轨迹数据中不仅含有有效的三维数据,而且还含有目标标记点的异常值。在构建该数据源矩阵时,为满足下一步构建鲁棒性主成分分析的需要,要求数据源矩阵是非满秩的,并且秩越小越好。
步骤102,对数据源矩阵构建鲁棒性主成分分析,得到目标数据矩阵和异常值矩阵。
前文已经描述,鲁棒性主成分分析(Robust PCA)方法可以有效的找出数据中最“主要”的元素和结构,去除噪音和冗余,将原有的复杂数据降维。因此,将数据源矩阵构建鲁棒性主成分分析之后,可以得到两个矩阵,即代表有效三维轨迹数据的目标数据矩阵,和代表异常值的异常值矩阵。
需要说明的是,在对数据源矩阵进行鲁棒性主成分分析时,可选用的方法有很多,例如,增广拉格朗日乘子法。采用增广拉格朗日乘子法进行鲁棒性主成分分析,可以使得分析效率更高。
步骤103,根据目标数据矩阵,获取目标标记点的有效三维轨迹数据。
进行鲁棒性主成分分析之后,输出的目标数据矩阵行列结构与数据源矩阵是相同的。由于构建的数据源矩阵中,除包括目标标记点的三维轨迹数据之外,还可能包括其他目标标记点的三维轨迹数据,并且目标标记点的三维数据呈现形式也并非标准的呈现形式,因此需要做数据提取与数据结构恢复,以获取目标标记点的有效三维轨迹数据。
本发明实施例的三维轨迹数据的异常值处理方法,首先,在构建数据源矩阵,选用与目标标记点相关的标记点的三维轨迹数据构建数据源矩阵,并且构建的数据源矩阵是非满秩的,这使得对数据源矩阵进行鲁棒性主成分分析成为可能,并且有效地高了鲁棒性主成分分析的效果,分析之后能够尽可能多地找到目标标记点的有效三维轨迹数据。而后,在对数据提取与数据结构恢复,从而得到目标标记点的、符合格式的有效三维轨迹数据。本发明实施例提供了一种新的三维轨迹数据的异常值处理方法,该方法通过构建符合进行鲁棒性主成分分析的数据源矩阵并进行鲁棒性主成分分析,能够有效找出有效三维数据,提升异常值处理效率。
实施例二:
请参考图2,本申请公开一种三维轨迹数据的异常值处理方法,本实施例是对实施一的进一步细化与说明,下面将进行详细描述。
如图2所示,本发明实施例的异常值处理方法,具体包括:
步骤200,确定与目标标记点相关的所有标记点。
其中,本步骤的目的是,确定需要分析的数据源。实际操作中,可以根据实际的动作捕捉情况,确定与目标标记点相关的所有标记点,以确定需要分析的数据源。由于与目标标记点相关的标记点可能包括:目标标记点,或目标标记点和一种与目标标记点所属肢体具有关联关系的标记点,或目标标记点和两种与目标标记点所属肢体具有关联关系的标记点。因此,实际情况不同,确定出的需要分析的与目标标记点相关的标记点组成也可能不一样。
具体来说,与目标标记点相关的所有标记点可能仅包括:目标标记点,此种情况对应只分析目标标记点的情况。
与目标标记点相关的所有标记点还可能包括:目标标记点和一个与目标标记点所属肢体具有关联关系的标记点,此种情况对应需要同时分析目标标记点和一种与目标标记点所属肢体具有关联关系的标记点的情况。需要说明的是,若该一种与目标标记点所属肢体具有关联关系的标记点有多个,则需要从该多个标记点中选择一个(一般选择数据质量最好的一个,如异常值最少,数据最完整)标记点来进行分析。
与目标标记点相关的所有标记点还可能包括:目标标记点和两个与目标标记点所属肢体具有关联关系的标记点,此种情况对应需要同时分析目标标记点和两种与目标标记点所属肢体具有关联关系的标记点的情况。需要说明的是,若每一种与目标标记点所属肢体具有关联关系的标记点分别有多个,则需要分别从每一种的多个标记点中选择一个(一般选择数据质量最好的一个,如异常值最少,数据最完整)标记点来进行分析。
可以理解的是,基于上述与目标标记点相关的所有标记点的组成分析可知,后续步骤201中获取的与目标标记点相关的每一标记点的N帧三维数据(或目标标记点相关的标记点的三维轨迹数据)可能包括:目标标记点的N帧三维数据、目标标记点的N帧三维数据和与目标标记点具有关联关系的一个标记点的N帧三维数据、或目标标记点的N帧三维数据和两个与目标标记点具有关联关系的标记点对应的N帧三维数据。
步骤201,获取与目标标记点相关的每一标记点的N帧三维数据。
步骤202,对每一标记点的N帧三维数据,依时序构建一个列数为1,行数为3N的初始矩阵
Figure BDA0002459489530000071
步骤203,取该初始矩阵中的前L个三维数据,作为汉克尔矩阵的行数,构建汉克尔矩阵:
Figure BDA0002459489530000081
步骤204,按照预设规则对构建的汉克尔矩阵进行组合,得到数据源矩阵。
其中,步骤200-步骤204是实施例一种步骤101的一种实施方式。即在依据与目标标记点相关的标记点的三维轨迹数据,构建数据源矩阵,可采用步骤200-步骤204所述的方式。
具体地,在步骤201中,获取与目标标记点相关的每一标记点的N帧三维数据。若与目标标记点相关的所有标记点仅包括:目标标记点,此处则仅获取目标标记点的N帧三维数据;若与目标标记点相关的所有标记点包括:目标标记点和一个与该目标标记点具有关联关系的标记点时,此处不仅需要获取目标标记点的N帧三维数据,还需要获取一个与该目标标记点具有关联关系的标记点的N帧三维数据。若与目标标记点相关的所有标记点包括:目标标记点和两个与该目标标记点具有关联关系的标记点时,此处不仅需要获取目标标记点的N帧三维数据,还需要获取两个与该目标标记点具有关联关系的标记点的N帧三维数据。
步骤202的初始矩阵rc中,rc,i标记为某一标记点(目标标记点或与目标标记点具有关联关系的标记点)第i帧三个坐标方向(x轴、y轴、z轴)的数据。即
Figure BDA0002459489530000082
需要说明的一点是,若步骤201中仅获取了目标标记点的N帧三维数据,则本步骤则只需构建一个初始矩阵,若有多个标记点的N帧三维数据,则相应需要构建多个初始矩阵。
在步骤203中,在汉克尔矩阵P中,矩阵的行数由L的取值决定。一般地,L的取值为:若N为偶数,则
Figure BDA0002459489530000083
若N为奇数,则
Figure BDA0002459489530000084
这样取值的原因是,保证构建的汉克尔矩阵P尽可能为方阵。需要说明的是,构建的汉克尔矩阵P中,行数值与列数值之间具有很强的相关性,从而能够保证构建的汉克尔矩阵P是非满秩的,甚至该矩阵的秩是非常小的。
需要说明的一点是,若步骤201中仅获取了目标标记点的N帧三维数据,则本步骤则只需构建一个汉克尔矩阵,若有多个标记点的N帧三维数据,则相应需要构建多个汉克尔矩阵。
步骤204中,需要按照约定的规则将构建的一个或多个汉克尔矩阵转化为数据源矩阵。本步骤具体实现时,操作方法需要分情况讨论:
第一:若与目标标记点相关的所有标记点仅包括:目标标记点;相应地与目标标记点相关的标记点的三维轨迹数据仅包括目标标记点的三维轨迹数据,则步骤201-步骤203中仅涉及目标标记点的N帧三维数据处理,步骤203中也仅构建了一个汉克尔矩阵P。此时在按照约定的规则将构建的一个或多个汉克尔矩阵转化为数据源矩阵时,直接将构建的汉克尔矩阵P作为数据源矩阵。
第二:若与目标标记点相关的所有标记点包括:目标标记点和一个与目标标记点所属肢体具有关联关系的标记点,相应地与目标标记点相关的标记点的三维轨迹数据不仅包括目标标记点的三维轨迹数据,还包括一个与目标标记点具有关联关系的标记点的三维轨迹数据。此处与目标标记点具有关联关系的标记点的三维轨迹数据可以是:与目标标记点具有相同肢体的标记点的三维轨迹数据、所属肢体与目标标记点所属肢体存在父或子关系的标记点的三维轨迹数据、或所属肢体与目标标记点所属肢体功能相似的标记点的三维轨迹数据。此时,步骤201-步骤203中不仅涉及目标标记点的N帧三维数据的处理,还涉及另外一个标记点的N帧三维数据的处理。相应地,步骤203中则构建了两个汉克尔矩阵P1和P2。其中,P1为目标标记点的汉克尔矩阵,P2为与该目标标记点具有关联关系的标记点的汉克尔矩阵。此时,则依据汉克尔矩阵为P1和汉克尔矩阵为P2,构建矩阵
Figure BDA0002459489530000091
将矩阵M0作为数据源矩阵。
第三:若与目标标记点相关的所有标记点包括:目标标记点和两个与该目标标记点所属肢体具有关联关系的标记点,相应地与目标标记点相关的标记点的三维轨迹数据包括目标标记点的三维轨迹数据,还包括两个与目标标记点具有关联关系的标记点的三维轨迹数据,此处该两个与目标标记点具有关联关系的标记点的三维轨迹数据可以是:与目标标记点具有相同肢体的标记点的三维轨迹数据、所属肢体与目标标记点所属肢体存在父或子关系的标记点的三维轨迹数据、或所属肢体与目标标记点所属肢体功能相似的标记点的三维轨迹数据中的两个。此时,步骤201-步骤203中不仅涉及目标标记点的N帧三维数据的处理,还涉及另外两个标记点的N帧三维数据的处理。相应地,步骤203中则构建了三个汉克尔矩阵P1、P2和P3。其中,P1为目标标记点的汉克尔矩阵,P2、P3分别为与该目标标记点具有关联关系的标记点的汉克尔矩阵。此时,则依据汉克尔矩阵为P1、汉克尔矩阵为P2和P3,构建矩阵
Figure BDA0002459489530000101
将矩阵M0作为数据源矩阵。
需要说明的是,本步骤目的是构建低秩的数据源矩阵。针对上述第一种情况,基于汉克尔矩阵的特性,保证了数据源矩阵的秩较小。针对上述第二、三种情况,按照上述规则构建矩阵之后,行数值与列数值之间的相关性也很强,从而也保证了构建的数据源矩阵的行列具有很强的相关性,相应的也保证了数据源矩阵的秩较小,保证了后续进行鲁棒性主成分分析的效果。
在完成数据源矩阵的构建之后,本发明实施例还可以包括:
步骤205,对数据源矩阵构建鲁棒性主成分分析,得到目标数据矩阵和异常值矩阵。
本步骤中,在对数据源矩阵进行鲁棒性主成分分析时,可选用的方法有很多,例如,增广拉格朗日乘子法。采用增广拉格朗日乘子法进行鲁棒性主成分分析,可以使得分析效率更高。
步骤206,从目标数据矩阵提取目标标记点的数据,得到目标标记点数据矩阵K。
需要说明的是,由于目标数据矩阵与数据源矩阵的行列结构相同。因此,若数据源矩阵中涉及多个标记点的数据,那么相应地,得到的目标数据矩阵也涉及多个标记点的数据。然而,此处需要的仅仅是目标标记点的有效数据,因此,需要从目标数据矩阵提取涉及目标标记点的数据,得到目标标记点数据矩阵K。然后在根据目标标记点数据矩阵K,计算出目标标记点的有效三维轨迹数据。
步骤207,对目标标记点数据矩阵:
Figure BDA0002459489530000111
进行数据结构恢复,得到经鲁棒性主成分分析后所述目标标记点的有效三维轨迹数据。
本步骤具体实现时,需要分情况讨论:
第一:若N为奇数,则根据以下算式,计算目标标记点第i帧的三维数据。
Figure BDA0002459489530000112
Figure BDA0002459489530000113
其中,
Figure BDA0002459489530000114
为经鲁棒性主成分分析后所述目标标记点第i帧的三维数据。
第二:若N为偶数,则根据以下算式,计算目标标记点第i帧的三维数据。
Figure BDA0002459489530000115
Figure BDA0002459489530000116
其中,
Figure BDA0002459489530000117
为经鲁棒性主成分分析后所述目标标记点第i帧的的三维数据
此处,假定提取目标数据点的数据之后,得到的目标标记点数据矩阵
Figure BDA0002459489530000121
在按照上述算式计算之后,便可得到目标标记点的所有帧的三维数据,整合计算得到的目标标记点的所有帧的三维数据,便可得到经鲁棒性煮成分分析之后该目标标记点的有效三维轨迹数据。
需要说明的是,步骤206中,从目标数据矩阵进行目标标记点的数据提取,得到目标标记点数据矩阵K时,具体操作方法需要分情况讨论:
第一:若与目标标记点相关的所有标记点仅包括:目标标记点。相应地与目标标记点相关的标记点三维轨迹数据仅包括目标标记点的三维轨迹数据,则经鲁棒性主成分分析后,步骤205中得到的目标数据矩阵中仅包括目标标记点的数据,因此可以将得到的目标数据矩阵Q0作为目标标记点数据矩阵K。
第二:若与目标标记点相关的所有标记点包括:目标标记点和一个与目标标记点所属肢体具有关联关系的标记点。相应地与目标标记点相关的标记点的三维数据不仅包括目标标记点的三维轨迹数据,还包括一个与目标标记点具有关联关系的标记点的三维轨迹数据,则经鲁棒性主成分分析后,步骤205中得到的目标数据矩阵中不仅包括目标标记点的数据,还包括一个与目标标记点具有关联关系的标记点的数据。此时,需要提取出目标标记点的数据,并进行数据结构恢复。例如,假定得到的目标数据矩阵为
Figure BDA0002459489530000122
则目标数据矩阵Q0中目标标记点的子数据矩阵为Q11,Q22,则计算子数据矩阵Q11,Q22的平均值
Figure BDA0002459489530000123
并将该平均值作为目标标记点数据矩阵K。
第三:若与目标标记点相关的所有标记点包括:目标标记点和两个与目标标记点所属肢体具有关联关系的标记点。相应地与目标标记点相关的标记点的三维轨迹数据不仅包括目标标记点的三维轨迹数据,还包括两个与目标标记点具有关联关系的标记点的三维轨迹数据,则经鲁棒性主成分分析后,步骤307中得到的目标数据矩阵中不仅包括目标标记点的数据,还包括两个与目标标记点具有关联关系的标记点的数据。此时,需要提取出涉及目标标记点的数据,并进行数据结构恢复。例如,假定得到的目标数据矩阵为
Figure BDA0002459489530000131
则提取目标标记点的子数据矩阵Q11,Q22和Q33,计算子数据矩阵Q11,Q22和Q33的平均值
Figure BDA0002459489530000132
并将该平均值作为目标标记点数据矩阵K。
实施例三:
请参考图3,本申请公开一种光学动作捕捉方法,其包括步骤301-303,下面分别说明。
步骤301,获取运动空间中一测量对象的二维图像。在一实施例中,通过以下环节获取测量对象的二维图像:
(1)对一测量对象进行光学标记,将光学标记后形成的光学标记点作为测量对象上的测量点。这里的光学标记可以布置在在人体关节上的反光标记点,当然,也可以采用其它标记方法,这里不做限制。
(2)在运动空间中,从多个角度和多个连续时间点上分别获取测量对象的二维图像,获取的二维图像应当包括测量对象上各测量点的图像信息。例如,通过多个位置布设的相机在同一时间点上对测量对象进行拍照,及每个相机在时间序列的不同时间点上对测量对象进行拍照,从而获得时间序列上的多组二维图像,每组二维图像包括同一时间点上的多幅二维图像。
步骤302,根据获取的二维图像得到测量对象的三维轨迹数据。在一实施例中,根据一图像三维重建算法对获取的二维图像进行处理,以得到测量对象上测量点的三维轨迹数据。
需要说明的是,通过图像三维重建算法对任意一组二维图像进行处理时可获得该组二维图像在拍摄时间点时测量点对应的三维数据,而对每组二维图像进行三维重建之后就可得到测量点在运动过程中的三维轨迹数据。
需要说明的是,图像三维重建算法可采用现有的三维重建技术,也可以采用未来出现的三维重建技术,这里不做限制。
步骤303,将步骤302中得到的三维轨迹数据进行异常值处理。
在一实施例中,通过实施例一中公开的异常值处理方法、实施例二公开的异常值处理方法,以获取有效的三维数据,进行异常值处理,实现光学动捕。
本领域的技术人员可以理解,异常值处理之后输出的有效三维轨迹数据包括了测量点在三维空间中的一系列三维坐标,那么,就可以根据三维轨迹数据准确地获知测量点在任意时刻的空间位置,从而实现对测量对象的精确跟踪与定位。
相应地,请参考图4,本申请还公开一种三维轨迹数据的异常值处理装置4,其包括存储器41和处理器42,其中存储器41用于存储程序,处理器42用于通过执行存储器41中存储的程序以实施例一、实施例二任一项实施例所公开的异常值处理方法。
相应地,本申请还公开了一种计算机可读存储介质,包括程序,该程序能够被处理器执行以实现以实施例一、实施例二任一项实施例所公开的异常值处理方法。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (13)

1.一种三维轨迹数据的异常值处理方法,其特征在于,包括:
依据与目标标记点相关的标记点的三维轨迹数据,构建数据源矩阵,所述数据源矩阵含有所述目标标记点的异常值且所述数据源矩阵是非满秩的;
对所述数据源矩阵构建鲁棒性主成分分析,得到目标数据矩阵;
根据所述目标数据矩阵,获取所述目标标记点的有效三维轨迹数据。
2.如权利要求1所述的异常值处理方法,其特征在于,所述与目标标记点相关的标记点的三维轨迹数据包括:
所述目标标记点的三维轨迹数据;或,
所述目标标记点的三维轨迹数据和与所述目标标记点具有关联关系的标记点的三维轨迹数据。
3.如权利要求2所述的异常值处理方法,其特征在于,所述与所述目标标记点具有关联关系的标记点的三维轨迹数据包括:
与所述目标标记点处于相同肢体的标记点的三维轨迹数据、所属肢体与所述目标标记点所属肢体存在父或子关系的标记点的三维轨迹数据、或所属肢体与所述目标标记点所属肢体功能相似的标记点的三维轨迹数据。
4.如权利要求3所述的异常值处理方法,其特征在于,所述依据与目标标记点相关的标记点的三维轨迹数据,构建数据源矩阵,具体包括:
确定与所述目标标记点相关的所有标记点;所述与所述目标标记点相关的所有标记点包括:所述目标标记点、所述目标标记点和一个与所述目标标记点所属肢体具有关联关系的标记点、或所述目标标记点和两个与所述目标标记点所属肢体具有关联关系的标记点;
获取与所述目标标记点相关的每一标记点的N帧三维数据;
对每一标记点的N帧三维数据,依时序构建一个列数为1,行数为3N的初始矩阵:
Figure FDA0002459489520000011
取该初始矩阵中的前L个三维数据,作为汉克尔矩阵的行数,构建汉克尔矩阵:
Figure FDA0002459489520000021
按照预设规则对构建的汉克尔矩阵进行组合,得到所述数据源矩阵;
其中,rc,i为某一标记点第i帧三个坐标方向的三维数据,即
Figure FDA0002459489520000022
若N为偶数,则
Figure FDA0002459489520000023
若N为奇数,则
Figure FDA0002459489520000024
5.如权利要求4所述的异常值处理方法,其特征在于,所述确定与所述目标标记点相关的所有标记点,具体包括:
若与所述目标标记点相关的所有标记点仅包括所述目标标记点,则将所述目标标记点确定为与所述目标标记点相关的所有标记点;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和一种与所述目标标记点所属肢体具有关联关系的标记点;若该种与所述目标标记点所属肢体具有关联关系的标记点有多个,则从该种与所述目标标记点所属肢体具有关联关系的多个标记点中选择一个标记点,以及将所述目标标记点和选择的该标记点确定为与所述目标标记点相关的所有标记点;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和两种与所述目标标记点所属肢体具有关联关系的标记点;若每一种所述目标标记点所属肢体具有关联关系的标记点有多个,则分别从该两种与所述目标标记点所属肢体具有关联关系的多个标记点中选择一个标记点,以及将所述目标标记点和选择出的该两个标记点确定为与所述目标标记点相关的所有标记点。
6.如权利要求4所述的异常值处理方法,其特征在于,所述按照预设规则对构建的汉克尔矩阵进行组合,得到所述数据源矩阵,具体包括:
若与所述目标标记点相关的所有标记点包括:所述目标标记点;则将构建的所述汉克尔矩阵作为所述数据源矩阵;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和一个与所述目标标记点所属肢体具有关联关系的标记点;若构建的所述目标标记点的汉克尔矩阵为P1,构建的与所述目标标记点具有关联关系的标记点的汉克尔矩阵为P2;则依据汉克尔矩阵为P1和汉克尔矩阵为P2,构建矩阵
Figure FDA0002459489520000031
将所述矩阵M0作为所述数据源矩阵;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和两个与所述目标标记点所属肢体具有关联关系的标记点;若构建的所述目标标记点的汉克尔矩阵为P1,构建的与所述目标标记点所属肢体具有关联关系的两个标记点的汉克尔矩阵分别为P2和P3;则依据汉克尔矩阵为P1和汉克尔矩阵为P2、P3,构建矩阵
Figure FDA0002459489520000032
将所述矩阵M0作为所述数据源矩阵。
7.如权利要求4-6中任一项所述的异常值处理方法,其特征在于,所述根据所述目标数据矩阵,获取所述目标标记点的有效三维轨迹数据,具体包括:
从所述目标数据矩阵提取所述目标标记点的数据,得到目标标记点数据矩阵K;
对所述目标标记点数据矩阵:
Figure FDA0002459489520000033
进行数据结构恢复,得到经鲁棒性主成分分析后所述目标标记点的有效三维轨迹数据。
8.如权利要求7所述的异常值处理方法,其特征在于,所述对所述目标标记点数据矩阵:
Figure FDA0002459489520000041
进行数据结构恢复,得到经鲁棒性主成分分析后所述目标标记点的有效三维轨迹数据,具体包括:
若N为奇数,则根据算式:
Figure FDA0002459489520000042
计算所述目标标记点第i帧的三维数据,其中1≤i≤L;根据算式
Figure FDA0002459489520000043
计算所述目标标记点第i帧的三维数据,其中,L<i≤N;
若N为偶数,则根据算式:则根据算式:
Figure FDA0002459489520000044
计算所述目标标记点第i帧的三维数据,其中1≤i≤L,根据算式
Figure FDA0002459489520000045
计算所述目标标记点第i帧的三维数据,其中,L≤i≤N;
其中
Figure FDA0002459489520000046
为经鲁棒性主成分分析后所述目标标记点第i帧的三维数据;
整合经鲁棒性主成分分析后所述目标标记点的N帧三维数据,得到所述目标标记点的有效三维轨迹数据。
9.如权利要求7所述的异常值处理方法,其特征在于,所述从所述目标数据矩阵提取所述目标标记点的数据,得到目标标记点数据矩阵K,具体包括:
若与所述目标标记点相关的所有标记点包括:所述目标标记点,且经鲁棒性主成分分析后,得到的目标数据矩阵Q0,将所述目标数据矩阵为Q0作为所述目标标记点数据矩阵K;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和一个所述目标标记点具有关联关系的标记点;且经鲁棒性主成分分析后,得到的目标数据矩阵为:
Figure FDA0002459489520000051
提取所述目标标记点的子数据矩阵Q11,Q22,则计算子数据矩阵Q11和Q22的平均值
Figure FDA0002459489520000052
并将该平均值作为所述目标标记点数据矩阵K;
若与所述目标标记点相关的所有标记点包括:所述目标标记点和两个与所述目标标记点具有关联关系的标记点;且经鲁棒性主成分分析后,得到的目标数据矩阵为:
Figure FDA0002459489520000053
提取所述目标标记点的子数据矩阵为Q11,Q22和Q33,则计算子数据矩阵Q11,Q22和Q33的平均值
Figure FDA0002459489520000054
并将该平均值作为所述目标标记点数据矩阵K。
10.如权利要求1所述的异常值处理方法,其特征在于,在对所述数据源矩阵构建鲁棒性主成分分析时,采用增广拉格朗日乘子法。
11.一种三维轨迹数据的异常值处理装置,其特征在于,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。
13.一种光学动作捕捉方法,其特征在于,包括:
获取运动空间中一测量对象的二维图像;
根据获取的所述二维图像得到测量对象的三维轨迹数据;
将得到的所述三维轨迹数据进行异常值处理,获取光学动作捕捉数据。
CN201980005276.XA 2019-01-31 2019-01-31 一种三维轨迹数据的异常值处理方法及装置 Active CN111316323B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/074199 WO2020155025A1 (zh) 2019-01-31 2019-01-31 一种三维轨迹数据的异常值处理方法及装置

Publications (2)

Publication Number Publication Date
CN111316323A true CN111316323A (zh) 2020-06-19
CN111316323B CN111316323B (zh) 2023-06-06

Family

ID=71159517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005276.XA Active CN111316323B (zh) 2019-01-31 2019-01-31 一种三维轨迹数据的异常值处理方法及装置

Country Status (2)

Country Link
CN (1) CN111316323B (zh)
WO (1) WO2020155025A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861074A (zh) * 2021-03-09 2021-05-28 东北电力大学 基于Hankel-DMD的电力系统机电参数提取方法
CN116612243A (zh) * 2023-07-21 2023-08-18 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统三维轨迹异常点抑制和处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144860A (zh) * 2007-10-16 2008-03-19 哈尔滨工业大学 基于选择性核主成份分析的高光谱图像异常点的检测方法
CN105022482A (zh) * 2015-07-07 2015-11-04 安徽瑞宏信息科技有限公司 一种人体运动快速捕捉方法
CN106950446A (zh) * 2017-03-22 2017-07-14 国网上海市电力公司 基于主成分分析法的电网异常快速检测与定位方法
WO2018025841A1 (ja) * 2016-08-05 2018-02-08 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
CN108288300A (zh) * 2018-01-12 2018-07-17 北京蜜枝科技有限公司 人体动作捕捉与骨骼数据映射系统及其方法
CN108389222A (zh) * 2018-02-28 2018-08-10 天津大学 一种基于图像序列的三维模型重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144860A (zh) * 2007-10-16 2008-03-19 哈尔滨工业大学 基于选择性核主成份分析的高光谱图像异常点的检测方法
CN105022482A (zh) * 2015-07-07 2015-11-04 安徽瑞宏信息科技有限公司 一种人体运动快速捕捉方法
WO2018025841A1 (ja) * 2016-08-05 2018-02-08 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
CN106950446A (zh) * 2017-03-22 2017-07-14 国网上海市电力公司 基于主成分分析法的电网异常快速检测与定位方法
CN108288300A (zh) * 2018-01-12 2018-07-17 北京蜜枝科技有限公司 人体动作捕捉与骨骼数据映射系统及其方法
CN108389222A (zh) * 2018-02-28 2018-08-10 天津大学 一种基于图像序列的三维模型重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭淑娟等: "分段式低秩逼近的运动捕获数据去噪方法", 《计算机科学》 *
徐军等: "空天地态势实时可视化展示系统设计与实现", 《电光与控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861074A (zh) * 2021-03-09 2021-05-28 东北电力大学 基于Hankel-DMD的电力系统机电参数提取方法
CN116612243A (zh) * 2023-07-21 2023-08-18 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统三维轨迹异常点抑制和处理方法
CN116612243B (zh) * 2023-07-21 2023-09-15 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统三维轨迹异常点抑制和处理方法

Also Published As

Publication number Publication date
WO2020155025A1 (zh) 2020-08-06
CN111316323B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Garon et al. Deep 6-DOF tracking
CN109840500B (zh) 一种三维人体姿态信息检测方法及装置
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP4202479B2 (ja) 三次元動作復元システム
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
JP2020526818A (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP2009515493A (ja) カメラ動きの決定
JP2009506441A (ja) モーションキャプチャに使用されるラベリング
CN112416133B (zh) 手部动作捕捉方法、装置、电子设备及存储介质
CN113449570A (zh) 图像处理方法和装置
CN111813689B (zh) 游戏测试方法、设备和介质
CN111105486A (zh) 一种多视角小白鼠动态三维重建方法
CN110741413B (zh) 一种刚体配置方法及光学动作捕捉方法
CN111316323A (zh) 一种三维轨迹数据的异常值处理方法及装置
Vo et al. Spatiotemporal bundle adjustment for dynamic 3d human reconstruction in the wild
CN111344741B (zh) 一种三维轨迹数据的数据缺失处理方法及装置
Jiang et al. EvHandPose: Event-based 3D hand pose estimation with sparse supervision
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars
KR100496186B1 (ko) 비디오 영상으로부터 투영행렬을 결정하는 방법
Yang et al. Structure From Motion on XSlit Cameras
Boufama et al. Three-dimensional structure calculation: achieving accuracy without calibration
WO2023159517A1 (en) System and method of capturing three-dimensional human motion capture with lidar
Purkrábek et al. Improving 2D Human Pose Estimation across Unseen Camera Views with Synthetic Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant