CN110741413B - 一种刚体配置方法及光学动作捕捉方法 - Google Patents

一种刚体配置方法及光学动作捕捉方法 Download PDF

Info

Publication number
CN110741413B
CN110741413B CN201880034551.6A CN201880034551A CN110741413B CN 110741413 B CN110741413 B CN 110741413B CN 201880034551 A CN201880034551 A CN 201880034551A CN 110741413 B CN110741413 B CN 110741413B
Authority
CN
China
Prior art keywords
rigid body
dimensional coordinate
configuration
calculating
rigid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880034551.6A
Other languages
English (en)
Other versions
CN110741413A (zh
Inventor
杭建伟
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Publication of CN110741413A publication Critical patent/CN110741413A/zh
Application granted granted Critical
Publication of CN110741413B publication Critical patent/CN110741413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

一种刚体配置方法及光学动作捕捉方法。刚体配置方法包括:确定刚体配置方式数目、计算三维坐标矩阵的奇异值、计算列向量正交程度、优选配置方式进行配置等步骤。由于对刚体上所有标记点做整体考虑,避免了以往遍历所有标记点可能存在位置的情形,使得差异度比较过程得以简化,有利于降低计算量,提高系统的运算效率,不仅适用于标记点数目相同的多个待配置刚体,还适用于标记点数目不同的待配置刚体,并且无需设定限制条件。

Description

一种刚体配置方法及光学动作捕捉方法
技术领域
本发明涉及动作捕捉技术,具体涉及一种刚体配置方法及光学动作捕捉方法。
背景技术
运动捕捉技术(Motion capture,简称Mocap)是指在运动物体的关键部位设置跟踪器,由动捕系统来捕捉跟踪器的位置,再经过计算机处理后得到三维空间坐标的数据。当三维空间坐标数据被计算机识别后,可以应用在动画制作、步态分析、生物力学、人机工程等领域。特别是在电影特效领域,将多个摄影机捕捉到的真人影像转换为数字模型,捕捉并记录演员表演时的动作,然后把这些动作同步到电脑中的虚拟角色上,使虚拟角色的动作和真人毫无差别,以达到逼真、自然的效果。
目前,光学式动作捕捉凭借着采集精度高、可实时反馈等优势已成为运动捕捉技术中的重要研究分支。常见的光学式运动捕捉大多基于计算机视觉原理,从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置,而当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的三维运动轨迹。凭借该技术发展的光学式动捕系统已在游戏和电影领域广泛应用,通过对目标上特定光点(比如捕捉球或反光标记点)的监视和跟踪来完成运动捕捉的任务,由于每一个光点都对应一个捕捉目标的特殊部位,所以光点的移动就可以映射成为目标的分段位移,甚至是结构非常复杂的目标(比如人体)的运动形态,在高光点数量、高定位精度的基础下,也能够构建出目标物每一个细致关节的移动。
在现有的光学式运动捕捉系统中,通常需要获取反光标记点(marker)的运动轨迹来实现目标对象的捕捉与跟踪。在通常情况下,会将多个反光标记点配置成一个刚体,将每个刚体设置在目标对象的某个目标部位处,那么,在进行目标对象的跟踪时,主要通过识别目标对象上的不同刚体来区分不同目标部位的运动状态。可见,若多个刚体之间的相似度较高,则动捕系统将可能无法正确区分这些刚体,从而导致目标部位的识别出错,甚至造成目标对象跟踪失败的严重后果。因此,在利用marker对刚体进行配置时,应当保证不同刚体之间具备较大的差异度,尽可能地正确区分各个刚体。
常见的刚体配置方法是:随机安排每个刚体上每个反光标记点的初始位置,然后遍历每个反光标记所有可能存在的位置,计算任意两个刚体之间的差异度的总和,将得到的多个总和中最大值所对应的刚体配置方式作为最终的刚体配置方案。然而,上述方法需要遍历每个反光标记点可能存在的所有位置,还需要计算任意两个刚体间的差异度总和,致使计算量庞大,过多地占用动捕系统的处理开销。
例如,现有技术中高阶一点的刚体配置方法是:(1)初始化多个刚体中各个刚体上所有反光标记点的位置,在确定刚体上反光标点的目标位置时,从未确定目标位置的反光标记中选取任意一个反光标记点作为目标反光标记点;(2)固定除目标反光标记点外的其它反光标记点,并在目标反光标记点所属刚体的每个空余位置上逐次移动目标反光标记点;(3)根据各个反光标记点所处的位置信息分别计算目标反光标记点处于各个空余位置时的刚体差异度,刚体差异度为多个刚体中任意两个刚体之间的差异度的总和;(4)将该刚体差异度的最大值所对应的空余位置确定为目标反光标记点的目标位置。当然,在采用该刚体配置方法确定反光标记点的目标位置之前还可以继续做一些优化操作,例如,在根据各个反光标记点所处的位置信息分别计算目标反光标记点处于各个空余位置时的刚体差异度之前,还可以根据各个反光标记点所处的位置信息确定该目标反光标记点在所属刚体上的无效位置;其中,这里的无效位置为可能导致任意两个刚体之间出现混淆或者可能给后续的动作捕捉带来不良影响的位置。该高阶一点的刚体配置方法可在一定程度上降低计算量,但该方法在使用时还有一定的限制,必须要求多个刚体的反光标记点的数目相同,并且在计算过程中还需要设定阈值,如阈值设置得不合适,则会对计算结果造成一定的影响,严重时将不能正确地捕捉目标对象的动作。
发明内容
有鉴于此,本发明解决的技术问题是如何克服现有刚体配置方法中计算量大、限制要求多的问题。为解决上述技术问题,本申请提供一种刚体配置方法及光学动作捕捉方法。
根据第一方面,一种实施例中提供一种刚体配置方法,包括以下步骤:
确定刚体配置方式的数目;
对确定的每一种刚体配置方式对应的三维坐标矩阵进行奇异值分解,得到所述三维坐标矩阵的奇异值;
根据所述奇异值计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式;
根据所述优选配置方式对待配置的刚体进行配置。
所述确定刚体配置方式的数目,包括:
确定待配置的刚体数量、每一待配置刚体上的标记点位置总数以及待配置标记点数;
根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体上构成的配置方式的数目;
根据所述每一待配置刚体上构成的配置方式的数目,确定刚体配置方式的数目。
所述根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体构成的配置方式的数目,包括:
对于任意一个标记点位置总数为K、待配置标记点数为L的刚体,通过组合算法计算得到该刚体上构成的配置方式的数目为:
Figure BDA0002287391380000031
其中,i为待配置的刚体的序号,L、K为整数,L小于K且L大于或等于3。
所述根据所述每一待配置刚体上构成的配置方式的数目,确定刚体配置方式的数目,包括:
刚体配置方式的总数目用公式表示为:
P=N1×N2×…Ni×…Nn
其中,下标n为待配置的刚体数量,i∈{1,2…,n},那么,Nn表示第n个待配置的刚体上构成的配置方式的数目;
将刚体配置方式的总数目中的全部或一部分刚体配置方式确定为刚体配置方式的数目。
所述对确定的每一种刚体配置方式对应的三维坐标矩阵进行奇异值分解,得到所述三维坐标矩阵的奇异值,包括:
对于每一种刚体配置方式,根据该刚体配置方式获得每个待配置的刚体上各个待配置标记点的三维坐标;
根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵,并计算所述三维坐标矩阵的奇异值。
所述根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵,并计算所述三维坐标矩阵的奇异值,包括:
根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵
Figure BDA0002287391380000041
其中,x、y、z分别表示三维坐标中各个坐标方向上的坐标值,n为待配置的刚体数量,k为n个刚体中待配置标记点的最大数目;
根据公式M=USVT计算得到矩阵M的奇异值数组Sj
Sj=SVD(M)=[σ1σ2...σr]
其中,U、V分别表示矩阵M的左奇异向量矩阵和右奇异向量矩阵,SVD为矩阵分解函数,下标j为刚体配置方式的序号,σ为奇异值,下标r为奇异值的个数,r=min{3×k,n};
依此计算确定出的所有刚体配置方式相对应的三维坐标矩阵的奇异值数组S1、S2、…SP,其中P表示刚体配置方式的数目。
对于待配置标记点的数量未达到k的待配置刚体,将该刚体上不足k个的待配置标记点的三维坐标设置为(0,0,0)。
所述根据所述奇异值计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式,包括:
对于任意一奇异值数组Sj,若该奇异值数组Sj中奇异值满足σ1=σ2=...=σr,则将该奇异值数组Sj对应的刚体配置方式作为优选配置方式。
对于任意一奇异值数组Sj,计算该奇异值数组Sj对应的三维坐标矩阵列向量的正交程度δj,计算方法为
Figure BDA0002287391380000051
依此计算S1、S2、…SP对应的三维坐标矩阵列向量的正交程度δ1、δj、…、δP,在各个正交程度δ1、δj、…、δP中选择最大值对应的刚体配置方式作为优选配置方式。
根据第二方面,一种实施例提供一种光学动作捕捉方法,包括上述第一方面所述的刚体配置方法,还包括以下步骤:
将配置后的各个刚体分别设置在测量对象上的多个目标位置处;
获取所述测量对象在运动过程中各个刚体上标记点的三维坐标,以根据获取的三维坐标对所述测量对象进行光学动作捕捉。
获取所述测量对象在运动过程中的多幅二维图像,根据所述多幅二维图像计算所述各个刚体上标记点的二维坐标;
根据所述各个刚体上标记点的二维坐标计算所述标记点的三维坐标。
根据第三方面,一种实施例提供一种刚体配置装置,包括:
预设单元,用于确定刚体配置方式的数目;
求解单元,用于对确定的每一种刚体配置方式对应的三维坐标矩阵进行奇异值分解,得到该所述三维坐标矩阵的奇异值;
计算单元,用于根据所述奇异值,计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式;
配置单元,用于根据所述优选配置方式对待配置的刚体进行配置。
根据第四方面,一种实施例提供一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现上述第一方面和第二方面中任一项所述的方法。
本申请的有益效果是:
依据上述实施例的一种刚体配置方法及光学动作捕捉方法,该刚体配置方法包括确定刚体配置方式数目、计算三维坐标矩阵的奇异值、计算列向量正交程度、优选配置方式进行配置等步骤。第一方面,请求保护的刚体配置方法引入了求解奇异分解的矩阵算法,使得每种刚体配置方式的特征得以展示,利于从数学角度抽取每种刚体配置方式的重要特征;第二方面,还在刚体配置方法中引入了针对三维坐标矩阵列向量的正交程度计算过程,使得每个列向量正交程度对应的刚体配置方式的差异性得到量化,可方便地根据量化结果判断各种刚体配置方式的优劣效果,从而得到能够使得各个刚体之间具备最大差异性的优选配置方式;第三方面,本申请保护的刚体配置方法是对刚体上的所有标记点做整体考虑,使得差异度比较过程得以简化,有利于降低计算量,提高系统的运算效率;第四方面,该刚体配置方法不仅适用于标记点数目相同的多个待配置刚体,还适用于标记点数目不同的待配置刚体,并且无需设定限制条件,使得该刚体配置方法具有较高的应用价值。
附图说明
图1为一实施例中刚体配置方式的流程图;
图2为确定刚体配置方式的流程图;
图3为求解奇异值数组的流程图;
图4为一实施例中光学动作捕捉方法的流程图;
图5为一实施例中刚体配置装置的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
本申请技术方案的发明构思是:现有的刚体配置方法多从单个刚体的配置方式进行考虑,先固定某个标记点(marker)或某个刚体,然后再通过遍历标记点的方式确定其它刚体,现有方法虽然能达到各个刚体之间具备较大差异度的效果,但存在历遍过程繁琐、计算量大、限制条件多的问题,不能满足一些刚体配置的应用情形。面对现有方法的问题,本申请从刚体配置方式的总体角度考虑,提供一种新的刚体配置方法,与现有的刚体配置方法存在思路上的不同;本申请技术方案首先确定待配置的刚体中存在的配置方式数目,对各个配置方式进行数学上的量化分析,选出差异性最大的一种刚体配置方式,进而对各个待配置的刚体进行配置即可,如此,既保证了刚体之间的差异度,也优化了配置方式选择时的计算过程,还能够适用多数刚体配置的应用情形,使得该刚体配置方法具备较高的应用价值。
实施例一:
请参考图1,本申请公开一种刚体配置方法,其包括步骤S110-S140,下面分别说明。
步骤S110,根据确定刚体配置方式的数目。在一实施例中,见图2,该步骤S110可包括步骤S111-S112,分别说明如下。
步骤S111,确定待配置的刚体数量、每一待配置刚体上的标记点位置总数以及待配置标记点数,根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体上构成的配置方式的数目。
在一具体实施例中,对于任意一个标记点位置总数为K、待配置标记点数为L的刚体,通过组合算法得到该刚体上构成的配置方式的数目为
Figure BDA0002287391380000071
/>
其中,i为待配置的刚体的序号,L、K为整数,L小于K且L大于或等于3。
本领域的技术人员可以理解,上述的具体实施例仅是对一个刚体上配置方式的统计,那么,可以按照这种方式分别得到多个待配置刚体的配置方式数目,每个待配置刚体的配置方式的数目由自身的标记点位置总数和待配置标记点数决定,可以根据用户的需求而自由选择标记点位置总数和待配置标记点数。
步骤S112,根据每一待配置刚体上构成的配置方式的数目,通过统计来确定刚体配置方式的数目。在一具体实施例中,刚体配置方式的总数目用公式表示为
P=N1×N2×…Ni×…Nn (1-2)
其中,下标n为待配置的刚体数目,i∈{1,2…,n},那么,Nn表示第n个待配置的刚体上构成的配置方式的数目。
将刚体配置方式的总数目中的全部或一部分刚体配置方式确定为刚体配置方式的数目。在本实施例中,将总数目P对应的所有刚体配置方式确定为刚体配置方式的数目。
步骤S120,对确定的每一种刚体配置方式对应的三维坐标矩阵进行奇异值分解,得到该三维坐标矩阵的奇异值。
这里将对奇异值分解的物理意义进行简要的说明。奇异值分解是一个有着很明显的物理意义的方法,它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示,这些小矩阵描述的是矩阵的重要的特性。可见奇异值分解有着独特的应用价值,目前多用在点对点配准的场合中。
在一实施例中,见图3,该步骤S120可包括步骤S121-S124,分别说明如下。
步骤S121,对于确定的刚体配置方式中的每种刚体配置方式,根据该刚体配置方式获得每个待配置的刚体上各个待配置标记点的三维坐标。在一具体实施例中,可以构建全局空间坐标系,然后假设待配置的刚体按照一种刚体配置方式进行配置,获取该种刚体配置方式下刚体上各个标记点的局部三维坐标,并将该局部三维坐标转换为全局空间坐标系中的全局三维坐标。
那么,在步骤S122-S124中就可以根据每个待配置的刚体上各个待配置标记点的三维坐标计算该刚体配置方式相对应的奇异值。
步骤S122,根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵。
比如,采用P种刚体配置方式中的一种刚体配置方式对一组数目为n的刚体分别进行步骤S121中的操作,则获得每个待配置的刚体上各个待配置标记点的三维坐标,将所有三维坐标的坐标值写入矩阵,就构成了三维坐标矩阵M,具体可表示为
Figure BDA0002287391380000091
其中,x、y、z分别表示三维坐标中各个坐标方向上的坐标值,n为待配置的刚体数量,k为n个刚体中待配置标记点的最大数目。
在公式(1-3)中,x11表示为第1号刚体的第一个marker的x轴坐标,y11表示为第1号刚体的第一个marker的y轴坐标,z11表示为第1号刚体的第一个marker的z轴坐标;x1k表示为第1号刚体的第k个marker的x轴坐标,y1k表示为第1号刚体的第k个marker的y轴坐标,z1k表示为第1号刚体的第k个marker的z轴坐标;xn1表示为第n号刚体的第一个marker的x轴坐标,yn1表示为第n号刚体的第一个marker的y轴坐标,zn1表示为第n号刚体的第一个marker的z轴坐标,xnk表示为第n号刚体的第k个marker的x轴坐标,ynk表示为第n号刚体的第k个marker的y轴坐标,znk表示为第n号刚体的第k个marker的z轴坐标。
还需要说明的是,对于待配置标记点数量未达到k的刚体,将该刚体上不足k个的待配置标记点的三维坐标设置为(0,0,0)。
步骤S123,求解三维坐标矩阵的奇异值。
在一具体实施中,根据公式M=USVT计算得到三维坐标矩阵M的奇异值数组Sj
Sj=SVD(M)=[σ1 σ2 ... σr] (1-4)
其中,U、V分别表示矩阵M的左奇异向量矩阵和右奇异向量矩阵,SVD为矩阵分解函数,下标j为刚体配置方法的序号,σ为奇异值,下标r为奇异值的个数,r=min{3×k,n};
需要说明的是,在奇异值Sj对应的行向量[σ1 σ2 ... σr]中,往往满足σ1≥σ2≥...≥σr
需要说明的是,矩阵分解函数SVD属于现有技术,可在一些函数库中进行直接调用,如此可为用户带来计算过程的便捷操作。而且,在实际操作中,不需要计算矩阵M的左右奇异向量矩阵,即U和V,而只需计算奇异值S即可,如此也可以提高计算效率。
步骤S124,依照步骤S122-S123可以计算一种刚体配置方式相对应的三维坐标矩阵和该三维坐标矩阵的奇异值数组,那么,可以根据类似的计算方式来计算所确定的刚体配置方式中的所有刚体配置方式相对应的三维坐标矩阵以及各个三维坐标矩阵的奇异值数组S1、S2、…SP,其中P表示刚体配置方式的总数目。
步骤S130,根据各个奇异值数组中的奇异值计算每个奇异值数组对应的三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式。
在具体一实施例中,对于任意一奇异值数组Sj,若该奇异值数组Sj中各个奇异值满足σ1=σ2=...=σr,则将该奇异值数组Sj对应的刚体配置方式作为优选配置方式。因为,各个奇异值相等时,则表示三维坐标矩阵M的各个列向量在3xk维向量空间中互相正交,也表明此时矩阵M相对应的刚体配置的marker点的三维坐标的差异化最大。
在另一具体实施例中,对于任意一奇异值数组Sj,计算该奇异值数组Sj的列向量正交程度δj,计算过程为
Figure BDA0002287391380000101
本领域的技术人员可以理解,根据上述的具体实施方式可以得到奇异值数组S1、S2、…SP分别对应的三维坐标矩阵列向量的正交程度δ1、δj、…、δP
那么,就可以在各个正交程度δ1、δj、…、δP中选择最大值对应的刚体配置方式作为优选配置方式。
步骤S140,根据优选配置方式对待配置的刚体进行配置。在一实施例中,可以先确定该优选配置方式中的待配置标记点的数量,再根据确定的待配置标记点的数量对待配置的各个刚体进行配置。
相应地,请参考图5,本申请还公开一种刚体配置装置3,其包括预设单元31、求解单元32、计算单元33、配置单元34,下面分别说明。
预设单元31用于确定刚体配置方式的数目。具体为:确定待配置的刚体数量、每一待配置刚体上的标记点位置总数以及待配置标记点数;根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体上构成的配置方式的数目;根据每一待配置刚体上构成的配置方式的数目,确定刚体配置方式的数目。
求解单元32与预设单元31连接,用于对确定的每一种刚体配置方式对应的三维坐标矩阵进行奇异值分解,得到该三维坐标矩阵的奇异值。
计算单元33与求解单元32连接,用于根据奇异值计算三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式。
配置单元34与计算单元33连接,用于根据所述优选配置方式对待配置的刚体进行配置。具体地,先确定该优选配置方式中的待配置标记点的数目,再根据确定的待配置标记点的数目对待配置的各个刚体进行配置。需要说明的是,配置单元34可以仅输出刚体上待配置标记点的三维坐标,然后机器人或者用户根据待配置标记点的三维坐标打印出、画出或张贴出待配置的标记点。
关于预设单元31、求解单元32、计算单元33、配置单元34的具体实施例可参考步骤S110-S140中的相关内容,这里不再赘述。
实施例二:
请参考图4,在实施例一的基础上,本申请还公开一种光学动作捕捉方法,其包括上述实施例一中公开的刚体配置方法,还包括步骤S210-S220,分别说明如下。
需要说明的是,采用实施例一中公开的刚体配置方法时,假设优选配置方式对应的三维坐标矩阵为M′,那么可根据该三维坐标矩阵M′中的各列向量数值配置每个待配置刚体上的标记点,使得每个刚体上形成的标记点既满足优选配置方式的数目要求,也满足列向量中示意的三维坐标要求。
步骤S210,将配置后的各个刚体分别设置在测量对象上的多个目标位置处。
例如,假设测量对象为人,则可按照优选配置方式来配置n个刚体,可将该些刚体分别设置在人肢体的不同位置,那么,就可以根据该些刚体的变化位置来确定人肢体的动作状态。
步骤S220,获取测量对象在运动过程中各个刚体上标记点的三维坐标,以根据获取的三维坐标对所述测量对象进行光学动作捕捉。
获取测量对象在运动过程中的多幅二维图像,根据所述多幅二维图像计算各个刚体上标记点的二维坐标,根据各个刚体上标记点的二维坐标计算标记点的三维坐标。根据二维坐标计算三维坐标已是光学图像处理领域常见的技术手段,因此这里不再对该计算过程进行限制和说明。
在一具体实施例中,假设测量对象是已在肢体上设置刚体的人,那么,光学动作捕捉的过程是:(1)通过多个位置布设的相机在同一时间点上对人进行拍照,及每个相机在时间序列的不同时间点上人进行拍照,从而获得时间序列上的多组二维图像,每组二维图像包括同一时间点上的多幅二维图像(每张二维图像应当包括刚体上标记点对应的像素)。(2)通过图像算法对任意一组二维图像进行处理时可获得该组二维图像在拍摄时间点时标记点对应的三维坐标,而对每组二维图像进行三维计算之后就可得到标记点在运动过程中的三维轨迹坐标。
本领域的技术人员可以理解,计算得到的三维轨迹坐标包括了任意一标记点在三维空间中的一系列三维坐标,那么,就可以根据三维轨迹坐标准确地获知该标记点在任意时刻的空间位置,从而实现对测量对象的运动过程进行光学动作捕捉。
本领域的技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (11)

1.一种刚体配置方法,其特征在于,包括以下步骤:
确定刚体配置方式的数目;
对于每一种刚体配置方式,根据该刚体配置方式获得每个待配置的刚体上各个待配置标记点的三维坐标;
根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵,并计算所述三维坐标矩阵的奇异值;
根据所述奇异值计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式;
其中,对于三维坐标矩阵的任意一奇异值数组Sj,计算该奇异值数组Sj对应的三维坐标矩阵列向量的正交程度δj,计算方法为:
Figure FDA0004139755310000011
其中,σ为奇异值,r为奇异值的个数,r=min{3×k,n};
依此计算S1、S2、…SP对应的三维坐标矩阵列向量的正交程度δ1、δj、…、δP,在各个正交程度δ1、δj、…、δP中选择最大值对应的刚体配置方式作为优选配置方式;其中P表示刚体配置方式的数目;
根据所述优选配置方式对待配置的刚体进行配置。
2.如权利要求1所述的刚体配置方法,其特征在于,所述确定刚体配置方式的数目,包括:
确定待配置的刚体数量、每一待配置刚体上的标记点位置总数以及待配置标记点数;
根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体上构成的配置方式的数目;
根据所述每一待配置刚体上构成的配置方式的数目,确定刚体配置方式的数目。
3.如权利要求2所述的刚体配置方法,其特征在于,所述根据每一待配置刚体上的标记点位置总数和待配置标记点数,通过组合算法计算所述每一待配置刚体构成的配置方式的数目,包括:
对于任意一个标记点位置总数为K、待配置标记点数为L的刚体,通过组合算法计算得到该刚体上构成的配置方式的数目为:
Figure FDA0004139755310000021
其中,i为待配置的刚体的序号,L、K为整数,L小于K且L大于或等于3。
4.如权利要求3所述的刚体配置方法,其特征在于,所述根据所述每一待配置刚体上构成的配置方式的数目,确定刚体配置方式的数目,包括:
刚体配置方式的总数目用公式表示为:
P=N1×N2×…Ni×…Nn
其中,下标n为待配置的刚体数量,i∈{1,2…,n},那么,Nn表示第n个待配置的刚体上构成的配置方式的数目;
将刚体配置方式的总数目中的全部或一部分刚体配置方式确定为刚体配置方式的数目。
5.如权利要求1所述的刚体配置方法,其特征在于,所述根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵,并计算所述三维坐标矩阵的奇异值,包括:
根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵:
Figure FDA0004139755310000031
其中,x、y、z分别表示三维坐标中各个坐标方向上的坐标值,n为待配置的刚体数量,k为n个刚体中待配置标记点的最大数目;
根据公式M=USVT计算得到矩阵M的奇异值数组Sj;
Sj=SVD(M)=[σ1σ2...σr];
其中,U、V分别表示矩阵M的左奇异向量矩阵和右奇异向量矩阵,SVD为矩阵分解函数,下标j为刚体配置方式的序号,σ为奇异值,下标r为奇异值的个数,r=min{3×k,n};
依此计算确定出的所有刚体配置方式相对应的三维坐标矩阵的奇异值数组S1、S2、…SP,其中P表示刚体配置方式的数目。
6.如权利要求5所述的刚体配置方法,其特征在于,对于待配置标记点的数量未达到k的待配置刚体,将该刚体上不足k个的待配置标记点的三维坐标设置为(0,0,0)。
7.如权利要求5所述的刚体配置方法,其特征在于,所述根据所述奇异值计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式,包括:
对于任意一奇异值数组Sj,若该奇异值数组Sj中奇异值满足σ1=σ2=...=σr,则将该奇异值数组Sj对应的刚体配置方式作为优选配置方式。
8.一种光学动作捕捉方法,包括权利要求1-7中任一项所述的刚体配置方法,其特征在于,还包括以下步骤:
将配置后的各个刚体分别设置在测量对象上的多个目标位置处;
获取所述测量对象在运动过程中各个刚体上标记点的三维坐标,以根据获取的三维坐标对所述测量对象进行光学动作捕捉。
9.如权利要求8所述的光学动作捕捉方法,其特征在于,所述获取所述测量对象在运动过程中各个刚体上标记点的三维坐标,包括:
获取所述测量对象在运动过程中的多幅二维图像,根据所述多幅二维图像计算所述各个刚体上标记点的二维坐标;
根据所述各个刚体上标记点的二维坐标计算所述标记点的三维坐标。
10.一种刚体配置装置,其特征在于,包括:
预设单元,用于确定刚体配置方式的数目;
求解单元,用于对于每一种刚体配置方式,根据该刚体配置方式获得每个待配置的刚体上各个待配置标记点的三维坐标;还用于根据每个待配置的刚体上各个待配置标记点的三维坐标构建三维坐标矩阵,并计算所述三维坐标矩阵的奇异值;
计算单元,用于根据所述奇异值,计算所述三维坐标矩阵列向量的正交程度,选取列向量正交程度最大的三维坐标矩阵对应的刚体配置方式作为优选配置方式;
其中,对于三维坐标矩阵的任意一奇异值数组Sj,计算该奇异值数组Sj对应的三维坐标矩阵列向量的正交程度δj,计算方法为:
Figure FDA0004139755310000051
其中,σ为奇异值,r为奇异值的个数,r=min{3×k,n};
依此计算S1、S2、…SP对应的三维坐标矩阵列向量的正交程度δ1、δj、…、δP,在各个正交程度δ1、δj、…、δP中选择最大值对应的刚体配置方式作为优选配置方式;其中P表示刚体配置方式的数目;
配置单元,用于根据所述优选配置方式对待配置的刚体进行配置。
11.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN201880034551.6A 2018-11-29 2018-11-29 一种刚体配置方法及光学动作捕捉方法 Active CN110741413B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118126 WO2020107312A1 (zh) 2018-11-29 2018-11-29 一种刚体配置方法及光学动作捕捉方法

Publications (2)

Publication Number Publication Date
CN110741413A CN110741413A (zh) 2020-01-31
CN110741413B true CN110741413B (zh) 2023-06-06

Family

ID=69236629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034551.6A Active CN110741413B (zh) 2018-11-29 2018-11-29 一种刚体配置方法及光学动作捕捉方法

Country Status (2)

Country Link
CN (1) CN110741413B (zh)
WO (1) WO2020107312A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767912B (zh) * 2020-07-02 2023-09-05 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质
CN113610979B (zh) * 2021-07-12 2023-12-01 深圳市瑞立视多媒体科技有限公司 一种预警刚体之间相似度的方法、设备及光学动作捕捉系统
CN115453750B (zh) * 2022-08-30 2024-03-01 中国科学院长春光学精密机械与物理研究所 拼接式反射镜的面形精度分析方法、装置、设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894377A (zh) * 2010-06-07 2010-11-24 中国科学院计算技术研究所 三维标记点序列的跟踪方法及其系统
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
CN108030496A (zh) * 2017-12-02 2018-05-15 北京工业大学 一种人体上肢肩部盂肱关节旋转中心与上臂抬升角耦合关系测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1991121B1 (en) * 2006-02-16 2014-08-06 Globus Medical, Inc. System utilizing radio frequency signals for tracking and improving navigation of slender instruments during insertion into the body
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
KR20090087778A (ko) * 2008-02-13 2009-08-18 이문기 패턴 마커 인식에의한 모션 캡처장치와 컴퓨터 입력장치
CN102339477B (zh) * 2010-07-16 2013-08-21 中国科学院计算技术研究所 一种自动建立人体链状结构模型的方法及其系统
KR101950359B1 (ko) * 2016-11-30 2019-02-20 (주)코어센스 하이브리드 모션캡쳐 시스템의 위치 추정 방법
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统
CN107813313A (zh) * 2017-12-11 2018-03-20 南京阿凡达机器人科技有限公司 机械臂运动的校正方法和装置
CN113269810B (zh) * 2018-04-11 2023-04-25 深圳市瑞立视多媒体科技有限公司 一种捕捉球的运动姿态识别方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894377A (zh) * 2010-06-07 2010-11-24 中国科学院计算技术研究所 三维标记点序列的跟踪方法及其系统
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
CN108030496A (zh) * 2017-12-02 2018-05-15 北京工业大学 一种人体上肢肩部盂肱关节旋转中心与上臂抬升角耦合关系测量方法

Also Published As

Publication number Publication date
WO2020107312A1 (zh) 2020-06-04
CN110741413A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
Nibali et al. 3d human pose estimation with 2d marginal heatmaps
Walch et al. Image-based localization using lstms for structured feature correlation
Mueller et al. A benchmark and simulator for uav tracking
Pion et al. Benchmarking image retrieval for visual localization
CN110741413B (zh) 一种刚体配置方法及光学动作捕捉方法
JP2020526818A (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
JP2009515493A (ja) カメラ動きの決定
CN111179427A (zh) 自主移动设备及其控制方法、计算机可读存储介质
CN110753930B (zh) 一种三维轨迹数据的拟合处理方法及光学动作捕捉方法
CN112416133B (zh) 手部动作捕捉方法、装置、电子设备及存储介质
CN109035327A (zh) 基于深度学习的全景相机姿态估计方法
CN112515661B (zh) 姿态捕捉方法、装置、电子设备及存储介质
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
Vo et al. Spatiotemporal bundle adjustment for dynamic 3d human reconstruction in the wild
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN111316323B (zh) 一种三维轨迹数据的异常值处理方法及装置
CN111344741B (zh) 一种三维轨迹数据的数据缺失处理方法及装置
Du et al. Monocular human motion tracking by using DE-MC particle filter
Bajramovic et al. Global Uncertainty-based Selection of Relative Poses for Multi Camera Calibration.
CN113436264B (zh) 基于单目多目混合定位的位姿计算方法及系统
JP4631606B2 (ja) 画像の奥行分布推定方法及び装置及びプログラム
Qammaz et al. Towards Holistic Real-time Human 3D Pose Estimation using MocapNETs.
Liebelt et al. Precise registration of 3D models to images by swarming particles
Loquercio et al. Global-Local Network for Learning Depth with Very Sparse Supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant