CN112508992B - 一种追踪刚体位置信息的方法及其装置、设备 - Google Patents

一种追踪刚体位置信息的方法及其装置、设备 Download PDF

Info

Publication number
CN112508992B
CN112508992B CN202011464158.6A CN202011464158A CN112508992B CN 112508992 B CN112508992 B CN 112508992B CN 202011464158 A CN202011464158 A CN 202011464158A CN 112508992 B CN112508992 B CN 112508992B
Authority
CN
China
Prior art keywords
rigid body
position information
rigid
head
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011464158.6A
Other languages
English (en)
Other versions
CN112508992A (zh
Inventor
黄少光
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202011464158.6A priority Critical patent/CN112508992B/zh
Publication of CN112508992A publication Critical patent/CN112508992A/zh
Application granted granted Critical
Publication of CN112508992B publication Critical patent/CN112508992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种追踪刚体位置信息的方法,包括:获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息以及刚体标记点之间最大的距离,根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若否,则利用1€滤波算法预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的头部刚体位置信息;求取每个人身上的刚体之间位置的距离关系;根据预设的第三约束条件判断该距离关系是否是正确的,若否,则根据预设的第四约束条件求取正确的刚体标记点集合,由此追踪得到准确的刚体位置信息。该方案解决了人体捕捉过程中出现不同人体之间的刚体飞串、刚体误匹配等问题,使得刚体位置计算的正确性大大提升。

Description

一种追踪刚体位置信息的方法及其装置、设备
技术领域
本发明涉及动作捕捉技术领域,具体涉及一种追踪刚体位置信息的方法及其装置、设备。
背景技术
当前光学动作捕捉系统中,人体动作捕捉一般是通过佩戴在人体身上的刚体进行身体部位的定位和姿态的计算,从而推算出人体的动作等信息,因此刚体定位和姿态解算的正确性非常关键。刚体的追踪包括位置的追踪,位置信息是刚体追踪的关键,现有的1€滤波算法响应较快,延迟较低,可以较好的追踪动态信号,因此1€滤波算法可以用来比较准确地追踪刚体的位置。
现存的动捕系统中,在多刚体、多人动作捕捉的情况下特别容易出现刚体飞串等问题,即不同的人身上的刚体出现了错误的匹配,进而导致人体骨骼姿态解算错误等问题。而这些问题几乎是不可避免的,主要原因是刚体与刚体之间存在局部相似性,即刚体与刚体标记点之间的距离大量相似,以及动捕过程中特别容易存在刚体被遮挡的情况等。导致这些错误的根本原因是基础刚体标记点(初始状态绷定的刚体标记点)与动捕过程中的刚体标记点出现了误匹配,虽然短时间的丢失刚体追踪信息可以通过位置信息约束方法得到非常好的解决效果,但长时间的丢失会产生许多其它问题,比如在较长一段时间内刚体被遮挡后,刚体运动较长距离后再次出现会使得利用位置信息约束的追踪效果非常受限,假如加入预测算法,刚体在较长一段时间丢失后,如果仍然在原来丢失的地方或附近出现,也很可能使得刚体追踪失败。
发明内容
为了解决人体捕捉过程中出现的刚体飞串、刚体误匹配、易丢失等问题,本发明提出一种基于人体约束和1€滤波算法进行追踪刚体正确的位置信息的方法及其装置、设备。
本发明采用的技术方案具体方法如下:
根据第一方面,一种实施例中提供一种追踪刚体位置信息的方法,包括:
S1:获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,.Ep0为人体部位p上的刚体标记点之间的最大距离;
S2:根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若是,则进入步骤S4;
S3:若否,则利用
Figure GDA0003516540500000021
滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的所述头部刚体位置信息;
S4:以所述头部刚体位置信息为参考,根据所述t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断所述每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,进入步骤S6;
S5:若否,则根据预设的第四约束条件求取正确的刚体标记点集合;
S6:根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息。
所述人体部位编号p=6,包括:双手、头部、腰部、双脚六个部位。
以所述头部上的刚体为参考,分别获取双手刚体离头部刚体最大的距离HW、双脚刚体离头部刚体最大的距离HT、腰部刚体离头部刚体最大的距离HL、人体近似最大距离ML=HW+HT。
令所述HW=λ*HW、HT=λ*HT、HL=λ*HL、ML=λ*ML,其中,λ>1,以使所述HW、HT、HL和ML能有一定误差冗余。
所述第一约束条件为:|P1t n-P1(t-1) n|<Th,其中,P1t n为t时刻的头部刚体位置信息,P1(t-1) n为t-1时刻的头部刚体位置信息,Th为预设阈值,n为人体个数编号,若符合所述第一约束条件,则判断所述头部刚体位置信息是正确的;
所述第二约束条件为:|Pit n-P1t n|≤E10 n+λ,其中,Pit n为利用
Figure GDA0003516540500000022
滤波预测得到的空间中刚体标记点位置信息,E10 n为头部刚体标记点之间的最大距离。
所述每个人身上的刚体之间位置的距离关系,包括:双手刚体离头部刚体的实际距离HW1和HW2、双脚刚体离头部刚体的实际距离HT1和HT2,腰部刚体离头部刚体的实际距离HL’。
所述预设的第三约束条件包括:
if HW1<HW:f1=true else f1=false
if HW2<HW:f2=true else f2=false
if HT1<HT:f3=true else f3=false
if HT2<HT:f4=true else f4=false
if HL'<HL:f5=true else f5=false
其中,f1、f2分别对应双手刚体的位置信息,f3、f4分别对应双脚刚体的位置信息,f5对应腰部刚体的位置信息,根据所述预设的第一约束条件,则可判断所述每个人身上的刚体之间位置的距离关系是否是正确的。
所述预设的第四约束条件包括:|Pit-Ppt|<th,th∈{HW,TH,HL,ML},其中,Pit为t时刻求得的刚体标记点3D位置信息集合,Ppt为t时刻求得的人体部位上的刚体位置信息,th为所述人体部位上的刚体离头部刚体的最大距离,若满足预设的第二约束条件则可得到正确的刚体标记点集合。
根据第二方面,一种实施例中提供一种追踪刚体位置信息的装置,包括:
获取单元,用于获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,.Ep0为人体部位p上的刚体标记点之间的最大距离;
判断单元,用于根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若是,则进入步骤S4;若否,则利用1€滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的所述头部刚体位置信息;以所述头部刚体位置信息为参考,根据所述t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断所述每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,进入步骤S6;若否,则根据预设的第四约束条件求取正确的刚体标记点集合;
计算单元,用于根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息。
根据第三方面,一种实施例中提供一种追踪刚体位置信息的设备,包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于
Figure GDA0003516540500000031
滤波追踪刚体位置信息的方法程序,所述基于
Figure GDA0003516540500000041
滤波追踪刚体位置信息的方法程序被所述处理器执行时实现上述第一方面所述的基于
Figure GDA0003516540500000042
滤波追踪刚体位置信息的方法的步骤。
本申请的有益效果是:
依据上述实施例的一种追踪刚体位置信息的方法,首先获取初始时刻(t=0)佩戴在多人身体各部位上的刚体位置信息以及刚体标记点之间最大的距离,然后根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若否,则利用
Figure GDA0003516540500000043
滤波算法预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的头部刚体位置信息;获取t≥1时刻的刚体位置信息集合,通过该刚体位置信息集合求取每个人身上的刚体之间位置的距离关系;接着根据预设的第三约束条件判断每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,直接可进行匹配计算,若否,则根据预设的第四约束条件求取正确的刚体标记点集合,从而最终获得正确的佩戴在人体身上各部位的刚体标记点集合,由此追踪得到准确的各部位刚体位置信息。该方案加入1€滤波算法后,解决了人体捕捉过程中出现不同人体之间的刚体飞串、刚体误匹配等问题,使得刚体位置计算的正确性大大提升。
附图说明
图1为本申请中追踪刚体位置信息的方法的流程图;
图2为本申请中追踪刚体位置信息的装置示意图;
图3为本申请中实现追踪刚体位置信息的设备的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
实施例一、
请参考图1,本申请公开一种追踪刚体位置信息的方法,该方法包括步骤S110-S160,下面将分别说明。
步骤S110,获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,Ep0为人体部位p上的刚体标记点之间的最大距离;
在一个实施例中,人体首先隔开一定距离进行TPose,即双手水平张开,两腿并拢,头平视前方,腰板伸直,采用该姿势保证各个刚体在初始时刻求取的位置信息一定是正确的,并利用已有技术求取初始时刻t=0时,刚体的位置信息P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,例如p=6,即人体部位包括双手、头部、腰部、双脚等6个编号部位,N为人体总个数,Ep0为初始时刻人体部位p上的刚体标记点之间的最大距离,本实施例以多人动作捕捉场景为例进行求取刚体位置信息。
以头部刚体为参考,可分别获取手部、脚部和腰部刚体离头部刚体位置的距离,这时取双手刚体离头部刚体最大的距离为HW、取双脚刚体离头部刚体最大的距离为HT、取腰部刚体离头部刚体最大的距离为HL,以及取人体近似最长距离为ML=HW+HT。为了能有一定误差冗余,可以分别对HW、HT、HL和ML乘以一个大于1的系数λ,即冗余参数,即令HW=λ*HW、HT=λ*HT、HL=λ*HL、ML=λ*ML,以确保求得的刚体位置信息尽可能正确。
步骤S120,根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若是,则进入步骤S140;
设t≥1时为开始进行人体动作捕捉开始后的时刻,同样求取此时每个时刻的刚体位置信息集合为P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},为了使参考数据即头部刚体位置数据是正确的,便于正确求出身体各部位上的刚体位置信息,需要根据预设的第一约束条件判断t≥1时刻头部刚体位置信息是否是正确的,这时首先判断头部刚体t时刻和上一时刻t-1时刻的位置信息之差是否在一定阈值Th范围内,即预设的第一约束条件为:
|P1t n-P1(t-1) n|<Th,其中,P1t n为t时刻的头部刚体位置信息,P1(t-1) n为t-1时刻的头部刚体位置信息,Th为预设阈值,n为人体个数编号,若符合所述第一约束条件,即t时刻和上一时刻t-1时刻的头部刚体位置信息之差在一定阈值Th范围内,则判断该编号为n的人体身上的头部刚体位置信息是正确的,此时头部刚体位置信息不需要更新,直接可进入步骤S140作为参考数据;
步骤S130,若否,则利用
Figure GDA0003516540500000061
滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的头部刚体位置信息;
若根据预设的第一约束条件判断出头部刚体位置信息不正确,则利用1€滤波进行预测空间中刚体标记点的位置信息,在预测的该刚体标记点位置附近进行点匹配,该点匹配方法根据第二约束条件进行,即为:|Pit n-P1t n|≤E10 n+λ,其中,Pit n为利用
Figure GDA0003516540500000062
滤波预测得到的空间中刚体标记点位置信息,E10 n为头部刚体标记点之间的最大距离,λ为冗余参数。利用现有算法对于求取的点集Pit n与头部刚体标记点重新进行匹配计算,从而求取得到刚体更新后的位置信息,即为正确的头部刚体位置信息。
步骤S140,以上述正确的头部刚体位置信息为参考,根据t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,进入步骤S160;
在确定头部刚体位置信息是正确的前提下,通过该刚体位置信息集合可求取每个人身上各部位的刚体之间位置的距离关系,这些距离关系包括:双手刚体离头部刚体的实际距离HW1和HW2、双脚刚体离头部刚体的实际距离HT1和HT2,腰部刚体离头部刚体的实际距离HL’,根据预设的第三约束条件即可判断上述距离关系是否是正确的,从而得到人体各部位正确的刚体位置数据。
第三约束条件为以下公式:
if HW1<HW:f1=true else f1=false
if HW2<HW:f2=true else f2=false
if HT1<HT:f3=true else f3=false
if HT2<HT:f4=true else f4=false
if HL'<HL:f5=true else f5=false
其中,f1、f2分别对应双手刚体的位置数据,f3、f4分别对应双脚刚体的位置数据,f5对应腰部刚体的位置数据,即将t≥1时刻的身体各部位刚体位置的实际距离关系与初始时刻t=0的身体各部位刚体位置的最大距离关系进行对比,若实际距离关系小于最大距离关系,则判定为真(true),代表该距离关系是正确的,即对应的刚体位置数据是正确的,否则为错误(false)。
在一个实施例中,求取对应于上述刚体位置信息集合P的人体各部位上刚体标记点集合为F{(F1t 1,F2t 1,...Fpt 1)、(F1t 2,F2t 2,...Fpt 2)...(F1t N,F2t N,...Fpt N)},N代表人体个数编号,令多人身体上的刚体标记点F1t N代表头部刚体,即F1t N作为上述确定的参考数据,则F1t N均为true,其他身体部位的刚体标记点F2t N,...Fpt N,例如,可代表双手、腰部、双脚等部位上的刚体位置数据,这样可以理解为f1、f2、f3、f4、f5分别对应于双手、腰部、双脚等部位上的刚体位置数据F2t N,...Fpt N,通过该预设的第三约束条件即可判断双手、腰部、双脚等部位上的刚体位置数据是否是正确的,若是,则可得到正确的刚体标记点集合,从而直接进入步骤S160的计算匹配过程。
步骤S150:若否,则根据预设的第四约束条件求取正确的刚体标记点集合;
在本实施例中,对于判断出的位置数据不正确的刚体,根据如下预设的第四约束条件求取点集{Pit}p
|Pit-Ppt|<th,th∈{HW,TH,HL,ML},
其中Pit为t时刻求得的空间中3D点位置信息,Ppt为t时刻求得的人体某部位p上刚体位置信息,th对应于步骤S110中具体的人体某部位刚体到头部刚体的最大约束距离,即人体哪个部位的刚体错误就用对应的刚体之间最大距离进行约束,从而寻找到正确的刚体标记点集合。例如:如果根据第三约束条件判断出左右手上的刚体位置数据是错误的,那么在重新寻找刚体标记点集合进行匹配的时候,就只寻找那些距离头部刚体位置距离小于最大距离HW的空间中3D点集合;同理,如果左右脚上的刚体位置数据是错误的,那么在重新寻找刚体标记点集合进行匹配的时候,就只寻找那些距离头部刚体位置距离小于最大距离HT的空间中3D点集合,以及如果腰上的刚体位置数据是错误的,那么在重新寻找刚体标记点集合进行匹配的时候,就只寻找那些距离头部刚体位置距离小于最大距离HL的空间中3D点集合,由此可成功求得正确的刚体标记点集合。
步骤S160:根据上述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息;在求出正确的刚体标记点集合之后,还需要利用现有算法对这些刚体标记点进行匹配计算,从而得到刚体运动轨迹,即可追踪得到身体各部位上刚体的位置信息。
实施例二、
请参考图2,本申请公开一种追踪刚体位置信息的装置3,包括:
获取单元31,用于获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,.Ep0为人体部位p上的刚体标记点之间的最大距离;可见图2,获取刚体t=0时刻和t≥1时刻的刚体位置信息可通过动作捕捉装置追踪刚体的运动情况获得;
判断单元32,用于根据预设的第一约束条件判断头部刚体位置信息是否是正确的,若是,则进入上述步骤S140;若否,则利用1€滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件求取正确的头部刚体位置信息;以头部刚体位置信息为参考,根据t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,进入步骤S160;若否,则根据预设的第四约束条件求取正确的刚体标记点集合;关于判断单元32的具体功能,可以参考步骤S120-S150中的相关内容,这里不再进行详细说明。
计算单元33,用于根据上述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息。
实施例三、
请参考图3,本申请还公开一种追踪刚体位置信息的设备4,该设备4可以包括存储器41和处理器42,以及包括存储在存储器41上并可在处理器42上运行的基于1€滤波追踪刚体位置信息的方法程序。此外需要说明的是,这里的基于1€滤波追踪刚体位置信息的方法程序能够在被处理器42执行时实现实施例一中关于基于1€滤波追踪刚体位置信息的方法的步骤(即步骤S110—S160)。
需要说明的是,在本实施例中,存储器41上存储的基于1€滤波追踪刚体位置信息的方法程序可以包括一些功能模块,如实施例二中请求保护的获取单元31、判断单元32和计算单元33。其中,获取单元31用于获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t,1...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,.Ep0为人体部位p上的刚体标记点之间的最大距离;计算单元33与判断单元32连接,用于将已经获得的正确的刚体标记点集合进行匹配计算,以完成对刚体位置进行追踪的目的。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于1€滤波追踪刚体位置信息的方法,其特征在于,包括:
S1:获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t 1,...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,Ep0为人体部位p上的刚体标记点之间的最大距离;
S2:根据预设的第一约束条件:|P1t n-P1(t-1) n|<Th,其中,P1t n为t时刻的头部刚体位置信息,P1(t-1) n为t-1时刻的头部刚体位置信息,Th为预设阈值,n为人体个数编号,判断头部刚体位置信息是否是正确的,若是,则进入步骤S4;
S3:若否,则利用1€滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件:|Pit n-P1t n|≤E10 n+λ,其中,Pit n为利用1€滤波预测得到的空间中刚体标记点位置信息,E10 n为头部刚体标记点之间的最大距离,求取正确的所述头部刚体位置信息;
S4:以所述头部刚体位置信息为参考,根据所述t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断所述每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,进入步骤S6;
S5:若否,则根据预设的第四约束条件求取正确的刚体标记点集合;
S6:根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息。
2.如权利要求1所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,所述人体部位编号p=6,包括:双手、头部、腰部、双脚六个部位。
3.如权利要求2所述的追踪刚体位置信息的方法,其特征在于,以所述头部上的刚体为参考,分别获取双手刚体离头部刚体最大的距离HW、双脚刚体离头部刚体最大的距离HT、腰部刚体离头部刚体最大的距离HL、人体近似最大距离ML=HW+HT。
4.如权利要求3所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,令所述HW=λ*HW、HT=λ*HT、HL=λ*HL、ML=λ*ML,其中,λ>1,以使所述HW、HT、HL和ML能有一定误差冗余。
5.如权利要求4所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,人体首先隔开一定距离进行TPose操作:双手水平张开,两腿并拢,头平视前方,腰板伸直,以保证各个刚体在初始时刻求取的位置信息正确。
6.如权利要求1所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,所述每个人身上的刚体之间位置的距离关系,包括:双手刚体离头部刚体的实际距离HW1和HW2、双脚刚体离头部刚体的实际距离HT1和HT2,腰部刚体离头部刚体的实际距离HL’。
7.如权利要求1-6任一项所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,所述预设的第三约束条件包括:
if HW1<HW:f1=true else f1=false
if HW2<HW:f2=true else f2=false
if HT1<HT:f3=true else f3=false
if HT2<HT:f4=true else f4=false
if HL'<HL:f5=true else f5=false
其中,f1、f2分别对应双手刚体的位置信息,f3、f4分别对应双脚刚体的位置信息,f5对应腰部刚体的位置信息。
8.如权利要求1所述的基于1€滤波追踪刚体位置信息的方法,其特征在于,所述预设的第四约束条件包括:
|Pit-Ppt|<th,th∈{HW,TH,HL,ML},其中,Pit为t时刻求得的刚体标记点3D位置信息集合,Ppt为t时刻求得的人体部位p上的刚体位置信息,th为所述人体部位上的刚体离头部刚体的最大距离。
9.一种基于1€滤波追踪刚体位置信息的装置,其特征在于,包括:
获取单元,用于获取t=0时刻和t≥1时刻佩戴在多人身体各部位上的刚体位置信息集合P{(P1t 1,P2t 1,...Ppt 1)、(P1t 2,P2t 2,...Ppt 2)...(P1t N,P2t N,...Ppt N)},并记下t=0时刻每个刚体标记点之间的最大距离集合ME{(E10 1,E20 1,...Ep0 1)、(E10 2,E20 2,...Ep0 2)...(E10 N,E20 N,...Ep0 N)},其中,p为人体部位编号,Ppt为人体部位p上的刚体位置信息,N为人体总个数,.Ep0为人体部位p上的刚体标记点之间的最大距离;
判断单元,用于根据预设的第一约束条件:|P1t n-P1(t-1) n|<Th,其中,P1t n为t时刻的头部刚体位置信息,P1(t-1) n为t-1时刻的头部刚体位置信息,Th为预设阈值,n为人体个数编号,判断头部刚体位置信息是否是正确的,若是,则以所述头部刚体位置信息为参考,根据所述t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断所述每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息;若否,则利用1€滤波预测空间中的刚体标记点位置信息,并根据预设的第二约束条件:|Pit n-P1t n|≤E10 n+λ,其中,Pit n为利用1€滤波预测得到的空间中刚体标记点位置信息,E10 n为头部刚体标记点之间的最大距离,求取正确的所述头部刚体位置信息;以所述头部刚体位置信息为参考,根据所述t≥1时刻的刚体位置信息集合求取每个人身上的刚体之间位置的距离关系,并根据预设的第三约束条件判断所述每个人身上的刚体之间位置的距离关系是否是正确的,若是,则得到正确的刚体标记点集合,根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息;若否,则根据预设的第四约束条件求取正确的刚体标记点集合;
计算单元,用于根据所述正确的刚体标记点集合进行匹配计算,以追踪得到刚体的位置信息。
10.一种基于1€滤波追踪刚体位置信息的设备,其特证在于,包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于1€滤波追踪刚体位置信息的方法程序,所述基于1€滤波追踪刚体位置信息的方法程序被所述处理器执行时实现如权利要求1-8中任一项所述的基于1€滤波追踪刚体位置信息的方法的步骤。
CN202011464158.6A 2020-12-11 2020-12-11 一种追踪刚体位置信息的方法及其装置、设备 Active CN112508992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011464158.6A CN112508992B (zh) 2020-12-11 2020-12-11 一种追踪刚体位置信息的方法及其装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011464158.6A CN112508992B (zh) 2020-12-11 2020-12-11 一种追踪刚体位置信息的方法及其装置、设备

Publications (2)

Publication Number Publication Date
CN112508992A CN112508992A (zh) 2021-03-16
CN112508992B true CN112508992B (zh) 2022-04-19

Family

ID=74972606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011464158.6A Active CN112508992B (zh) 2020-12-11 2020-12-11 一种追踪刚体位置信息的方法及其装置、设备

Country Status (1)

Country Link
CN (1) CN112508992B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627261A (zh) * 2021-07-12 2021-11-09 深圳市瑞立视多媒体科技有限公司 一种恢复头部刚体正确位姿的方法及其装置、设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN110728754A (zh) * 2019-10-10 2020-01-24 深圳市瑞立视多媒体科技有限公司 刚体标记点识别方法、装置、设备及存储介质
CN111539300A (zh) * 2020-04-20 2020-08-14 上海曼恒数字技术股份有限公司 一种基于ik算法的人体运动捕捉方法、装置、介质及设备
CN111681268A (zh) * 2020-06-15 2020-09-18 深圳市瑞立视多媒体科技有限公司 光学标记点序号误识别检测方法、装置、设备及存储介质
CN111767912A (zh) * 2020-07-02 2020-10-13 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质
WO2020232703A1 (zh) * 2019-05-23 2020-11-26 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、系统及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
WO2020232703A1 (zh) * 2019-05-23 2020-11-26 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、系统及终端设备
CN110728754A (zh) * 2019-10-10 2020-01-24 深圳市瑞立视多媒体科技有限公司 刚体标记点识别方法、装置、设备及存储介质
CN111539300A (zh) * 2020-04-20 2020-08-14 上海曼恒数字技术股份有限公司 一种基于ik算法的人体运动捕捉方法、装置、介质及设备
CN111681268A (zh) * 2020-06-15 2020-09-18 深圳市瑞立视多媒体科技有限公司 光学标记点序号误识别检测方法、装置、设备及存储介质
CN111767912A (zh) * 2020-07-02 2020-10-13 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种有效的光学运动捕捉数据处理方法;吴升等;《应用基础与工程科学学报》;20091031;第17卷(第05期);全文 *

Also Published As

Publication number Publication date
CN112508992A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN108470355B (zh) 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
JP5753966B2 (ja) 顔画像登録装置および方法
Dawoud et al. Fast template matching method based optimized sum of absolute difference algorithm for face localization
CN109035304A (zh) 目标跟踪方法、介质、计算设备和装置
CN111144483B (zh) 一种图像特征点过滤方法以及终端
WO2021096669A1 (en) Assessing a pose-based sport
CN112907636B (zh) 多目标跟踪方法、装置、电子设备及可读存储介质
WO2004095373A2 (en) Method and system for determining object pose from images
CN108647663A (zh) 基于深度学习和多层次图结构模型的人体姿态估计方法
CN110933518A (zh) 一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
CN112508992B (zh) 一种追踪刚体位置信息的方法及其装置、设备
CN112465857A (zh) 追踪刚体位置信息的方法及其装置、设备、存储介质
CN105095853A (zh) 图像处理装置及图像处理方法
US9752880B2 (en) Object linking method, object linking apparatus, and storage medium
CN115331777A (zh) 动作评估方法、装置、电子设备及计算机可读存储介质
CN106980749B (zh) 疾病的快速辅助定位方法
KR102076600B1 (ko) 오브젝트 추적 장치 및 그의 오브젝트 추적 방법
CN107180293B (zh) 一种面向勘探目标的地质评价水平测定方法
Kasprowski et al. Implicit calibration using predicted gaze targets
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN115527083A (zh) 图像标注方法、装置和电子设备
CN113627261A (zh) 一种恢复头部刚体正确位姿的方法及其装置、设备、存储介质
CN114596631A (zh) 人体摔倒识别模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant