CN111539299B - 一种基于刚体的人体运动捕捉方法、装置、介质及设备 - Google Patents

一种基于刚体的人体运动捕捉方法、装置、介质及设备 Download PDF

Info

Publication number
CN111539299B
CN111539299B CN202010311595.8A CN202010311595A CN111539299B CN 111539299 B CN111539299 B CN 111539299B CN 202010311595 A CN202010311595 A CN 202010311595A CN 111539299 B CN111539299 B CN 111539299B
Authority
CN
China
Prior art keywords
marker
target
target marker
user
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010311595.8A
Other languages
English (en)
Other versions
CN111539299A (zh
Inventor
周清会
汤代理
毛佳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Manheng Digital Technology Co ltd
Original Assignee
Shanghai Manheng Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Manheng Digital Technology Co ltd filed Critical Shanghai Manheng Digital Technology Co ltd
Priority to CN202010311595.8A priority Critical patent/CN111539299B/zh
Publication of CN111539299A publication Critical patent/CN111539299A/zh
Application granted granted Critical
Publication of CN111539299B publication Critical patent/CN111539299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种基于刚体的人体运动捕捉方法、装置、介质及设备。该方法包括：获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。通过采用本申请所提供的技术方案，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。

Description

一种基于刚体的人体运动捕捉方法、装置、介质及设备
技术领域
本发明实施例涉及虚拟现实技术领域，尤其涉及一种基于刚体的人体运动捕捉方法、装置、介质及设备。
背景技术
随着科技水平的迅速发展，虚拟现实技术已经逐步被推向人们的休闲和娱乐生活中。
虚拟现实技术，以VR为例，大部分用户较为了解的VR设备主要有HTC VIVE、OculusRift、PSVR等头戴式设备。。这些头戴式设备都有一个共同的特点，就是只能够由对用户的部分身体器官进行追踪，例如只追踪用户的头部、手部等部位。
然而，目前在互动大空间VR方案中，只能追踪到玩家双手和头部的信息导致在互相共处的虚拟空间里玩家之间只能看到对方准确的头和手的位置，却没有完整的身体姿态同步。这大大降低了VR的沉浸感和互动真实度，限制了用户体验，也限制了行业发展。
发明内容
本发明实施例提供一种基于刚体的人体运动捕捉方法、装置、介质及设备，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。
第一方面，本发明实施例提供了一种基于刚体的人体运动捕捉方法，该方法包括：
获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
可选的，在根据匹配结果确定所述目标标记体是否被完全匹配之后，所述方法还包括：
若否，则获取匹配成功的目标标记体的序号、名称以及关节类型；
根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置；
根据未匹配成功的目标标记体的姿态和位置的预估结果，结合匹配成功的目标标记体，输出用户的当前目标体态。
可选的，根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置，包括：
根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，采用人体关节长度约束限制和Kalman滤波算法，预估未匹配成功的目标标记体的姿态和位置。
可选的，在获取用户在初始体态下的目标标记体之前，所述方法还包括：
通过至少两个追踪摄像机获取T型杆校准工具的校准图像；
根据所述T型杆校准工具的校准图像，对所述至少两个追踪摄像机进行校准。
可选的，在对所述至少两个追踪摄像机进行校准之后，所述方法还包括：
通过L型杆校准工具的校准图像，进行房间坐标系的建立。
可选的，获取用户在初始体态下的目标标记体，包括：
获取用户穿戴的带有标记体特征的目标物体；所述目标物体包括带有至少三个相对位置固定设置的反光球；
在用户处于初始体态下，确定目标标记体。
可选的，目标物体的穿戴位置包括：头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右膝盖以及右脚。
第二方面，本发明实施例还提供了一种在线基于刚体的人体运动捕捉装置，该装置包括：
目标标记体获取模块，用于获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪模块，用于追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
追踪结果匹配模块，用于对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
当前目标体态输出模块，用于若目标标记体被完全匹配，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的基于刚体的人体运动捕捉方法。
第四方面，本申请实施例提供了一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的基于刚体的人体运动捕捉方法。
本申请实施例所提供的技术方案，获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。通过采用本申请所提供的技术方案，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。
附图说明
图1是本发明实施例一提供的基于刚体的人体运动捕捉方法的流程图；
图2是本发明实施例一提供的基于刚体的人体运动捕捉过程的示意图；
图3是本发明实施例二提供的基于刚体的人体运动捕捉装置的结构示意图；
图4是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的基于刚体的人体运动捕捉方法的流程图，本实施例可适用于基于刚体的人体运动捕捉的情况，该方法可以由本发明实施例所提供的基于刚体的人体运动捕捉装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于虚拟现实的人体追踪终端等电子设备中。
如图1所示，所述基于刚体的人体运动捕捉方法包括：
S110、获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型。
其中，用户的初始体态可以是将两臂抬平的T字型体态，在这种体态下，有助于确定用户穿戴在各个关节位置上的标记体。其中目标标记体可以是多个，并设置在用户的关键关节处，例如，头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右膝盖以及右脚。
在成功识别标记体之后，可以对标记体进行编号和命名，同时还可以确定各个目标标记体的关节类型。对于目标标记体的序号、名称以及关节类型，可以通过工作人员键入的形式进行。
在本实施例中，可选的，获取用户在初始体态下的目标标记体，包括：获取用户穿戴的带有标记体特征的目标物体；所述目标物体包括带有至少三个相对位置固定设置的反光球；在用户处于初始体态下，确定目标标记体。
其中，标记体特征，可以是预先设置的，例如预先设置好用户不同位置的标记体的特征，这样只要能够获取到相应的特征就可以确定目标标记体。具体的获取方式可以是通过至少一个摄像头来获取的。标记体的特征可以是颜色特征，还可以是形状特征，也可以是两者的结合。
在本实施例中，可选的，所述标记体可以是至少三个相对位置固定设置的反光球的目标物体。
其中，由于反光球的空间位置的不同，可以根据获取到的图像中各个反光球的空间相对位置，来确定当前识别到的目标标记体。通过这样的设置，可以简便并快速的建立标记体，以实现根据标记体确定用户的肢体位置，从而实现根据用户的操作进行立体显示的目的。
在本实施例中，可选的，在根据预设标记体特征，确定待追踪标记体之前，所述方法还包括：通过至少两个追踪摄像机获取T型杆校准工具的校准图像；根据所述T型杆校准工具的校准图像，对所述至少两个追踪摄像机进行校准。其中，追踪相机等间距安装在大屏顶上或天花板上。
本申请提供的技术方案基于双目视觉原理，因此追踪摄像机的数量需要在两个或者两个以上。通过T型杆校准工具，对至少两个追踪摄像机进行校准，可以是在固定T型杆校准工具之后，通过至少两个追踪摄像机同时获取图像，并根据图像中的T型杆校准工具的特征进行校准，校准到同一个坐标系下。这样设置有利于后续的对显示数据的空间位置进行确定，同时可以在校准之后的一段时间内进行使用，简便用户的使用操作。
在本实施例中，具体的，在对所述至少两个追踪摄像机进行校准之后，所述方法还包括：将带有标记体特征的目标物体放在追踪区域内；其中所述追踪区域为所述至少两个追踪摄像机的公共拍摄区域；对拍摄到的图像进行标记体特征识别，确定目标物体中的眼镜标记体和/或手柄标记体，并建立标记体。
其中，通过校准后的至少两个追踪摄像机在拍摄区域内完成对眼镜标记体和/或手柄标记体的建立标记体的工作，可以便于后续通讯过程中的简化，例如将眼镜标记体确定为标记体0，手柄标记体确定为标记体1，还可以对其他标记体进行相应的编号。进而可以在所建立的标记体的基础上进行处理。
在本实施例中，可选的，在对所述至少两个追踪摄像机进行校准之后，所述方法还包括：通过L型杆校准工具的校准图像，进行房间坐标系的建立。
其中，L型杆校准工具却别与T型杆校准工具，既可以便于用户的区分使用，还能够根据L型杆校准工具的顶点位置确定房间坐标系的坐标原点，并且完成房间坐标系的建立。
S120、追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置。
具体的，可以采用至少两个摄像头进行拍摄，并在所拍摄到的图像中识别标记体。将识别到的标记体确定为已追踪标记体。进而可以根据已追踪标记体的反光球的空间位置，确定已追踪标记体的姿态和位置。
S130、对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配。
其中，可以是将已追踪标记体的特征与目标标记体的特征进行匹配，确定匹配成功的目标标记体，和未成功的目标标记体。其中，如果所有的已追踪标记体都匹配成功，则可以说明目前可以确定用户的所有部位的空间位置和姿态，具体的部位包括：头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右膝盖以及右脚。
S140、若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
如果所有的目标标记体均被匹配成功，则可以确定用户的每个部位的空间位置和形态，由此可以确定用户在当前时刻的体态数据，进而可以在VR交互过程中或者VR体验过程中显示用户的躯干，这相对于现有技术中只能够识别用户的手部和头部的位置来说，能够更加直观的将用户的体态确定并显示出来，克服了现有技术的技术障碍，提升了用户的使用体验。
本申请实施例所提供的技术方案，获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。通过采用本申请所提供的技术方案，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。
在上述技术方案的基础上，可选的，在根据匹配结果确定所述目标标记体是否被完全匹配之后，所述方法还包括：若否，则获取匹配成功的目标标记体的序号、名称以及关节类型；根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置；根据未匹配成功的目标标记体的姿态和位置的预估结果，结合匹配成功的目标标记体，输出用户的当前目标体态。其中，例如对用户的左手和右手的目标标记体匹配失败，则说明目前获取到当前用户的体态中还没有手部的数据，因此需要对未匹配成功的部位进行预估，得到预估结果，并显示用户当前的体态。
在上述技术方案的基础上，可选的，根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置，包括：根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，采用人体关节长度约束限制和Kalman滤波算法，预估未匹配成功的目标标记体的姿态和位置。其中，利用关节类型，如手部，关节长度，即手肘到手部的距离，一般为18厘米至30厘米，以及通过Kalman滤波算法，预估未匹配成功的目标标记体的姿态和位置。Kalman滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。数据滤波是去除噪声还原真实数据的一种数据处理技术，Kalman滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态系统的状态。由于它便于计算机编程实现，并能够对现场采集的数据进行实时的更新和处理。
通过采用本方案，可以更加准确的预估出为匹配成功的目标标记体的位置，从而准确的展示用户的当前体态。
为了能够让本领域技术人员更加清楚的了解本方案，本申请还提供了具体的优选实施方式如下：
图2是本发明实施例一提供的基于刚体的人体运动捕捉过程的示意图。如图2所示，本发明处理过程主要包括以下几个步骤：
通过n台追踪相机获取用户图像；其中，n为大于或者等于2的整数；
获取一帧同步图像数据；
确定相机是否已经校准成功，如果已校准，则进行后面步骤，如果未校准，则进行n台追踪相机的相机校准；
进行三维重建Markers；
确定标记体是否已经标记，如果已经标记，，则进行后面步骤，如果未标记，则进行建立标记体；
对标记体进行追踪；
对于追踪失败的标记体进行标记体估计；
根据得到的追踪结果和估计结果，进行VRPN输出。
一、系统搭建。
需要人在身上关节部位佩戴反光球刚体，分别是头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右脚、右膝盖；反光球刚体必须由3个以上反光球组成，并且刚体与刚体之间结构不冲突；
在待追踪空间范围外圈安装一圈追踪摄像机(8-16台)，形成视场重叠的追踪空间；所有的追踪摄像机通过网线与运动捕捉分析单元连接；
二、追踪软件的相机校准。
启动追踪软件后，首先在相机没有校准的情况下，先用T型杆做相机校准，得到相机与相机间的位姿关系，实现空间中反光球的位置追踪。
三、同步图像数据。
n台相机同时获取图像数据，tSyncImageData：同一时间，每台相机图像的圆心坐标的集合。
四、动捕单元的相机校准。
首先在没有校准的情况下，先用T型杆做相机校准，得到相机与相机间的位姿关系，实现空间中反光球的位置追踪。
然后，用L型杆进行房间坐标系设置。
五、点云三维重建。
根据相机校准结果，已知两相机间的基础矩阵F，根据极线约束原理，在所有图像上搜索满足极线约束的二维匹配点集合，根据双目视觉原理，计算反光球3D位置信息，得到三维点云Markers。
六、动捕单元新建标记体。
佩戴有反光球刚体的人维持T字形，站在追踪空间内，依次对每个刚体做新建标记体操作：在软件界面鼠标框选识别到的属于标记体的每个目标点，将他们标记为标记体，并自动按顺序标记ID(从0开始)，并保存标记体三维结构模板信息作为初始姿态，同时标识该标记体所属的HumanName(名称)、bodyType(关节类型)，具体包括：头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右脚、右膝盖。
七、标记体追踪。
根据标记体三维结构模板信息从Markers中，找出匹配的标记体的Marker，并计算该标记体相对结构模板的三维姿态Rot(rx,ry,rz,rw)和中心点位置Pos(x,y,z)。
八、标记体估计。
当标记体追踪失败，通过人体关节长度约束限制和Kalman滤波算法，估计出该标记体相对结构模板的三维姿态Rot(rx,ry,rz,rw)和中心点位置Pos(x,y,z)。
九、VRPN输出。
将人体关节标记体三维姿态Rot(rx,ry,rz,rw)和中心点位置Pos(x,y,z),通过VRPN输出tracker信息：标记体ID、Pos(x,y,z)、Rot(rx,ry,rz,rw)
本发明采用的技术方案，首先准备作为标记体的刚体，由3个或以上反光球组成不共面的空间刚体，并且刚体与刚体之间空间结构上不冲突。在人身上关节部位佩戴反光球刚体，分别是头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右脚、右膝盖。人以T字形站在追踪空间内，从上到下，从左到右依次建立标记体，自动生成ID，标记HumanName、bodyType(头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右脚、右膝盖)。实时三维重建，并根据标记体结构模板匹配当前标记体各点位置，计算标记体的位置和姿态。当追踪失败时，通过关节间的长度限制和上一帧追踪结果的Kalman滤波结果，估计当前标记体的位姿。最后通过VRPN接口将所有标记体位姿信息输出。实现在虚拟世界中呈现人物的准确形态、为人体动作分析提供精确的动作数据。本发明解决捕捉局限，使人机交互更深度、更逼真，适用于虚拟现实、医疗、工业、科研等诸多领域。
实施例二
图3是本发明实施例二提供的基于刚体的人体运动捕捉装置的结构示意图。如图3所示，所述基于刚体的人体运动捕捉装置，包括：
目标标记体获取模块310，用于获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪模块320，用于追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
追踪结果匹配模块330，用于对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
当前目标体态输出模块340，用于若目标标记体被完全匹配，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
本申请实施例所提供的技术方案，获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。通过采用本申请所提供的技术方案，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于刚体的人体运动捕捉方法，该方法包括：
获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的在线基于刚体的人体运动捕捉操作，还可以执行本申请任意实施例所提供的基于刚体的人体运动捕捉方法中的相关操作。
实施例四
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的图像的排版装置。图4是本申请实施例四提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420运行，使得所述一个或多个处理器420实现本申请实施例所提供的图像的排版方法，该方法包括：
获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态。
若评分网络模型的输出评分结果符合预设标准，则将当前图像状态确定为图像的排版结果。
当然，本领域技术人员可以理解，处理器420还可以实现本申请任意实施例所提供的图像的排版方法的技术方案。
图4显示的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。
存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的图像的排版方法对应的程序指令。
存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等设备。
本申请实施例提供的电子设备，可以根据用户的躯体的主要部位的追踪结果，以基于刚体的形式将人体的所有部位都能够进行追踪和展示，使得在虚拟现实的交互过程中，能够实现对用户的整个躯体都展示出来的目的。
上述实施例中提供的图像的排版装置、介质及电子设备可运行本申请任意实施例所提供的图像的排版方法，具备运行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像的排版方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种基于刚体的人体运动捕捉方法，其特征在于，包括：
获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
若是，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态；
若否，则获取匹配成功的目标标记体的序号、名称以及关节类型；根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置；根据未匹配成功的目标标记体的姿态和位置的预估结果，结合匹配成功的目标标记体，输出用户的当前目标体态。
2.根据权利要求1所述的方法，其特征在于，根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置，包括：
根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，采用人体关节长度约束限制和Kalman滤波算法，预估未匹配成功的目标标记体的姿态和位置。
3.根据权利要求1所述的方法，其特征在于，在获取用户在初始体态下的目标标记体之前，所述方法还包括：
通过至少两个追踪摄像机获取T型杆校准工具的校准图像；
根据所述T型杆校准工具的校准图像，对所述至少两个追踪摄像机进行校准。
4.根据权利要求3所述的方法，其特征在于，在对所述至少两个追踪摄像机进行校准之后，所述方法还包括：
通过L型杆校准工具的校准图像，进行房间坐标系的建立。
5.根据权利要求1所述的方法，其特征在于，获取用户在初始体态下的目标标记体，包括：
获取用户穿戴的带有标记体特征的目标物体；所述目标物体包括带有至少三个相对位置固定设置的反光球；
在用户处于初始体态下，确定目标标记体。
6.根据权利要求5所述的方法，其特征在于，目标物体的穿戴位置包括：头、腰、左手肘、左手腕、右手肘、右手腕、左膝盖、左脚、右膝盖以及右脚。
7.一种基于刚体的人体运动捕捉装置，其特征在于，包括：
目标标记体获取模块，用于获取用户在初始体态下的目标标记体，确定所述目标标记体的序号、名称以及关节类型；
追踪模块，用于追踪用户在目标体态下的标记体，确定已追踪标记体的姿态和位置；
追踪结果匹配模块，用于对所述已追踪标记体与所述目标标记体进行匹配，根据匹配结果确定所述目标标记体是否被完全匹配；
当前目标体态输出模块，用于若目标标记体被完全匹配，则根据匹配成功的目标标记体的姿态和位置，输出用户的当前目标体态；还用于若目标标记体未被完全匹配，则获取匹配成功的目标标记体的序号、名称以及关节类型；根据所述匹配成功的目标标记体的序号、名称以及关节类型，以及姿态和位置，预估未匹配成功的目标标记体的姿态和位置；根据未匹配成功的目标标记体的姿态和位置的预估结果，结合匹配成功的目标标记体，输出用户的当前目标体态。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于刚体的人体运动捕捉方法。
9.一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的基于刚体的人体运动捕捉方法。
CN202010311595.8A 2020-04-20 2020-04-20 一种基于刚体的人体运动捕捉方法、装置、介质及设备 Active CN111539299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010311595.8A CN111539299B (zh) 2020-04-20 2020-04-20 一种基于刚体的人体运动捕捉方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010311595.8A CN111539299B (zh) 2020-04-20 2020-04-20 一种基于刚体的人体运动捕捉方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN111539299A CN111539299A (zh) 2020-08-14
CN111539299B true CN111539299B (zh) 2024-03-01

Family

ID=71952292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010311595.8A Active CN111539299B (zh) 2020-04-20 2020-04-20 一种基于刚体的人体运动捕捉方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN111539299B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465857B (zh) * 2020-12-11 2024-08-09 深圳市瑞立视多媒体科技有限公司 追踪刚体位置信息的方法及其装置、设备、存储介质
CN113358383B (zh) * 2021-05-08 2022-10-18 中国标准化研究院 一种空调室外机工效学实验系统及工效学测试方法
CN114926903A (zh) * 2022-05-27 2022-08-19 深圳市瑞立视多媒体科技有限公司 基于模板图匹配刚体标记点的方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376405A (zh) * 2018-02-22 2018-08-07 国家体育总局体育科学研究所 基于双体感追踪系统的人体运动捕捉系统及捕捉方法
CN108762495A (zh) * 2018-05-18 2018-11-06 深圳大学 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
CN109345635A (zh) * 2018-11-21 2019-02-15 北京迪生数字娱乐科技股份有限公司 无标记点虚拟现实混合表演系统
CN110458897A (zh) * 2019-08-13 2019-11-15 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376405A (zh) * 2018-02-22 2018-08-07 国家体育总局体育科学研究所 基于双体感追踪系统的人体运动捕捉系统及捕捉方法
CN108762495A (zh) * 2018-05-18 2018-11-06 深圳大学 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
CN109345635A (zh) * 2018-11-21 2019-02-15 北京迪生数字娱乐科技股份有限公司 无标记点虚拟现实混合表演系统
CN110458897A (zh) * 2019-08-13 2019-11-15 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Also Published As

Publication number Publication date
CN111539299A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539299B (zh) 一种基于刚体的人体运动捕捉方法、装置、介质及设备
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US11182614B2 (en) Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
WO2019157925A1 (zh) 视觉惯性里程计的实现方法及系统
CN104933718B (zh) 一种基于双目视觉的物理坐标定位方法
US9330470B2 (en) Method and system for modeling subjects from a depth map
JP2023175052A (ja) ３次元空間内の姿勢推定
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN111539300A (zh) 一种基于ik算法的人体运动捕捉方法、装置、介质及设备
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
JP2013061937A (ja) ステレオカメラ及びステレオディスプレイを組み合わせたやり取り
CN112198959A (zh) 虚拟现实交互方法、装置及系统
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
WO2019171557A1 (ja) 画像表示システム
CN106843507A (zh) 一种虚拟现实多人互动的方法及系统
JP2015186531A (ja) 動作情報処理装置、及びプログラム
CN105225270B (zh) 一种信息处理方法及电子设备
CN104952105A (zh) 一种三维人体姿态估计方法和装置
CN110841266A (zh) 一种辅助训练系统及方法
US20210248802A1 (en) Method for locating a center of rotation of an articulated joint
JPWO2019150431A1 (ja) 情報処理装置
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム
KR102483387B1 (ko) 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템
JP7191196B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6981340B2 (ja) 表示制御プログラム、装置、及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant