CN115560750A - 人体姿态确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种人体姿态确定方法、装置、计算机设备及存储介质，涉及姿态确定技术领域。该方法包括：获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，第一IMU部署于用户的头部，多个第二IMU部署于用户的肢体；获取图像采集单元所采集的实时图像；若检测到实时图像中包括有部署于第三IMU上的预设标记图案，第三IMU包括多个第二IMU中的至少一个第二IMU，对实时图像中的预设标记图案进行图像识别，得到预设标记图案的位姿信息；根据实时姿态数据、预设标记图案的位姿信息以及预设标记图案与第三IMU的相对位置关系，确定用户的人体姿态。如此，及时校正IMU采集到的实时姿态数据，同时利用少量的IMU完成复杂的姿态捕捉，简化了人体姿态的确定方法。

Description

人体姿态确定方法、装置、设备及存储介质

技术领域

本申请涉及姿态确定技术领域，尤其涉及一种人体姿态确定方法、装置、设备及存储介质。

背景技术

动作捕捉广泛应用于电影电视特效行业、游戏行业和动画制作行业，通过传感器和软件，把人体的动作转录成数字模型的动作，其中对人体姿态的确定是必不可少的一环。

但是，目前常见的基于惯性测量的人体动作捕捉方法多采用惯性测量单元(Inertial Measurement Unit，IMU)，由IMU所测得的传感器运动参数有严重噪声干扰，使得基于传感器运动参数计算的人体姿态不准确。

发明内容

有鉴于此，本申请提出了一种人体姿态确定方法、装置、设备及存储介质。

第一方面，本申请实施例提供了一种人体姿态确定方法，所述方法包括：获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体；获取图像采集单元所采集的实时图像；若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息；根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

第二方面，本申请实施例提供了一种人体姿态确定装置，应用于计算机设备，所述装置包括：数据获取模块、图像获取模块、视觉处理模块和姿态确定模块。其中，数据获取模块用于获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体；图像获取模块用于获取图像采集单元所采集的实时图像；视觉处理模块用于若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息；姿态确定模块用于根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请提供的方案中，获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，第一IMU部署于用户的头部，多个第二IMU部署于用户的肢体；获取图像采集单元所采集的实时图像；若检测到实时图像中包括有部署于第三IMU上的预设标记图案，第三IMU包括多个第二IMU中的至少一个第二IMU，对实时图像中的预设标记图案进行图像识别，得到预设标记图案的位姿信息；根据实时姿态数据、预设标记图案的位姿信息以及预设标记图案与第三IMU的相对位置关系，确定用户的人体姿态。如此，结合头部的第一IMU、用户肢体上的多个第二IMU采集的实时姿态数据以及图像采集单元的图像采集视线内的预设标记图案的位姿信息，共同计算用户的人体姿态，也就是说，通过结合了光学动作捕捉技术和基于惯性测量的动作捕捉技术，可以避免仅通过IMU采集的姿态数据存在漂移导致最终计算的人体姿态不准确等问题的发生，进而更为精准地推算出用户的人体姿态。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的一种人体姿态确定方法的应用场景的场景示意图。

图2示出了本申请一实施例提供的人体姿态确定方法的流程示意图。

图3示出了本申请另一实施例提供的人体姿态确定方法的应用场景的场景示意图。

图4示出了本申请另一实施例提供的一种人体姿态确定方法的流程示意图。

图5示出了本申请又一实施例提供的一种人体姿态确定方法的流程示意图。

图6示出了本申请一实施例提供的一种人体姿态确定装置的框图。

图7示出了本申请一实施例的用于执行根据本申请实施例的人体姿态确定方法的计算机设备的框图。

图8示出了本申请一实施例提供的一种用于保存或者携带实现上述方法的程序代码的计算机存储介质的框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

发明人提出一种人体姿态确定方法、装置、设备及存储介质，根据预设标记图案的位姿信息以及预设标记图案与IMU的相对位置关系，及时校正IMU的位姿，进而根据少量部署于人体关键位置的校正后的IMU和其他IMU采集到的实时姿态数据，确定人体姿态信息。

请参阅图1，图1为本申请一实施例提供的一种人体姿态确定方法的应用场景的场景示意图。该应用场景中包括计算机设备110、第一IMU120、多个第二IMU130、多个预设标记图案140以及图像采集单元150。其中，计算机设备110可以是增强现实(AugmentedReality，AR)头戴式显示设备、混合现实(Mixed Reality，MR)头戴式显示设备、虚拟现实(Virtual Reality，VR)头戴式显示设备或扩展现实(Extended Reality，XR)头戴式显示设备等设备。对应地，预设标记图案可以是VR、AR、MR或XR领域中所有通用的标识码，例如，可以是绘制着一定规格形状的模板卡片或者二维码，也可以是AR工具包(AR Tool kitPlus)、二进制方形基准标记(Augmented Reality University of CordobaTag，ArucoTag)、视觉基准标记(April Tag)、拓扑基准标记(Topo Tag)以及符文标记(RuneTag)等标记；当然，还可以是自定义的标记图案，本实施例对此不作限制。图像采集单元150可以是红外摄像头，也可以是其他能够识别上述预设标记图案的摄像头，例如，可见光摄像头等，本实施例对此不作限制。第一IMU120和第二IMU130可以是六轴IMU，包括三轴加速度计和三轴陀螺仪，所述六轴IMU能够采集实时6-DoF姿态数据。

可选地，每个预设标记图案140与第二IMU130一一对应，可以在每个第二IMU130上均部署对应的预设标记图案140，也可以仅在部分第二IMU130上部署对应的预设标记图案140，本实施例对此不作限制。如图1的应用场景中，仅在佩戴于双手的两个第二IMU130上设置有预设标记图案，未在设置于腰部的第二IMU130上设置有预设标记图案。具体如何设置预设标记图案140，可以根据实际应用需求进行设置，例如，仅在图像采集单元150的图像采集视线区域范围内的第二IMU上预先设置对应的预设标记图案。

在一些实施方式中，计算机设备110分别与第一IMU120、多个第二IMU130以及图像采集单元150之间均建立有通信连接，因此，计算机设备110可以获取到第一IMU120以及多个第二IMU130实时采集的姿态数据，以及获取到图像采集单元150实时采集的图像。基于此，计算机设备110可以获取位于用户头部的第一IMU120采集用户头部的实时姿态数据和位于用户肢体位置的多个第二IMU130采集用户对应肢体的实时姿态数据，以及获取图像采集单元150实时采集的实时图像，若检测到实时图像中包括有部署于第三IMU上的预设标记图案，其中，第三IMU包括多个第二IMU130中的至少一个第二IMU130，对实时图像中的预设标记图案140进行图像识别，得到预设标记图案140的位姿信息；根据实时姿态数据、预设标记图案140的位姿信息以及预设标记图案140与所第三IMU的相对位置关系，确定用户的人体姿态。

在另一些实施方式中，计算机设备110也可以是服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，只要是能够发送接收数据、进行简单加减计算、识别通用标识码与图像生成的服务器。基于此，前述的第一IMU120和多个第二IMU130采集的实时姿态数据，以及图像采集单元150实时采集的实时图像均可以先发送至头戴式显示设备，再由头戴式显示设备将实时姿态数据以及实时图像上传至服务器，由服务器进行人体姿态的推算；也就是说，可以借助计算能力更高的服务器进行人体姿态的推算，提高推算效率以及准确率。

请参照图2，图2为本申请一实施例提供的一种人体姿态确定方法的流程示意图。下面将结合图2对本申请实施例提供的人体姿态确定方法进行详细阐述。该人体姿态确定方法可以包括以下步骤：

步骤S210：获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体。

在本实施例中，用户在运动过程中，该用户的人体姿态会发生变化，因此，可以实时检测用户的不同躯体部位的相应实时姿态数据，并根据检测得到的各部位实时姿态数据确定相应部位的姿态信息，最后根据各部位的姿态信息确定用户的人体姿态信息，完成对用户的动作捕捉。例如，用户身体运动时，检测用户在运动过程中头部、各肢体的运动数据，得到用户头部、肢体在运动过程中的姿态信息，并根据人体动力学确定出用户全身完整的姿态信息，实现对人体姿态的确定。

基于此，计算机设备分别获取部署于用户头部的第一IMU和部署于用户肢体的多个第二IMU所采集到的实时姿态数据，上述实时姿态数据用于确定用户头部和肢体位置的姿态信息。其中，第一IMU和第二IMU均可以是六轴IMU，对应地，上述实时姿态数据则可以是实时6-DoF姿态数据；IMU采集的实时姿态数据可以通过无线通讯单元反馈至计算机设备，无线通讯单元可以是无线网络(Wireless Fidelity，WiFi)通信单元，也可以是其他任何能够实现实时数据传输的无线网络，本实施例对此同样不做限制。

在一些实施方式中，部署于用户头部的第一IMU可以是AR头戴式显示设备、MR头戴式显示设备或VR头戴式显示设备等头戴式显示设备中，也可以是单独固定在用户的头部，基于此，用户姿态变化时，第一IMU的姿态能够实时跟随用户头部的姿态变化，进而检测到用户头部的实时姿态数据；部署于用户肢体的多个第二IMU可以部署在最能体现用户姿态变化特征的部位，例如手腕、脚腕、大腿、腰腹部等等，基于此，根据人体动力学和多个第二IMU检测到的实时姿态数据，能够推算出用户完整肢体的姿态信息，进而确定出用户的人体姿态信息。

步骤S220：获取图像采集单元所采集的实时图像。

基于此，图像采集单元能采集的实时图像反馈至计算机设备，对应地，计算机设备则可以接收图像采集单元反馈的实时图像，并对获取到的实时图像做相应的进一步处理；其中，图像采集单元部署在用户佩戴的包括AR头戴式显示设备、MR头戴式显示设备或VR头戴式显示设备上。

在一些实施方式中，图像采集单元的图像采样频率与第一IMU和多个第二IMU采集用户实时姿态数据的采样频率可以相同，计算机设备获取第一IMU和多个第二IMU采集的实时姿态数据，以及图像采集单元在同一时刻采集的实时图像，并根据所述时刻的实时姿态数据和实时图像进行后续处理步骤。

在另一些实施方式中，图像采集单元的图像采样频率与第一IMU和多个第二IMU采集用户实时姿态数据的采样频率也可以不同，计算机设备获取的实时姿态数据和实时图像可能是同一时刻的，也可能是不同时刻的，基于此，计算机设备在获取的实时姿态数据和实时图像中，筛选出同一时刻的实时姿态数据和实时图像进行后续处理。

步骤S230：若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息。

其中，部署于每一个第三IMU上的预设标记图案所包括的可识别特征信息一般是不同的，因此，计算机设备可以通过对预设标记图案进行图像识别，确定出实时图像中的预设标记图案是部署于哪一个第二IMU上的，进而实现在计算出预设标记图案的位姿信息之后，即可间接获知与所述预设标记图案具有相对位置关系的第三IMU所部署的用户肢体的姿态信息。

基于此，在计算机设备获取到实时图像之后，若检测到实时图像中包括有预设标记图案，计算机设备对检测到的预设标记图案进行图像识别，得到预设标记图案的位姿信息，多个预设标记图案与多个第二IMU之间存在一一对应的相对位置关系，若预设标记图案被图像采集单元采集到，则表示与预设标记图案有着相对位置关系的对应第二IMU也将被图像采集单元所采集到，所述被图像采集单元采集到的第二IMU即为第三IMU，由于预设标记图案与第三IMU之间存在相对位置关系，即计算机设备可以根据预设标记图案的位姿信息以及预设标记图案和第三IMU之间的相对位置关系得到第三IMU的位姿信息。

在本实施例中，相机能将三维世界中的坐标点映射到二维图像平面，通过在相机上建立的坐标系，从相机的角度描述物体位置，作为沟通世界坐标系和像素坐标系的中间一环，三维世界中的物体被相机捕捉到，根据物体在相机坐标系中的相机坐标，可以反推物体在三维世界中相对于相机的位姿，预设标记图案具有特定的标志信息，计算机设备能够识别到这种特定的标志信息，完成对预设标记图案的识别，并根据预设标记图案在图像采集单元坐标系中的相机坐标，得到预设标记图案相对于图像采集单元的位姿信息。同时预设标记图案与第三IMU之间存在相对位置关系，计算机设备能够根据预设标记图案相对于图像采集单元的位姿信息以及预设标记图案与第三IMU之间的相对位置关系，确定第三IMU的相机坐标，即第三IMU相对于图像采集单元的位姿信息。

其中，所述相对位置关系是预先设置的，可以是预设标记图案与第三IMU在相机坐标系中具有同一相机坐标关系，也可以是预设标记图案的相机坐标通过特定加权方式能够计算出第三IMU的相机坐标，只要是预设标记图案的相机坐标通过相对位置关系能够确定第三IMU的相机坐标均可以，本实施例对此不作限制。

在一些实施方式中，若第二IMU部署于用户胸部、背部以及其他难以被图像采集单元所采集到的位置，所述第二IMU不设置相应的预设标记图案，基于此，部署于难以被图像采集单元所采集到的位置的第二IMU通过校正程序对采集的实时姿态数据进行校正，校正程序可以提前下载至计算机设备中，计算机设备可以间隔指定时长调用校正程序对未设置有预设标记图案的第二IMU所采集的实时姿态数据进行校正。

步骤S240：根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

在实际应用中，IMU在使用一定时间后会出现数据漂移，使得检测的实时姿态数据不准确，基于此，计算机设备结合预设标记图案的位姿信息以及所述预设标记图案与第三IMU之间的相对位置关系，对所述第三IMU位姿信息进行校正，进而根据部署于人体关键位置的校正后的IMU和其他IMU采集到的实时姿态数据，确定人体与IMU对应位置的肢体姿态信息；根据预设标记图案的位姿信息以及预设标记图案与IMU的相对位置关系，及时校正IMU的位姿，能够提高IMU检测的实时姿态数据的准确度，降低噪声干扰，使得实时姿态数据更加准确。

在本实施例中，计算机设备获取第一IMU反馈的实时姿态数据、除第三IMU之外的其他第二IMU反馈的实时姿态数据、根据预设标记图案的位姿信息以及预设标记图案与第三IMU的相对位置关系校正后的第三IMU反馈的实时姿态数据，并根据获取的所有实时姿态数据确定与第一IMU、第二IMU、第三IMU对应位置的用户姿态信息，根据各位置的姿态信息，完善用户完整的人体姿态信息。

在一些实施方式中，若未检测到所述实时图像中包括有部署于任一所述第二IMU上的所述预设标记图案，基于所述实时姿态数据计算所述用户的人体姿态。其中，计算机设备对图像采集单元在采样周期内采集的实时图像进行识别，若计算机设备未能在所述实时图像中识别到预设标记图案，计算机设备则可以直接根据部署在用户头部的第一IMU反馈的实时姿态数据计算得到第一姿态信息，根据部署在用户肢体位置的多个第二IMU反馈的实时姿态数据计算得到多个第二姿态信息，根据第一姿态信息和多个第二姿态信息确定用户的人体姿态。如此，仅通过第一IMU和多个第二IMU所检测的实时姿态数据，也可以实现对人体姿态的推算。

在一些实施方式中，仍参阅图1，在图1所示的应用场景中，多个第二IMU包括部署于用户的左手腕、右手腕以及腰部上多个第二IMU170采集的实时姿态数据包括左手腕对应的左手姿态数据、右手腕对应的右手姿态数据以及腰部对应的腰部姿态数据，若用户上半身姿态发生变化，双手手腕和腰部的姿态信息会随之变化且能反映出用户上半身姿态信息的变化特征，红外相机150采集实时图像并反馈至计算机设备110，计算机设备110根据所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、预设标记图案140的位姿信息以及预设标记图案140与第三IMU之间的相对位置关系，通过人体动力学计算出最合理的用户上半躯体姿态信息，以及根据第一IMU130检测的实时姿态数据确定用户头部姿态信息，进而确定所述用户的上半身姿态。

可选地，部署于左手腕的第二IMU130也可以部署于在用户左手臂的任意位置处，部署于右手腕的第二IMU130也可以部署于在用户右手臂的任意位置处，部署于腰部的第二IMU130也可以部署于用户胸腹或者其他躯干部位，手臂和躯干部位的姿态信息都能反映用户整个上半身的姿态信息，计算机设备110根据人体动力学确定出最合理的用户上半身姿态信息。

在另一些实施方式中，请参阅图3，在图3所示的应用场景中，第一IMU为部署于头部的IMU120，多个第二IMU分别为部署于用户的左手腕、右手腕、腰部、左膝以及右膝上的IMU130，多个第二IMU130采集的实时姿态数据包括所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据以及所述右膝对应的右膝姿态数据，若用户全身姿态发生变化，双手手腕、腰部和腿部的姿态信息会随之变化且能反映出用户全身姿态信息的变化特征，红外相机150采集实时图像并反馈至计算机设备110，计算机设备110根据所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据、所述右膝对应的右膝姿态数据、预设标记图案140的位姿信息以及预设标记图案与第三IMU之间的相对位置关系，通过人体动力学计算出最合理的用户躯体姿态信息，根据所述第一IMU260检测的实时姿态数据确定用户的头部姿态信息，进而确定所述用户的人体全身姿态信息。其中，部署于左手腕的第二IMU130也可以部署于在用户左手臂的任意位置处，部署于右手腕的第二IMU130也可以部署于在用户右手臂的任意位置处，部署于腰部的第二IMU130也可以部署于用户胸腹或者其他躯干部位，部署于双腿膝盖处的第二IMU130也可以部署于用户双腿的任意位置处，手臂、躯干部位和双腿的姿态信息都能反映用户全身的姿态信息，计算机设备110根据人体动力学确定出最合理的用户全身人体姿态信息。

在一些实施方式中，计算机设备确定出用户的人体姿态信息后，还会对人体姿态进行三维重构计算，得出用户的虚拟人体模型。其中，三维重构计算通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型，可以是纹理恢复形状法、阴影恢复形状法等被动式三维重建技术，也可以是莫尔条纹法、结构光法等主动式三维重建技术，只要能根据姿态信息建立出用户相应的虚拟人体模型即可，本实施例对此不做限制。例如，用户佩戴着VR头戴式显示设备、肢体关键位置部署有多个第二IMU和预设标记图案，若用户的姿态发生变化，部署于VR头戴式显示设备中的第一IMU和除第三IMU之外的第二IMU将实时姿态数据反馈至VR头戴式显示设备中的计算机设备，计算机设备获取VR设备中的红外相机采集的实时图像，识别实时图像中的预设标记图案，得到预设标记图案在相机坐标系中的坐标信息，并根据预设标记图案与第三IMU的相对位置关系确定第三IMU在相机坐标系中的相机坐标，以此校正第三IMU的位姿信息，计算机设备根据获取的所有实时姿态数据确定与第一IMU、第二IMU、第三IMU对应位置的用户姿态信息，根据各位置的姿态信息，完善用户完整的人体姿态信息，得到人体姿态信息后，计算机设备对人体姿态进行三维重构计算，得出虚拟人体模型，并通过VR设备将虚拟人体模型显示在用户眼前，虚拟人体模型能够跟随用户的实时姿态变化。

在本实施例中，通过计算机设备的图像采集单元实时采集视线内的预设标记图案，并根据预设标记图案的位姿信息对该预设标记图案所处的第三IMU的位姿信息进行校正，再根据校正后的第三IMU的位姿信息、第一IMU的实时姿态数据以及除第三IMU之外的其他第二IMU采集的实时姿态数据，推算用户的人体姿态。可见，结合了视觉处理技术以及IMU检测技术，对IMU数据进行实时修正，定位结果精度高且定位结果的精度不随运动时间的推移而发散，即弥补了仅通过IMU采集的数据进行姿态推算，由于IMU的采集数据存在漂移导致姿态推算不准确的问题，提高了人体姿态推算的准确性，可以得到更好的人体姿态。并且，本方案使用的IMU均为6轴IMU,无需使用磁力计，故不受磁力环境干扰，环境适应性更强。以及，预设标记图案与IMU之间的布设简单，安装成本低，且效率高。

请参照图4，图4为本申请另一实施例提供的一种人体姿态确定方法的流程示意图。下面将结合图4对本申请实施例提供的人体姿态确定方法进行详细阐述。该人体姿态确定方法可以包括以下步骤：

步骤S310：获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体。

步骤S320：获取图像采集单元所采集的实时图像。

步骤S330：若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息。

在本实施例中，步骤S310至步骤S330的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

步骤S340：根据所述第一IMU采集的实时6-DoF姿态数据，计算用户头部的姿态信息，得到第一姿态信息。

在本实施例中，6-DoF姿态数据是指六个方向自由度的姿态数据，除了具备在X、Y、Z三轴上旋转的能力之外，也具备在X、Y、Z三轴上移动的能力，第一IMU部署于用户头部，若用户头部的姿态发生变化，第一IMU的姿态能够实时跟随用户头部姿态的变化而变化，也就是说第一IMU的姿态信息能够反映用户头部的姿态信息，由此控制单元根据部署于用户头部的第一IMU采集的6-DoF姿态数据，能够确定出用户头部的姿态信息，用户头部的姿态信息即为第一姿态信息。

步骤S350：根据所述多个第二IMU中每个第二IMU采集的实时6-DoF姿态数据，计算所述每个第二IMU部署在所述肢体上的肢体位置的姿态信息，得到与所述每个第二IMU对应的第二姿态信息。

在本实施例中，多个第二IMU分别部署于用户的肢体位置，若用户的肢体姿态发生变化，相应肢体位置的第二IMU能够实时跟随用户肢体位置姿态的变化而改变，即每一个第二IMU的姿态信息都能反映其部署的对应肢体位置的姿态信息，由此控制单元根据部署于用户肢体位置的多个第二IMU采集的6-DoF姿态数据，能够确定出用户与每个第二IMU对应的肢体位置的姿态信息，每个第二IMU对应的肢体位置的姿态信息即为第二姿态信息；基于此，根据多个第二姿态信息，确定用户肢体的完整姿态信息。

步骤S360：根据所述预设标记图案的位姿信息以及所述相对位置关系，对所述第三IMU对应的姿态信息进行校正，得到第三姿态信息。

在本实施例中，若图像采集单元采集的实时图像中存在预设标记图案，控制单元对预设标记图案进行识别，得到预设标记图案在相机坐标系中的相机坐标，即预设标记图案相对于图像采集单元的位姿信息，预设标记图案与第三IMU存在相对位置关系，因此控制单元根据预设标记图案相对于图像采集单元的位姿信息和预设标记图案与第三IMU之间相对位置关系，能够校正第三IMU对应的姿态信息，校正后的第三IMU的姿态信息即为第三姿态信息。例如，人为连接预设标记图案与IMU，使得预设标记图案和IMU之间视为具有相同坐标关系，若预设标记图案被图像采集单元采集到，控制单元通过识别预设标记图案得到所述预设标记图案的位姿信息，所述位姿信息即为与预设标记图案具有相同坐标关系的第三IMU的位姿信息，也就是校正后得到的第三姿态信息。

步骤S370：根据所述第一姿态信息、所述多个第二IMU中除所述第三IMU之外的其他第二IMU对应的第二姿态信息以及所述第三姿态信息，计算所述人体姿态。

在本实施例中，第一姿态信息为用户头部的姿态信息，第二姿态信息为除第三IMU之外每个第二IMU对应的肢体位置的第二姿态信息，第三姿态信息为第三IMU对应的肢体位置的姿态信息，即第一、第二、第三姿态信息涵盖了最能体现用户姿态变化特征的人体位置的姿态信息，根据所述姿态信息和人体动力学，控制单元能够计算出用户完整的人体姿态信息，即实现对用户人体姿态信息的确定。

在本实施例中，控制单元根据第一IMU反馈的实时姿态数据确定第一姿态信息，根据除第三IMU之外的第二IMU反馈的实时姿态数据确定第二姿态信息，根据校正位姿信息后的第三IMU反馈的实时姿态数据确定第三姿态信息，确定用户人体姿态信息。其中，多个第二IMU分别部署于最能反映用户姿态信息变化特征的肢体位置，控制单元根据所述多个第二IMU反馈的实时姿态数据确定对应肢体位置的姿态信息，并根据所述姿态信息和人体动力学确定用户完整肢体姿态信息，使得少量第二IMU即可反映完整的肢体姿态信息，从而减轻用户负担，确保用户行动不受设备影响，布设简单，不受使用场景的约束。以及，由于IMU的更新频率高，因此本方案可以高频更新被捕捉对象各个节点的位置和姿态，例如，用户的左手腕、右手腕、腰部、左膝以及右膝的位置和姿态，具有很高的实用价值。

请参照图5，图5为本申请又一实施例提供的一种人体姿态确定方法的流程示意图。下面将结合图5对本申请实施例提供的人体姿态确定方法进行详细阐述。该人体姿态确定方法可以包括以下步骤：

步骤S510：获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体。

在本实施例中，步骤S510的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

步骤S520：实时获取所述图像采集单元每隔第一预设时长所采集的实时图像。

基于此，第一预设时长可以理解为图像采集单元的采样频率对应的采样周期，其中，采样频率可以是预先设置的，采样频率可以是10千赫兹，也可以是更大的频率，本实施例对此不做限制；计算机设备获取图像采集单元在采样周期内采集的实时图像。

步骤S530：若获取到的第二预设时长内所采集的多张所述实时图像中均未包括有部署于任一第二IMU上的预设标记图案，输出提示信息，所述提示信息用于提示用户执行预设动作，以使在执行所述预设动作的过程中，任一所述第二IMU上的预设标记图案被所述图像采集单元采集到，所述第二预设时长大于所述第一预设时长。

在本实施例中，第二IMU检测的实时姿态数据在短时间内漂移误差较小，不影响计算机设备对肢体位置姿态信息的确定，但是超过一定时间不对第二IMU的位姿进行校正，第二IMU累计的漂移误差会逐渐增大，影响实时姿态数据的准确性，进而影响到计算机设备对肢体位置姿态信息的确定，因而第二IMU的位姿在一定时间内需要进行校正。

基于此，计算机设备持续获取图像采集单元在第一预设时长内采集的实时图像，若计算机设备在第二预设时长内获取的多张实时图像中始终不包括预设标记图案，即计算机设备在第二预设时长内始终未能校正任一第二IMU的位姿信息，未能获取第三位姿信息，基于此，计算机设备向用户输出提示信息，提示用户完成预设动作，确保用户在执行预设动作的过程中，任一预设标记图案能被图像采集单元采集到，计算机设备得到预设标记图案的位姿信息，进而根据所述位姿信息和预设标记图案与对应第三IMU之间的相对位置关系，校正第三IMU的位姿信息。

其中，第二预设时长大于第一预设时长，第二预设时长可以人为设置，但是一般不易设置的过长，避免第二IMU长时间未能得到校正，检测的实时姿态数据漂移误差过大，影响计算机设备确定肢体位置姿态信息；提示信息可以是语音形式提示用户完成预设动作，也可以是文字形式提示用户，还可以是头戴式显示设备生成相关图像提示用户，只要是能够提示用户完成预设动作的信息均可，本实施例对此不做限制；预设动作包括使多个部署于第二IMU上的预设标记图案中的任意一个能够被图像采集单元采集到的动作，可以是抬手、抬腿，也可以是轻触用户佩戴的头戴式显示设备，只要是能够让任一预设标记图案被图像采集单元成功采集的动作均可，本实施例对此同样不做限制。

在一些实施方式中，预设动作包括使所有部署于第二IMU上的预设标记图案都能被图像采集单元采集到，示例性地，用户佩戴VR头戴式显示设备，部署有第二IMU的双手放置在部署有第二IMU的双腿附近，使得VR头戴式显示设备中的红外相机能够采集到所有与第二IMU具有相对位置关系的预设标记图案，进而计算机设备识别所有预设标记图案，得到所有预设标记图案的位姿信息，根据每一个预设标记图案的位姿信息校正相对位置的第三IMU，确保每一个与预设标记图案具有相对位置关系的第二IMU的位姿信息都能得到校正，消除IMU漂移干扰的误差影响。

在一些实施方式中，在输出所述提示信息之后，若计算机设备检测到预设标记图案，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息；根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

在本实施例中，若图像采集单元在第二预设时长中的某一段时间内未能采集到预设标记图案，计算机设备根据第一IMU和第二IMU采集的实时姿态数据确定用户姿态信息，使得短时间内第三IMU未能得到校正，计算机设备依然能够确定姿态信息，用户姿态信息不会出现延迟或者断裂，若图像采集单元在第二预设时长内均未能采集到预设标记图案，计算机设备通过提示用户完成预设动作，实现图像采集单元对预设标记图案的采集，进而实现对第三IMU位姿信息的校正，使得计算机设备能够及时校正IMU，确保IMU的漂移误差一直保持在极小的范围内，不会影响实时姿态数据的检测和用户姿态信息的确定。

请参照图6，其中示出了本申请一实施例提供的一种人体姿态确定装置600的结构框图，其特征在于，应用于计算机设备，该装置600可以包括：数据获取模块610、图像获取模块620、视觉处理模块630和姿态确定模块640。

数据获取模块610用于获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体。

图像获取模块620用于获取图像采集单元所采集的实时图像。

视觉处理模块630用于若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息。

姿态确定模块640根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

在一些实施方式中，所述IMU均为六轴IMU，所述实时姿态数据为实时6-DoF姿态数据，姿态确定模块640根据数据获取模块610获取的所述第一IMU采集的实时6-DoF姿态数据，计算用户头部的姿态信息，得到第一姿态信息；根据获取模块510获取的所述多个第二IMU中每个第二IMU采集的实时6-DoF姿态数据，计算所述每个第二IMU部署在所述肢体上的肢体位置的姿态信息，得到与所述每个第二IMU对应的第二姿态信息；根据视觉处理模块630获取的所述预设标记图案的位姿信息以及所述相对位置关系，对所述第三IMU对应的姿态信息进行校正，得到第三姿态信息；根据所述第一姿态信息、所述多个第二IMU中除所述第三IMU之外的其他第二IMU对应的第二姿态信息以及所述第三姿态信息，计算所述人体姿态。

在该方式下，若视觉处理模块630未检测到图像获取模块620获取的所述实时图像中包括有部署于任一所述第二IMU上的所述预设标记图案，姿态确定模块640基于所述实时姿态数据计算所述用户的人体姿态。

在另一些实施方式中，多个第二IMU分别部署于所述用户的左手腕、右手腕以及腰部上，实时姿态数据包括所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据以及所述腰部对应的腰部姿态数据；姿态确定模块640根据数据获取模块610获取的所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、视觉处理模块630获取的所述预设标记图案的位姿信息以及所述相对位置关系，确定所述用户的上半身姿态。

在该方式下，通过数据获取模块610获取部署于用户左右手腕和腰部上的第二IMU采集的实时姿态数据以及视觉处理模块630获取的所述预设标记图案的位姿信息以及所述相对位置关系，姿态确定模块640即可确定用户的人体姿态信息，部署于用户肢体关键位置的少量的第二IMU不会给用户造成负担，同时设备布设简单，对应用环境的要求低。

在一些实施方式中，所述多个第二IMU分别部署于所述用户的左手腕、右手腕、腰部、左膝以及右膝上，实时姿态数据包括所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据以及所述右膝对应的右膝姿态数据；姿态确定模块640根据数据获取模块610获取的所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据、所述右膝对应的右膝姿态数据、视觉处理模块630获取的所述预设标记图案的位姿信息以及所述相对位置关系，确定所述用户的全身姿态。

在该方式下，少量第二IMU部署于用户全身肢体的关键位置，实现姿态确定模块640对用户全身姿态信息的确定。

在一些实施方式中，人体姿态确定装置600还可以包括：提示信息输出模块。提示信息输出模块用于若视觉处理模块630获取到的第二预设时长内图像获取模块620每隔第一预设时长所采集的多张所述实时图像中均未包括有部署于任一第二IMU上的预设标记图案，提示信息输出模块输出提示信息，所述提示信息用于提示用户执行预设动作，以使在执行所述预设动作的过程中，任一所述第二IMU上的预设标记图案被所述图像获取模块620采集到，所述第二预设时长大于所述第一预设时长。

在该方式下，第一预设时长可以理解为图像采集单元的采样频率对应的采样周期；第二预设时长可以人为设置，第二预设时长需要大于第一预设时长，但是一般不易设置的过长，避免第二IMU长时间未能得到校正，检测的实时姿态数据漂移误差过大，影响计算机设备确定肢体位置姿态信息；提示信息可以是语音形式提示用户完成预设动作，也可以是文字形式提示用户，还可以是头戴式显示设备生成相关图像提示用户，只要是能够提示用户完成预设动作的信息均可，本实施例对此不做限制；预设动作包括使多个部署于第二IMU上的预设标记图案中的任意一个能够被图像采集单元采集到的动作，可以是抬手、抬腿，也可以是轻触用户佩戴的头戴式显示设备，只要是能够让任一预设标记图案被图像采集单元成功采集的动作均可，本实施例对此同样不做限制。

在一些实施方式中，人体姿态确定装置600还可以包括：虚拟人体模型生成模块。虚拟人体模型生成模块用于根据姿态确定模块640确定的人体姿态信息，对所述人体姿态进行三维重构计算，得出所述用户的虚拟人体模型。其中，三维重构计算通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型，可以是纹理恢复形状法、阴影恢复形状法等被动式三维重建技术，也可以是莫尔条纹法、结构光法等主动式三维重建技术，只要能根据姿态信息建立出用户相应的虚拟人体模型即可，本实施例对此不做限制。

在该方式下，虚拟人体模型生成模块生成用户的虚拟人体模型，所述用户的虚拟人体模型的姿态信息实时跟随用户的姿态信息，实现对用户的动作捕捉。

在本实施例中，获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，第一IMU部署于用户的头部，多个第二IMU部署于用户的肢体；获取图像采集单元所采集的实时图像；若检测到实时图像中包括有部署于第三IMU上的预设标记图案，第三IMU包括多个第二IMU中的至少一个第二IMU，对实时图像中的预设标记图案进行图像识别，得到预设标记图案的位姿信息；根据实时姿态数据、预设标记图案的位姿信息以及预设标记图案与第三IMU的相对位置关系，确定用户的人体姿态。如此，结合头部的第一IMU、用户肢体上的多个第二IMU采集的实时姿态数据以及图像采集单元的图像采集视线内的预设标记图案的位姿信息，共同计算用户的人体姿态，也就是说，通过结合了光学动作捕捉技术和基于惯性测量的动作捕捉技术，可以避免仅通过IMU采集的姿态数据存在漂移导致最终计算的人体姿态不准确等问题的发生，进而更为精准地推算出用户的人体姿态。

请参照图7，图7示出了本申请实施例提供的一种计算机设备700的结构框图，本申请实施例提供的上述方法可以由该计算机设备700执行。其中，计算机设备700可以是VR头戴式显示设备、AR头戴式显示设备、MR头戴式显示设备、智能手机、平板电脑以及笔记本电脑等能够运行应用程序的设备。

本申请实施例中的计算机设备700可以包括一个或多个如下部件：处理器701、存储器702、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器702中并被配置为由一个或多个处理器701执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器701可以包括一个或者多个处理核。处理器701利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器702内的指令、程序、代码集或指令集，以及调用存储在存储器702内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器701中，单独通过一块通信芯片进行实现。

存储器702可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器702可用于存储指令、程序、代码、代码集或指令集。存储器702可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备700在使用中所创建的数据(比如上述的各种对应关系)等。

请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码801的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码801可以例如以适当形式进行压缩。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人体姿态确定方法，其特征在于，所述方法包括：

获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体；

获取图像采集单元所采集的实时图像；

若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息；

根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

2.根据权利要求1所述的方法，其特征在于，所述第一IMU以及所述多个第二IMU均为六轴IMU，所述实时姿态数据为实时6-DoF姿态数据，所述根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态，包括：

根据所述第一IMU采集的实时6-DoF姿态数据，计算用户头部的姿态信息，得到第一姿态信息；

根据所述多个第二IMU中每个第二IMU采集的实时6-DoF姿态数据，计算所述每个第二IMU部署在所述肢体上的肢体位置的姿态信息，得到与所述每个第二IMU对应的第二姿态信息；

根据所述预设标记图案的位姿信息以及所述相对位置关系，对所述第三IMU对应的姿态信息进行校正，得到第三姿态信息；

根据所述第一姿态信息、所述多个第二IMU中除所述第三IMU之外的其他第二IMU对应的第二姿态信息以及所述第三姿态信息，计算所述人体姿态。

3.根据权利要求1或2所述的方法，其特征在于，所述多个第二IMU分别部署于所述用户的左手腕、右手腕以及腰部上，实时姿态数据包括所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据以及所述腰部对应的腰部姿态数据；

所述根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态，包括：

根据所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述预设标记图案的位姿信息以及所述相对位置关系，确定所述用户的上半身姿态。

4.根据权利要求1或2所述的方法，其特征在于，所述多个第二IMU分别部署于所述用户的左手腕、右手腕、腰部、左膝以及右膝上，实时姿态数据包括所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据以及所述右膝对应的右膝姿态数据；

所述根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态，包括：

根据所述左手腕对应的左手姿态数据、所述右手腕对应的右手姿态数据、所述腰部对应的腰部姿态数据、所述左膝对应的左膝姿态数据、所述右膝对应的右膝姿态数据、所述预设标记图案的位姿信息以及所述相对位置关系，确定所述用户的全身姿态。

5.根据权利要求1所述的方法，其特征在于，在所述获取图像采集单元所采集的实时图像之后，所述方法还包括：

若未检测到所述实时图像中包括有部署于任一所述第二IMU上的所述预设标记图案，基于所述实时姿态数据计算所述用户的人体姿态。

6.根据权利要求1所述的方法，其特征在于，所述获取图像采集单元所采集的实时图像，包括：

实时获取所述图像采集单元每隔第一预设时长所采集的实时图像；

在所述实时获取所述图像采集单元每隔第一预设时长所采集的实时图像之后，所述方法还包括：

若获取到的第二预设时长内所采集的多张所述实时图像中均未包括有部署于任一第二IMU上的预设标记图案，输出提示信息，所述提示信息用于提示用户执行预设动作，以使在执行所述预设动作的过程中，任一所述第二IMU上的预设标记图案被所述图像采集单元采集到，所述第二预设时长大于所述第一预设时长。

7.根据权利要求1所述的方法，其特征在于，在所述确定出人体姿态之后，所述方法还包括：

对所述人体姿态进行三维重构计算，得出所述用户的虚拟人体模型。

8.一种人体姿态确定装置，其特征在于，所述装置包括：

数据获取模块，用于获取第一惯性测量单元IMU以及多个第二IMU采集的实时姿态数据，所述第一IMU部署于用户的头部，所述多个第二IMU部署所述于用户的肢体；

图像获取模块，用于获取图像采集单元所采集的实时图像；

视觉处理模块，用于若检测到所述实时图像中包括有部署于第三IMU上的预设标记图案，所述第三IMU包括所述多个第二IMU中的至少一个第二IMU，对所述实时图像中的所述预设标记图案进行图像识别，得到所述预设标记图案的位姿信息；

姿态确定模块，用于根据所述实时姿态数据、所述预设标记图案的位姿信息以及所述预设标记图案与所述第三IMU的相对位置关系，确定所述用户的人体姿态。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。

Images