CN109814714B

CN109814714B - 运动传感器的安装姿态确定方法、装置以及存储介质

Info

Publication number: CN109814714B
Application number: CN201910055365.7A
Authority: CN
Inventors: 刘午达; 蒋斌; 刘维甫; 刘昊扬; 戴若犁
Original assignee: BEIJING NOITOM TECHNOLOGY Ltd
Current assignee: BEIJING NOITOM TECHNOLOGY Ltd
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2020-11-20
Anticipated expiration: 2039-01-21
Also published as: CN109814714A

Abstract

本申请涉及一种运动传感器的安装姿态确定方法、装置以及存储介质，运动传感器佩戴在被测对象的肢体上，方法包括：获取被测对象在朝向相同的至少两种预设姿势下动作捕捉系统中运动传感器的空间姿态；根据至少两种预设姿势，确定被测对象的面部朝向；根据面部朝向以及被测对象的预设模型，确定出不同预设姿势下被测对象的肢体姿态；根据空间姿态以及肢体姿态，确定运动传感器相对各自所安装的肢体的安装姿态。当运动传感器佩戴存在安装误差时，通过上述方法可以最终确定传感器的与肢体的相对位置，进而在利用运动传感器的运动数据进行还原时，基于确定的安装姿态，就可以避免还原得到的图像中肢体出现错位、偏移等错误。

Description

运动传感器的安装姿态确定方法、装置以及存储介质

技术领域

本申请涉及动作捕捉领域，尤其涉及一种运动传感器的安装姿态确定方法、装置以及存储介质。

背景技术

近年来，随着计算机技术、图像技术和传感器技术的快速发展，产生的动作捕捉技术在影视制作、游戏设计、运动分析、舞蹈采集和虚拟显示中得到的越来越广泛的应用。

动作捕捉技术已经作为一种强大的制作手段被充分地用到影视广告和动画制作等相关行业中。惯性动作捕捉系统是应用最广泛的动作捕捉系统，它需要在捕捉到的物体上设置惯性传感器来采集运动信息。

但是对于动作捕捉系统而言，传感器的安装方位(或姿态)直接决定了根据动作捕捉系统还原得到的模型的信息，例如：运动传感器要求安装在上臂的正前方，但如果运动传感器实际佩戴时由于运动等原因，移位到上臂的侧前方，那么在得到图像时，将以对象真是上臂的侧前方作为虚拟的上臂前方，进而导致最终得到的图像中肢体出现错乱。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种运动传感器的安装姿态确定方法、装置以及存储介质。

第一方面，本申请提供了一种运动传感器的安装姿态确定方法，运动传感器佩戴在被测对象的肢体上，所述方法包括：

获取所述被测对象在朝向相同的至少两种预设姿势下所述动作捕捉系统中运动传感器的空间姿态；

根据所述至少两种预设姿势，确定所述被测对象的面部朝向；

根据所述面部朝向以及所述被测对象的预设模型，确定出不同预设姿势下所述被测对象的肢体姿态；

根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态。

可选地，所述朝向相同的至少两种预设姿势包括：A pose、T pose和S pose中的至少两种，其中，所述T pose姿势时所述被测对象双脚并拢站立，双臂左右平伸；所述A pose姿势时所述被测对象双脚并拢站立且双臂垂直在体侧；所述S pose姿势时所述被测对象双脚并拢并曲膝，双臂并拢平伸胸前。

可选地，所述预设姿势为两种，所述根据所述至少两种预设姿势，确定所述被测对象的面部朝向，包括：

根据两种预设姿势确定所述被测对象的第一参考朝向；将所述第一参考朝向，确定为所述面部朝向；

或者，

所述预设姿势为三种，所述根据所述至少两种预设姿势，确定所述被测对象的面部朝向，包括：

根据所述预设姿势中至少两种预设姿势确定所述被测对象的第一参考朝向；根据所述预设姿势中至少两种预设姿势确定所述被测对象的第二参考朝向，用于确定所述第一参考朝向的至少两种预设姿势，与，用于确定所述第二参考朝向的至少两种预设姿势不相同；计算所述第一参考朝向和第二参考朝向的方向均值；将所述方向均值对应的方向确定为所述面部朝向。

可选地，根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态，包括：

在预设四元数模型中确定与所述空间姿态对应的Qsensor；

在预设四元数模型中确定与所述肢体姿态对应的Qbone；

利用旋转矩阵计算所述Qbone与Qsensor的姿态差值Qs-b；

将所述Qs-b确定所述安装姿态。

可选地，所述方法还包括：

获取动作捕捉系统佩戴在被测对象在肢体上的历史安装姿态；

利用计算得到的安装姿态对所述历史安装姿态进行更新。

可选地，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在被测对象的不同肢体上，所述方法还包括：

获取不同运动传感器所安装肢体的对应关系；

根据所述对应关系以及所述被测对象的预设模型，分别计算每个运动传感器的安装姿态。

第二方面，本申请提供了一种运动传感器的安装姿态确定装置，所述运动传感器佩戴在被测对象的肢体上，所述装置包括：

空间姿态获取模块，用于获取所述被测对象在朝向相同的至少两种预设姿势下所述动作捕捉系统中运动传感器的空间姿态；

面部朝向确定模块，用于根据所述至少两种预设姿势，确定所述被测对象的面部朝向；

肢体姿态确定模块，用于根据所述面部朝向以及所述被测对象的预设模型，确定出不同预设姿势下所述被测对象的肢体姿态；

安装姿态确定模块，用于根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态。

可选地，所述预设姿势为三种，所述面部朝向确定模块，包括：

第一朝向确定模块，用于根据所述预设姿势中至少两种预设姿势确定所述被测对象的第一参考朝向；

第二朝向确定模块，用于根据所述预设姿势中至少两种预设姿势确定所述被测对象的第二参考朝向，用于确定所述第一参考朝向的至少两种预设姿势，与，用于确定所述第二参考朝向的至少两种预设姿势不相同；

面部朝向确定子模块，用于将所述方向均值对应的方向确定为所述面部朝向。

第三方面，本申请提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面任一实施例提供的运动传感器的安装姿态确定方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有资源分配程序，所述资源分配程序被处理器执行时实现如第一方面任一实施例提供的运动传感器的安装姿态确定方法的步骤

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，最终确定的安装姿态，是运动传感器位于肢体上的真实方位，当运动传感器佩戴错误的情况，通过上述方法可以最终确定传感器的与肢体的相对位置，例如：位于上臂正前方的传感器可偏移到了上臂的外侧前方，进而在利用运动传感器的运动数据进行还原时，基于前述确定的安装姿态，就可以避免还原得到的图像中肢体出现错位、偏移等错误。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种场景示意图；

图2为本申请实施例提供的另一种场景示意图；

图3为本申请实施例提供的一种运动个传感器的安装姿态确定方法的流程示意图；

图4为本申请实施例提供的一种预设姿势的示意图；

图5为本申请实施例提供的另一种预设姿势的示意图；

图6为本申请实施例提供的又一种预设姿势的示意图；

图7为本申请实施例提供的一种运动个传感器的安装姿态确定装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1和图2为本申请实施例提供的一种场景示意图。

如图1所示，图中包括：被测对象100和运动传感器10，其中，图1和图2中被测对象以人为为例，运动传感器10仅以绑定在上臂上的进行示例，在其它实施例中，被测对象10上佩戴的运动传感器10还可以有多个，分别位于不同的肢体上。

图1所示为上臂上的运动传感器10正确佩戴的示意图，正确佩戴时，运动传感器10位于上臂的正前方，在被测对象佩戴时可能由于操作不熟练或者佩戴后运动等原因，会使得运动传感器的位置发生偏移，如图2所示，当图1中的运动传感器发生偏移后，可能如图2所示，上臂上的运动传感器10移动至上臂侧前方。进而在进行动作还原时，如果以上臂侧前方作为上臂的前方，利用该运动传感器还原得到的上臂图像就会出现位置、姿态等错误。

图3为本申请实施例提供的一种运动个传感器的安装姿态确定方法的流程示意图，如图3所示，该方法包括以下步骤：

S101，获取所述被测对象在朝向相同的至少两种预设姿势下所述动作捕捉系统中运动传感器的空间姿态。

为了实现对运动传感器的安装姿态进行校准，在被测对象佩戴运动传感器，让被测对象按照要求做至少两个预设的动作，然后根据这至少两个预设动作中的测量数据对运动传感器进行校准。

在本申请实施例中，预设姿势也即预设的动作，如图4、图5和图6所示，在本申请实施例中，预设姿势可以为三幅图中的姿态，图4中的姿态为T pose，图4为T pose下被测对象的正面和侧面图像，被测对象在T pose姿势时所述被测对象双脚并拢站立，双臂左右平伸，从正面看，人体的姿势像是大写英文字母T。

图5中的姿态为A pose，图5为A pose下被测对象的正面和侧面图像，被测对象在Apose姿势时，所述被测对象双脚并拢站立且双臂垂直在体侧；从正面看，人体的姿势像是大写英文字母A。

图6中的姿态为S pose，图6为S pose下被测对象的正面和侧面图像，被测对象在Spose姿势时所述被测对象双脚并拢并曲膝，双臂并拢平伸胸前。从侧面看，人体的姿势像是大写英文字母S。

在本申请所述中，预设姿势可以为上述三种姿态中的至少两种，在其它实施例中，根据需要还可以设定其它动作作为预设姿势。

S102，根据所述至少两种预设姿势，确定所述被测对象的面部朝向。

在每种预设姿势下，每个被测对象都有一个人体坐标系，另外，被测对象所在的环境还有一个大地坐标系，例如：用北东地来表示大地坐标系的三个坐标轴的方向，用人体的左上前表示人体坐标系的三个坐标轴方向。计算出被测对象的人体坐标系的坐标轴在大地坐标系中的方向，即可确定被测对象的面部朝向。

以A Pose T Pose为例，以左臂从A Pose到T Pose运动过程中，左臂上的传感器模块可以看做围绕着一个旋转轴进行旋转。因为已知APose的传感器姿态和TPose的传感器姿态，就可以求出传感器的旋转角位移(也就是姿态变化)，而这个旋转角位移是围绕旋转轴进行旋转的，这个旋转轴可以通过旋转角位移求出(具体原理，参见欧拉旋转定理中的描述)，而这个旋转轴的方向就是面部朝向方向。

同理利用A Pose和S Pose，腿部弯曲过程，腿部是绕着身体左侧的另一旋转轴进行旋转，根据该旋转轴可以求得身体左侧的方向，进而也就可以求出面部朝向。

S103，根据所述面部朝向以及所述被测对象的预设模型，确定出不同预设姿势下所述被测对象的肢体姿态。

针对每个被测对象，预先建立好对其对应的预设模型，在预设模型中有与被测对象对应的骨骼模型，当确定被测对象的面部后，可以根据控制所述预设模型按照执行与所述预设姿势对应的动作，参见前述关于A pose、T pose和S pose的描述，根据预设模型的不同动作，确定出被测对象在不同姿态下对应的肢体姿态，例如：在A pose下胳膊的姿态为下垂，腿部的姿态为站直，或者，在S pose下胳膊的姿态为并拢平伸与胸前，腿部的姿态为并拢并屈膝等。

S104，根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态。

在本申请实施例中，该步骤可以包括以下步骤：

S11，在预设四元数模型中确定与所述空间姿态对应的Qsensor。

S12，在预设四元数模型中确定与所述肢体姿态对应的Qbone。

S13，利用旋转矩阵计算所述所述Qbone与Qsensor的姿态差值Qs-b。

S14，将所述Qs-b确定所述安装姿态。

在本申请一个实施例中个，在前述方法实施例的基础上，当所述预设姿势为两种，前述步骤S102可以包括以下步骤：

S21，根据两种预设姿势确定所述被测对象的第一参考朝向；

S22，将所述第一参考朝向，确定为所述面部朝向；

在本申请一个实施例中，在前述方法实施例的基础上，当所述预设姿势为三种，前述步骤S102可以包括以下步骤：

S31，根据所述预设姿势中至少两种预设姿势确定所述被测对象的第一参考朝向。

至少两种预设姿势，可以为A pose和T pose，也可以为A pose和S pose，也可以为T pose和S pose，还可以同时为三种pose。

由于被测对象在执行预设姿势对应的动作时，并不能严格按照正确的动作执行，那么根据第一预设姿势和第二预设姿势可以确定出被测对象的一个参考朝向，例如：南偏东5°。

S32，根据所述预设姿势中至少两种预设姿势确定所述被测对象的第二参考朝向。

其中，用于确定所述第一参考朝向的至少两种预设姿势，与，用于确定所述第二参考朝向的至少两种预设姿势不相同。

为了提高准确性，还可以利用第二预设姿势和第三预设姿势确定出被测对象的另一参考朝向，例如：南偏东1°。

S33，计算所述第一参考朝向和第二参考朝向的方向均值。

例如：如果一个参考朝向为南偏东5°，另一个参考朝向为南偏东1°，那么可以用两者的均值，也即南偏东3°作为一个中间值，减少由于单次计算的误差，提高计算的精度。

S34，将所述方向均值对应的方向确定为所述面部朝向。

在本申请实施例中，当用户连续佩戴动作捕捉设备较长时间时，还可以在佩戴过程中，进行多次校准，例如：在用户刚开始佩戴时，可以确定一次运动传感器的安装姿态，得到第一次安装姿态，并存储，在之后的一段时间内可以持续利用第一次安装姿态进行校准，在预设时间后，用户可以再一次确定运动传感器的安装姿态，得到第二次安装姿态，并利用第二次安装姿态对前一次的安装姿态进行更新。

为此，在本申请实施例中，该方法还可以包括以下步骤：

S41，获取动作捕捉系统佩戴在被测对象在肢体上的历史安装姿态；

S42，利用计算得到的安装姿态对所述历史安装姿态进行更新。

通过持续对历史安装姿态进行更新，这样即使用户在运动过程中，传感器发生偏移，可以避免由于仍使用原来的安装姿态同样会带来误差的问题，提高了基于利用动作捕捉系统进行还原时的精度。

在本申请实施例中，当动作捕捉系统中包含有多个运动传感器时，该方法还可以同时对每个运动传感器的安装姿态均进行检测，为此，该方法还可以包括以下步骤：

S51，获取不同运动传感器所安装肢体的对应关系。

由于每个运动传感器都有一个唯一的识别标识ID，并每个运动传感器在肢体上的安装位置也是确定的，因此，识别标识ID和所安装的肢体之间存在对应关系。例如：编号为001的运动传感器佩戴时位于用户的左上臂，编号为002的运动传感器佩戴时位于用户的右上臂，等等。

S52，确定所述被测对象上所有肢体上所安装的多个运动传感器相对各自所安装的肢体的安装姿态。

基于前面的对应关系，可以确定出被测对象上所有肢体上所安装的多个运动传感器，进而就可以分别计算出每个运动传感器相对于各自所安装的肢体的安装姿态。

图7为本申请实施例提供的一种运动传感器的安装姿态确定装置的结构示意图。所述运动传感器佩戴在被测对象的肢体上，如图7所示，该装置包括：空间姿态获取模块11、面部朝向确定模块12、肢体姿态确定模块13和安装姿态确定模块14，其中，

空间姿态获取模块11，用于获取所述被测对象在朝向相同的至少两种预设姿势下所述动作捕捉系统中运动传感器的空间姿态；

面部朝向确定模块12，用于根据所述至少两种预设姿势，确定所述被测对象的面部朝向；

肢体姿态确定模块13，用于根据所述面部朝向以及所述被测对象的预设模型，确定出不同预设姿势下所述被测对象的肢体姿态；

安装姿态确定模块14，用于根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态。

在本申请一个实施例中，所述预设姿势为三种，所述面部朝向确定模块，包括：

均值计算模块，用于计算所述第一参考朝向和第二参考朝向的方向均值；

在本申请一个实施例中，所述朝向相同的至少两种预设姿势包括：A pose、T pose和S pose中的至少两种，其中，所述T pose姿势时所述被测对象双脚并拢站立，双臂左右平伸；所述A pose姿势时所述被测对象双脚并拢站立且双臂垂直在体侧；所述S pose姿势时所述被测对象双脚并拢并曲膝，双臂并拢平伸胸前。参见前述关于图4、图5和图6的描述，在此不再赘述。

在本申请一个实施例中，所述预设姿势为两种，所述根据所述至少两种预设姿势，面部朝向确定模块，包括：

参考朝向确定子模块，用于根据两种预设姿势确定所述被测对象的第一参考朝向；面部朝向确定子模块，用于将所述第一参考朝向，确定为所述面部朝向。

在本申请一个实施例中，安装姿态确定模块，包括：

第一计算模块，用于在预设四元数模型中确定与所述空间姿态对应的Qsensor；

第二计算模块，用于在预设四元数模型中确定与所述肢体姿态对应的Qbone；

差值计算模块，用于利用旋转矩阵计算所述所述Qbone与Qsensor的姿态差值Qs-b；

安装姿态确定子模块，用于将所述Qs-b确定所述安装姿态。

在本申请一个实施例中，该装置还可以包括：

历史姿态获取模块，用于获取动作捕捉系统佩戴在被测对象在肢体上的历史安装姿态；

更新模块，用于利用计算得到的安装姿态对所述历史安装姿态进行更新。

在本申请一个实施例中，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在被测对象的不同肢体上，该装置还包括：

对应关系获取模块，用于获取不同运动传感器所安装肢体的对应关系；

所述安装姿态确定模块，还用于确定所述被测对象上所有肢体上所安装的多个运动传感器相对各自所安装的肢体的安装姿态。

本申请还提供了一种电子设备，如图8所示，本实施例公开一种电子设备，包括：处理器31、存储器32、通信接口33和总线34；

其中，所述处理器31、存储器32、通信接口33通过所述总线34完成相互间的通信；

所述通信接口33用于外部设备之间的信息传输；所述外部设备例如为用户设备UE；

所述处理器31用于调用所述存储器32中的程序指令，以执行如各方法实施例所提供的方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有资源分配程序，所述资源分配程序被处理器执行时实现如前述方法实施例中所要求保护的运动传感器的安装姿态确定方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种运动传感器的安装姿态确定方法，其特征在于，运动传感器佩戴在被测对象的肢体上，所述方法包括：

获取所述被测对象在朝向相同的至少两种预设姿势下动作捕捉系统中运动传感器的空间姿态；

根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态；

2.根据权利要求1所述的方法，其特征在于，所述朝向相同的至少两种预设姿势包括：Apose、T pose和S pose中的至少两种，其中，所述T pose姿势时所述被测对象双脚并拢站立，双臂左右平伸；所述A pose姿势时所述被测对象双脚并拢站立且双臂垂直在体侧；所述S pose姿势时所述被测对象双脚并拢并曲膝，双臂并拢平伸胸前。

3.根据权利要求2所述的方法，其特征在于，根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态，包括：

在预设四元数模型中确定与所述空间姿态对应的Qsensor；

在预设四元数模型中确定与所述肢体姿态对应的Qbone；

利用旋转矩阵计算所述Qbone与Qsensor的姿态差值Qs-b；

将所述Qs-b确定为所述安装姿态。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用计算得到的安装姿态对所述历史安装姿态进行更新。

5.根据权利要求1所述的方法，其特征在于，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在被测对象的不同肢体上，所述方法还包括：

获取不同运动传感器所安装肢体的对应关系；

确定所述被测对象上所有肢体上所安装的多个运动传感器相对各自所安装的肢体的安装姿态。

6.一种运动传感器的安装姿态确定装置，其特征在于，所述运动传感器佩戴在被测对象的肢体上，所述装置包括：

空间姿态获取模块，用于获取所述被测对象在朝向相同的至少两种预设姿势下动作捕捉系统中运动传感器的空间姿态；

安装姿态确定模块，用于根据所述空间姿态以及所述肢体姿态，确定所述运动传感器相对各自所安装的肢体的安装姿态；

其中，所述预设姿势为三种，所述面部朝向确定模块，包括：

第二朝向确定模块，用于根据所述预设姿势中至少两种预设姿势确定所述被测对象的第二参考朝向，用于确定所述第一参考朝向的至少两种预设姿势，与用于确定所述第二参考朝向的至少两种预设姿势不相同；

7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项运动传感器的安装姿态确定方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有资源分配程序，所述资源分配程序被处理器执行时实现如权利要求1至4中任一项运动传感器的安装姿态确定方法的步骤。