CN111240469B - 手部动作捕捉的校准方法、装置、电子设备及存储介质 - Google Patents

手部动作捕捉的校准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111240469B
CN111240469B CN201911415837.1A CN201911415837A CN111240469B CN 111240469 B CN111240469 B CN 111240469B CN 201911415837 A CN201911415837 A CN 201911415837A CN 111240469 B CN111240469 B CN 111240469B
Authority
CN
China
Prior art keywords
hand
coordinate system
preset
determining
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911415837.1A
Other languages
English (en)
Other versions
CN111240469A (zh
Inventor
马浩
刘维甫
刘昊扬
戴若犁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NOITOM TECHNOLOGY Ltd
Original Assignee
BEIJING NOITOM TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NOITOM TECHNOLOGY Ltd filed Critical BEIJING NOITOM TECHNOLOGY Ltd
Priority to CN201911415837.1A priority Critical patent/CN111240469B/zh
Publication of CN111240469A publication Critical patent/CN111240469A/zh
Application granted granted Critical
Publication of CN111240469B publication Critical patent/CN111240469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种手部动作捕捉的校准方法、装置、电子设备及存储介质，该方法包括：通过位置固定的Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态；获取预设手部在至少两种手部姿势下运动传感器采集的运动数据；根据运动数据获取运动传感器在世界坐标系下的空间姿态；确定设备坐标系和世界坐标系之间的坐标转换参数；根据参考位置、参考姿态、坐标转换参数和运动传感器在世界坐标系下的空间姿态确定预设手部的位置校准参数和姿态校准参数；利用位置校准参数和姿态校准参数执行对预设手部在世界坐标系下的手部位置和姿态的计算操作。本申请实施例利用Leap Motion设备在可视范围内，无遮挡的情况下，提高了手部位置和姿态的测量与校准精度。

Description

手部动作捕捉的校准方法、装置、电子设备及存储介质
技术领域
本申请涉及动作捕捉领域，尤其涉及一种手部动作捕捉的校准方法、装置、电子设备及存储介质。
背景技术
在当前的手部动作捕捉系统中，需要采集用户手部的尺寸，手部位置测量的安装尺寸以及手腕部设置的每个惯性模块的安装姿态(即惯性模块的方位相对于手指方位的方位差)，用户手部的尺寸包括手掌的长度、宽度和厚度以及每个手指关节的长度，手部位置测量的安装尺寸即手部的基点位置相对于测量设备基点位置的位置差。
在采集上述数据的过程中，一方面需要通过尺寸来测量，有误差，而且测量不方便；另一方面需要通过操作校准动作以增加校准姿态来实现上述数据的准确采集。然而，在校准姿态过程中，由于需要增加过多的校准动作，用户之间的个体差别将会导致校准姿态的精度较低，易用性较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种手部动作捕捉的校准方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种手部动作捕捉的校准方法，包括：
通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
可选的，所述通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，包括：
获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息；
从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征；
根据所述图像特征构建所述预设手部的三维模型；
利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
可选的，所述确定所述设备坐标系和所述世界坐标系之间的坐标转换参数，包括：
确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；
确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
可选的，所述预设手部包括预设手掌和预设手指，所述根据所述参考位置确定所述预设手部的位置校准参数，包括：
根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
可选的，所述根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数，包括：
根据所述坐标转换参数及所述预设手部在所述设备坐标系下的参考姿态，确定所述预设手部在所述世界坐标系下的手部姿态；
确定所述运动传感器在所述世界坐标系下的空间姿态和所述预设手部在世界坐标系下的手部姿态之间的姿态差；
根据所述姿态差，确定所述预设手部的姿态校准参数。
第二方面，本申请提供了一种手部动作捕捉的校准装置，其特征在于，包括：
参考位置和参考姿态获取模块，用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
运动数据获取模块，用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
空间姿态获取模块，用于根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
坐标转换参数确定模块，用于根据所述参考姿态、所述空间姿态，确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
校准参数确定模块，用于根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态和所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
计算模块，用于利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
可选的，所述参考位置和参考姿态获取模块包括：
图像获取子模块，用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息；
图像特征提取子模块，用于从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征；
模型构建子模块，用于根据所述图像特征构建所述预设手部的三维模型；
生成子模块，用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
可选的，所述坐标转换参数确定模块包括：
坐标轴确定子模块，用于确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；
旋转参数确定子模块，用于确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
夹角确定子模块，用于根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
坐标转换参数确定子模块，用于利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
第三方面，本申请提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的手部动作捕捉的校准方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有手部动作捕捉的校准程序，所述手部动作捕捉的校准程序被处理器执行时实现如第一方面所述的手部动作捕捉的校准方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的一种手部动作捕捉的校准方法、装置、电子设备及计算机存储介质，该方法通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。本申请利用Leap Motion设备在可视范围内，无遮挡的情况下，提高了手部位置和姿态的测量与校准精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种手部动作捕捉的校准方法的流程示意图；
图2为本申请另一实施例提供的一种手部动作捕捉的校准方法的流程示意图；
图3为本申请实施例提供的一种手部动作捕捉的校准装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种手部动作捕捉的校准方法，包括以下步骤：
S101、通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定。
Leap Motion设备测量的是用户的手部在设备坐标系下的参考姿态，运动传感器(惯性传感器)测量的则是用户的手部在世界坐标系(惯性全局坐标系)下的空间姿态。
S102、获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上。
例如，运动传感器包括惯性传感器，惯性传感器设置在佩戴在用户手部的手套内，在用户手部的手掌和每个手指上均设置有惯性传感器，便于检测用户手部的运动数据(即惯性传感器IMU中加速度、陀螺仪、磁力计的测量数据)，本申请实施例的校准方法既包括了姿态校准(即惯性传感器和手部之间的姿态校准)又包括了位置校准(即的手部尺寸及手部位置校准)。
S103、根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态。
S104、获取所述设备坐标系和所述世界坐标系之间的坐标转换参数。
可选的，所述确定所述设备坐标系和所述世界坐标系之间的坐标转换参数，包括：
确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；例如，设备坐标系和所述世界坐标系的Y轴都朝上，则说明Y轴重合。
确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
S105、根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数。
可选的，上述位置校准参数即手部位置和手部尺寸的校准，所述预设手部包括预设手掌和预设手指，所述根据所述参考位置确定所述预设手部的位置校准参数，包括：
根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
可选的，所述姿态校准参数即运动传感器和手部的安装关系，所述根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数，包括：
根据所述坐标转换参数及所述预设手部在所述设备坐标系下的参考姿态，确定所述预设手部在所述世界坐标系下的手部姿态；
确定所述运动传感器在所述世界坐标系下的空间姿态和所述预设手部在世界坐标系下的手部姿态之间的姿态差；
根据所述姿态差，确定所述预设手部的姿态校准参数。
S106、利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
本申请实施例利用Leap Motion设备在可视范围内，无遮挡的情况下，提高了手部位置和姿态的测量与校准精度。
图2为本申请另一实施例提供的一种手部动作捕捉的校准方法，包括以下步骤：
S201、获取Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息。
例如，用户的手部在Leap Motion设备前方做Neutral pose1(即双手伸出放在眼前，掌心向前，掌面基本垂直于地面，五指伸直自然微张，保持静止一段时间)；用户的手部绕垂直地面轴(即设备坐标系和世界坐标系的相重合的坐标轴)缓慢旋转手部，至掌心正对人，即Neutral pose2。利用Neutral pose1和Neutral pose2的测量数据，可以计算手部的尺寸，包括手掌的长度、宽度和厚度，每个手指关节的长度。
S202、从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征。
S203、根据所述图像特征构建所述预设手部的三维模型。
S204、利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
S205、获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上。
S206、根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态。
S207、确定所述设备坐标系和所述世界坐标系之间的坐标转换参数。
S208、根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数。
S209、利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
图3为本申请另一实施例提供的一种手部动作捕捉的校准装置，该装置包括：
参考位置和参考姿态获取模块31，用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
运动数据获取模块32，用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
空间姿态获取模块33，用于根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
坐标转换参数确定模块34，用于根据所述参考姿态、所述空间姿态，确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
校准参数确定模块35，用于根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态和所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
计算模块36，用于利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
可选的，所述参考位置和参考姿态获取模块31包括：
图像获取子模块(图中未示出)，用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息；
图像特征提取子模块(图中未示出)，用于从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征；
模型构建子模块(图中未示出)，用于根据所述图像特征构建所述预设手部的三维模型；
生成子模块(图中未示出)，用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
可选的，所述坐标转换参数确定模块34包括：
坐标轴确定子模块(图中未示出)，用于确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；
旋转参数确定子模块(图中未示出)，用于确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
夹角确定子模块(图中未示出)，用于根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
坐标转换参数确定子模块(图中未示出)，用于利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
在本申请另一实施例中，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有手部动作捕捉的校准程序，所述手部动作捕捉的校准程序被处理器执行时实现如各方法实施例所述的手部动作捕捉的校准方法的步骤，例如包括：
通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
图4是本发明另一个实施例提供的移动终端的结构示意图。图4所示的移动终端400包括：至少一个处理器401、存储器402、至少一个网络接口404和其他用户接口403。移动终端400中的各个组件通过总线系统405耦合在一起。可理解，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统405。
其中，用户接口403可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统4021和应用程序4022。
其中，操作系统4021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序4022中。
在本发明实施例中，通过调用存储器402存储的程序或指令，具体的，可以是应用程序4022中存储的程序或指令，处理器401用于执行各方法实施例所提供的方法步骤，例如包括：
通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手部动作捕捉的校准方法，其特征在于，包括：
通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
2.根据权利要求1所述的方法，其特征在于，所述通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，包括：
获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息；
从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征；
根据所述图像特征构建所述预设手部的三维模型；
利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
3.根据权利要求2所述的方法，其特征在于，所述确定所述设备坐标系和所述世界坐标系之间的坐标转换参数，包括：
确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；
确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
4.根据权利要求1所述的方法，其特征在于，所述预设手部包括预设手掌和预设手指，所述根据所述参考位置确定所述预设手部的位置校准参数，包括：
根据所述参考位置确定所述预设手掌和预设手指的尺寸参数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述参考姿态、所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数，包括：
根据所述坐标转换参数及所述预设手部在所述设备坐标系下的参考姿态，确定所述预设手部在所述世界坐标系下的手部姿态；
确定所述运动传感器在所述世界坐标系下的空间姿态和所述预设手部在世界坐标系下的手部姿态之间的姿态差；
根据所述姿态差，确定所述预设手部的姿态校准参数。
6.一种手部动作捕捉的校准装置，其特征在于，包括：
参考位置和参考姿态获取模块，用于通过Leap Motion设备获取预设手部在设备坐标系下在至少两种手部姿势下的参考位置和参考姿态，其中，所述Leap Motion设备的位置固定；
运动数据获取模块，用于获取所述预设手部在至少两种手部姿势下动作捕捉系统中运动传感器采集的运动数据，所述动作捕捉系统中包括多个运动传感器，不同运动传感器分布佩戴在所述预设手部的不同手指上；
空间姿态获取模块，用于根据所述运动数据，获取所述运动传感器在世界坐标系下的空间姿态；
坐标转换参数确定模块，用于根据所述参考姿态、所述空间姿态，确定所述设备坐标系和所述世界坐标系之间的坐标转换参数；
校准参数确定模块，用于根据所述参考位置确定所述预设手部的位置校准参数，以及根据所述参考姿态和所述坐标转换参数和所述运动传感器在世界坐标系下的空间姿态确定所述预设手部的姿态校准参数；
计算模块，用于利用所述位置校准参数执行对所述预设手部在世界坐标系下的空间位置的计算操作，和利用所述姿态校准参数执行对所述预设手部在世界坐标系下的手部姿态的计算操作。
7.根据权利要求6所述的装置，其特征在于，所述参考位置和参考姿态获取模块包括：
图像获取子模块，用于获取所述Leap Motion设备采集的所述预设手部在所述手部姿势下按照预设动作由当前位置运动至目标位置的图像信息；
图像特征提取子模块，用于从所述图像信息中提取出所述预设手部在所述手部姿势下的图像特征；
模型构建子模块，用于根据所述图像特征构建所述预设手部的三维模型；
生成子模块，用于利用所述三维模型生成所述预设手部在设备坐标系下的参考位置和参考姿态。
8.根据权利要求7所述的装置，其特征在于，所述坐标转换参数确定模块包括：
坐标轴确定子模块，用于确定所述设备坐标系和所述世界坐标系的任意一个相重合的坐标轴；
旋转参数确定子模块，用于确定所述预设手部在当前位置所对应的所述手部姿势和所述预设手部在目标位置所对应的所述手部姿势之间的旋转参数；
夹角确定子模块，用于根据所述旋转参数，确定所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系；
坐标转换参数确定子模块，用于利用所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系确定所述坐标转换参数。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的手部动作捕捉的校准方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有手部动作捕捉的校准程序，所述手部动作捕捉的校准程序被处理器执行时实现如权利要求1至5中任一项所述的手部动作捕捉的校准方法的步骤。
CN201911415837.1A 2019-12-31 2019-12-31 手部动作捕捉的校准方法、装置、电子设备及存储介质 Active CN111240469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911415837.1A CN111240469B (zh) 2019-12-31 2019-12-31 手部动作捕捉的校准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415837.1A CN111240469B (zh) 2019-12-31 2019-12-31 手部动作捕捉的校准方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111240469A CN111240469A (zh) 2020-06-05
CN111240469B true CN111240469B (zh) 2023-04-25

Family

ID=70874186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415837.1A Active CN111240469B (zh) 2019-12-31 2019-12-31 手部动作捕捉的校准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111240469B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091769A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 姿态校准方法、装置、存储介质及电子设备
CN113776575B (zh) * 2021-08-16 2024-09-06 深圳市睿联技术股份有限公司 零点校准方法、设备、装置、电子设备及计算机可读存储介质
CN116086462B (zh) * 2023-04-06 2023-07-11 萱闱(北京)生物科技有限公司 轨迹数据处理方法、装置、介质和计算设备
CN117129956B (zh) * 2023-10-27 2024-04-09 深圳绿米联创科技有限公司 定位校正方法、装置、探测设备、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016108502A1 (en) * 2014-12-30 2016-07-07 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
US9069385B1 (en) * 2009-01-08 2015-06-30 Sprint Communications Company L.P. Communicating physical gestures as compressed data streams
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US10452195B2 (en) * 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
WO2016132371A1 (en) * 2015-02-22 2016-08-25 Technion Research & Development Foundation Limited Gesture recognition using multi-sensory data
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
US10503968B2 (en) * 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
CN106445130B (zh) * 2016-09-19 2018-12-18 武汉元生创新科技有限公司 一种用于手势识别的动作捕捉手套及其校准方法
CN107995885B (zh) * 2016-11-18 2021-02-26 深圳配天智能技术研究院有限公司 一种坐标系标定方法 、系统及装置
CN108268129B (zh) * 2016-12-30 2021-03-12 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
KR102414497B1 (ko) * 2017-09-29 2022-06-29 애플 인크. Imu 기반 장갑
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US11481029B2 (en) * 2018-02-09 2022-10-25 Samsung Electronics Co., Ltd. Method for tracking hand pose and electronic device thereof
CN108983978B (zh) * 2018-07-20 2020-11-10 北京理工大学 虚拟手控制方法及装置
CN109211267B (zh) * 2018-08-14 2022-08-23 广州虚拟动力网络技术有限公司 一种惯性动作捕捉姿态快速校准方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016108502A1 (en) * 2014-12-30 2016-07-07 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof

Also Published As

Publication number Publication date
CN111240469A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111240469B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111240468B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
US11532136B2 (en) Registration between actual mobile device position and environmental model
CN111681281B (zh) 肢体动作捕捉的校准方法、装置、电子设备及存储介质
US20140247280A1 (en) Federated mobile device positioning
CN108871311B (zh) 位姿确定方法和装置
CN112041785A (zh) 跟踪手姿势的方法及其电子设备
US10395106B2 (en) Human body posture data acquisition method and system, and data processing device
CN107506162B (zh) 坐标映射方法、计算机可读存储介质和投影仪
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN106168894B (zh) 一种内容显示方法及移动终端
CN109866217B (zh) 机器人里程定位方法、装置、终端设备及计算机存储介质
CN107534202B (zh) 一种测量天线姿态的方法和装置
CN111383332B (zh) 一种三维扫描和重建系统、计算机设备和可读存储介质
CN113867562B (zh) 触摸屏报点的校正方法、装置和电子设备
CN106598422B (zh) 混合操控方法及操控系统和电子设备
CN111275769B (zh) 一种单目视觉参数的校正方法及装置
CN108073283B (zh) 手部关节的计算方法及手套
CN109814714A (zh) 运动传感器的安装姿态确定方法、装置以及存储介质
CN112433628B (zh) 双光球交互笔的刚体位姿确定方法、装置和计算机设备
CN114516048B (zh) 机器人的零点调试方法、装置、控制器及存储介质
CN112433629B (zh) 双光球交互笔的刚体姿态确定方法、装置和计算机设备
CN110996091B (zh) 在可移动设备的显示图像上叠加信息的方法及装置
CN110751736B (zh) 一种ar模型生成方法、装置、终端和存储介质
CN104808922B (zh) 一种控制方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant