CN108268129B - 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套 - Google Patents

对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套 Download PDF

Info

Publication number
CN108268129B
CN108268129B CN201710003195.9A CN201710003195A CN108268129B CN 108268129 B CN108268129 B CN 108268129B CN 201710003195 A CN201710003195 A CN 201710003195A CN 108268129 B CN108268129 B CN 108268129B
Authority
CN
China
Prior art keywords
coordinate system
motion
optical
inertial
motion capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710003195.9A
Other languages
English (en)
Other versions
CN108268129A (zh
Inventor
戴若犁
刘昊扬
马浩
何元会
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NOITOM TECHNOLOGY Ltd
Original Assignee
BEIJING NOITOM TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NOITOM TECHNOLOGY Ltd filed Critical BEIJING NOITOM TECHNOLOGY Ltd
Publication of CN108268129A publication Critical patent/CN108268129A/zh
Application granted granted Critical
Publication of CN108268129B publication Critical patent/CN108268129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种对动作捕捉手套上的多个传感器进行校准的方法和装置以及动作捕捉手套。多个传感器包括光学追踪器和第一惯性测量单元。该方法包括：分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息；以及根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准。

Description

对动作捕捉手套上的多个传感器进行校准的方法和装置及动 作捕捉手套
技术领域
本申请涉及动作捕捉技术领域，具体涉及对动作捕捉手套上的多个传感器进行校准的方法和装置以及动作捕捉手套。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，其已越来越广泛地应用到各行各业以及人们的实际生活中，并且具有广阔的发展前景。
动作捕捉在虚拟现实技术中是非常重要的。对真实世界中的运动数据进行采集，都需要通过动作捕捉来完成。动作捕捉通常需要用设备来完成，而动作捕捉手套就是最常用的一种动作捕捉设备。
在使用动作捕捉手套进行动作捕捉之前，需要对手套进行校准，以确保所采集到的数据的正确性和精确性，提高手部姿态还原准确度，提升用户体验。
在现有技术中，有以下几种手部动作捕捉方案。
第一，基于变形电阻的数据手套：手套内不同位置放置多个变形电阻传感器，通过测量手部姿态变化导致的传感器弯曲，实现手部动作捕捉。为了保证捕捉精度，通常传感器数量很多(十几个)。这种方案的优点是，无需借助其他外部设备，如摄像头，基本不受环境影响；但缺点是成本高，传感器非线性、强耦合，无法获得手部位置信息，校准方法复杂、耗时长。
第二，基于光学标记点的手部动作捕捉：在手部及手指关节上放置多个光学标记点，通过传统光学动作捕捉系统(多个摄像头)，采集每个光学标记点位置，从而还原手部动作。这种方案的优点是精度高；但缺点是系统复杂，成本非常昂贵，工作环境有限制，光学标记点易被遮挡，建模及校准复杂。
第三，基于深度图像的手部动作捕捉：通过深度摄像头捕捉手部动作的深度图像，从而识别手部动作。这种方案的优点是，手部不需要佩戴任何传感器，无需校准；但缺点是精度低，易受环境影响，易遮挡，捕捉范围小。
第四，基于惯性传感器的手部动作捕捉：通过在手部不同位置放置惯性传感器，测量手掌及手指的姿态，捕捉手部动作。这种方案的优点是简单易用，价格便宜，精度较高，不受空间约束；但缺点是受环境磁场影响，实现手指精确捕捉需要传感器数量较多，无法确定手部在空间中的位置，无法实现多个手部动作的交互。
发明内容
本申请提供了一种对动作捕捉手套上的多个传感器进行校准的方法和装置以及动作捕捉手套。
根据本申请的一个方面，提供了一种对动作捕捉手套上的多个传感器进行校准的方法，所述多个传感器包括光学追踪器和第一惯性测量单元，所述方法包括：分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息；以及根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准。
可选地，所述动作捕捉手套的多个动作包括第一动作和第二动作，并且根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准包括：根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量；根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量；以及根据所述光学坐标系中的人体正面朝向向量和所述惯性坐标系中的人体正面朝向向量，得到所述光学坐标系和所述惯性坐标系的变换关系。
可选地，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背，并且根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准还包括：根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息以及所述惯性坐标系中的人体正面朝向向量，计算所述第一惯性测量单元在手掌骨骼坐标系下的安装姿态。
可选地，所述多个传感器还包括多个第二惯性测量单元，所述多个第二惯性测量单元分别安装于所述动作捕捉手套的不同指节上，并且所述方法还包括：在所述动作捕捉手套的第三动作采集所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息；以及根据在所述第三动作采集的所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息，计算所述多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
可选地，根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准还包括：根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息以及所述第二动作对手部运动学模型的几何约束方程，计算所述光学追踪器相对于手部的安装位置。
可选地，该方法还包括：在第二动作变形集合中的多个动作姿态采集所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，其中所述第二动作变形集合包括位于所述多个动作姿态的、第二动作的变形动作；利用在所述第二动作变形集合中的多个动作姿态采集的所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，在所述多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程；以及利用最小二乘法对所述几何约束方程中的运动学参数进行估算，以获得所述光学追踪器相对于手部的安装位置和安装姿态。
可选地，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述方法还包括：监控所述左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分所述左手动作捕捉手套和右手动作捕捉手套。
可选地，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量包括：根据在所述第一动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点；根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点；以及根据所述第一动作中点和所述第二动作中点，计算所述光学坐标系中的人体正面朝向向量。
可选地，根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量包括：根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述第一惯性测量单元从所述第一动作到所述第二动作在惯性坐标系下的旋转向量；以及将所述旋转向量向所述惯性坐标系的水平面投影并归一化，以得到所述惯性坐标系中的人体正面朝向向量。
可选地，所述光学追踪器安装于所述动作捕捉手套的腕部或小臂部，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背。
可选地，所述多个第二惯性测量单元中的每个均安装于所述动作捕捉手套的第二指节上。
根据本申请的另一方面，提供了一种对动作捕捉手套上的多个传感器进行校准的装置，所述多个传感器包括光学追踪器和第一惯性测量单元，所述装置包括：采集单元，分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息；以及校准单元，根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准。
可选地，所述动作捕捉手套的多个动作包括第一动作和第二动作，并且所述校准单元包括：计算子单元，根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量，并且根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量；以及坐标变换获取子单元，根据所述光学坐标系中的人体正面朝向向量和所述惯性坐标系中的人体正面朝向向量，得到所述光学坐标系和所述惯性坐标系的变换关系。
可选地，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背，并且所述计算子单元根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息以及所述惯性坐标系中的人体正面朝向向量，计算所述第一惯性测量单元在手掌骨骼坐标系下的安装姿态。
可选地，所述多个传感器还包括多个第二惯性测量单元，所述多个第二惯性测量单元分别安装于所述动作捕捉手套的不同指节上，并且所述采集单元在所述动作捕捉手套的第三动作采集所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息；以及所述计算子单元根据在所述第三动作采集的所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息，计算所述多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
可选地，所述计算子单元根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息以及所述第二动作对手部运动学模型的几何约束方程，计算所述光学追踪器相对于手部的安装位置。
可选地，所述采集单元在第二动作变形集合中的多个动作姿态采集所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，其中所述第二动作变形集合包括位于所述多个动作姿态的、第二动作的变形动作；并且所述装置还包括：建立单元，利用在所述第二动作变形集合中的多个动作姿态采集的所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，在所述多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程；以及估算单元，利用最小二乘法对所述几何约束方程中的运动学参数进行估算，以获得所述光学追踪器相对于手部的安装位置和安装姿态。
可选地，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述装置还包括：区分单元，监控所述左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分所述左手动作捕捉手套和右手动作捕捉手套。
可选地，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述计算子单元根据在所述第一动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点；根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点；以及根据所述第一动作中点和所述第二动作中点，计算所述光学坐标系中的人体正面朝向向量。
可选地，所述计算子单元根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述第一惯性测量单元从所述第一动作到所述第二动作在惯性坐标系下的旋转向量；以及将所述旋转向量向所述惯性坐标系的水平面投影并归一化，以得到所述惯性坐标系中的人体正面朝向向量。
可选地，所述光学追踪器安装于所述动作捕捉手套的腕部或小臂部，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背。
可选地，所述多个第二惯性测量单元中的每个均安装于所述动作捕捉手套的第二指节上。
根据本申请的另一方面，提供了一种动作捕捉手套，包括安装于其上的光学追踪器和第一惯性测量单元，所述光学追踪器和第一惯性测量单元由如上所述的方法校准。
附图说明
图1示出了根据本申请一个实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。
图2示出了根据本申请一个实施方式对光学追踪器和第一惯性测量单元进行校准的流程图。
图3参照人体示出了第一动作的一个示例。
图4和图5参照人体分别示出了第二动作的一个示例。
图6示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。
图7示出了第一惯性测量单元和第二惯性测量单元在动作捕捉手套上安装位置的示例。
图8参照手部示出了第三动作的一个示例。
图9a示意性地示出了在P-Pose下动作捕捉手套食指的姿态。
图9b示意性地示出了在P-Pose下动作捕捉手套大拇指与食指的姿态。
图10示出了如图4所示的第二动作V-Pose的第二动作变形集合。
图11示出了根据该另一实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。
图12示出了根据本申请一个实施方式计算光学坐标系中的人体正面朝向向量的流程图。
图13示出了根据本申请一个实施方式计算惯性坐标系中的人体正面朝向向量的流程图。
图14示出了根据本申请一个实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。
图15示出了根据本申请一个实施方式的校准单元的框图。
图16示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。
图17示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。
具体实施方式
以下参照附图对本申请的实施方式进行详细描述。应注意，以下描述仅仅是示例性的，而并不旨在限制本申请。此外，在以下描述中，将采用相同的附图标号表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征，可彼此结合，以形成本申请范围内的其他实施方式。
在本申请中，动作捕捉手套上安装有多个传感器，包括光学追踪器和惯性测量单元(Inertial Measurement Unit，IMU)。
光学追踪器可由多个光学标记点或光敏传感器组成，能够与光学定位系统配合，测量追踪器自身在光学世界坐标系(Optical Coordinate System，OCS)中的位置(可用一组三维坐标表示)和姿态(可用一组四元数表示)，并且光学定位系统能够获得每个光学追踪器的编号。
惯性测量单元可包括加速度计、陀螺仪、磁力计，能够测量模块自身在惯性世界坐标系(World Coordinate System，WCS)(例如，北-东-地)中的姿态，可用一组四元数表示。惯性测量单元所测量的数据可由数据采集模块接收，并通过无线通讯模块将惯性测量数据发送给接收装置。
图1示出了根据本申请一个实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。如图1所示，该方法1000包括步骤S1100和S1200。
在步骤S1100中，分别在动作捕捉手套的多个动作下采集光学追踪器在光学坐标系下的位置信息和第一惯性测量单元在惯性坐标系下的姿态信息。使用者在实际使用动作捕捉手套之前，可戴上该手套摆出不同的动作，以对手套上的传感器进行校准。在这些动作下，需要分别采集光学追踪器在光学坐标系下的位置信息(可用一组三维坐标表示)和第一惯性测量单元在惯性坐标系下的姿态信息(可用一组四元数表示)。
在步骤S1200中，根据在步骤S1100中采集的位置信息和姿态信息，对光学追踪器和第一惯性测量单元进行校准。在本申请中，校准可包括对光学坐标系与惯性坐标系之间变换关系的校准，对光学追踪器安装位置的校准，对惯性测量单元安装姿态的校准等。
由此，根据本实施方式，利用动作捕捉手套上安装的光学追踪器和惯性测量单元采集不同动作下的光学位置信息和惯性姿态信息，从而将这两种测量结果结合起来，对动作捕捉手套上的传感器进行校准，可以提高手部姿态还原准确度，提升用户体验。
图2示出了根据本申请一个实施方式对光学追踪器和第一惯性测量单元进行校准的流程图。在本实施方式中，上述动作捕捉手套的多个动作可包括第一动作和第二动作。图3参照人体示出了第一动作的一个示例，图4和图5参照人体分别示出了第二动作的一个示例。
如图3所示，以使用者为参照，第一动作可以是：身体直立，手臂伸直且垂直于地面，手指并拢，此时人体的造型类似于英文字母A，因此可称为A-Pose。在A-Pose，可单手戴一只动作捕捉手套(单手模式)，也可左右手各戴一只动作捕捉手套(双手模式)进行校准。
如图4所示，以使用者为参照，第二动作可以是：双手合十，放于身体正前方，掌心相对并贴合，手指并拢并垂直于地面，此时手掌轮廓类似于倒置的英文字母V，因此可称为V-Pose。在V-Pose，通常可左右手各戴一只动作捕捉手套(双手模式)进行校准。
如图5所示，以使用者为参照，第二动作还可以是：手臂在身体侧面水平伸直，掌心向下，此时人体的造型类似于英文字母T，因此可称为T-Pose。在T-Pose，通常可单手戴一只动作捕捉手套(单手模式)进行校准。
本领域技术人员可以理解，图3至图5所示的第一动作和第二动作仅仅是示例性的，而并不是对本申请的限制。只要动作捕捉手套在第一动作和第二动作之间具有位置和姿态的变化，即可适用于本申请。
再回到图2所示，上述步骤S1200可包括子步骤S1210至S1230。在子步骤S1210中，根据在第一动作和第二动作采集的光学追踪器在光学坐标系下的位置信息，计算光学坐标系中的人体正面朝向向量。具体计算过程在下文中进行详细描述。
随后，在子步骤S1220中，根据在第一动作和第二动作采集的第一惯性测量单元在惯性坐标系下的姿态信息，计算惯性坐标系中的人体正面朝向向量。具体计算过程在下文中进行详细描述。
在子步骤S1230中，根据光学坐标系中的人体正面朝向向量和惯性坐标系中的人体正面朝向向量，得到光学坐标系和惯性坐标系的变换关系。由此，可实现对光学坐标系和惯性坐标系之间变换关系的校准，以用于后续动作还原的数据处理过程，提高还原准确度。
以下举例说明根据光学坐标系中的人体正面朝向向量和惯性坐标系中的人体正面朝向向量，得到光学坐标系和惯性坐标系之间变换关系的过程。本领域技术人员可以理解，该过程并不仅限于以下描述，所有能够利用在两坐标系中对应向量获得两坐标系变换关系的方法均属于本申请的范围内。
在实际使用场景中，光学世界坐标系(OCS)的Y轴始终朝上(重力方向的反方向)，惯性世界坐标系(WCS)的Z轴始终朝下(重力方向)，且均为右手坐标系。新建一个第二惯性世界坐标系(WCS2)，其X轴沿原惯性世界坐标系(WCS)的X轴方向，Y轴沿WCS的Z轴反方向(即始终朝上)，Z轴沿WCS的Y轴方向，构成右手坐标系。WCS2与OCS的相对关系是绕其Y轴方向(向上)旋转一个固定角度的关系，该角度是WCS2的X轴与OCS的X轴之间的夹角。
根据人体正面朝向(FD)在WCS中的向量表示FD_WCS可以得到其在WCS2中的向量表示FD_WCS2。进而，根据FD_OCS和FD_WCS2可以就解出OCS与WCS2之间的夹角Theta(θ)，通过Theta可构造一个四元数qO_W2表示从OCS到WCS2之间的旋转变换关系。而从WCS2到WCS的转换变换关系qW2_W可由WCS2的构造方法求得。最终，通过四元数乘法运算可以得到从OCS到WCS的旋转变换关系，用一个四元数qO_W＝qW2_W*qO_W2表示。
根据本申请的一个实施例，第一惯性测量单元可安装于动作捕捉手套的手掌心或手掌背。在这种情况下，上述步骤S1200还可包括：根据在第一动作和第二动作采集的第一惯性测量单元在惯性坐标系下的姿态信息以及惯性坐标系中的人体正面朝向向量，计算第一惯性测量单元在手掌骨骼坐标系下的安装姿态。该结果可用于后续动作还原的数据处理过程，提高还原准确度。
手部骨骼坐标系是定义在手部各个骨骼上的跟骨骼绑定、随骨骼运动的坐标系，包括手掌骨骼坐标系和手指骨骼坐标系，其中手掌骨骼坐标系是指在手掌骨骼上的跟骨骼绑定、随骨骼运动的坐标系，手指骨骼坐标系是指在某根手指骨骼上的跟骨骼绑定、随骨骼运动的坐标系。在图3所示的A-Pose中，根据FD_WCS可以知道手掌骨骼坐标系(BoneCoordinate System，BCS)的三个坐标轴在WCS中的表示，进而可以得到从WCS到BCS的旋转变换四元数qW_B。同时，惯性测量单元可以测量其自身在惯性世界系中的姿态qW_S。所以，惯性测量单元在手掌骨骼坐标系中的姿态可以通过四元数计算得到：qB_S＝qW_S*qW_B.inverse()。
图6示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。如图6所示，除了步骤S1100和S1200之外，该方法1000’还包括步骤S1300和S1400。为了简要起见，以下将仅描述图6所示的实施方式与图1的不同之处，并将略去其相同之处的详细描述。
根据该实施方式，动作捕捉手套上还安装有多个第二惯性测量单元，该多个第二惯性测量单元分别安装于动作捕捉手套的不同指节上。
图7示出了第一惯性测量单元和第二惯性测量单元在动作捕捉手套上安装位置的示例。本领域技术人员可以理解，图7所示的各惯性测量单元的安装位置仅仅是示例性的，并不构成对本申请的限制。
如图7所示，第一惯性测量单元可安装于与人体手掌骨骼相对应的位置，即动作捕捉手套的手掌心或手掌背。图7所示出的五个第二惯性测量单元可分别安装于与每根手指骨骼的第二指节相对应的位置，即动作捕捉手套的第二指节。此外，根据本申请的一个实施例，光学追踪器可安装于动作捕捉手套的腕部或小臂部。
再回到图6所示，在步骤S1300中，在动作捕捉手套的第三动作采集第一惯性测量单元和多个第二惯性测量单元在惯性坐标系下的姿态信息。
图8参照手部示出了第三动作的一个示例。如图8所示，以使用者的手部为参照，第三动作可以是：五指捏齐，大拇指伸直并与食指指尖触碰，其余四指微弯并齐，此时人体手部的大拇指与食指捏合(Pinch)，因此可称为P-Pose。在P-Pose，可单手戴一只动作捕捉手套(单手模式)，也可左右手各戴一只动作捕捉手套(双手模式)进行校准。本领域技术人员可以理解，图8所示的第三动作仅仅是示例性的，而并不是对本申请的限制。
再回到图6所示，在步骤S1400中，根据在第三动作采集的第一惯性测量单元和多个第二惯性测量单元在惯性坐标系下的姿态信息，计算多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
由此，可利用安装于动作捕捉手套指节上的第二惯性测量单元进行校准，既能够校准其安装姿态，又能够得到指关节角度插值参数和骨骼长度比例参数，以用于后续动作还原的数据处理过程，提高还原准确度。
以下将以图8所示的P-Pose为例，说明上述步骤S1400的计算过程。本领域技术人员可以理解，以下描述的计算过程仅仅是示例性的，并不作为对本申请的限制。
图9a示意性地示出了在P-Pose下动作捕捉手套食指的姿态；图9b示意性地示出了在P-Pose下动作捕捉手套大拇指与食指的姿态。
在该动作捕捉手套中，第一和第二惯性测量单元只能测量手掌骨骼的姿态及五个手指的第二节骨骼在空间中的姿态，所以能够得到手指的第二节骨骼与手掌骨骼之间的相对旋转，以及从手掌骨骼坐标系到第二指节骨骼坐标系的旋转变换四元数qH_F2。由于第一和三节手指骨骼上没有设置传感器，因此，其姿态需要通过插值算法估算得到。
根据qH_F2可以求得手指姿态的三个测量角度：屈伸角度Theta(θ)，外展内收角度Beta(β)和外旋内旋角度Gamma(γ)。其中外展内收角度和外旋内旋角度分配给第一指关节(手掌骨与第一节指骨指尖的关节)，而屈伸角度Theta(θ)根据图中给出的插值算法计算分配给所有三个手指指关节。图9a中所示的α1、α2和α3由下式表示：
α1＝λθ
α2＝(1-λ)θ
α3＝ηα2
上式中的lambda(λ)和eta(η)分别为第一指关节和第三指关节的关节角度插值参数。关节角度插值参数根据人体运动学研究，可预先设置有预设值。
在P-Pose，大拇指与食指指尖接触，两根手指构成几何闭链。根据测量的食指第二节骨骼(L2)与手掌骨骼(L)的角度Theta(θ)以及预设的手部骨骼尺寸，求解食指指尖关节角度Alpha1(α1)和Alpha2(α2)。
一方面，更新关节角度插值参数和骨骼长度比例参数：
当食指掌指关节角度插值参数lambda(λ)＝α1/θ在预设范围内时，更新该处的关节角度插值参数；否则，更新大拇指长度(骨骼长度比例参数＝更新的骨骼长度/预设长度)，使得重新计算的关节角度插值参数在预设范围的边界处。
另一方面，更新大拇指惯性测量单元的安装姿态：
根据更新后的关节角度插值参数和骨骼长度比例参数，计算食指及大拇指的指尖位置。根据更新后的大拇指指尖和指根位置，默认此时大拇指为伸直姿态，计算获得大拇指在惯性世界坐标系中的姿态qW_B。基于大拇指的姿态计算结果，及此时的大拇指惯性测量单元的测量姿态四元数qW_S，得到更新的大拇指惯性测量单元的安装姿态误差qB_S＝qW_S*qW_B.inverse()。
此过程中手指指尖位置是基于插值后的手指关节角度和手指骨骼长度计算得到的。
根据本申请的另一实施方式，上述步骤S1200还包括：根据在第二动作采集的光学追踪器在光学坐标系下的位置信息以及第二动作对手部运动学模型的几何约束方程，计算光学追踪器相对于手部的安装位置。
由于动作捕捉手套的任何动作都具有几何约束，可利用公式进行表达，从而能够根据所采集的位置信息计算出光学追踪器相对于手部的安装位置。
根据本申请的另一实施方式，动作捕捉手套的校准动作可具有动作变形集合。例如，图10示出了如图4所示的第二动作V-Pose的第二动作变形集合。如图10所示，以使用者为参照，以第二动作V-Pose为基础，双手保持合十，双臂绕肩部做“云手”动作，在空间中按图中箭头所示方向或反方向移动手掌。动作捕捉手套在该手掌的移动过程中各个位置处的动作即为第二动作变形集合。在如图10所示的第二动作变形集合下，通常可左右手各戴一只动作捕捉手套(双手模式)进行校准。
图11示出了根据该另一实施方式对动作捕捉手套上的多个传感器进行校准的方法的流程图。如图11所示，除了步骤S1100和S1200之外，该方法1000”还包括步骤S1500、S1600和S1700。为了简要起见，以下将仅描述图11所示的实施方式与图1的不同之处，并将略去其相同之处的详细描述。
在步骤S1500中，在第二动作变形集合中的多个动作姿态采集光学追踪器在光学坐标系下的位置信息和姿态信息以及第一惯性测量单元在惯性坐标系下的姿态信息。如上所述，第二动作变形集合可包括位于多个动作姿态的、第二动作的变形动作。
在步骤S1600中，利用在第二动作变形集合中的多个动作姿态采集的光学追踪器在光学坐标系下的位置信息和姿态信息以及第一惯性测量单元在惯性坐标系下的姿态信息，在多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程。
随后，步骤S1700中，利用最小二乘法对几何约束方程中的运动学参数进行估算，以获得光学追踪器相对于手部的安装位置和安装姿态。
由此，利用了动作捕捉手套的校准动作的变换姿势，能够校准光学追踪器相对于手部的安装位置和安装姿态。
以下将举例说明上述步骤S1600中的建模过程和上述步骤S1700中的计算过程。本领域技术人员可以理解，以下描述仅仅是示例性的，而并不是对本申请的限制。
建立手臂运动学方程，其中左手腕关节中心点在左臂光学跟踪器坐标系中的位置V_wrist_left，右手腕关节中心点在右臂光学跟踪器坐标系中的位置V_wrist_right为未知的待校准的参数。
左臂光学跟踪器在光学世界坐标系中的三维位置和姿态测量值分别为X_T_left及qW_T_left，右臂光学跟踪器为X_T_right及qW_T_right。
根据三维空间运动学左右手腕在光学世界坐标系中的位置分别为：
X_wrist_left＝X_T_left+qW_T_left.inverse()*V_wrist_left*qW_T_left；
X_wrist_right＝X_T_right+qW_T_right.inverse()*V_wrist_right*qW_T_right；
根据惯性传感器测量数据能够得到左右手掌的姿态，进而计算得到从左手腕指向右手腕的向量在惯性世界坐标系下的表示R_W_wrist_left_to_right。根据光学世界坐标系OCS与惯性世界坐标系之间的相对旋转变换关系qO_W，可以得到从左手腕指向右手腕的向量在光学世界坐标系下的表示R_O_wrist_left_to_right＝qO_W.inverse()*R_W_wrist_left_to_right*qO_W。
在云手动作(第二动作变形集合)的不同时刻获得多组运动学约束方程：
X_wrist_right–X_wrist_left＝d*R_O_wrist_left_to_right
其中d为未知的双手掌厚度之和。
每个时刻可以获得三维空间中的三个几何约束方程。
联立多个运动学约束方程组，整理获得矩阵表示方程组
Figure BDA0001201964890000151
利用最小二乘法求解校准参数
Figure BDA0001201964890000152
(包含7个未知参数)。
其中，V_wrist_left＝(Vl,x,Vl,y,Vl,z)
V_wrist_right＝(Vr,x,Vr,y,Vr,z)
解得最优化参数
Figure BDA0001201964890000153
根据本申请的另一实施方式，在双手模式下，动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套。并且，对动作捕捉手套上的多个传感器进行校准的方法还包括：监控左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分左手动作捕捉手套和右手动作捕捉手套。
当在双手模式下，由于使用者的左右手均戴上动作捕捉手套，所以需要在校准过程中加以区分，以免在动作捕捉过程中导致两只手套捕捉的数据混淆。根据该实施方式，使用者可以保持一只手套静止，另一只手套做出动作，从而可通过监控两只手套上各自的光学追踪器的位置变化，区分开左右手。当然，也可以使一只手套做出一个动作，而另一只手套做出另一动作，并通过识别哪只手套做的哪个动作而加以区分。
图12示出了根据本申请一个实施方式计算光学坐标系中的人体正面朝向向量的流程图。如图12所示，在双手模式下，动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，此时上述子步骤S1210可包括子步骤S1211至S1213。
在子步骤S1211中，根据在第一动作采集的光学追踪器在光学坐标系下的位置信息，计算左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点。以图3所示的第一动作A-Pose为例，左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点即为人体两手掌在空间中的中点。
在子步骤S1212中，根据在第二动作采集的光学追踪器在光学坐标系下的位置信息，计算左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点。以图4所示的第二动作V-Pose为例，左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点即为人体两手掌在空间中的接触点，具体位置与光学追踪器在动作捕捉手套上安装的位置有关。
在子步骤S1213中，根据第一动作中点和第二动作中点，计算光学坐标系中的人体正面朝向向量。例如，以图3所示的A-Pose为第一动作，以图4所示的V-Pose为第二动作，则在该两个动作下所得到的两个中心点可得到一个向量，该向量在空间中构成一个三维向量。可由该三维向量得到光学坐标系中的人体正面朝向向量，例如通过向水平面投影和归一化的处理。
图13示出了根据本申请一个实施方式计算惯性坐标系中的人体正面朝向向量的流程图。如图13所示，上述子步骤S1220可包括子步骤S1221和S1222。
在子步骤S1221中，根据在第一动作和第二动作采集的第一惯性测量单元在惯性坐标系下的姿态信息，计算第一惯性测量单元从第一动作到第二动作在惯性坐标系下的旋转向量。
随后，在子步骤S1222中，将旋转向量向惯性坐标系的水平面投影并归一化，以得到惯性坐标系中的人体正面朝向向量。在该步骤中所述的惯性坐标系的水平面可以是惯性坐标系的XY平面。
以下将举例说明计算惯性坐标系中的人体正面朝向向量的具体过程。本领域技术人员可以理解，以下描述仅仅是示例性的，并不作为对本申请的限制。
以双手模式为例，在A-Pose下惯性测量单元测量的四元数为qW_A，在V-Pose下惯性测量单元测量的四元数为qW_V，根据四元数乘法原理qW_V.inverse()*qW_A的向量部分代表了手掌从A-Pose旋转到V-Pose在三维空间中的旋转轴Axis_AV在惯性世界坐标系WCS中的表示。得到双手从A-Pose到V-Pose旋转轴Axis_AV_left和Axis_AV_right后，将两向量向地面(惯性世界坐标系WCS的水平面)投影及归一化，求取合向量即为人体正面朝向FD在惯性世界坐标系中的向量FD_WCS。得到的结果即是人体正前方单位向量在惯性世界坐标系中的三维表示。
图14示出了根据本申请一个实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。根据本实施方式，多个传感器包括光学追踪器和第一惯性测量单元。如图14所示，该装置1400包括采集单元1410和校准单元1420。采集单元1410分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息。校准单元1420根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准。
图15示出了根据本申请一个实施方式的校准单元的框图。根据该实施方式，动作捕捉手套的多个动作包括第一动作和第二动作。校准单元1420包括计算子单元1421和坐标变换获取子单元1422。计算子单元1421根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量，并且根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量。坐标变换获取子单元1422根据所述光学坐标系中的人体正面朝向向量和所述惯性坐标系中的人体正面朝向向量，得到所述光学坐标系和所述惯性坐标系的变换关系。
根据另一实施方式，第一惯性测量单元安装于动作捕捉手套的手掌心或手掌背。计算子单元1421根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息以及所述惯性坐标系中的人体正面朝向向量，计算所述第一惯性测量单元在手掌骨骼坐标系下的安装姿态。
根据另一实施方式，多个传感器还包括多个第二惯性测量单元，所述多个第二惯性测量单元分别安装于所述动作捕捉手套的不同指节上。采集单元1410在所述动作捕捉手套的第三动作采集所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息。计算子单元1421根据在所述第三动作采集的所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息，计算所述多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
根据另一实施方式，计算子单元1421根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息以及所述第二动作对手部运动学模型的几何约束方程，计算所述光学追踪器相对于手部的安装位置。
图16示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。如图16所示，除了采集单元1410和校准单元1420之外，该装置1400’还包括建立单元1430和估算单元1440。为了简要起见，以下将仅描述图16所示的实施方式与图14的不同之处，并将略去其相同之处的详细描述。
根据该实施方式，采集单元1410在第二动作变形集合中的多个动作姿态采集所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息。所述第二动作变形集合包括位于所述多个动作姿态的、第二动作的变形动作。建立单元1430利用在所述第二动作变形集合中的多个动作姿态采集的所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，在所述多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程。估算单元1440利用最小二乘法对所述几何约束方程中的运动学参数进行估算，以获得所述光学追踪器相对于手部的安装位置和安装姿态。
图17示出了根据本申请另一实施方式对动作捕捉手套上的多个传感器进行校准的装置的框图。如图17所示，除了采集单元1410和校准单元1420之外，该装置1400”还包括区分单元1450。为了简要起见，以下将仅描述图17所示的实施方式与图14的不同之处，并将略去其相同之处的详细描述。
根据该实施方式，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套。区分单元1450监控所述左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分所述左手动作捕捉手套和右手动作捕捉手套。
根据另一实施方式，在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套。计算子单元1421根据在所述第一动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点；根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点；以及根据所述第一动作中点和所述第二动作中点，计算所述光学坐标系中的人体正面朝向向量。
根据另一实施方式，计算子单元1421根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述第一惯性测量单元从所述第一动作到所述第二动作在惯性坐标系下的旋转向量；以及将所述旋转向量向所述惯性坐标系的水平面投影并归一化，以得到所述惯性坐标系中的人体正面朝向向量。
根据另一实施方式，光学追踪器安装于动作捕捉手套的腕部或小臂部，第一惯性测量单元安装于动作捕捉手套的手掌心或手掌背。
根据另一实施方式，多个第二惯性测量单元中的每个均安装于动作捕捉手套的第二指节上。
根据本申请的另一方面，还提供了一种动作捕捉手套，包括安装于其上的光学追踪器和第一惯性测量单元，并且该光学追踪器和第一惯性测量单元均由上述方法校准。
本领域技术人员可以理解，本申请的技术方案可实施为系统、方法或计算机程序产品。因此，本申请可表现为完全硬件的实施例、完全软件的实施例(包括固件、常驻软件、微码等)或将软件和硬件相结合的实施例的形式，它们一般可被称为“电路”、“模块”或“系统”。此外，本申请可表现为计算机程序产品的形式，所述计算机程序产品嵌入到任何有形的表达介质中，所述有形的表达介质具有嵌入到所述介质中的计算机可用程序代码。
参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本申请。可以理解的是，可由计算机程序指令执行流程图和/或框图中的每个框、以及流程图和/或框图中的多个框的组合。这些计算机程序指令可提供给通用目的计算机、专用目的计算机或其它可编程数据处理装置的处理器，以使通过计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中指明的功能/动作的装置。
这些计算机程序指令还可存储于能够指导计算机或其它可编程数据处理装置以特定的方式实现功能的计算机可读介质中，以使存储于计算机可读介质中的指令产生包括实现流程图和/或框图中的一个框或多个框中指明的功能/动作的指令装置。
计算机程序指令还可加载到计算机或其它可编程数据处理装置上，以引起在计算机上或其它可编程装置上执行一连串的操作步骤，以产生计算机实现的过程，从而使在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图中的一个框或多个框中指明的功能/动作的过程。
附图中的流程图和框图示出根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。在这点上，流程图或框图中的每个框可表示一个模块、区段或代码的一部分，其包括一个或多个用于实现特定逻辑功能的可执行指令。还应注意，在一些可替代性实施中，框中标注的功能可以不按照附图中标注的顺序发生。例如，根据所涉及的功能性，连续示出的两个框实际上可大致同时地执行，或者这些框有时以相反的顺序执行。还可注意到，可由执行特定功能或动作的专用目的的基于硬件的系统、或专用目的硬件与计算机指令的组合来实现框图和/或流程图示图中的每个框、以及框图和/或流程图示图中的多个框的组合。
虽然以上的叙述包括很多特定布置和参数，但需要注意的是，这些特定布置和参数仅仅用于说明本申请的一个实施方式。这不应该作为对本申请范围的限制。本领域技术人员可以理解，在不脱离本申请范围和精神的情况下，可对其进行各种修改、增加和替换。因此，本申请的范围应该基于所述权利要求来解释。

Claims (20)

1.一种对动作捕捉手套上的多个传感器进行校准的方法，所述多个传感器包括光学追踪器和第一惯性测量单元，所述方法包括：
分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，其中，所述动作捕捉手套的多个动作包括第一动作和第二动作；以及
根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准，包括：
根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量；
根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量；以及
根据所述光学坐标系中的人体正面朝向向量和所述惯性坐标系中的人体正面朝向向量，得到所述光学坐标系和所述惯性坐标系的变换关系。
2.如权利要求1所述的方法，其中所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背，并且
根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准还包括：
根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息以及所述惯性坐标系中的人体正面朝向向量，计算所述第一惯性测量单元在手掌骨骼坐标系下的安装姿态。
3.如权利要求2所述的方法，其中所述多个传感器还包括多个第二惯性测量单元，所述多个第二惯性测量单元分别安装于所述动作捕捉手套的不同指节上，并且所述方法还包括：
在所述动作捕捉手套的第三动作采集所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息；以及
根据在所述第三动作采集的所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息，计算所述多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
4.如权利要求1-3中任一项所述的方法，其中根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准还包括：
根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息以及所述第二动作对手部运动学模型的几何约束方程，计算所述光学追踪器相对于手部的安装位置。
5.如权利要求1-3中任一项所述的方法，还包括：
在第二动作变形集合中的多个动作姿态采集所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，其中所述第二动作变形集合包括位于所述多个动作姿态的、第二动作的变形动作；
利用在所述第二动作变形集合中的多个动作姿态采集的所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，在所述多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程；以及
利用最小二乘法对所述几何约束方程中的运动学参数进行估算，以获得所述光学追踪器相对于手部的安装位置和安装姿态。
6.如权利要求1所述的方法，其中在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述方法还包括：
监控所述左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分所述左手动作捕捉手套和右手动作捕捉手套。
7.如权利要求1所述的方法，其中在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且
根据在所述第一动作和所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量包括：
根据在所述第一动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点；
根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点；以及
根据所述第一动作中点和所述第二动作中点，计算所述光学坐标系中的人体正面朝向向量。
8.如权利要求1所述的方法，其中根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量包括：
根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述第一惯性测量单元从所述第一动作到所述第二动作在惯性坐标系下的旋转向量；以及
将所述旋转向量向所述惯性坐标系的水平面投影并归一化，以得到所述惯性坐标系中的人体正面朝向向量。
9.如权利要求1所述的方法，其中所述光学追踪器安装于所述动作捕捉手套的腕部或小臂部，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背。
10.如权利要求3所述的方法，其中所述多个第二惯性测量单元中的每个均安装于所述动作捕捉手套的第二指节上。
11.一种对动作捕捉手套上的多个传感器进行校准的装置，所述多个传感器包括光学追踪器和第一惯性测量单元，所述装置包括：
采集单元，分别在所述动作捕捉手套的多个动作下采集所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息；以及
校准单元，根据在所述多个动作下所述光学追踪器在光学坐标系下的位置信息和所述第一惯性测量单元在惯性坐标系下的姿态信息，对所述光学追踪器和所述第一惯性测量单元进行校准，
其中，所述校准单元包括：
计算子单元，根据在所述动作捕捉手套的多个动作中的第一动作和第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述光学坐标系中的人体正面朝向向量，并且根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述惯性坐标系中的人体正面朝向向量；以及
坐标变换获取子单元，根据所述光学坐标系中的人体正面朝向向量和所述惯性坐标系中的人体正面朝向向量，得到所述光学坐标系和所述惯性坐标系的变换关系。
12.如权利要求11所述的装置，其中所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背，并且所述计算子单元根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息以及所述惯性坐标系中的人体正面朝向向量，计算所述第一惯性测量单元在手掌骨骼坐标系下的安装姿态。
13.如权利要求12所述的装置，其中所述多个传感器还包括多个第二惯性测量单元，所述多个第二惯性测量单元分别安装于所述动作捕捉手套的不同指节上，并且
所述采集单元在所述动作捕捉手套的第三动作采集所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息；以及
所述计算子单元根据在所述第三动作采集的所述第一惯性测量单元和所述多个第二惯性测量单元在惯性坐标系下的姿态信息，计算所述多个第二惯性测量单元中的至少一个在手指骨骼坐标系下的安装姿态和/或指关节角度插值参数和骨骼长度比例参数。
14.如权利要求11-13中任一项所述的装置，其中所述计算子单元根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息以及所述第二动作对手部运动学模型的几何约束方程，计算所述光学追踪器相对于手部的安装位置。
15.如权利要求11-13中任一项所述的装置，其中所述采集单元在第二动作变形集合中的多个动作姿态采集所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，其中所述第二动作变形集合包括位于所述多个动作姿态的、第二动作的变形动作；并且
所述装置还包括：
建立单元，利用在所述第二动作变形集合中的多个动作姿态采集的所述光学追踪器在光学坐标系下的位置信息和姿态信息以及所述第一惯性测量单元在惯性坐标系下的姿态信息，在所述多个动作姿态中的每个动作姿态建立手部运动学模型的几何约束方程；以及
估算单元，利用最小二乘法对所述几何约束方程中的运动学参数进行估算，以获得所述光学追踪器相对于手部的安装位置和安装姿态。
16.如权利要求11所述的装置，其中在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述装置还包括：
区分单元，监控所述左手动作捕捉手套和右手动作捕捉手套上各自的光学追踪器的位置变化，以区分所述左手动作捕捉手套和右手动作捕捉手套。
17.如权利要求11所述的装置，其中在双手模式下，所述动作捕捉手套包括左手动作捕捉手套和右手动作捕捉手套，并且所述计算子单元根据在所述第一动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第一动作中点；根据在所述第二动作采集的所述光学追踪器在光学坐标系下的位置信息，计算所述左手动作捕捉手套和右手动作捕捉手套上的光学追踪器的第二动作中点；以及根据所述第一动作中点和所述第二动作中点，计算所述光学坐标系中的人体正面朝向向量。
18.如权利要求11所述的装置，其中所述计算子单元根据在所述第一动作和所述第二动作采集的所述第一惯性测量单元在惯性坐标系下的姿态信息，计算所述第一惯性测量单元从所述第一动作到所述第二动作在惯性坐标系下的旋转向量；以及将所述旋转向量向所述惯性坐标系的水平平面投影并归一化，以得到所述惯性坐标系中的人体正面朝向向量。
19.如权利要求11所述的装置，其中所述光学追踪器安装于所述动作捕捉手套的腕部或小臂部，所述第一惯性测量单元安装于所述动作捕捉手套的手掌心或手掌背。
20.如权利要求13所述的装置，其中所述多个第二惯性测量单元中的每个均安装于所述动作捕捉手套的第二指节上。
CN201710003195.9A 2016-12-30 2017-01-03 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套 Active CN108268129B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611269848 2016-12-30
CN201611269848X 2016-12-30

Publications (2)

Publication Number Publication Date
CN108268129A CN108268129A (zh) 2018-07-10
CN108268129B true CN108268129B (zh) 2021-03-12

Family

ID=62770660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710003195.9A Active CN108268129B (zh) 2016-12-30 2017-01-03 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套

Country Status (1)

Country Link
CN (1) CN108268129B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882156B (zh) * 2018-07-26 2020-08-07 上海乐相科技有限公司 一种校准定位基站坐标系的方法及装置
CN109470263B (zh) * 2018-09-30 2020-03-20 北京诺亦腾科技有限公司 动作捕捉方法、电子设备以及计算机存储介质
CN109711302B (zh) * 2018-12-18 2019-10-18 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
CN109799907B (zh) * 2018-12-29 2020-11-20 北京诺亦腾科技有限公司 动作捕捉手套的校准方法、装置及计算机可读存储介质
CN109828672B (zh) * 2019-02-14 2022-05-27 亮风台（上海）信息科技有限公司 一种用于确定智能设备的人机交互信息的方法与设备
CN110327048B (zh) * 2019-03-11 2022-07-15 浙江工业大学 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
CN110044377B (zh) * 2019-04-08 2020-10-23 南昌大学 一种基于Vicon的IMU离线标定方法
CN110646014B (zh) * 2019-09-30 2023-04-25 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
CN110826422A (zh) * 2019-10-18 2020-02-21 北京量健智能科技有限公司 一种用于获得运动参数信息的系统和方法
CN111240469B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111240468B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111681281B (zh) * 2020-04-16 2023-05-09 北京诺亦腾科技有限公司 肢体动作捕捉的校准方法、装置、电子设备及存储介质
CN112033432A (zh) * 2020-07-31 2020-12-04 东莞市易联交互信息科技有限责任公司 动作捕捉方法、系统和存储介质
CN112256125B (zh) * 2020-10-19 2022-09-13 中国电子科技集团公司第二十八研究所 一种基于激光大空间定位与光惯互补动作捕捉系统及方法
CN112363617A (zh) * 2020-10-28 2021-02-12 海拓信息技术(佛山)有限公司 一种人体动作数据的获取方法和装置
CN113538514B (zh) * 2021-07-14 2023-08-08 厦门大学 一种踝关节运动跟踪方法、系统和存储介质
CN116963028A (zh) * 2022-04-13 2023-10-27 北京字跳网络技术有限公司 一种头戴式终端设备及其追踪方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN205540575U (zh) * 2016-03-14 2016-08-31 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
EP3093619A1 (en) * 2015-05-05 2016-11-16 Goodrich Corporation Multi-axis center of mass balancing system for an optical gimbal assembly guided by inertial measurement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3093619A1 (en) * 2015-05-05 2016-11-16 Goodrich Corporation Multi-axis center of mass balancing system for an optical gimbal assembly guided by inertial measurement
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN205540575U (zh) * 2016-03-14 2016-08-31 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统

Also Published As

Publication number Publication date
CN108268129A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN108268129B (zh) 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
EP3707584B1 (en) Method for tracking hand pose and electronic device thereof
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
CN106445130B (zh) 一种用于手势识别的动作捕捉手套及其校准方法
WO2022002133A1 (zh) 手势追踪方法及装置
JP2014054483A (ja) 手の動作計測装置
Gunawardane et al. Comparison of hand gesture inputs of leap motion controller & data glove in to a soft finger
CN106227368B (zh) 一种人体关节角度解算方法及装置
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
Miezal et al. A generic approach to inertial tracking of arbitrary kinematic chains
Li et al. Real-time hand gesture tracking for human–computer interface based on multi-sensor data fusion
Silva et al. Sensor data fusion for full arm tracking using myo armband and leap motion
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
Maycock et al. Robust tracking of human hand postures for robot teaching
CN115576426A (zh) 一种针对混合现实飞行模拟器的手部交互方法
JP6663219B2 (ja) 姿勢動作検出装置
CN115919250A (zh) 一种人体动态关节角测量系统
Callejas-Cuervo et al. Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes
CN110209270B (zh) 一种数据手套、数据手套系统、校正方法及存储介质
CN109102572A (zh) 变电仿真vr系统中虚拟手骨骼比例推定方法
JP2016206081A (ja) 動作推測装置および動作推測方法
CN110720922A (zh) 对象身体尺寸测量方法、装置和系统
TWI663526B (zh) 運動分析裝置及運動分析方法
Borghetti et al. Validation of a modular and wearable system for tracking fingers movements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant