CN114879844A - 一种基于姿态匹配的高质量人机交互方法及装置 - Google Patents

一种基于姿态匹配的高质量人机交互方法及装置 Download PDF

Info

Publication number
CN114879844A
CN114879844A CN202210544955.8A CN202210544955A CN114879844A CN 114879844 A CN114879844 A CN 114879844A CN 202210544955 A CN202210544955 A CN 202210544955A CN 114879844 A CN114879844 A CN 114879844A
Authority
CN
China
Prior art keywords
hand
information
freedom
joints
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210544955.8A
Other languages
English (en)
Inventor
吕毅
罗江
王丽君
许澍虹
王大伟
杨志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Original Assignee
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd, Beijing Aeronautic Science and Technology Research Institute of COMAC filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN202210544955.8A priority Critical patent/CN114879844A/zh
Publication of CN114879844A publication Critical patent/CN114879844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于姿态匹配的高质量人机交互方法及装置。其中，该方法包括：建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；根据所述位置信息对碰撞检测包围盒进行交互状态判断。本发明解决了现有技术中互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动，若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性的技术问题。

Description

一种基于姿态匹配的高质量人机交互方法及装置
技术领域
本发明提出一种适用于混合现实驾驶舱场景的高质量人机交互方法，基于手部运动姿态数据库中已有姿态匹配真实人手部的动作行为，从而由真实的动捕数据或人工合成数据驱动数字人运动，发生交互，提高人机交互精度，提升自然表现能力。本发明属于虚拟现实、混合现实技术领域。
背景技术
随着智能化科技的不断发展，人们的生活、工作、学习之中越来越多地用到了智能化设备，使用智能化科技手段，提高了人们生活的质量，增加了人们学习和工作的效率。
MR技术应用于飞机驾驶舱方案评估：混合现实(Mix Reality，简称MR)，是伴随着计算机软硬件技术发展而兴起的叠加虚拟对象与真实对象为孪生系统的可视化技术手段，其联通现实世界和虚拟世界，并实时互动，因此逐渐受到航空、航天、高铁、船舶及汽车等领域的关注，开始在产品设计评估、复杂大部件制造装配、操作培训及维修保障等方面进行应用研究与推广。飞机驾驶舱是飞行员操控飞机的重要部位，具有复杂的飞行控制和状态检测等交互界面，因此驾驶舱的设计除了需要考虑飞机功能的实现，还需要充分考虑到飞行员在驾驶舱环境中操作的可达、效率、安全以及可靠性因素。传统的评估驾驶舱设计方案质量的方法是采用制作全尺寸驾驶舱物理样机的方式，这不但制作成本高，制作时间长，而且在制作完成之后，很难再进行修改，无法灵活地用于飞机驾驶舱不同概念设计方案之间的对比、评估以及优化迭代。为了提升灵活性，替代物理驾驶舱样机的评估作用，采用MR的技术手段，使用一部分模块化的实验仿真件与虚拟驾驶舱样机叠加形成混合现实驾驶舱，力求打造真实的驾驶舱环境，使实验评估人员融入到该环境中，并能模拟真实的飞行状态，从而达到灵活的方案评估效果。采用MR技术手段除了极大地提升评估的灵活性之外，也降低了评估的成本。
当前运动捕捉及人机交互技术：为实现MR环境真实人与数字人的实时互动，使用运动捕捉设备对人体运动进行追踪，而真实人双手是主要的交互对象。常见的手部动捕装置有采用以惯性测量单元传感器为代表的数据手套，以RGB/RGBD相机，红外相机为代表的光学设备。相比于具有零漂现象的数据手套，采用深度学习、图像处理技术进行无标记动捕的RGB/RGBD相机，进行有标记动捕的红外相机往往具有更精确、更稳定的位姿追踪精度，被广泛应用于室内大场景环境下的交互。然而，与躯体相比，人类的双手小巧灵活，关节众多，自由度较大，并且手指之间具有自相似性，若每个手指关节处都布置标记点将会在交互时加剧遮挡，导致关节位置信息丢失，另外也不容易标识，尤其是当标记点消失在红外相机追踪范围内时，在线标识重新出现的标记点很困难。通常的解决方法是改变红外相机的布置方式，缩小追踪空间，增加相机的数量，然而这不仅增加成本，也使动捕设备空间追踪能力受限。另一种解决方法是减少手部关节标记点数量，从而降低标记点标识的难度、缓解遮挡问题，然而没有布置标记点的关节位置通过IK算法计算，其位置并不准确。不仅不准确，现有启发式、雅可比、牛顿IK算法也没有添加关节运动全局约束的能力，因而导致关节的运动并不符合人类自然的手部姿态变换。另外，标记点一旦被遮挡，丢失的关节位置信息将会更多，由此破坏数字人手部运动，如图1所示。
行业内通用人机交互方法：目前，针对手部运动追踪采用密集或稀疏标记点布置方式的在线标识问题，一般使用机器学习算法对消失的标记点进行预测，在其再一次出现在追踪范围后重新标识。采用密集的标记点布置方式可以追踪到手部复杂细微的动作，但是对相机的数量及布置方式要求严格。针对稀疏标记点布置方式，IK算法经过不断改进。虽然采用稀疏标记点布置方式减缓了真实人的行动束缚，但是目前经IK解算的关节位置不准确，也不具备全局约束的限制。通过动捕设备采集人体运动数据，基于真实数据解决IK问题，驱动人体运动的方法正逐渐成为主流，但是其中大部分技术都是通过RGB/RGBD深度相机采集图像、利用以深度学习为代表的图像处理技术来达到匹配效果，从而实现人机交互，较少有专利或研究直接利用实际测量获取的三维数据集驱动数字人运动，尤其是难度更高的手部运动，实时进行人机交互与运动合成。
最接近的专利技术方案：基于三维图像人体姿态匹配的人机交互方法及其设备，如图2所示，该发明提供一种识别真实人是否处于人机交互状态的方法，首先利用深度学习技术构建三维骨骼模型，并由真实输入的人体骨架信息驱动该骨骼模型而得到人体姿态特征，然后，凭借获得的姿态特征与储存在交互机器中的三维图像模板姿态即交互数据集进行比较，计算并判别两者之间的损失函数是否小于某一限定的阈值，最终确定真实人是否与设备进行交互。其专利号为CN202110406810A。
一种根据四肢姿态生成输入信息的方法及装置：该发明提供一种根据四肢姿态生成输入信息的方法，首先记录安装在实验人员手腕和脚腕处的动作传感器测量所获得的四肢姿态数据，接着，对记录的姿态数据进行加工处理，构建出记录指定动作与姿态数据映射关系的姿态匹配库。姿态匹配库构建完成，之后将采集到的真实人四肢姿态数据添加到匹配队列中，并与库中已有的姿态数据进行匹配，若匹配成功则以库中已有数据驱动虚拟角色，移除存在于匹配队列中的四肢数据，提高内存的利用效率。其专利号为CN201510998896A。
上述第一种专利采用深度学习方法检测真实人与机器的交互状态，因而交互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动。若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性。专利2侧重挖掘人体四肢运动特征，借此搜集四肢运动数据，构建姿态库，之后以获取的运动数据与库中已有姿态进行匹配。与专利1最大的不同是数据获取及表征的方式、样本特征的复杂程度。人体运动具有复杂的形态，而专利2的样本特征较为简单，仅仅关注四肢末端，但是具有相同四肢末端运动特征的姿态不只一种，这将导致从库中匹配的姿态无法真实反映当前真实人的运动姿态，也容易导致数字人运动在时间和空间上不连续。专利1与专利2都忽视了交互过程手的重要性，而本专利不仅采集真实人手的运动数据，并提取相关特征加以分析与利用，还考虑了手部运动在时间和空间维度的连贯一致，因此本专利提出的方法与上述方法有本质上的区别。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于姿态匹配的高质量人机交互方法及装置，以至少解决现有技术中互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动，若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性的技术问题。
根据本发明实施例的一个方面，提供了一种基于姿态匹配的高质量人机交互方法，包括：建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；根据所述位置信息对碰撞检测包围盒进行交互状态判断。
可选的，所述建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息包括：指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA0003651882300000041
按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000042
可选的，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure BDA0003651882300000043
Figure BDA0003651882300000044
腕部的旋转角度为
Figure BDA0003651882300000045
每一只手指尖位置为
Figure BDA0003651882300000046
Figure BDA0003651882300000047
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000048
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000049
可选的，所述根据所述位置信息对碰撞检测包围盒进行交互状态判断包括：计算
Figure BDA00036518823000000410
D大于某一给定的阈值，则未交互，否则，处于交互状态。
根据本发明实施例的另一方面，还提供了一种基于姿态匹配的高质量人机交互装置，包括：建立模块，用于建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；第一计算模块，用于根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；第二计算模块，用于根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；判断模块，用于根据所述位置信息对碰撞检测包围盒进行交互状态判断。
可选的，所述建立模块包括：第一单元，用于指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA00036518823000000411
第二单元，用于按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；第三单元，用于选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000051
可选的，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure BDA0003651882300000052
Figure BDA0003651882300000053
腕部的旋转角度为
Figure BDA0003651882300000054
每一只手指尖位置为
Figure BDA0003651882300000055
Figure BDA0003651882300000056
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000057
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000058
可选的，所述判断模块包括：判断单元，用于计算
Figure BDA0003651882300000059
其中，D大于某一给定的阈值，则未交互，否则，处于交互状态。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种基于姿态匹配的高质量人机交互方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种基于姿态匹配的高质量人机交互方法。
在本发明实施例中，采用建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；根据所述位置信息对碰撞检测包围盒进行交互状态判断的方式，解决了现有技术中互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动，若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的现有技术中人机交互过程虚实匹配误差示意图
图2是根据本发明实施例的现有技术中基于三维图像人体姿态匹配流程图；
图3是根据本发明实施例的现有技术中四肢姿态匹配示意图；
图4是根据本发明实施例的原理示意图；
图5是根据本发明实施例的技术流程图；
图6是根据本发明实施例的数字人手部运动学模型示意图；
图7是根据本发明实施例的姿态库划分层次示意图；
图8是根据本发明实施例的世界坐标系与局部坐标系示意图；
图9是根据本发明实施例的分类器工作过程示意图；
图10是根据本发明实施例的手部局部坐标系示意图；
图11是根据本发明实施例的合成手部姿态示意图；
图12是根据本发明实施例的一种基于姿态匹配的高质量人机交互方法的流程图；
图13是根据本发明实施例的一种基于姿态匹配的高质量人机交互装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种基于姿态匹配的高质量人机交互方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图12是根据本发明实施例的一种基于姿态匹配的高质量人机交互方法的流程图，如图12所示，该方法包括如下步骤：
步骤S1202，建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息。
步骤S1204，根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息。
步骤S1206，根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息。
步骤S1208，根据所述位置信息对碰撞检测包围盒进行交互状态判断。
可选的，所述建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息包括：指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA0003651882300000071
按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000072
可选的，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure BDA0003651882300000073
Figure BDA0003651882300000074
腕部的旋转角度为
Figure BDA0003651882300000075
每一只手指尖位置为
Figure BDA0003651882300000076
Figure BDA0003651882300000077
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000081
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000082
可选的，所述根据所述位置信息对碰撞检测包围盒进行交互状态判断包括：计算
Figure BDA0003651882300000083
D大于某一给定的阈值，则未交互，否则，处于交互状态。
本发明实施例在真实人手背部布置由标记小球编码形成的刚体，用以确定双手在混合现实驾驶舱空间中的位姿信息，在每一手指指尖区域布置标记点，用以确定指尖区域在空间中的位置，同时结合手背刚体的几何信息，可以得到真实人手部的几何轮廓大小、指尖区域标记点相对手背刚体的位置。真实人进入混合现实驾驶舱环境，首先利用输入的几何轮廓特征在手部运动姿态数据库(本技术交底书剩余部分简称姿态库)中匹配最接近真实人手部大小的模型。虚拟驾驶舱内每一操作装置都设置有碰撞检测盒，当数字人手位于碰撞盒外，视为未交互状态，此时将指尖区域相对手背部刚体的位置信息作为IK算法的末端执行器输入；当数字人位于碰撞盒内，此时输入指尖区域相对于手背部刚体的位置，不同指尖相对位置关系进行特征匹配，以便在姿态库中选择最优姿态。若匹配最优姿态输出的结果大于设定的阈值，则认为最优姿态匹配不成功，真实人此时不存在交互，仍将指尖区域位置输入到IK解算器中，从而驱动数字人运动。否则，将以姿态库中的数据作为基准替代当前真实人手部运动状态，由指尖区域位置实现精确定位的同时，对匹配的数据进行IK调整以实时对应当前真实人手部的运动变化。另外，真实人需佩戴头戴式显示设备，并在用于交互的肢体末端即每一个手指的指尖区域布置标记点。在未交互时，以真实人手背部刚体位姿信息建立局部空间坐标系，将指尖标记点在局部坐标系下的位置作为IK解算器的输入，实时计算出手部其它没有标记点的关节的位置信息，以此驱动数字人手部运动。在交互时将以真实人手指尖区域位置特征从姿态库中选择最优姿态，并对选取的数据进行IK优化调整，实时匹配当前真实的手部运动状态。
因此，本发明实施例具体实施步骤为：
建立混合现实驾驶舱环境的人机交互姿态库：指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA0003651882300000084
按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；
选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000091
将红外相机安装在驾驶舱仿真实验平台四周，并对相机进行空间位置与朝向的标定，获取相机空间位姿信息；
用户佩戴多个由标记小球编码形成的刚体以及在在指尖区域布置标记点的指套进入驾驶舱仿真实验平台，并使仿真平台处于打开状态。记多相机系统建立的世界坐标系为W；以用户腕部刚体六自由度信息建立局部坐标系，记为H；
利用相机动捕系统实时计算用户腕部刚体的六自由度信息，每一指尖位置信息：腕部的位置为
Figure BDA0003651882300000092
腕部的旋转角度为
Figure BDA0003651882300000093
每一只手指尖位置为
Figure BDA0003651882300000094
计算
Figure BDA0003651882300000095
确定用户手部的几何特征信息，在姿态库中匹配最接近当前用户手部大小的模型；计算指尖区域在局部坐标系H下的位置
Figure BDA0003651882300000096
Figure BDA0003651882300000097
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000098
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000099
判断数字人是否进入碰撞检测包围盒，若进入包围盒内，计算
Figure BDA00036518823000000910
Figure BDA00036518823000000911
D大于某一给定的阈值，则未交互，否则，处于交互状态，此时I＝1。Y＝1进一步证明为交互状态：
用户处于交互状态时，在Motion中搜索最优姿态，利用手背刚体位姿信息与实际手指指尖区域位置距离姿态库中最远的指尖位置样本进行定位，再利用I K优化算法进行运动合成以实时匹配当前状态；
用户处于未交互状态时，直接将
Figure BDA0003651882300000101
作为手部模型IK解算器输入信息，从而驱动数字人手运动；
重复步骤，更新人机交互状态：i＝{1，2，3，4，5}。
另外，本发明实施例还具有以下展开技术特征：建立混合现实驾驶舱环境的人机交互姿态库：建立混合现实驾驶舱环境的人机交互姿态库首先需要建立真实人手的运动学模型。手的运动学模型被简化为具有16个关节，共26个自由度层次结构的运动链，手腕部共有六个自由度，由布置于手背区域刚体的六自由度信息确定。手运动学模型参数表示为
Figure BDA0003651882300000102
子关节相对于父关节的局部变换表示为T(θ)，则子关节j相对于其所有n个父节点的全局变换矩阵为Tj＝∏nTi(θi)。
采集手部姿态采取三类途径：第一类利用OptiTrack动捕设备。为减少遮挡，反映手部灵活细微的操作动作，将不少于10台OptiTrack相机布置于某一类操纵部件的周围以缩小追踪空间，例如若要采集飞行员旋转旋钮这一类动作，就使所有的相机聚焦于旋钮所在的区域。根据男性与女性人体尺寸数据标准分别选取不同规格的手套。依据手部运动学模型，在手套对应的关节及指尖区域位置布置标记点，背部区域放置刚体。邀请具有不同手部特征、数量相同的男性与女性实验人员穿戴符合其手部大小的手套在混合现实驾驶舱环境内使用右手分别与不同仿真器件进行交互，而左手姿态通过对右手进行镜像操作得到，从而采集符合手真实运动的姿态，并从这些姿态中提取出腕部的六自由度信息、指尖区域在相机空间坐标系与人手局部坐标系下的位置信息作为样本数据。第二类利用数据手套采集相应的姿态，数据手套一般采集的是手部关节的旋转角度信息，因此需要通过角度转换得到如前所述的腕部、指尖区域相关的位置、速度等特征信息，同样作为样本数据。第三类是针对特定的动作通过人工合成数据，例如利用3D引擎工具调整数字人手模型的关节位置而获得不同类别的动作序列姿态。
经过三类途径获得的姿态都由满足人体尺寸数据标准、不同规格大小的蒙皮手部模型表征。在此基础上，对蒙皮模型按照符合真实人手部轮廓大小的分布规律进行一定比例的缩放，进一步拓展为具有不同尺寸大小，不同种类动作的姿态库，从而增加数据的多样性。
判别交互状态：针对判别交互状态的问题，因为刚体建模精度较高，可以认为现实驾驶舱仿真器件与虚拟驾驶舱内对应装置的形貌特征、空间位置完全匹配。因此，通过输入的真实人双手的空间位置特征可判定手是否在待操作装置的位置周围，真实人有无操作该装置的意图。虚拟驾驶舱场景内触发装置设置有碰撞检测包围盒，当真实人的手不断缩小与该仿真装置的距离，并且小于某一设定的阈值时，触发包围盒的侦测功能，判断为待交互状态。输入指尖区域的相对位置在库中搜寻最佳姿态，若得到的结果大于限定的阈值，没有接近的姿态与当前运动状态匹配，则说明真实人没有交互的意图，仍为未交互状态。否则，由未交互状态切换为交互状态，而仿真器件的触发信号进一步证明处于交互状态，此时不再使用IK解算器计算手部没有布置标记点的关节的位置，转而以姿态库中最优的姿态数据驱动数字人运动。
位于包围盒内最优姿态搜索：数字人手位于待触发装置的包围盒内时，进一步判断是否交互涉及到将当前帧输入的指尖区域相对手背部刚体的位置映射到姿态库中对应分类的具体姿态的问题。映射过程是一个有监督的学习过程，即通过特征信息提供的样本数据训练一个多分类器，可采用机器学习技术，如随机森林分类算法。
当真实人与数字人处于交互状态时，输入特征为指尖区域的相对空间位置。在混合现实驾驶舱环境下，需要与散布在不同空间区域的实验仿真器件进行交互，指尖区域的空间位置极其具有随机性，因而很难作为区分不同手部姿态的特征，直接用以训练多分类器或作为多分类器的特征输入，将不容易得到正确的分类结果，而相对于手腕部而言，指尖区域的相对位置不同，呈现的手部姿态也不相同，所以以腕部刚体的六自由度信息建立局部坐标系，在此坐标系下，对构建姿态库时采集的指尖区域位置样本数据以及交互时输入的空间位置进行线性变换得到相对位置，从而训练分类器以及作为分类器的特征输入。
最简单的是使用欧氏距离。真实人手的姿态不同，每一手指指尖区域位置距离手背部的刚体距离之和也不同，由此对样本数据进行预处理，计算出每一姿态的指尖区域位置距离手背部刚体的距离之和，分别由该距离之和设置独立的区间，当输入指尖区域位置位于该区间，则认为姿态极可能为该区间对应的动作。之后再计算指尖区域相对位置与姿态库中对应姿态相对位置的距离差异，进一步确认是否为交互状态。
手背部刚体在世界坐标系下的位置以wP表示，
Figure BDA0003651882300000111
旋转矩阵以R表示，R为三阶方阵，而指尖区域在世界坐标系下的位置为
Figure BDA0003651882300000112
在腕部刚体局部坐标系下可表示为
Figure BDA0003651882300000113
两者的转换关系为：
fh＝R-1fw-wP
即
Figure BDA0003651882300000121
利用训练好的多分类器将真实人手部运动姿态定位到特定的动作分类中。
定位后，再通过欧氏距离判断是否小于设定的阈值而触发交互状态，以得到最优的姿态。
Figure BDA0003651882300000122
其中，Finput为输入特征向量，Fdata为姿态库中的特征向量。
手部姿态合成及其精确定位：在姿态库中得到最优的操作姿态之后，为保证手部运动在时间和空间上连续，以匹配的最优姿态为基准，采取由IK算法调整的运动合成措施。利用手背部刚体的六自由度信息实现匹配姿态的精确定位，此时，真实人指尖区域位置与匹配姿态的指尖区域位置不一定重合，且匹配的姿态可认为为刚体，不能实时响应手指间运动的变化，但其各关节的位置及旋转角度已知，由此将真实人指尖区域的位置和手背部刚体的六自由度信息作为IK解算器末端执行器的输入，动态调整姿态。
假设在动态合成手部姿态过程中，将数字人每一手指视为独立的运动链，并且掌指关节和腕掌关节的位姿时刻与库中已有的姿态保持一致，以两者分别为相应手指的根节点。以数字人任一手指进行分析，设数字人指尖末端区域位置为
Figure BDA0003651882300000123
目标位置为真实人指尖区域位置，记为
Figure BDA0003651882300000124
掌指关节具有2个自由度，分别以θ1与θ2表示；指间关节具有1个自由度，两指间关节分别以θ3和θ4表示，则数字人手指运动学参数可表示为
Figure BDA0003651882300000125
Figure BDA0003651882300000126
是
Figure BDA0003651882300000127
的函数，为
Figure BDA0003651882300000128
在每一关节处建立如图10所示的局部坐标系，记任一子结点相对于父结点的局部旋转和平移变换为Ti(θi)。
已知掌指关节或腕掌关节相对于手背部刚体的六自由度信息，记为
Figure BDA0003651882300000129
Figure BDA00036518823000001210
关节间的距离为定值，如图10所示，分别为l1，l2，l3，令
Figure BDA0003651882300000131
Figure BDA0003651882300000132
Figure BDA0003651882300000133
Figure BDA0003651882300000134
Figure BDA0003651882300000135
Figure BDA0003651882300000136
则
Figure BDA0003651882300000137
Figure BDA0003651882300000138
令，
R＝Rx(θx1)Ry(θy2)Rz(θz3)
则
Figure BDA0003651882300000139
构建目标函数如下
Figure BDA00036518823000001310
使用Gauss-Newton方法得到该目标函数的最优化解，一阶近似迭代公式为
Figure BDA00036518823000001311
其中
Figure BDA00036518823000001312
针对手部运动学模型
θmin≤θi≤θmax
本申请提案所针对的技术问题为在混合现实驾驶舱场景下，真实人与实物场景进行交互时，数字人与真实人运动，尤其是手部运动的虚实匹配问题。具体包含两种状态：第一种状态为未交互状态，即真实人双手未接触或未触发实验仿真器件相关装置，此时并不要求精确且自然的手部姿态，快速反映人体手部运动即可，采用添加独立约束的IK算法解算手部关节位置；第二种状态为交互状态，即真实人的手接触或触发了实验仿真器件相关装置，此时不仅要求数字人具有较高的交互精度，手部姿态还要自然协调，符合真实人运动关系。
本发明实施例具有以下优势技术效果：
本专利提出的方法不仅可应用于混合现实驾驶舱场景下高质量的人机交互，也能应用于其它需要进行复杂交互的场景。交互时需要精细而灵活的手部运动姿态，而未交互时只需大致跟踪手部运动，因而划分状态为交互与未交互两类状态，简化了问题的分析。姿态库内收集的是真实动捕数据或人工调整合成的数据，以此驱动数字人手部运动则更自然，更符合真实运动情况，继而增强混合现实环境下的沉浸感，相较于传统的I K算法，问题解决难度更大，运动约束效果更好，应用价值更高。
本专利提案提出的方法通过最优姿态搜索、运动合成策略，加快了姿态库中最优姿态的搜索，并以最优姿态为基准实时驱动数字人运动，大大减小了计算量，提升了效率。姿态库具有良好的拓展性与迁移性，建立的姿态库为通用模板姿态库，可以不断加入新的姿态，增加交互类别，扩大数据规模，进而涵盖大部分交互行为，迁移到其它应用场景。通过减少标记点的数量，从姿态库中选择相近姿态可以降低对系统对追踪设备的依赖，减少系统复杂度，降低成本。
通过上述实施例，解决了现有技术中互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动，若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性的技术问题。
实施例二
图13是根据本发明实施例的一种基于姿态匹配的高质量人机交互装置的结构框图，如图13所示，该装置包括：
建立模块1300，用于建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息。
第一计算模块1302，用于根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息。
第二计算模块1304，用于根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息。
判断模块1306，用于根据所述位置信息对碰撞检测包围盒进行交互状态判断。
可选的，所述建立模块包括：第一单元，用于指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA0003651882300000151
第二单元，用于按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；第三单元，用于选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000152
可选的，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure BDA0003651882300000153
Figure BDA0003651882300000154
腕部的旋转角度为
Figure BDA0003651882300000155
每一只手指尖位置为
Figure BDA0003651882300000156
Figure BDA0003651882300000157
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000158
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000159
可选的，所述判断模块包括：判断单元，用于计算
Figure BDA00036518823000001510
其中，D大于某一给定的阈值，则未交互，否则，处于交互状态。
本发明实施例在真实人手背部布置由标记小球编码形成的刚体，用以确定双手在混合现实驾驶舱空间中的位姿信息，在每一手指指尖区域布置标记点，用以确定指尖区域在空间中的位置，同时结合手背刚体的几何信息，可以得到真实人手部的几何轮廓大小、指尖区域标记点相对手背刚体的位置。真实人进入混合现实驾驶舱环境，首先利用输入的几何轮廓特征在手部运动姿态数据库(本技术交底书剩余部分简称姿态库)中匹配最接近真实人手部大小的模型。虚拟驾驶舱内每一操作装置都设置有碰撞检测盒，当数字人手位于碰撞盒外，视为未交互状态，此时将指尖区域相对手背部刚体的位置信息作为IK算法的末端执行器输入；当数字人位于碰撞盒内，此时输入指尖区域相对于手背部刚体的位置，不同指尖相对位置关系进行特征匹配，以便在姿态库中选择最优姿态。若匹配最优姿态输出的结果大于设定的阈值，则认为最优姿态匹配不成功，真实人此时不存在交互，仍将指尖区域位置输入到IK解算器中，从而驱动数字人运动。否则，将以姿态库中的数据作为基准替代当前真实人手部运动状态，由指尖区域位置实现精确定位的同时，对匹配的数据进行IK调整以实时对应当前真实人手部的运动变化。另外，真实人需佩戴头戴式显示设备，并在用于交互的肢体末端即每一个手指的指尖区域布置标记点。在未交互时，以真实人手背部刚体位姿信息建立局部空间坐标系，将指尖标记点在局部坐标系下的位置作为IK解算器的输入，实时计算出手部其它没有标记点的关节的位置信息，以此驱动数字人手部运动。在交互时将以真实人手指尖区域位置特征从姿态库中选择最优姿态，并对选取的数据进行IK优化调整，实时匹配当前真实的手部运动状态。
因此，本发明实施例具体实施步骤为：
建立混合现实驾驶舱环境的人机交互姿态库：指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure BDA0003651882300000161
按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；
选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure BDA0003651882300000162
将红外相机安装在驾驶舱仿真实验平台四周，并对相机进行空间位置与朝向的标定，获取相机空间位姿信息；
用户佩戴多个由标记小球编码形成的刚体以及在在指尖区域布置标记点的指套进入驾驶舱仿真实验平台，并使仿真平台处于打开状态。记多相机系统建立的世界坐标系为W；以用户腕部刚体六自由度信息建立局部坐标系，记为H；
利用相机动捕系统实时计算用户腕部刚体的六自由度信息，每一指尖位置信息：腕部的位置为
Figure BDA0003651882300000163
腕部的旋转角度为
Figure BDA0003651882300000164
每一只手指尖位置为
Figure BDA0003651882300000171
计算
Figure BDA0003651882300000172
确定用户手部的几何特征信息，在姿态库中匹配最接近当前用户手部大小的模型；计算指尖区域在局部坐标系H下的位置
Figure BDA0003651882300000173
Figure BDA0003651882300000174
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure BDA0003651882300000175
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure BDA0003651882300000176
判断数字人是否进入碰撞检测包围盒，若进入包围盒内，计算
Figure BDA0003651882300000177
Figure BDA0003651882300000178
D大于某一给定的阈值，则未交互，否则，处于交互状态，此时I＝1。Y＝1进一步证明为交互状态：
用户处于交互状态时，在Motion中搜索最优姿态，利用手背刚体位姿信息与实际手指指尖区域位置距离姿态库中最远的指尖位置样本进行定位，再利用IK优化算法进行运动合成以实时匹配当前状态；
用户处于未交互状态时，直接将
Figure BDA0003651882300000179
作为手部模型IK解算器输入信息，从而驱动数字人手运动；
重复步骤，更新人机交互状态：i＝{1，2，3，4，5}。
另外，本发明实施例还具有以下展开技术特征：建立混合现实驾驶舱环境的人机交互姿态库：建立混合现实驾驶舱环境的人机交互姿态库首先需要建立真实人手的运动学模型。手的运动学模型被简化为具有16个关节，共26个自由度层次结构的运动链，手腕部共有六个自由度，由布置于手背区域刚体的六自由度信息确定。手运动学模型参数表示为
Figure BDA00036518823000001710
子关节相对于父关节的局部变换表示为T(θ)，则子关节j相对于其所有n个父节点的全局变换矩阵为Tj＝∏nTi(θi)。
采集手部姿态采取三类途径：第一类利用OptiTrack动捕设备。为减少遮挡，反映手部灵活细微的操作动作，将不少于10台OptiTrack相机布置于某一类操纵部件的周围以缩小追踪空间，例如若要采集飞行员旋转旋钮这一类动作，就使所有的相机聚焦于旋钮所在的区域。根据男性与女性人体尺寸数据标准分别选取不同规格的手套。依据手部运动学模型，在手套对应的关节及指尖区域位置布置标记点，背部区域放置刚体。邀请具有不同手部特征、数量相同的男性与女性实验人员穿戴符合其手部大小的手套在混合现实驾驶舱环境内使用右手分别与不同仿真器件进行交互，而左手姿态通过对右手进行镜像操作得到，从而采集符合手真实运动的姿态，并从这些姿态中提取出腕部的六自由度信息、指尖区域在相机空间坐标系与人手局部坐标系下的位置信息作为样本数据。第二类利用数据手套采集相应的姿态，数据手套一般采集的是手部关节的旋转角度信息，因此需要通过角度转换得到如前所述的腕部、指尖区域相关的位置、速度等特征信息，同样作为样本数据。第三类是针对特定的动作通过人工合成数据，例如利用3D引擎工具调整数字人手模型的关节位置而获得不同类别的动作序列姿态。
经过三类途径获得的姿态都由满足人体尺寸数据标准、不同规格大小的蒙皮手部模型表征。在此基础上，对蒙皮模型按照符合真实人手部轮廓大小的分布规律进行一定比例的缩放，进一步拓展为具有不同尺寸大小，不同种类动作的姿态库，从而增加数据的多样性。
判别交互状态：针对判别交互状态的问题，因为刚体建模精度较高，可以认为现实驾驶舱仿真器件与虚拟驾驶舱内对应装置的形貌特征、空间位置完全匹配。因此，通过输入的真实人双手的空间位置特征可判定手是否在待操作装置的位置周围，真实人有无操作该装置的意图。虚拟驾驶舱场景内触发装置设置有碰撞检测包围盒，当真实人的手不断缩小与该仿真装置的距离，并且小于某一设定的阈值时，触发包围盒的侦测功能，判断为待交互状态。输入指尖区域的相对位置在库中搜寻最佳姿态，若得到的结果大于限定的阈值，没有接近的姿态与当前运动状态匹配，则说明真实人没有交互的意图，仍为未交互状态。否则，由未交互状态切换为交互状态，而仿真器件的触发信号进一步证明处于交互状态，此时不再使用IK解算器计算手部没有布置标记点的关节的位置，转而以姿态库中最优的姿态数据驱动数字人运动。
位于包围盒内最优姿态搜索：数字人手位于待触发装置的包围盒内时，进一步判断是否交互涉及到将当前帧输入的指尖区域相对手背部刚体的位置映射到姿态库中对应分类的具体姿态的问题。映射过程是一个有监督的学习过程，即通过特征信息提供的样本数据训练一个多分类器，可采用机器学习技术，如随机森林分类算法。
当真实人与数字人处于交互状态时，输入特征为指尖区域的相对空间位置。在混合现实驾驶舱环境下，需要与散布在不同空间区域的实验仿真器件进行交互，指尖区域的空间位置极其具有随机性，因而很难作为区分不同手部姿态的特征，直接用以训练多分类器或作为多分类器的特征输入，将不容易得到正确的分类结果，而相对于手腕部而言，指尖区域的相对位置不同，呈现的手部姿态也不相同，所以以腕部刚体的六自由度信息建立局部坐标系，在此坐标系下，对构建姿态库时采集的指尖区域位置样本数据以及交互时输入的空间位置进行线性变换得到相对位置，从而训练分类器以及作为分类器的特征输入。
最简单的是使用欧氏距离。真实人手的姿态不同，每一手指指尖区域位置距离手背部的刚体距离之和也不同，由此对样本数据进行预处理，计算出每一姿态的指尖区域位置距离手背部刚体的距离之和，分别由该距离之和设置独立的区间，当输入指尖区域位置位于该区间，则认为姿态极可能为该区间对应的动作。之后再计算指尖区域相对位置与姿态库中对应姿态相对位置的距离差异，进一步确认是否为交互状态。
手背部刚体在世界坐标系下的位置以wP表示，
Figure BDA0003651882300000191
旋转矩阵以R表示，R为三阶方阵，而指尖区域在世界坐标系下的位置为
Figure BDA0003651882300000192
在腕部刚体局部坐标系下可表示为
Figure BDA0003651882300000193
两者的转换关系为：
fh＝R-1fw-wP
即
Figure BDA0003651882300000194
利用训练好的多分类器将真实人手部运动姿态定位到特定的动作分类中。
定位后，再通过欧氏距离判断是否小于设定的阈值而触发交互状态，以得到最优的姿态。
Figure BDA0003651882300000195
其中，Finput为输入特征向量，Fdata为姿态库中的特征向量。
手部姿态合成及其精确定位：在姿态库中得到最优的操作姿态之后，为保证手部运动在时间和空间上连续，以匹配的最优姿态为基准，采取由IK算法调整的运动合成措施。利用手背部刚体的六自由度信息实现匹配姿态的精确定位，此时，真实人指尖区域位置与匹配姿态的指尖区域位置不一定重合，且匹配的姿态可认为为刚体，不能实时响应手指间运动的变化，但其各关节的位置及旋转角度已知，由此将真实人指尖区域的位置和手背部刚体的六自由度信息作为IK解算器末端执行器的输入，动态调整姿态。
假设在动态合成手部姿态过程中，将数字人每一手指视为独立的运动链，并且掌指关节和腕掌关节的位姿时刻与库中已有的姿态保持一致，以两者分别为相应手指的根节点。以数字人任一手指进行分析，设数字人指尖末端区域位置为
Figure BDA0003651882300000201
目标位置为真实人指尖区域位置，记为
Figure BDA0003651882300000202
掌指关节具有2个自由度，分别以θ1与θ2表示；指间关节具有1个自由度，两指间关节分别以θ3和θ4表示，则数字人手指运动学参数可表示为
Figure BDA0003651882300000203
Figure BDA0003651882300000204
是
Figure BDA0003651882300000205
的函数，为
Figure BDA0003651882300000206
在每一关节处建立如图10所示的局部坐标系，记任一子结点相对于父结点的局部旋转和平移变换为Ti(θi)。
已知掌指关节或腕掌关节相对于手背部刚体的六自由度信息，记为
Figure BDA0003651882300000207
Figure BDA0003651882300000208
关节间的距离为定值，如图10所示，分别为l1，l2，l3，令
Figure BDA0003651882300000209
Figure BDA00036518823000002010
Figure BDA00036518823000002011
Figure BDA00036518823000002012
Figure BDA00036518823000002013
Figure BDA00036518823000002014
则
Figure BDA00036518823000002015
Figure BDA0003651882300000211
令，
R＝Rx(θx1)Ry(θy2)Rz(θz3)
则
Figure BDA0003651882300000212
构建目标函数如下
Figure BDA0003651882300000213
使用Gauss-Newton方法得到该目标函数的最优化解，一阶近似迭代公式为
Figure BDA0003651882300000214
其中
Figure BDA0003651882300000215
针对手部运动学模型
θmin≤θi≤θmax
本申请提案所针对的技术问题为在混合现实驾驶舱场景下，真实人与实物场景进行交互时，数字人与真实人运动，尤其是手部运动的虚实匹配问题。具体包含两种状态：第一种状态为未交互状态，即真实人双手未接触或未触发实验仿真器件相关装置，此时并不要求精确且自然的手部姿态，快速反映人体手部运动即可，采用添加独立约束的IK算法解算手部关节位置；第二种状态为交互状态，即真实人的手接触或触发了实验仿真器件相关装置，此时不仅要求数字人具有较高的交互精度，手部姿态还要自然协调，符合真实人运动关系。
本发明实施例具有以下优势技术效果：
本专利提出的方法不仅可应用于混合现实驾驶舱场景下高质量的人机交互，也能应用于其它需要进行复杂交互的场景。交互时需要精细而灵活的手部运动姿态，而未交互时只需大致跟踪手部运动，因而划分状态为交互与未交互两类状态，简化了问题的分析。姿态库内收集的是真实动捕数据或人工调整合成的数据，以此驱动数字人手部运动则更自然，更符合真实运动情况，继而增强混合现实环境下的沉浸感，相较于传统的IK算法，问题解决难度更大，运动约束效果更好，应用价值更高。
本专利提案提出的方法通过最优姿态搜索、运动合成策略，加快了姿态库中最优姿态的搜索，并以最优姿态为基准实时驱动数字人运动，大大减小了计算量，提升了效率。姿态库具有良好的拓展性与迁移性，建立的姿态库为通用模板姿态库，可以不断加入新的姿态，增加交互类别，扩大数据规模，进而涵盖大部分交互行为，迁移到其它应用场景。通过减少标记点的数量，从姿态库中选择相近姿态可以降低对系统对追踪设备的依赖，减少系统复杂度，降低成本。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种基于姿态匹配的高质量人机交互方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种基于姿态匹配的高质量人机交互方法。
通过上述实施例，解决了现有技术中互数据集收集的不一定为连续的交互动作行为，数据集的作用也不在于驱动人体运动，若以此数据集驱动数字人运动，不仅增加某一具体交互姿态的搜索难度，也无法保证人体运动在时间与空间上的连续性的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于姿态匹配的高质量人机交互方法，其特征在于，包括：
建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；
根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；
根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；
根据所述位置信息对碰撞检测包围盒进行交互状态判断。
2.根据权利要求1所述的方法，其特征在于，所述建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息包括：
指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure FDA0003651882290000011
按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；
选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure FDA0003651882290000012
3.根据权利要求1所述的方法，其特征在于，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure FDA0003651882290000013
腕部的旋转角度为
Figure FDA0003651882290000014
Figure FDA0003651882290000015
每一只手指尖位置为
Figure FDA0003651882290000016
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure FDA0003651882290000017
Figure FDA0003651882290000018
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure FDA0003651882290000021
4.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息对碰撞检测包围盒进行交互状态判断包括：
计算
Figure FDA0003651882290000022
D大于某一给定的阈值，则未交互，否则，处于交互状态。
5.一种基于姿态匹配的高质量人机交互装置，其特征在于，包括：
建立模块，用于建立混合现实驾驶舱环境的人机交互姿态库,并通过相机空间标定操作,获取相机空间位姿信息；
第一计算模块，用于根据所述相机空间位姿信息,利用相机动捕系统计算用户腕部刚体的六自由度信息,并确定用户手部的几何特征信息；
第二计算模块，用于根据所述用户腕部刚体的六自由度信息和所述用户手部的几何特征信息,计算指尖区域在预设坐标系下的位置信息；
判断模块，用于根据所述位置信息对碰撞检测包围盒进行交互状态判断。
6.根据权利要求5所述的装置，其特征在于，所述建立模块包括：
第一单元，用于指间关节视为1个自由度，掌指关节视为2个自由度，腕掌关节视为1个自由度，腕部关节视为6自由度，由手背的刚体确定，由此构建由16个关节组成的具有26个自由度的数字人手部运动学模型，记运动学参数为
Figure FDA0003651882290000023
Figure FDA0003651882290000024
第二单元，用于按照健康男性与女性手部尺寸分布规律，参照人体尺寸数据标准分别选取不同大小规格的手套，在手套上按照数字人模型确定的16个关节以及指尖区域布置对应的标记点；
第三单元，用于选择具有不同手部特征的用户，使其佩戴符合相应手部大小的手套，利用不少于10台OptiTrack动捕设备采集用户操作仿真器件装置的姿态，记录手部在各个姿态下各关节及指尖区域相对于手背部刚体的空间位置，计算运动学参数
Figure FDA0003651882290000025
7.根据权利要求5所述的装置，其特征在于，所述指尖区域在预设坐标系下的位置信息包括：腕部的位置为
Figure FDA0003651882290000031
腕部的旋转角度为
Figure FDA0003651882290000032
Figure FDA0003651882290000033
每一只手指尖位置为
Figure FDA0003651882290000034
实验仿真器件触发信号为Y＝{0，1},交互状态为I＝{0，1}、输入特征集合为
Figure FDA0003651882290000035
Figure FDA0003651882290000036
输出姿态分类为Motion＝{P1，P2,P3,…,Pn}、姿态库内指尖区域位置为
Figure FDA0003651882290000037
8.根据权利要求5所述的装置，其特征在于，所述判断模块包括：
判断单元，用于计算
Figure FDA0003651882290000038
其中，D大于某一给定的阈值，则未交互，否则，处于交互状态。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至4中任意一项所述的方法。
10.一种电子装置，其特征在于，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至4中任意一项所述的方法。
CN202210544955.8A 2022-05-19 2022-05-19 一种基于姿态匹配的高质量人机交互方法及装置 Pending CN114879844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544955.8A CN114879844A (zh) 2022-05-19 2022-05-19 一种基于姿态匹配的高质量人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544955.8A CN114879844A (zh) 2022-05-19 2022-05-19 一种基于姿态匹配的高质量人机交互方法及装置

Publications (1)

Publication Number Publication Date
CN114879844A true CN114879844A (zh) 2022-08-09

Family

ID=82676553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544955.8A Pending CN114879844A (zh) 2022-05-19 2022-05-19 一种基于姿态匹配的高质量人机交互方法及装置

Country Status (1)

Country Link
CN (1) CN114879844A (zh)

Similar Documents

Publication Publication Date Title
Li et al. A survey on 3D hand pose estimation: Cameras, methods, and datasets
Ueda et al. A hand-pose estimation for vision-based human interfaces
Xia et al. A survey on human performance capture and animation
Erol et al. Vision-based hand pose estimation: A review
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
Lee et al. Model-based analysis of hand posture
Wang et al. Real-time hand-tracking with a color glove
Erol et al. A review on vision-based full DOF hand motion estimation
Chua et al. Model-based 3D hand posture estimation from a single 2D image
CN102622766A (zh) 多目标优化的多镜头人体运动跟踪方法
Aristidou Hand tracking with physiological constraints
CN115576426A (zh) 一种针对混合现实飞行模拟器的手部交互方法
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
El-Sawah et al. A framework for 3D hand tracking and gesture recognition using elements of genetic programming
Wu et al. An unsupervised real-time framework of human pose tracking from range image sequences
Ueda et al. Hand pose estimation using multi-viewpoint silhouette images
Aleotti et al. Grasp programming by demonstration in virtual reality with automatic environment reconstruction
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
Infantino et al. A cognitive architecture for robotic hand posture learning
CN114879844A (zh) 一种基于姿态匹配的高质量人机交互方法及装置
Wang et al. A Generative Human-Robot Motion Retargeting Approach Using a Single RGBD Sensor.
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱系统与方法
Zeng et al. Motion capture and reconstruction based on depth information using Kinect
Liu et al. Massive-scale complicated human action recognition: Theory and applications
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination