CN112230761A - 基于语义表达与生理约束的手势编码方法及系统 - Google Patents

Abstract

本发明公开了一种基于语义表达与生理约束的手势编码方法及系统，涉及手势编码技术领域，包含可以表征动态手势和静态手势的一系列编码规则，解决了现有手势编码冗余过多的技术问题，其技术方案要点是根据语义表达编码规则和生理约束编码规则进行离散化的手势编码，能够方便计算机识别、转换和存储，将连续多变的手势转化为计算机语言，具有可解释性和可理解性，并可以在此基础上进行手势定义和手势交互系统开发。

Description

基于语义表达与生理约束的手势编码方法及系统

技术领域

本公开涉及手势编码技术领域，尤其涉及一种基于语义表达与生理约束的手势编码方法及系统。

背景技术

随着技术手段的进步和人们对人机交互要求的逐渐提升，多通道自然交互方式逐渐成为人机交互发展的主流。手势是人类自然的表达方式，手具有高度灵活性，从而拥有丰富的编码空间，能够传递丰富的语义信息，是自然人机交互的重要组成部分。从理论上来说，人的手部各关节连续运动可以产生无限个手势动作，但是人手部的生理约束和有意的语义表达决定了有限的离散式有效手势。

在手势与手语的传播过程中，传达者需要特定的表述方式来向接受者描述手势，因而这一过程需要通过一种特定的媒介来实现。一个手势，通常可以使用多种方式来描述和表征，不同类型的受传者对于手势表述方式的需求也不尽相同。传播时，常用的媒介形式包括直观的手势演示和经过编码的手势数据。

面对面的动作展示及通过图片、视频等媒体文件的手势演示都可以被认为是直观的手势演示，如图1所示。传播者可以执行手势动作或播放演示相关的媒体文件并为受传者解释这一动作的含义以实现手势的传播，这种情况常发生在日常生活中，受传者可以是手势交互方式或手语的学习者，但是不同的人对于一个动作的理解具有一定的主观性，仅仅通过动作来传达往往不够严谨，尤其是对于科研或手势设计人员而言，因而在作出一个手势时需要较多的语言或文字陈述来明确这一手势。

经过编码的手势符号体系是另一种手势在日常生活中传播的重要媒介，常应用于聋哑人士之间或手势的研究人员之间，如图2所示。这一媒介形式将手势特征符号化，使得手势可以通过特定的符号组合来表达，与媒体传播形式相比占用的数据资源更少，也更为客观，不会因为理解上的差异而产生偏差，从这一点上来讲，这一编码方式是更适合科研与设计人员使用的方式，但同时它也存在着直观性不高、计算机难以输入和识别的缺陷。而除了经过编码的手势符号体系之外，另一种常用的编码方式是通过生理约束将手势数据化简，以更少的节点数据来表征手势，经常被用于手部运动模拟领域，常用的编码方式包括从语义学出发的手势编码和从运动学出发的手势编码。

从语义学出发的手势编码，即手势符号体系，其中被广泛认可的符号体系包括HamNoSys、Stokoe Notation以及SignWriting，其中，HamNoSys编码方案由于不受文化、地域的影响，能够表达丰富的手势，被应用的最为广泛。表1即为HamNoSys编码方案，不同的符号表示手指不同的弯曲状态，而手的其他状态和运动信息等同样可以通过符号一一映射，因而一组具有特定含义的手势动作可以被一组符号表述，通过这一编码体系，传播者和受传者可以通过书面符号书写的方式完成传播和交流。

表1

HamNoSys等编码体系属于离散编码的方式，用更加客观的形式来描述手势以及手部运动情况，对于熟练掌握的使用者来说是一种高效的方式，但是这类编码方式缺少对手部生理约束的考虑，这就导致了HamNoSys追求完善、全面的表征体系，从而引入了较多的无法执行的冗余手势编码。SignWriting对手势编码进行了简化，却又过于简单，其表征能力也随之下降，无法对某些手势进行有效的描述。上述问题也是从语义学出发的手势编码中最常出现的问题，同时，对于手势交互的研究设计人员来说，这类编码方案所需的学习成本过高，在计算机中的可输入性较差，使用这类编码方式会导致研究内容之外的过多的时间消耗。

从运动学出发的手势编码，即手势表征体系，生理约束是其最主要的考虑因素，由于在机械手以及三维手部模型的控制过程中，更多的主动关节数量往往意味着控制复杂度和难度的提升，因而研究者希望通过对手部运动学与解剖学的研究来把握人手运动时各个关节间的约束关系，并以此为基础来减少主动关节数量，以达到用更简洁的控制实现自然的手部运动模拟的效果。

将手部食指、中指、无名指、小指的全部关节划分为五个区域，即图3中方框框住的五个区域，其中每个区域都有一个主动关节，该区域中其余关节的运动状态受这一主动关节的控制，在控制过程中，只需要设定主动关节的运动状态就可以完成对手部状态的控制。然而这类从运动学出发的手势编码往往注重于对自然运动状态的模拟，是连续的编码方式，缺乏对手势语义表述的考量，仅适合用于控制，而并不适用于描述一个手势。

综上可知，从语义学出发的手势编码和从运动学出发的手势编码分别从语义表达和生理约束两方面各自考虑手势的编码方法，相互之间缺乏借鉴和综合性的考量，虽各有优点但也有很多缺点，因此需要将语义表达和生理约束结合形成一套新的编码方式。

发明内容

本公开提供了一种基于语义表达与生理约束的手势编码方法及系统，其技术目的是减少手势编码的冗余，使手势编码更为简单通用。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种基于语义表达与生理约束的手势编码方法，包括：

根据编码规则对手势进行手势编码，所述手势包括静态手势和动态手势；其中，所述编码规则包括生理约束编码规则和语义表达编码规则；所述生理约束编码规则包括手指关节状态约束编码规则和四指外展约束编码规则；所述语义表达编码规则包括左右手编码规则、手心空间方向编码规则、手腕状态编码规则、手臂位置编码规则、手指接触与关节状态综合编码规则和动态手势编码规则；

对于所述静态手势，依次按照所述左右手编码规则、手指接触与关节状态综合编码规则、四指外展约束编码规则、手腕状态编码规则、手臂位置编码规则、手心空间方向编码规则的顺序对所述静态手势进行编码；

对于所述动态手势，在所述静态手势的编码基础上按照所述动态手势编码规则对手部位置变化动态手势和手部姿态变化动态手势进行编码；

所述手指包括拇指和四指，所述四指包括食指、中指、无名指和小指，所述拇指节点包括拇指指尖、拇指IP、拇指MCP和拇指TMC，所述四指节点包括四指指尖、四指DIP、四指PIP、四指MCP和四指CMC。

进一步地，所述手指接触与关节状态综合编码规则包括手指接触编码规则和手指关节状态语义编码规则，所述手指接触编码规则的优先级高于所述手指关节状态语义编码规则，当所述手指之间存在接触时，对存在接触的所述手指仅按照所述手指接触编码规则进行编码；当所述手指之间不存在接触时，则按照所述手指关节状态语义编码规则对所述手指进行编码。

进一步地，所述手指接触编码规则包括：

仅考虑所述拇指节点与所述四指节点的接触关系，所述拇指的可接触节点包括所述拇指指尖和所述拇指IP，所述四指的可接触节点包括所述四指指尖、所述四指DIP和所述四指PIP，对所述拇指指尖、拇指IP、四指指尖、四指DIP和四指PIP分别进行编码；

所述四指与所述拇指接触时，所述拇指的整体状态包括弯曲状态和伸展状态，所述弯曲状态为圆接触，所述伸展状态为扁接触，对所述圆接触和所述扁接触分别进行编码。

进一步地，所述手指关节状态语义编码规则包括：

所述拇指IP包括第一伸展状态和第一弯曲状态，所述拇指MCP包括第二伸展外展状态、第二伸展并拢状态、第二半弯曲状态和第二弯曲状态，所述四指PIP包括第三伸展状态、第三半弯曲状态和第三弯曲状态，所述四指MCP包括第四伸展状态、第四半弯曲状态和第四弯曲状态，对所述第一伸展状态、第一弯曲状态、第二伸展外展状态、第二伸展并拢状态、第二半弯曲状态、第二弯曲状态、第三伸展状态、第三半弯曲状态、第三弯曲状态、第四伸展状态、第四半弯曲状态和第四弯曲状态分别进行编码。

进一步地，所述四指外展约束编码规则包括：

对四指外展和四指并拢分别进行编码，其中，所述四指外展包括第一外展单元、第二外展单元和第三外展单元，所述第一外展单元为食指与中指之间的外展单元，所述第二外展单元为中指与无名指之间的外展单元，所述第三外展单元为无名指与小指之间的外展单元；

所述四指中任一四指MCP处于所述第四弯曲状态时，所述四指MCP的邻近外展单元都不具备外展能力；

所述四指中具备外展能力的外展单元的外展状态保持一致。

进一步地，所述左右手编码规则包括左手动作和右手动作，对所述左手动作和所述右手动作分别进行编码；

所述手腕状态编码规则包括：手腕状态包括外翻、平直、半内扣和内扣，对所述外翻、平直、半内扣和内扣分别进行编码；

所述手臂位置编码规则包括：手臂位置包括自然下垂、上臂自然下垂的同时前臂自然抬起以及上臂自然抬起，对所述自然下垂、上臂自然下垂的同时前臂自然抬起和上臂自然抬起分别进行编码；

所述手心空间方向编码规则包括：以手势执行者面朝的方向作为前方，手心空间方向包括前、后、左、右、上、下，对所述前、后、左、右、上、下分别进行编码。

进一步地，所述手指关节状态约束编码规则包括：所述四指DIP的状态由所述四指PIP的状态唯一确定，所述拇指TMC的状态由所述拇指MCP的状态唯一确定。

进一步地，所述拇指IP的第一伸展状态和第一弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,146°]和(146°,100°]；所述拇指MCP的第二伸展外展状态、第二半弯曲状态和第二弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,160°]、(160°,140°]和(140°,100°]，所述拇指MCP的第二伸展并拢状态是指拇指和手的桡侧贴合；所述四指PIP的第三伸展状态、第三半弯曲状态和第三弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,142°]、(142°,123°]和(123°,70°]；所述四指MCP的第四伸展状态、第四半弯曲状态和第四弯曲状态分别对应的构成该关节的两根骨骼的夹角范围为[180°,160°]、(160°,140°]和(140°,90°]。

进一步地，所述编码规则还包括动态手势编码规则，所述动态手势编码规则包括手部位置变化动态手势编码和手部姿态变化动态手势编码，所述手部姿态变化动态手势编码包括至少两个连接的静态手势，所述手部位置变化动态手势编码以手势执行者面朝的方向作为前方，所述动态手势的手部空间位置的变化包括前挥、后挥、左挥、右挥、上挥、下挥、左斜上挥、左斜下挥、右斜上挥以及右斜下挥，对所述手部空间位置分别进行编码。

一种基于语义表达与生理约束的手势编码系统，所述手势编码系统使用上述任一所述的手势编码方法进行手势编码。

本公开的有益效果在于：本公开所述的基于语义表达与生理约束的手势编码方法及系统，根据语义表达编码规则和生理约束编码规则对手势进行离散化的手势编码。编码基于左右手、手的空间方向、手腕状态、手指接触关系、手指外展状态、手指关节状态以及手的运动特征而展开，能够覆盖静态和动态手势。该编码规则从语义表达和生理约束两个方面去除了无意图和难执行的手势编码，极大地简化了手势编码表达。

该手势编码方法将复杂连续的手势转化为一串字符串，能够方便计算机识别、转换和存储，同时每个字符串的字段都对应着手势语义，方便人和计算机学习和理解。当人们习得该手势编码规则后，可以抛弃现有的基于机器学习的手势输入方法，直接输入或者修改字符串的编码来进行手势定义和识别，也可以用此编码方法做为输入直接驱动机械手或虚拟手模型。

基于该手势编码方法，可以对不同手势之间进行量化的手势差异度计算，并以此为基础来进行手势定义，以减少无意识手势导致的偶发启动。

附图说明

图1为直观的手势演示示意图；

图2为符号表征手势的示意图；

图3为手势简化表征示意图；

图4为手指骨骼架构和命名的示意图；

图5为本公开方法流程图；

图6为手指关节角度约束示意图；

图7为手指外展状态及约束示意图；

图8为双手握拳手势示意图；

图9为四指外展状态示意图；

图10为手心空间朝向示意图；

图11为手臂状态示意图；

图12为手腕状态示意图；

图13为捏住手势示意图；

图14为圆接触与扁接触示意图；

图15为拇指关节状态示意图；

图16为四指弯曲状态示意图；

图17为手指关节接触与弯曲综合编码的手势示意图；

图18为指向手势示意图；

图19动态手势位姿改变示意图；

图20为动态手势空间位置改变示意图；

图21为手部空间位置方向变化示意图；

图22为双手动态手势示意图。

具体实施方式

下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。

在手势手语研究中，通识的人的手指骨骼架构及其命名方式如图4所示，其中拇指由三个骨骼组成，对应的连接节点自上而下(即自手指到手掌)分别为：拇指指尖、拇指IP、拇指MCP和拇指TMC；其余四指(食指、中指、无名指和小指)由四个骨骼组成，对应的连接节点自上而下分别为：四指指尖、四指DIP、四指PIP、四指MCP和四指CMC，四指指尖包括食指指尖、中指指尖、无名指指尖和小指指尖，四指DIP包括食指DIP、中指DIP、无名指DIP和小指DIP，四指PIP包括食指PIP、中指PIP、无名指PIP和小指PIP，四指MCP包括食指MCP、中指MCP、无名指MCP和小指MCP，四指CMC包括食指CMC、中指CMC、无名指CMC和小指CMC，本申请中为了便于描述除非必要否则均以四指指代除拇指以外的其余手指，对应的节点亦是如此。

图5为本公开方法流程图，如图5所示，通过语义表达编码规则和生理约束编码规则对手势进行编码。语义表达编码规则包括左右手编码规则、手心空间方向编码规则、手腕状态编码规则、手臂位置编码规则、手指接触与关节状态综合编码规则和动态手势编码规则，生理约束编码规则则包括手指关节状态约束编码规则和四指外展约束编码规则。

手势又包括静态手势和动态手势，对于静态手势，依次按照左右手编码规则、手指接触与关节状态综合编码规则、四指外展约束编码规则、手腕状态编码规则、手臂位置编码规则、手心空间方向编码规则的顺序对手势进行编码。另外，手指接触与关节状态综合编码规则包括手指接触编码规则和手指关节状态语义编码规则，手指接触编码规则的优先级高于手指关节状态语义编码规则，即当手指之间存在接触时，对存在接触的手指仅按照手指接触编码规则进行编码，而无需对存在接触的手指进行关节状态的编码；当手指之间不存在接触时，则按照手指关节状态语义编码规则对手指进行编码。

对于动态手势，在静态手势的编码基础上按照动态手势编码规则对手部位置变化动态手势和手部姿态变化动态手势进行编码。

关于生理约束编码规则，在手指的紧密约束中，目前应用最广泛且认同度最高的约束有两个。其一是四指DIP与四指PIP之间的弯曲角度比例关系，这一关系被表述为：

其中θ表示节点弯曲的角度；其二是拇指TMC的弯曲角度与拇指MCP的弯曲角度呈一定的比例的关系，这一关系被表述为：

如图6所示。

因此，上述约束关系可以应用于本申请的手势编码中，用以简化手势编码的复杂度，有四指PIP和四指DIP成组(即食指PIP和食指DIP成组、中指PIP和中指DIP成组、无名指PIP和无名指DIP成组、小指PIP和小指DIP成组)，拇指MCP与拇指TMC成组，则有手指关节状态约束编码规则包括：四指DIP的状态由四指PIP的状态唯一确定，拇指TMC的状态由拇指MCP的状态唯一确定，因此在使用手势编码表述手势时只需要指定四指PIP和拇指MCP的状态，就可以确定四指DIP和拇指TMC的状态。

除上述手指关节状态的生理约束之外，拇指外四个手指的外展状态约束同样对手势编码的简化具有重要意义。如图7所示，拇指外的四指之间形成了三个外展单元，理论上来讲三个外展单元都可以被独立的编码为外展状态或收拢状态，但当三个外展单元的状态不一致时，虽然对应的手势可以被实现，由于生理约束这些手势是非常不自然的，需要较多的意识和注意力，因而此类手势不适合用于手势交互和手势表意，故四指的三个外展单元之间存在生理约束。因此将手指外展状态应用于手势编码中时，在构建手势编码方案时不考虑拇指外的其他四指的三个外展单元不一致时的手势，而是将四指的外展状态视为一个整体进行编码，那么手指外展状态包括拇指外展、拇指并拢、四指外展和四指并拢。四指包括三个外展单元，即食指与中指之间的外展单元、中指与无名指之间的外展单元以及无名指与小指之间的外展单元。

关于语义表达编码规则，从语义表征的角度来看，手势编码体系应当能够具象化的对手势作出合理的表征和说明，能够展现出不同手势各自的语义特点。以图18中的“指向”手势为例，其语义不仅和手指的姿态有关，还和手部整体的方向，手腕翻折状态等有着很大的关系。那么手势编码体系就需要从手掌与手指的关系、有效手指的数量、手指和手掌角度等多方面来出发考虑。

对于左右手编码，在指定手部的位姿状态时首先需要指定这一姿态的执行手为左手还是右手，则有左右手编码规则包括左手动作和右手动作，分别编码L和R，当对手部动作的执行手没有要求时，以N标记。

图13所示手势为捏住手势，食指指尖与拇指指尖的接触包含明显的语义信息，因此需要对手指节点之间的接触关系进行额外的编码。由于拇指相较于其他四指有着更强的独立性，因此拇指节点与其他四指节点之间的接触往往语义更加明显同时也更易于被实现。除拇指之外的其余四指之间同样存在可实现的接触关系，但其语义特征不明显，同时会造成更多的生理和注意力负担，手势语义信息传递的效率不高，因而不适用于作为表意或交互的手势。由此有手指接触编码规则包括：在手指节点接触关系编码中，仅考虑拇指节点与其余四指节点的接触关系，拇指的可接触节点包括拇指指尖和拇指IP，可分别编码为0和1，其余四指的可接触节点包括四指指尖、四指DIP和四指PIP，分别编码为0、1和2。

此外，如图14所示，其他四指与拇指接触时拇指整体可能处于弯曲的状态或伸展的状态，这两种状态可以称之为“圆接触”和“扁接触”，同样具有完全不同的语义特征，因而需要对其进行区分编码，例如可以使用一位字母对其进行编码，圆接触编码为R(Round)，扁接触编码为F(Flat)。那么手指接触编码规则还包括：拇指与其余四指接触时，拇指的整体状态包括弯曲状态和伸展状态，这两种状态分别对应的接触类型为圆接触和扁接触，对圆接触和扁接触分别进行编码。

由上述描述可知手指接触编码规则包括，当手势中存在接触关系时，需要分别标记每个手指的接触状态，其中拇指的接触编码由状态编码和位置编码两位组成，以R0为例，其中R表示该手势的接触类型为圆接触，而0表示拇指用以接触的位置为拇指指尖。其余四指的接触编码由位置编码组成，四个手指共需要四位位置编码，自高位至低位分别代表食指、中指、无名指和小指，不参与接触编码的手指则以N编码。

在手指关节状态语义编码规则中，包括对拇指关节状态和四指关节状态的语义编码。根据拇指IP和拇指MCP两个关节各自的语义表征能力，图15中(a)展示了拇指IP弯曲的编码，为拇指IP关节弯曲指定“伸展状态”和“弯曲状态”两种状态，并分别编码为0和1；图15中(b)为拇指MCP关节弯曲指定的三种状态“伸展状态”、“半弯曲状态”和“弯曲状态”，编码为0-2。

此外，图15中(c)为拇指MCP关节外展编码示意图，拇指MCP关节外展是指拇指与其余四指的并拢和外展关系，包括拇指并拢和拇指外展。综合考虑拇指MCP关节的弯曲和外展，为拇指MCP关节指定“伸展并拢状态”、“伸展外展状态”、“半弯曲状态”和“弯曲状态”四种状态，并分别编码为0-3。

那么拇指关节状态可由拇指IP关节状态和拇指MCP关节状态的两位编码组成，用高位代表拇指IP关节状态，低位代表拇指MCP关节状态，那么图15(b)中最右侧所示的拇指弯曲状态可以被编码为03，即拇指IP为伸展状态，拇指MCP为弯曲状态。

对于四指关节状态语义编码，又包括四指关节状态编码和四指外展编码。四指中各个手指的弯曲都具备一定的独立性，因而需要为各个手指的弯曲状态设定独立的编码。已知四指DIP和四指PIP合并成组并由四指PIP驱动，因此四指的弯曲状态由四指PIP和四指MCP共同决定，根据两个关节各自的语义表征能力，为四指PIP和四指MCP分别指定伸展、半弯曲和弯曲三种状态，并以此编码为0、1、2。那么每个手指的弯曲状态由两位编码组成，高位代表四指PIP，低位代表四指MCP。图16中(a)为食指PIP的弯曲状态示意图，(b)为食指MCP的弯曲状态示意图，由上述编码规则，那么图16中(b)的最右一个手势食指的弯曲状态编码为02，即食指PIP为伸展状态，食指MCP为弯曲状态。

图9中(a)为四指外展状态示意图，根据上述关于外展约束的分析，将四指的外展状态编组，并编码为A(Abduction)和T(Together)两种状态，其中A表示外展，T表示并拢。需要说明的是，如图9中(b)所示，当四指中任一手指的MCP处于完全弯曲状态(编码为2)时，其临近外展单元不具备外展的能力，此时，这一外展状态的编码由剩余具备外展能力的外展单元决定，并且四指中具有外展能力的外展单元的外展状态应保持一致，即四指中任意一个外展单元为外展状态时即为四指外展。

当所有外展单元都不具备外展能力时，外展状态编码为N；此外，当对四指的外展状态没有要求时，同样以N标记。

由于四指中每个手指的弯曲状态都可以通过一个两位的弯曲编码来描述，四指的外展编码可以通过一位的编码来表示，因此可使用九位的编码来表征四指各个关节的状态，其中前八位数字自左至右每两位数字依次代表食指、中指、无名指和小指的弯曲状态，最后一位字母代表四指的外展状态，那么图16中(b)的最右一个手势的四指关节状态编码为02222222N，即除了食指PIP为伸展状态外，其他关节都是弯曲状态，同时所有外展单元均不具备外展能力。

则有四指外展约束编码规则包括：对四指外展和四指并拢分别进行编码，其中，四指外展包括第一外展单元、第二外展单元和第三外展单元，第一外展单元为食指与中指之间的外展单元，第二外展单元为中指与无名指之间的外展单元，第三外展单元为无名指与小指之间的外展单元；四指中任一四指MCP处于第四弯曲状态时，四指MCP的邻近外展单元都不具备外展能力；四指中具备外展能力的外展单元的外展状态保持一致。

关于拇指和四指的各个关节的不同弯曲状态对应的弯曲角度如表2所示，表2所示的角度是拇指关节、四指关节的弯曲角度，即构成对应关节的两根骨骼的夹角，对于拇指IP，180°为其伸展状态语义表达效果最好的角度，100°为其弯曲状态语义表达效果最好的角度；对于拇指MCP，180°为其伸展状态语义表达效果最好的角度，150°为其半弯曲状态语义表达效果最好的角度，100°为其弯曲状态语义表达效果最好的角度；对于四指PIP，180°为其伸展状态语义表达效果最好的角度，135°为其半弯曲状态语义表达效果最好的角度，70°为其弯曲状态语义表达效果最好的角度；对于四指MCP，180°为其伸展状态语义表达效果最好的角度，150°为其半弯曲状态语义表达效果最好的角度，90°为其弯曲状态语义表达效果最好的角度。

表2

综上可知，手指关节状态语义编码规则包括拇指关节状态语义编码和四指关节状态语义编码，拇指关节状态语义编码中包括拇指IP状态和拇指MCP状态，拇指IP状态包括伸展状态和弯曲状态，拇指MCP状态包括伸展并拢状态、伸展外展状态、半弯曲状态和弯曲状态。四指关节状态语义编码中包括四指PIP状态和四指MCP状态，四指PIP状态和四指MCP状态都包括伸展状态、半弯曲状态和弯曲状态。对拇指和四指各关节的不同状态分别进行编码，不再赘述。

图17为手指关节接触与关节状态综合编码的手势示意图，手指关节接触语义编码规则中，手指关节接触关系作为独立的编码形式，完全决定了相关手指的形态，因而通过手指关节接触语义编码规则被编码的手势不需要再经过手指关节弯曲语义编码规则进行编码，此即为手指关节接触与弯曲综合编码规则，从而可以缩减编码长度，简化编码难度。以十位编码来综合表示手指的接触和表达，自高位至低位每两位依次表征拇指、食指、中指、无名指和小指。对拇指的编码而言，若存在接触状态则以接触状态编码表示，如R0；若不存在接触状态，则以弯曲状态编码表示，如00。对于其他四指的编码而言，若存在接触状态，则以字母“C(Contact)”标记并接手指关节的接触编码，如C0；若不存在接触状态，则以弯曲状态编码表示。那么图17所示手势可以被编码为R0T0222222N，其详细含义为：拇指指尖与食指指尖存在接触，且为圆接触，故拇指编码为R0，R表示圆接触，0表示接触节点为拇指指尖；食指编码为C0，C表示有接触关系，0表示接触节点为食指指尖；中指、无名指和小指都没有接触关系且其PIP关节和MCP关节都为弯曲状态，故编码都为22,N表示四指的所有外展单元都不具备外展能力。

此外，手心空间方向编码规则包括：以手势执行者面朝的方位为前方，将手心的空间方向编码为前、后、左、右、上、下六个状态，如图10所示，对这六个状态以0-5编码。上述手心的空间方向的六个状态一般是从做动作的人的朝向角度来定义。

手臂位置编码规则包括：以手臂相对于手指执行者的位置为准，将手臂的位置编码为自然下垂、前臂自然抬起和上臂自然抬起等三类位置，并分别以0、1、2编码，如图11所示。

手腕状态编码规则包括：手腕状态包括外翻、平直、半内扣和内扣等四个状态，如图12所示，对这四个状态分别以0、1、2、3编码。

综合上述所有的编码规则，手势的静态综合编码可以以左右手编码规则、手指接触与关节状态综合编码规则、四指外展约束编码规则、手腕状态编码规则、手臂位置编码规则、手心空间方向编码规则的顺序构建。上述编码又可以分为基本编码序列和拓展编码序列，基本编码序列表述手部的姿态信息，包含“左右手编码”、“手指接触与关节状态综合编码”、“四指外展约束编码”三部分；拓展编码序列表述手部和肢体的相对关系，包含“手腕状态编码”、“手臂位置编码”和“手心空间朝向语义编码”三部分。

基本编码序列和拓展编码序列之间以符号“-”连接。其中，基本编码序列中无需定义的位置用N来占位表征，拓展手势编码中无需定义的位置则直接省略。手腕状态、手臂位置和手心空间方向都只有一位编码分别以字母W(Wrist)、P(Position)、D(Direction)进行标记，例如W1、P2以及D0，按照需要依次罗列在“-”后。表3中即为一组静态手势及其编码。

若需要同时给出双手的位姿状态，则可以使用格式：(左手手势编码，右手手势编码)来表示，以如图8所示的的双手握拳动作为例，其编码可以表示为：(L2322222222N-W0，R2322222222N-W0)。

动态手势在一定时间内发生变化，动态手势的变化分为两类，一类是手势的静态姿态发生改变，如图19所示；另一类是手部空间位置的改变，如图20所示，手部空间位置的变化包括前挥、后挥、左挥、右挥、上挥、下挥、左斜上挥、左斜下挥、右斜上挥以及右斜下挥，其变化方向如图21所示，分别从0到9进行编码。以“>>”表示手势状态的转变，其左右两边分别标记手势的静态状态编码，若“手指接触与关节状态综合编码”部分全部没有定义，则可以整体省略；而两个“>”之间标记手部空间位置变化的编码，若没有空间位置的变化则不标。

如图19所示的3个手势状态的编码依次为RF0T0222222N、R0200222222N、RF0T0222222N，这一动态手势可以被编码为：RF0T0222222N>>R0200222222N>>RF0T0222222N。

表3

图20所示的右挥动作若假设向左挥手过程中没有对手势静态位姿的要求，这一动态手势可以被编码为：N>2>N；若要求其静态手势保持不变(即R0000000000N)，这一动态手势可以被编码为R0000000000N>2>R0000000000N；若左挥过程前后要求手势的位姿状态由伸展手势(R0000000000N)转换为握拳手势(R2322222222N)，这一动态手势可以被编码为：R0000000000N>2>R2322222222N。

此外，若同时需要表述双手的动态动作，则可以使用格式(左手动态编码，右手动态编码)来表示。如图22所示的左手左挥和右手右挥动作，若没有对手部静态位姿的要求，则可以表示为(L>2>L，R>3>R)。

本申请所述手势编码结合语义表达和生理约束，将复杂的手势姿态以及手势动作合理化简，以手心空间方向、手腕状态、手指接触关系、手指外展状态、手指弯曲状态等作为内在表述的特征，能够合理、有效且完整的表征各类动、静态手势的同时，不会产生过多冗余的编码。此外，本申请所述的编码方式中各个关节具有独立的状态编码，更易于理解，也更容易实现手势和编码之间的转换，在手势传达、手势识别及手势设计等领域都有不容忽视的作用。

以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。

Claims (10)

1.一种基于语义表达与生理约束的手势编码方法，其特征在于，包括：

根据编码规则对手势进行手势编码，所述手势包括静态手势和动态手势；其中，所述编码规则包括生理约束编码规则和语义表达编码规则；所述生理约束编码规则包括手指关节状态约束编码规则和四指外展约束编码规则；所述语义表达编码规则包括左右手编码规则、手心空间方向编码规则、手腕状态编码规则、手臂位置编码规则、手指接触与关节状态综合编码规则和动态手势编码规则；

对于所述静态手势，依次按照所述左右手编码规则、手指接触与关节状态综合编码规则、四指外展约束编码规则、手腕状态编码规则、手臂位置编码规则、手心空间方向编码规则的顺序对所述静态手势进行编码；

对于所述动态手势，在所述静态手势的编码基础上按照所述动态手势编码规则对手部位置变化动态手势和手部姿态变化动态手势进行编码；

所述手指包括拇指和四指，所述四指包括食指、中指、无名指和小指，所述拇指节点包括拇指指尖、拇指IP、拇指MCP和拇指TMC，所述四指节点包括四指指尖、四指DIP、四指PIP、四指MCP和四指CMC。

2.如权利要求1所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述手指接触与关节状态综合编码规则包括手指接触编码规则和手指关节状态语义编码规则，所述手指接触编码规则的优先级高于所述手指关节状态语义编码规则，当所述手指之间存在接触时，对存在接触的所述手指仅按照所述手指接触编码规则进行编码；当所述手指之间不存在接触时，则按照所述手指关节状态语义编码规则对所述手指进行编码。

3.如权利要求2所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述手指接触编码规则包括：

仅考虑所述拇指节点与所述四指节点的接触关系，所述拇指的可接触节点包括所述拇指指尖和所述拇指IP，所述四指的可接触节点包括所述四指指尖、所述四指DIP和所述四指PIP，对所述拇指指尖、拇指IP、四指指尖、四指DIP和四指PIP分别进行编码；

所述四指与所述拇指接触时，所述拇指的整体状态包括弯曲状态和伸展状态，所述弯曲状态为圆接触，所述伸展状态为扁接触，对所述圆接触和所述扁接触分别进行编码。

4.如权利要求3所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述手指关节状态语义编码规则包括：

所述拇指IP包括第一伸展状态和第一弯曲状态，所述拇指MCP包括第二伸展外展状态、第二伸展并拢状态、第二半弯曲状态和第二弯曲状态，所述四指PIP包括第三伸展状态、第三半弯曲状态和第三弯曲状态，所述四指MCP包括第四伸展状态、第四半弯曲状态和第四弯曲状态，对所述第一伸展状态、第一弯曲状态、第二伸展外展状态、第二伸展并拢状态、第二半弯曲状态、第二弯曲状态、第三伸展状态、第三半弯曲状态、第三弯曲状态、第四伸展状态、第四半弯曲状态和第四弯曲状态分别进行编码。

5.如权利要求4所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述四指外展约束编码规则包括：

对四指外展和四指并拢分别进行编码，其中，所述四指外展包括第一外展单元、第二外展单元和第三外展单元，所述第一外展单元为食指与中指之间的外展单元，所述第二外展单元为中指与无名指之间的外展单元，所述第三外展单元为无名指与小指之间的外展单元；

所述四指中任一四指MCP处于所述第四弯曲状态时，所述四指MCP的邻近外展单元都不具备外展能力；

所述四指中具备外展能力的外展单元的外展状态保持一致。

6.如权利要求5所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述左右手编码规则包括左手动作和右手动作，对所述左手动作和所述右手动作分别进行编码；

所述手腕状态编码规则包括：手腕状态包括外翻、平直、半内扣和内扣，对所述外翻、平直、半内扣和内扣分别进行编码；

所述手臂位置编码规则包括：手臂位置包括自然下垂、上臂自然下垂的同时前臂自然抬起以及上臂自然抬起，对所述自然下垂、上臂自然下垂的同时前臂自然抬起和上臂自然抬起分别进行编码；

所述手心空间方向编码规则包括：以手势执行者面朝的方向作为前方，手心空间方向包括前、后、左、右、上、下，对所述前、后、左、右、上、下分别进行编码。

7.如权利要求6所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述手指关节状态约束编码规则包括：所述四指DIP的状态由所述四指PIP的状态唯一确定，所述拇指TMC的状态由所述拇指MCP的状态唯一确定。

8.如权利要求4所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述拇指IP的第一伸展状态和第一弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,146°]和(146°,100°]；所述拇指MCP的第二伸展外展状态、第二半弯曲状态和第二弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,160°]、(160°,140°]和(140°,100°]，所述拇指MCP的第二伸展并拢状态是指拇指和手的桡侧贴合；所述四指PIP的第三伸展状态、第三半弯曲状态和第三弯曲状态分别对应构成该关节的两根骨骼的夹角范围为[180°,142°]、(142°,123°]和(123°,70°]；所述四指MCP的第四伸展状态、第四半弯曲状态和第四弯曲状态分别对应的构成该关节的两根骨骼的夹角范围为[180°,160°]、(160°,140°]和(140°,90°]。

9.如权利要求1所述的基于语义表达与生理约束的手势编码方法，其特征在于，所述动态手势编码规则包括手部位置变化动态手势编码和手部姿态变化动态手势编码，所述手部姿态变化动态手势编码包括至少两个连接的静态手势；

所述手部位置变化动态手势编码以手势执行者面朝的方向作为前方，动态手势的手部空间位置的变化包括前挥、后挥、左挥、右挥、上挥、下挥、左斜上挥、左斜下挥、右斜上挥以及右斜下挥，对所述手部空间位置分别进行编码。

10.一种基于语义表达与生理约束的手势编码系统，其特征在于，所述手势编码系统使用权利要求1-9任一所述的手势编码方法进行手势编码。

Images