CN116185205A - 非接触手势交互方法和装置 - Google Patents

Abstract

本发明属于手势交互技术领域，提供一种非接触手势交互方法和装置。该非接触手势交互方法包括：获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点在作业空间坐标系中的位姿信息；基于所获取的多个手部关键点的位姿信息，执行自定义手势判定，得到手势判定参数；将所述手势判定参数输入手势判定计算模型，输出手势判定结果；基于自构建的交互事件映射库，将所述手势判定结果与所述映射库中交互事件进行匹配，确定与待识别手势相对应的操作。本发明通过构建手势判定计算模型，建立自定义手势判定机制实现对待识别手势的精准判定；通过构建交互事件映射库，将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够实现手势交互与仿真引擎的解耦合，能够支持按需虚实融合自适应输出。

Description

非接触手势交互方法和装置

技术领域

本发明涉及手势交互技术领域，尤其涉及一种非接触手势交互方法和装置。

背景技术

随着信息技术的发展，TS仿真显示领域中三维呈现成为主流。三维TS仿真推演系统构建三维虚拟空间作为真实空间的映射，其中，三维对象具有与真实实体单元相似的物理特征，因此使用新型人机交互的方式与虚拟空间的物体交互，更符合用户与真实空间实体交互的自然认知，选用自然人机交互的方式进行输入输出是较为理想的选择，可以带给用户逼真的沉浸式体验。

现阶段新型自然交互技术主要包括手势交互技术、语音交互技术、脑机接口技术、眼动计算技术等。相较于传统交互方式例如用户通过键盘、鼠标、操纵杆或触摸屏与软件系统交互，新型人机交互更符合人体认知，交互过程更加自然高效。其中以手势作为信息输入的交互方式，作为人体最自然、常用的自然交互手段，具有优异的沉浸性和自然性。将手势识别应用于三维TS仿真应用，通过采集识别人的手部动作将动作映射于虚拟空间中的业务对象，使其实时产生相应的反馈效果，从而实现用户通过手部活动与虚拟世界的真实互动体验。

相较于鼠标键盘的交互是通过键鼠设备点击产生物理信号直接输入确定的指令，人做手势的信号采集不能由人体发送给计算机，而是通过外部设备通过传感器间接采集后再发送，而实时动态手势信息采集时因受光照、复杂背景变化等因素的影响，存在着交互延迟和识别精度不高的问题。此外，在现有军事领域三维TS仿真系统应用中，由于不存在通用空间交互手势语言，不同用户做出的手势动作存在差异，手势识别难度大。不同系统预设过多的空间交互手势，学习手势的成本较高，交互过于复杂，无法做到互联互通；有些空间交互手势存在语义不明或者与人的自然认知偏差较大，使用过程中因对用户认知造成混淆造成用户使用体验感差等问题；面向军事领域信息系统的空间交互手势需要形成与其他行业交互手势的差异化，如行业手语、通用手语，否则使用过程中容易产生歧义；现有军事领域三维TS仿真系统应用的非接触式手势交互机制是为特定系统设计的，无法同时满足支持沉浸式交互和大屏离屏式交互。

现有手势交互方法存在如下问题，预设空间交互手势识别精度不高，鲁棒性较差；预设空间交互手势不符合人自然认知，容易产生混淆；预设空间交互手势过于复杂，学习成本较高；预设空间交互手势通用性较差，无法与其他三维态势仿真应用互联互通；预设空间交互手势扩展性较差，无法满足用户创建自定义手势的需求；预设空间手势判定结果直接驱动资源界面，没有利用三维空间特性，无法同时满足支持沉浸式交互和大屏离屏式交互等。

因此，有必要提供一种改进了的非接触手势交互方法，以解决如上问题，为用户提供更自然、更符合认知的手势交互方式。

发明内容

本发明意在提供一种非接触手势交互方法和装置，以解决现有技术中预设空间交互手势过于复杂，扩展性较差、通用性较差，学习成本较高，识别精度不高，鲁棒性较差；预设空间交互手势不符合人自然认知，容易产生混淆，无法与其他三维态势仿真应用互联互通，也无法满足用户创建自定义手势的需求；预设空间手势判定结果直接驱动资源界面，没有利用三维空间特性，无法同时满足支持沉浸式交互和大屏离屏式交互等的技术问题，本发明要解决的技术问题通过以下技术方案来实现。

本发明第一方面提出一种非接触手势交互方法，该非接触手势交互方法包括：获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括多个手部关键点的位姿信息；基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数；将所述手势判定参数输入手势判定计算模型，输出手势判定结果；基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

根据可选的实施方式，所述基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数，包括：在预设检测周期内，连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和状态判定；所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

根据可选的实施方式，执行手部结构变化判定包括：在预设检测周期内进行两次手部结构判定。

根据可选的实施方式，所述非接触手势交互方法还包括：基于预设检测周期，构建手势判定计算模型；所述构建手势判定计算模型包括确定手部关键点的位姿信息集合与手部结构的映射关系表达、手部结构变化表达、手部位姿变化表达以及选中状态变化表达。

根据可选的实施方式，所述基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，包括：构建交互事件映射库，所述构建交互事件映射库包括建立自定义手势与交互事件之间的映射关系；基于所建立的映射关系，将所述手势判定结果与所述交互事件映射库的交互事件进行匹配，输出所匹配的交互事件。

根据可选的实施方式，根据所匹配的交互事件，确定与待识别手势相对应的以下操作：移动光标、点击、返回、刷新、拖拽、旋转或其他编辑操作。

根据可选的实施方式，所述获取当前用户的待识别手势的手部运动信息，包括：通过采集设备在最佳可交互区域内，获取当前用户的待识别手势的手部运动信息，其中，所述最佳可交互区域配置为以所述采集设备为原点所构建的可交互空间；所述手部运动信息包括以下信息中的至少一者或者全部：连续时间内，手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息、移动速度信息。

根据可选的实施方式，所述非接触手势交互方法包括：根据所匹配的交互事件，通过事件响应机制驱动仿真应用的空间管理引擎作业，以支持沉浸式交互和大屏离屏式交互。

本发明第二方面提供一种非接触手势交互装置，采用本发明第一方面所述的非接触手势交互方法进行交互，包括：数据采集模块，用于获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点在作业空间坐标系中的位姿信息；手势判定模块，基于所获取的多个手部关键点在作业空间坐标系中的位姿信息，执行多个检测判定，得到手势判定参数，将所述手势判定参数输入手势判定计算模型，输出手势判定结果；交互事件确定模块，基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

根据可选的实施方式，所述手势判定模块在预设检测周期内，连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和状态判定；所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

本发明第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面所述的非接触手势交互方法。

本发明第四方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明第一方面所述的非接触手势交互方法。

本发明的有益效果：

与现有技术相比，本发明的非接触手势交互方法，通过构建手势判定计算模型，通过自定义手势判定机制实现对待识别手势的精准判定；将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够有效解决空间交互手势识别鲁棒性弱、学习成本高、通用性差的技术问题。

此外，本发明提出了最佳交互区域内通用非接触式手势及其判定规则，具体使用自定义手势进行交互更易符合人的自然认知，学习成本较低，能够较好地满足用户对三维态势仿真系统的观察和交互编辑的需求，能够做到与其他三维态势仿真应用互联互通。

此外，通过构建自定义手势规则库，允许用户按需进行自定义手势扩展；通过优化自定义手势规则库中的手势判定条件约束集合，能够适应不同用户的输入，具备可扩展性，同时将手势判定模块与场景空间管理模块解耦合，实现同时支持沉浸式交互和大屏离屏式交互。通过根据历史手势判定数据，校准自定义手势的判定规则，能够优化自定义手势的判定规则。

此外，构建交互事件映射库，建立自定义手势与交互事件之间的映射关系，通过事件响应机制驱动仿真应用的空间管理引擎进行仿真作业，将手势交互模块与空间管理引擎解耦合，能够同时满足沉浸式交互和大屏离屏式交互。

附图说明

图1是本发明的非接触手势交互方法的一示例的步骤流程图；

图2是本发明的非接触手势交互方法的应用示例的框图；

图3是本发明的非接触手势交互方法的最佳可交互区域的示意图；

图4是图1的非接触手势交互方法的多个检测判定的流程图；

图5是本发明的非接触手势交互方法的预设空间交互手势的一示例的示意图；

图6是本发明的非接触手势交互方法的预设空间交互手势的另一示例的示意图；

图7是本发明的非接触手势交互方法的预设空间交互手势的又一示例的示意图；

图8是本发明的非接触手势交互方法的预设空间交互手势的又一示例的示意图；

图9是本发明的非接触手势交互方法的预设空间交互手势的再一示例的示意图；

图10是本发明的非接触手势交互方法的另一示例的步骤流程图；

图11是根据本发明的非接触手势交互装置的一示例的结构示意图；

图12是根据本发明的电子设备实施例的结构示意图；

图13是根据本发明的计算机可读介质实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

鉴于上述问题，本发明提出一种非接触手势交互方法，该非接触手势交互方法通过本发明的非接触手势交互方法，该非接触手势交互方法通过构建手势判定计算模型，通过自定义手势判定机制实现对待识别手势的精准判定；将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够有效解决了空间交互手势识别鲁棒性弱、学习成本高、通用性差的技术问题。此外，本发明提出了最佳交互区域内通用非接触式手势及其判定规则，具体使用自定义手势进行交互更易符合人的自然认知，学习成本较低，能够较好地满足用户对三维态势仿真系统的观察和交互编辑的需求，能够做到与其他三维态势仿真应用互联互通，能够有效解决空间交互手势识别鲁棒性弱、学习成本高、通用性差的技术问题。

下面参照图1至图10，将对本发明的非接触式手势交互方法进行详细说明。

图1是本发明的非接触式手势交互方法的一示例的步骤流程图。

如图1所示，本公开提供了一种非接触式手势交互方法，通过构建一套鲁棒性较高、通用性较强的非接触式手势交互机制，执行多个检测判定，得到手势判定参数，将所述手势判定参数输入手势判定计算模型，输出手势判定结果，再将所述手势判定结果与所述交互事件映射库中的交互事件进行匹配，确定与待识别手势相对应的操作，使交互过程更简单、直观易于理解和操作，为用户提供更自然、符合认知的非接触式手势交互，为后续虚实仿真交互应用提供更优质的技术支撑。

图2为应用本发明的非接触式手势交互方法的应用场景的示意图。

下面将结合图2的三维仿真系统应用示例对非接触式手势交互方法进行具体说明。

首先，在步骤S101中，获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点的位姿信息。

在一实施方式中，所述非接触式手势交互方法应用于例如三维仿真系统（具体为三维态势仿真系统）等的交互场景，所述三维仿真系统包括显示屏，所述显示屏用于显示与手势相对应的操作。

具体地，通过例如传感器等的手势信号采集设备在最佳可交互区域内，实时获取当前用户的待识别手势的图像，该图像包含待识别手势的手部运动信息。其中，所述手势信号采集设备采用双目摄像头，通过双目立体视觉成像原理提取手部关键点（具体为手部骨骼关键点）在最佳可交互区域的三维位置坐标，进一步得到待识别手势的手部运动信息。

需要说明的是，所述最佳可交互区域配置为以手势信号采集设备为原点所构建的手部作业空间中的最佳可交互区域，具体可参见图3。从图3中可知，所述最佳可交互区域是基于手势信号采集设备为原点构建手部作业空间坐标系（例如，使用右手坐标系）所形成的可交互空间（如图3中的灰色部分），所述最佳可交互区域呈一个倒四棱锥形，水平视场角达140°，垂直视场角达120°，可交互深度在10cm-60cm之间，最大不超过80cm。此外，对于所述手势信号采集设备的位置，所述手势信号采集设备可以设置在人员讲解台附近，也可以设置在三维仿真系统的显示屏附近，或者其他便于用户进行手势作业的区域。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

具体地，所述手部运动信息包括连续时间内多个手部关键点在手部作业空间坐标系中的位姿信息，所述位姿信息包括连续时间内多个手部关键点的位置信息与姿态信息。

可选地，所述手部运动信息包括以下信息中的至少一者或者全部：连续时间内，手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息、移动速度信息。

在本实施方式中，所述手部运动信息包括手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息。但是不限于此，在其他实施方式中，还可以包括移动速度信息，等等。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

具体地，所述手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息，均是指所述待识别手势的手指关节关键点、手掌关节关键点、手腕关节关键点在上述最佳可交互区域中的三维位置坐标与姿态角。例如使用点a（x，y，z）表示手指关键点1在上述手部作业空间坐标系中的三维位置坐标，使用姿态角(yaw, pitch, roll)表示手指关键点1在上述手部作业空间坐标系中分别绕X轴、Y轴、Z轴旋转的角度。

需要说明的是，在本实施方式中，使用手势采集设备获取待识别手势，但是不限于此，在其他实施方式中，基于对用户自然行为感知，还可以采用不同类型传感器采集语音、脑电、生理参数等信号，并将这些信号转换成人自然行为特征的准确描述。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接着，在步骤S102中，基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数。

在一实施方式中，将所述手势信号采集设备所获取的多个手部关键点的位姿信息，实时传输给手势判定模块，所述手势判定模块执行多个检测判定，得到手势判定参数，具体可参见图4。

在该实施方式中，在预设检测周期内（例如1s内），连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和状态判定。

具体地，所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

需要说明的是，在本发明中，所述待识别手势为自定义手势。将自定义手势分为静态手势和动态手势两种，其中，静态手势包括多个静态手势，动态手势包括多个动态手势。静态手势是指某一时刻由静态的手臂、手掌或手指构成的手部姿态。静态手势的手部运动信息中不包含连续时间序列信息, 这类手势为用户提供了利用静态单一手势就能完成的交互行为。动态手势是指在一段连续的时间内手臂、手掌或手指的姿态变化或移动路径，动态手势的手部运动信息中包括手势随时间变化的空间特征，由于具有时间序列信息，这类手势能够很好地表示具有空间路径的手势动作，为用户提供连续动态的交互体验。本发明主要面向动态手势进行手势判定。换言之，所述待识别手势为动态手势。

对于多个检测判定中，在手部结构变化判定时，确定所述待识别手势为动态手势的情况下，在预设检测周期内进行两次手部结构判定（具体为初次手部结构判定和二次手部结构判定），得到两次手部结构判定结果（具体获取连续时间内手部结构的动态变化结果），以得到手部结构变化参数。

可选地，所述手部结构变化参数包括是否为合拢（或者是否为伸展）、是否从第一手部结构（例如合拢手势）变化到第二手部结构（例如伸展手势）、是否从第二手部结构（例如伸展手势）变化到第一手部结构（例如合拢手势）、是否保持第一手部结构或第二手部结构，等等。

需要说明的是，对于手部结构变化参数，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

具体地，所述预设检测周期例如为1s、2s。

在一实施方式中，在检测到待识别手势的手部结构且手部结构表示为动态手势后，进行手部位姿变化判定，得到预设检测周期内的手部位姿变化结果，以得到手部位姿变化参数。具体地，所述手部位姿变化判定包括位移量变化范围检测、旋转量变化范围检测、速度量变化范围检测以及速度方向检测。所述手部位姿变化参数是指手部位姿变化范围约束参数，所述手部位姿变化范围约束参数包括预设检测周期内的位移量、旋转量、速度量（或速度值）分别在手部作业空间坐标系XYZ三个轴上的分量以及运动方向向量与手部作业空间坐标系XYZ三个轴的夹角。

具体地，所述动态手势的手部运动信息包括预设检测周期内手部在作业空间坐标系中的位姿信息，具体包括三维坐标信息（即位置信息）和姿态信息（例如旋转角度信息），预设检测周期内的手部结构变化信息，即由手部骨骼点组成的手部结构信息。根据所述位姿变换信息可求得速度向量信息。

进一步地，在检测到待识别手势的手部结构后，进行与虚拟物体交互检测（即对应用交互阶段的手势与虚拟物体交互检测），得到预设检测周期内是否处于选中状态结果，即得到状态参数。所述状态参数例如为选中虚拟物体的状态（也简称为选中状态）、未选中虚拟物体的状态（也简称为未选中状态）。

通过将自定义手势作为待识别手势引入三维仿真系统中的交互场景，能够满足该交互场景中需要持续观察、编辑三维对象等的需求，能更好地为用户提供实时自然交互体验。

接着，在步骤S103中，将所述手势判定参数输入手势判定计算模型，输出手势判定结果。

基于所述预设检测周期，构建手势判定计算模型。

所述构建手势判定计算模型包括确定手部关键点的位姿信息集合与手部结构的映射关系表达、手部结构变化表达、手部位姿变化表达以及选中状态变化表达（即状态变化表达）。

对于手势判定计算模型，定义集合H为用户自定义手势编码的集合，

，其中待识别手势为/>

。

首先，确定手部关键点的位姿信息集合与手部结构的映射关系表达，以用于手部结构变化的判定。定义手部结构集合S={伸展,合拢,⋯}，手部结构集合可扩展，具体根据实际需要新增手势结构，并将新增的手部结构增加到手部结构集合中。对于手部关键点 p_i ，当前帧t时刻 p_i在手部作业空间坐标系的位置坐标为

，姿态角为/>

，当前帧t时刻手部关节所有骨骼点的位姿信息集合为/>

，设定预设检测周期为/>

，则/>

时刻手部关节所有骨骼点的位姿信息集合为/>

。对于t时刻的手部结构/>

，存在从手部关键点集合到手部结构的映射关系表达如下：

其中，/>

为表示t时刻的手部结构/>

；/>

为表示手部关键点的位姿信息集合与手部结构的映射函数， P_t为当前帧t时刻手部关节所有骨骼点的位姿信息集合，/>

。

首次检测到手部结构

且/>

时，记为时刻 t₀，设定手势检测周期为/>

，则从时刻 t₀到时刻/>

，描述检测周期内的手部结构变化的函数为：

其中，

为预设检测周期/>

（从时刻t₀到时刻/>

）内的手部结构变化结果；/>

为预设检测周期/>

（从时刻 t₀到时刻/>

）内的手部结构变化的函数，其物理含义为从时刻 t₀起，在时刻/>

检测到手部结构/>

，且/>

时，手部结构变化检测有效，否则设定检测周期内的手部结构变化检测无效。

在手部结构变化检测有效的基础上，进行手部位姿变化检测。需要说明的是，描述手部结构的位姿变化需要将手部视为一个整体，描述其在检测周期

内的位移量变化、旋转量变化、速度值变化以及速度方向变化。

采用手掌关节关键点

的位姿变化来近似描述手部结构的位姿变换，设t时刻手部整体结构的坐标为/>

，姿态角为/>

，

，可求得手部结构在检测周期/>

内的速度向量为/>

。

设

为预设检测周期/>

（从时刻t₀到时刻/>

）内的手部位姿变化参数集，有：

具体的是指位移量、旋转量、速度值在上述手部空间作业坐标系三个轴向上的分量以及速度向量/>

分别与上述手部空间作业坐标系三个轴向的夹角， θ_x表示/>

归一化后与手部空间作业坐标系x轴的夹角， θ_Y表示归一化后与y轴的夹角， θ_Z表示/>

归一化后与z轴的夹角。设第k个手部位姿变化参数为/>

,/>

,

。

设C为预设检测周期

（从时刻t₀到时刻/>

）内的手部位姿变化约束集， C由12个约束组成，具体含义是手部位姿变化参数/>

对应的约束范围。设第k个约束为/>

，/>

，定义约束函数为：

即

的值在范围/>

内时，δ(c_k) 的输出为1。其中/>

和

表示第k个手部位姿变化参数/>

的约束范围，对于上述12个约束，有范围参数集合/>

，/>

，共24个范围参数。对于待手部位姿变化约束集C，有：

即约束集 C是上述12个约束的并集，当C取值为1时，表示同时满足12个手部位姿变化约束，否则表示不满足手部位姿变化约束集。

在手部结构变化检测有效的基础上，进行交互状态判定，设t时刻的选中或未选中虚拟物体的状态（也简称为选中状态或未选中状态）为X_t，取值为0或1，分别对应未选中状态与选中状态。在检测周期∆T内每帧都进行选中状态判定，若任意帧为选中状态，则判定检测周期∆T内为选中状态，若检测周期∆T内每帧都为未选中状态，则判定检测周期∆T内为未选中状态。因此描述在检测周期∆T内的选中状态的函数（即状态表达）为：

其中，/>

为检测周期∆T内的选中或未选中虚拟物体的状态表达；t从时刻t₀到时刻/>

的时间段中的任意时刻。

设已知预设选中状态为

，则描述在检测周期/>

内选中状态检测的函数为：

其中，/>

的物理含义为在检测周期/>

内，检测选中状态的变化是否与预设选中状态变化值一致。

定义集合H为用户自定义手势编码的集合，

。定义集合R为自定义手势判定规则集合，/>

，对于任意的自定义手势/>

，/>

，存在一个一一对应的判定规则r， />

，即：

其中 f为自定义手势/>

与判定规则r的映射，物理含义为当规则r判定成功时，输出对应的自定义手势编码/>

，可得自定义手势编码集合 H与自定义手势判定规则集合R的映射函数为：

其中，H为自定义手势编码集合，R为自定义手势判定规则集合，r为自定义手势判定规则集合中的自定义手势判定规则。对于自定义手势判定规则r，定义法则 φ描述其判定过程， φ的物理含义为在检测周期/>

内，手部结构变化检测有效的基础上，进行手部位姿变化检测与选中状态检测， φ的取值为0或1，分别表示该条规则判定成功与判定失败，则有：

其中，

表示预设检测周期内的手部位姿变化；/>

表示预设检测周期内的选中状态变化是否与预设选中状态变化值一致，取值为1或0；

在预设检测周期内的手部结构变化信息，包括两次手部结构判定信息（具体为初次手部结构判定和二次手部结构判定）；/>

是预设检测周期，具体为从时刻 t₀到时刻/>

的时间段。

最终对于用户自定义手势编码集合H，构建手势判定计算模型为：

基于手势判定计算模型，构建自定义手势规则库。所述自定义手势规则库是多条自定义手势判定规则的集合。具体地，使用五元组/>

来表示一条自定义手势判定规则，其中，/>

为用户自定义手势编号，/>

，H为自定义手势编码集合；/>

为预设手势检测周期；/>

为在预设手势检测周期内的手部结构变化信息，包括两次手部结构判定结果（具体为初次手部结构判定和二次手部结构判定）；/>

为在预设手势检测周期内的自定义手势/>

对应的手部位姿变化约束集的范围参数集合

，/>

，共24个范围参数；/>

为预设手势检测周期内的预设选中状态变化值，取值为1或0。/>

在进行待处理手势的判定阶段，具体将步骤S102所确定的手部结构变化参数、手部位姿变化参数和状态参数输入手势判定计算模型，即可得到待识别手势的手势判定结果。

在一实施方式中，首先根据所构建的自定义手势规则库，初始化规则（具体地初始化手势判定约束条件），输入待识别手势的手部运动信息，执行多个检测判定后，得到手势判定参数，将所述手势判定参数输入所构建的手势判定计算模型，输出手势判定结果。

对于所述多个检测判定，每次检测到手部结构时，从手势交互未激活状态切换到手势交互激活状态，首先执行手部结构变化检测（即与手部结构变化判定对应），在预设检测周期内进行两次手部结构判定，根据两次手部结构判定结果可以获取连续时间内手部结构的动态变化结果；检测到手部结构后，进行手部位姿变化检测（即与手部位姿变化判定对应），包括位移量变化范围检测、旋转量变化范围检测、速度量变化范围检测以及速度方向检测，得到预设检测周期内的手部位姿变化结果；检测到手部结构后，进行手部结构与虚拟物体交互检测（即交互状态检测，与交互状态判定对应），得到预设检测周期内的选中或未选中状态结果。具体可参见图2和图4。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接着，在步骤S104中，基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

具体地，建立自定义手势与交互事件之间的映射关系，以构建交互事件映射库。其中，所述映射关系包括自定义手势与交互事件之间的一一对应关系；例如，所述交互事件包括用户对三维仿真系统的三维空间中的虚拟物体进行观察和编辑相关的事件，例如移动光标（平面显示的页面上的光标），点击三维对象、旋转三维对象、刷新平面显示信息或其他编辑操作

进一步地，基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配。具体基于所建立的映射关系，将所述手势判定结果与所述交互事件映射库的交互事件进行匹配，输出所匹配的交互事件。

例如，所述手势判定结果为自定义手势1（例如点击手势），输出对应的点击三维对象的交互事件s1。

需要说明的是，在该实施方式中，确定与待识别手势相对应的点击操作。但是不限于此，在其他实施方式中，根据所匹配的交互事件，确定与待识别手势相对应的以下操作：移动光标、点击、返回、刷新、旋转或其他编辑操作。

在一实施方式中，根据所匹配的交互事件，通过事件响应机制驱动仿真应用空间管理引擎作业。具体地，驱动三维仿真系统的空间管理引擎作业，例如场景空间管理模块进行业务仿真作业，所述仿真作业结果通过例如自适应呈现模块进行沉浸式输出或大屏式输出。

通过将本发明提出的通用预设空间交互手势引入三维仿真系统中的交互场景，能够满足该交互场景中需要持续观察、编辑三维对象等的需求，能更好地为用户提供实时自然交互体验，能提供沉浸式输出或大屏式输出。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

图10为本发明的非接触式手势交互方法的另一实施方式的示意图。

如图10所示，所述构建自定义手势规则库包括设定自定义手势及其判定规则、基于用户需求和应用需求扩展自定义手势及其判定规则。

具体地，根据用户对三维仿真系统的三维空间中的虚拟物体进行观察和编辑（具体为观察三维对象和交互编辑三维对象两种）的需求，设定五种预设空间交互手势，并设定与各自定义手势相对应的判定规则或约束集合。进一步地，根据实际应用需求，还可以新增自定义手势（又称为扩展自定义手势），并设定与新增自定义手势相对应的判定规则或约束集合。

例如，上述观察三维对象和交互编辑对应如下五种输入操作：移动光标、点击三维对象、旋转三维对象、刷新平面显示、返回，上述输入操作分别对应手部伸展平移手势（表示为手势1***1）、点击手势（表示为手势1***2）、手部合拢平移手势（表示为手势1***3）、平面显示刷新手势（表示为手势1***4）以及返回手势（表示为手势1***5），具体参见图5至图9。在最佳可交互区域内各自定义手势（即预设空间交互手势，又称为通用非接触式手势）、判定规则（约束集合）及对应输入操作的对应关系如下表1。

表1

/>

表1示出了在最佳可交互区域内各自定义手势的名称（即预设空间交互手势的名称）、判定规则（约束集合）及对应输入操作的对应关系。

通过构建自定义手势规则库，允许用户按需进行自定义手势扩展；通过优化自定义手势规则库中的手势判定条件约束集合，能够适应不同用户的输入，具备可扩展性，同时将手势判定模块与场景空间管理模块解耦合，实现同时支持沉浸式交互和大屏离屏式交互。

优选地，基于新增的自定义手势及其判定规则，更新交互事件映射库。

在一可选实施方式中，根据历史手势判定数据或者用户特定习惯定制，校准自定义手势的判定规则。例如，根据指定历史时间段内，三维仿真系统应用场景下历史手势判定数据（具体包括手势信息数据和手势判定结果等），校准自定义手势的判定规则。例如，根据用户的身高（例如几个指定用户的身高平均值）、手指数量等，校准自定义手势的判定规则。

通过根据历史手势判定数据或者用户特定习惯定制，校准自定义手势的判定规则，能够优化自定义手势的判定规则。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

与现有技术相比，本发明的非接触手势交互方法，通过构建手势判定计算模型，通过自定义手势判定机制实现对待识别手势的精准判定；将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够有效解决空间交互手势识别鲁棒性弱、学习成本高、通用性差的技术问题。

此外，本发明提出了最佳交互区域内通用非接触式手势及其判定规则，具体使用自定义手势进行交互更易符合人的自然认知，学习成本较低，能够较好地满足用户对三维态势仿真系统的观察和交互编辑的需求，能够做到与其他三维态势仿真应用互联互通。

此外，通过构建自定义手势规则库，允许用户按需进行自定义手势扩展；通过优化自定义手势规则库中的手势判定条件约束集合，能够适应不同用户的输入，具备可扩展性，同时将手势判定模块与场景空间管理模块解耦合，实现同时支持沉浸式交互和大屏离屏式交互。通过根据历史手势判定数据，校准自定义手势的判定规则，能够优化自定义手势的判定规则。

此外，构建交互事件映射库，建立自定义手势与交互事件之间的映射关系，通过事件响应机制驱动仿真应用空间管理引擎进行仿真作业，将手势交互模块与空间管理引擎解耦合，能够同时满足沉浸式交互和大屏离屏式交互。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图11是根据本发明的非接触手势交互装置的一示例的结构示意图。

参照图11，本公开第二方面提供一种非接触手势交互装置1000，所述非接触手势交互装置1000采用本发明第一方面所述的非接触手势交互方法进行交互。

如图11所示，所述非接触手势交互装置1000包括数据采集模块1100、手势判定模块1200和交互事件确定模块1300。其中，所述数据采集模块1100用于获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点的位姿信息。手势判定模块1200基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数，将所述手势判定参数输入手势判定计算模型，输出手势判定结果。交互事件确定模块1300基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

在可选实施方式中，所述基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数，具体包括：在预设检测周期内，连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和交互状态判定。

具体地，数据采集模块1100包括采集设备，通过采集设备在最佳可交互区域内，获取当前用户的待识别手势的手部运动信息，其中，所述最佳可交互区域配置为以所述采集设备为原点所构建的可交互空间；所述手部运动信息包括以下信息中的至少一者或者全部：连续时间内，手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息、移动速度信息。

具体地，所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

在一实施方式中，设定预设检测周期，基于所述预设检测周期，构建手势判定计算模型。

具体地，所述构建手势判定计算模型包括确定手部关键点的位姿信息集合与手部结构的映射关系表达、手部结构变化表达、手部位姿变化表达以及状态变化表达。

基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，包括：构建交互事件映射库，所述构建交互事件映射库包括建立自定义手势与交互事件之间的映射关系；基于所建立的映射关系，将所述手势判定结果与所述交互事件映射库的交互事件进行匹配，输出所匹配的交互事件。

在一可选实施方式中，根据所匹配的交互事件，确定与待识别手势相对应的以下操作：移动光标、点击、返回、刷新、拖拽、旋转或其他编辑操作。

具体地，根据所匹配的交互事件，通过事件响应机制驱动仿真应用空间管理引擎作业，以支持沉浸式交互和大屏离屏式交互。

在一可选实施方式中，在驱动仿真应用空间管理引擎作业时，例如场景空间管理模块进行业务仿真作业，所述仿真作业结果通过例如自适应呈现模块进行沉浸式输出或大屏式输出。

需要说明的是，由于图11的非接触手势交互装置所采用非接触手势交互方法与图1的示例中的非接触手势交互方法大致相同，因此，省略了相同部分的说明。

与现有技术相比，本发明的非接触手势交互装置，通过构建手势判定计算模型，通过自定义手势判定机制实现对待识别手势的精准判定；将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够实现手势交互与仿真引擎的解耦合，能够支持按需虚实融合自适应输出。使用自定义手势进行交互更易符合人的自然认知，学习成本较低，能够较好地满足用户对三维态势仿真系统的观察和交互编辑的需求，能够做到与其他三维态势仿真应用互联互通，能够有效解决空间交互手势识别鲁棒性弱、学习成本高、通用性差的技术问题。此外，通过构建自定义手势规则库，允许用户按需进行自定义手势扩展；通过优化自定义手势规则库中的手势判定条件约束集合，能够适应不同用户的输入，具备可扩展性，同时将手势判定模块与场景空间管理模块解耦合，实现同时支持沉浸式交互和大屏离屏式交互。通过根据历史手势判定数据，校准自定义手势的判定规则，能够优化自定义手势的判定规则。此外，构建交互事件映射库，建立自定义手势与交互事件之间的映射关系，通过事件响应机制驱动仿真应用空间管理引擎进行仿真作业，将手势交互模块与空间管理引擎解耦合，能够同时满足沉浸式交互和大屏离屏式交互。

图12是根据本发明的电子设备实施例的结构示意图。

如图12所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元（RAM）和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元（ROM）。

可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图12显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按钮、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图13所示，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现本公开的数据交互方法。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本发明实施例的方法。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种非接触手势交互方法，其特征在于，包括：

获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点的位姿信息；

基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数；

将所述手势判定参数输入手势判定计算模型，输出手势判定结果；

基于自构建的交互事件映射库，将所述手势判定结果与所述映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

2.根据权利要求1所述的非接触手势交互方法，其特征在于，所述基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数，包括：

在预设检测周期内，连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和状态判定；

所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

3.根据权利要求1或2所述的非接触手势交互方法，其特征在于，执行手部结构变化判定包括：

在预设检测周期内进行两次手部结构判定。

4.根据权利要求1所述的非接触手势交互方法，其特征在于，所述非接触手势交互方法还包括：

基于预设检测周期，构建手势判定计算模型；

所述构建手势判定计算模型包括确定手部关键点的位姿信息集合与手部结构的映射关系表达、手部结构变化表达、手部位姿变化表达以及选中状态变化表达。

5.根据权利要求1所述的非接触手势交互方法，其特征在于，所述基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，包括：

构建交互事件映射库，所述构建交互事件映射库包括建立自定义手势与交互事件之间的映射关系；

基于所建立的映射关系，将所述手势判定结果与所述交互事件映射库的交互事件进行匹配，输出所匹配的交互事件。

6.根据权利要求5所述的非接触手势交互方法，其特征在于，

根据所匹配的交互事件，确定与待识别手势相对应的以下操作：

移动光标、点击、返回、刷新、拖拽、旋转或其他编辑操作。

7.根据权利要求1所述的非接触手势交互方法，其特征在于，所述获取当前用户的待识别手势的手部运动信息，包括：

通过采集设备在最佳可交互区域内，获取当前用户的待识别手势的手部运动信息，其中，

所述最佳可交互区域配置为以所述采集设备为原点所构建的可交互空间；

所述手部运动信息包括以下信息中的至少一者或者全部：连续时间内，手指关节的位姿信息、手掌关节的位姿信息、手腕关节的位姿信息、移动速度信息。

8.根据权利要求6所述的非接触手势交互方法，其特征在于，所述非接触手势交互方法包括：

根据所匹配的交互事件，通过事件响应机制驱动仿真应用的空间管理引擎作业，以支持沉浸式交互和大屏离屏式交互。

9.一种非接触手势交互装置，采用权利要求1至8中任一项所述的非接触手势交互方法进行交互，其特征在于，包括：

数据采集模块，用于获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点的位姿信息；

手势判定模块，基于所获取的多个手部关键点的位姿信息，执行多个检测判定，得到手势判定参数，将所述手势判定参数输入手势判定计算模型，输出手势判定结果；

交互事件确定模块，基于自构建的交互事件映射库，将所述手势判定结果与所述交互事件映射库中交互事件进行匹配，确定与待识别手势相对应的操作。

10.根据权利要求9所述的非接触手势交互装置，其特征在于，

所述手势判定模块在预设检测周期内，连续执行以下多个检测判定，以得到手势判定参数：手部结构变化判定、手部位姿变化判定和状态判定；

所述手势判定参数包括手部结构变化参数、手部位姿变化参数和状态参数。

Images