CN209895305U - 手势交互系统 - Google Patents

Abstract

本实用新型公开了一种手势交互系统。其中，该系统包括：采集模块，用于采集包含手势的手势图像；识别模块，与采集模块连接，用于对手势图像进行识别，得到识别结果，其中，识别结果表征手势表示的含义；管理模块，用于对教学场景中的多媒体数据进行管理；全息模块，与管理模块以及场景模块连接，用于控制多媒体数据按照识别结果对应的指令进行展示。本实用新型解决了现有技术中，在教学场景中需要通过手持设备进行人机互动导致人机互动效果差的技术问题。

Description

手势交互系统

技术领域

本实用新型涉及人机交互领域，具体而言，涉及一种手势交互系统。

背景技术

在现有场景中，例如，教学场景中，用于教学、培训的教室，以及健身场馆中，活动的主体包括助教教师和学生、私教教练和学员等。在助教教师和私教教练从事于互动教学和健身训练活动过程中，无法近距离地借助传统的鼠标、键盘和触摸板等输入设备而操作主机设备，通常使用智能便捷设备作为输入设备，通过网络和蓝牙分别与主机工作站和智能处理器连接，控制课件内容和场景导入、播放和切换，但由于活动主体(例如，助教教师和私教教练)处于互动空间中进行教学或训练，手持智能便捷设备也会带来许多不便。例如，健身教练在进行教学的整个过程中需要手持智能便捷设备，使得人机交互互动不便和体验不佳。

发明内容

本实用新型实施例提供了一种手势交互系统，以至少解决现有技术中，在教学场景中需要通过手持设备进行人机互动导致人机互动效果差的技术问题。

根据本实用新型实施例的一个方面，提供了一种手势交互系统，包括：采集模块，用于采集包含手势的手势图像；识别模块，与采集模块连接，用于对手势图像进行识别，得到识别结果，其中，识别结果表征手势表示的含义；管理模块，用于对教学场景中的多媒体数据进行管理；全息模块，与管理模块以及场景模块连接，用于控制多媒体数据按照识别结果对应的指令进行展示；其中，全息模块包括显示模块，与处理器连接，用于对所述多媒体数据进行展示；所述显示模块包括：墙屏单元和地屏单元，其中，所述墙屏单元包括如下至少之一：墙屏输出单元以及墙屏交互单元，所述地屏单元包括如下至少之一：地屏输出单元、地屏交互单元。

进一步地，采集模块为视觉传感器，视觉传感器为三维结构光的深度摄像头。

进一步地，全息模块包括：主机工作站；时序电源控制器；处理器，用于对根据识别结果对应的指令确定多媒体数据对应的展示形式。

进一步地，全息模块还包括：音响模块，与处理器连接，用于输出多媒体数据对应的音频数据；灯光系统，与处理器连接，用于输出指令对应的灯光。

进一步地，墙屏输出单元包括第一显示屏装置和/或第一显示屏附属装置，其中，第一显示屏附属装置用于展示输出墙屏视频信号。

进一步地，地屏输出单元包括第二显示屏装置和/或第二显示屏附属装置，其中，第二显示屏附属装置用于展示输出地屏视频信号。

进一步地，音响模块包括如下至少之一：音源、控制设备、音频处理器、功率放大器和音箱装置。

进一步地，手势交互系统还包括：手势建模模块，与识别模块连接，用于通过机器学习的方式对手势图像进行处理，得到手势模型类型，其中，手势模型类型表征了手势对应的手势类型。

进一步地，手势建模模块为数据库管理系统。

在本实用新型实施例中，通过采集模块采集手势图像，并通过识别模块从手势图像中识别手势所表示的含义，然后再通过全息模块根据手势所表示的含义对管理模块中的多媒体数据进行展示。容易注意到的是，全息模块通过识别模块识别到的识别结果来对多媒体数据进行展示，整个过程不需要用户使用手持设备即可实现对多媒体数据的操作，释放了用户的双手，提高了人机互动体验。

由此可见，本申请所提供的方案达到了通过手势识别实现人机互动的目的，实现了释放用户双手的技术效果，进而解决了现有技术中，在教学场景中需要通过手持设备进行人机互动导致人机互动效果差的技术问题。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1是根据本实用新型实施例的一种手势交互系统的示意图；以及

图2是根据本实用新型实施例的一种可选的手势交互系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本实用新型方案，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分的实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本实用新型保护的范围。

根据本实用新型实施例，提供了一种手势交互系统的实施例，其中，图1是根据

本实用新型实施例的手势交互系统的示意图，如图1所示，该手势交互系统包括：采集模块6、识别模块1、管理模块3以及全息模块5。

具体的，采集模块6，用于采集包含手势的手势图像；识别模块1，与采集模块连接，用于对手势图像进行识别，得到识别结果，其中，识别结果表征手势表示的含义；管理模块3，用于对教学场景中的多媒体数据进行管理；全息模块5，与管理模块以及场景模块连接，用于控制多媒体数据按照识别结果对应的指令进行展示；其中，全息模块包括显示模块，与处理器连接，用于对所述多媒体数据进行展示；所述显示模块包括：墙屏单元和地屏单元，其中，所述墙屏单元包括如下至少之一：墙屏输出单元以及墙屏交互单元，所述地屏单元包括如下至少之一：地屏输出单元、地屏交互单元。

需要说明的是，上述识别模块对手势图像的识别，包括但不限于对不同种类的手势的识别，例如，静态手势、动态手势以及手势的三维轨迹坐标等。其中，识别结果包括但不限于手势类型，以及手势类型对应的指令，例如，张开手掌的手势表示对多媒体数据进行切换，握拳手势表示重复播放多媒体数据。

在一种可选的实施例中，在教学场景中，手势交互系统中的采集模块采集位于目标区域内的目标对象的图像，其中，目标区域为采集模块能够进行图像采集的区域，目标对象可以为教学场景中的教师或者学生。在采集模块采集到图像之后，采集模块对图像进行处理，从图像中确定目标对象手势所在的区域，得到手势图像。然后识别模块对手势图像进行识别，确定该手势所对应的指令。全息模块根据手势对应的指令对对应的多媒体数据进行展示，例如，根据手势对应的指令控制多媒体数据重复播放、控制多媒体数据暂停播放等。

由上可知，通过采集模块采集手势图像，并通过识别模块从手势图像中识别手势所表示的含义，然后再通过全息模块根据手势所表示的含义对管理模块中的多媒体数据进行展示。容易注意到的是，全息模块通过识别模块识别到的识别结果来对多媒体数据进行展示，整个过程不需要用户使用手持设备即可实现对多媒体数据的操作，释放了用户的双手，提高了人机互动体验。

由此可见，本申请所提供的方案达到了通过手势识别实现人机互动的目的，实现了释放用户双手的技术效果，进而解决了现有技术中，在教学场景中需要通过手持设备进行人机互动导致人机互动效果差的技术问题。

在一种可选的实施例中，如图1所示，手势交互系统还包括：手势建模模块2。由图2可知，手势建模模块，与识别模块1连接，用于通过机器学习的方式对手势图像进行处理，得到手势模型类型，其中，手势模型类型表征了手势对应的手势类型，例如，握拳手势类型。

可选的，手势建模模块通过训练学习的方式进行建模，通过一种或多种系统装置支持的预定义的静态手势类别和动态手势语义类别进行建模，输出手势模型类型。另外，手势建模模块可基于支持向量机(Support VectorMachine，简称SVM)、动态时间归整(Dynamic Time Warping，简称DTW)、隐马尔可夫模型(Hidden Markov Model,简称HMM)、卷积神经网络 (Convolutional Neural Network，简称CNN)或机器学习(Machine Learning，简称ML)等算法，通过结合学习训练和无监督自适应两种方式建模和生成。

进一步的，手势建模模块为数据库管理系统，例如，Oracle、MySQL、SQLServer、DB2、 SyBase、Redis、LMDB和LevelDB等数据库管理系统。

在一种可选的实施例中，采集模块为视觉传感器，视觉传感器为三维结构光的深度摄像头，例如，Microsoft Kinnect、Intel RealSensor和Orbbec Astra等摄像头。

在一种可选的实施例中，识别模块通过获取采集模块所采集到的手势图像，并对手势图像进行检测，跟踪用户的手势，计算用户的手指位置坐标和各个指关节角度信息，依据手指位置坐标和各个指关节角度信息与手势建模模块中的手势模型类型的相似度来确定手势对应的含义。

进一步的，识别模的块检测跟踪算法(即上述对手势图像进行检测的算法以及跟踪用户手势的算法)可实现从粗维度的用户手势到细维度的各个指关节角度信息，甚至手指位置坐标点信息的识别，从而使得手势识别更精确和有效。

另外，识别模块还可输出与场景和/或课件相匹配的不同种类的静态手势、动态手势以及三维轨迹坐标等代表不同的手势语义结果，可实时跟踪交互对象体的交互和互动。其中，交互对象体的数据可以包括三维交互对象的动画模型和至少双声道及多个音效的数据，例如，交互对象可以为显示模块中的虚拟对象，例如，山、树。

可选的，管理模块包括场景管理模块和资源管理模块，多媒体数据包括但不限于课件场景内容以及场景上下文信息、课件资源的三维模型、互动类型、背景图片、音频和视频资源信息、三维交互对象体等。如图2所示的手势交互系统中，场景管理模块31用于对包括课件场景内容以及场景上下文信息进行管理，其中，场景管理模块可以为存储器。资源管理模块32可对课件资源的三维模型、互动类型、背景图片、音频和视频资源信息进行管理，以及对与三维交互对象体的查询请求和匹配资源进行管理。其中，资源管理模块输出三维交互对象体，包括三维交互对象体模型和音效数据。

在一种可选的实施例中，全息模块包括：主机工作站、时序电源控制器、处理器、显示模块、音响模块以及灯光系统。其中，处理器，用于对根据识别结果对应的指令确定多媒体数据对应的展示形式；音响模块，与处理器连接，用于输出多媒体数据对应的音频数据；灯光系统，与处理器连接，用于输出指令对应的灯光。

可选的，多媒体数据对应的展示形式可以包括不同的动画变换形式，例如，从大到小，从远及近的展现形式，还可以包括多媒体数据的播放形式，例如，暂停播放、重复播放等。全息模块依据识别模块输出的识别结果、场景管理模块输出的场景上下文以及资源管理模块输出的交互对象体作为输入，触发交互对象体依据手势语义定义作不同的动画变换及展现，场景和交互对象体叠加的图像信号传输至全息模块的显示模块输出，音频信号传输至音响模块播放输出。

在一种可选的实施例中墙屏输出单元包括第一显示屏装置和/或第一显示屏附属装置，其中，第一显示屏附属装置用于展示输出墙屏视频信号。地屏输出单元包括第二显示屏装置和/ 或第二显示屏附属装置，其中，第二显示屏附属装置用于展示输出地屏视频信号。

可选的，音响模块包括如下至少之一：音源、控制设备、音频处理器、功率放大器和音箱装置。第一显示屏装置包括但不限于LED、LCD、CRT和IPS液晶屏，投影设备携带幕布或者白墙，或者相关材质的多个液晶模块组成的拼接屏；第一显示屏附属装置的隔板装置可以为墙体显示屏物理表面加装特定钢化玻璃材质和/或透明PVC或者ABS材质的隔板。墙屏交互单元包括基于三维体感摄像设备、激光雷达设备和红外设备的触控交互装置。第二显示屏装置包括LED、LCD、CRT和IPS液晶屏，投影设备携带幕布或者白墙，或者相关材质的多个液晶模块组成的拼接屏；第二显示屏附属装置的隔板装置可以为地屏显示屏物理表面加装特定钢化玻璃材质和/或透明PVC或者ABS材质的隔板。地屏交互单元包括基于三维体感摄像设备、激光雷达设备和红外设备的触控交互装置。

由上可知，本申请所提供的方案通过结合学习训练和无监督自适应两种方式建模和生成手势模型，从而使得本申请所提供的手势交互系统具有更广泛的适应性。另外，手势检测和识别具备从粗维度的用户手形到细维度的各个指关节角度信息，甚至手指位置坐标点详情信息，从而使得手势识别更加精确和有效。最后，本申请所提供的方案可根据场景和课件不同，自适应驱动三维交互对象体进行手势操控，互动教学和培训人机交互自然和逼真，更具备现实增强和身临其境感，提高了用户使用人机交互系统的体验。

上述本实用新型实施例序号仅仅为了描述，不代表实施例的优劣。

在本实用新型的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (9)

1.一种手势交互系统，其特征在于，包括：

采集模块，用于采集包含手势的手势图像；

识别模块，与所述采集模块连接，用于对所述手势图像进行识别，得到识别结果，其中，所述识别结果表征手势表示的含义；

管理模块，用于对教学场景中的多媒体数据进行管理；

全息模块，与所述管理模块以及场景模块连接，用于控制所述多媒体数据按照所述识别结果对应的指令进行展示；

其中，全息模块包括显示模块，与处理器连接，用于对所述多媒体数据进行展示；所述显示模块包括：墙屏单元和地屏单元，其中，所述墙屏单元包括如下至少之一：墙屏输出单元以及墙屏交互单元，所述地屏单元包括如下至少之一：地屏输出单元、地屏交互单元。

2.根据权利要求1所述的手势交互系统，其特征在于，所述采集模块为视觉传感器，所述视觉传感器为三维结构光的深度摄像头。

3.根据权利要求1所述的手势交互系统，其特征在于，所述全息模块还包括：

主机工作站；时序电源控制器；

处理器，用于对根据所述识别结果对应的指令确定所述多媒体数据对应的展示形式。

4.根据权利要求3所述的手势交互系统，其特征在于，所述全息模块还包括：

音响模块，与所述处理器连接，用于输出所述多媒体数据对应的音频数据；

灯光系统，与所述处理器连接，用于输出所述指令对应的灯光。

5.根据权利要求1所述的手势交互系统，其特征在于，所述墙屏输出单元包括第一显示屏装置和/或第一显示屏附属装置，其中，所述第一显示屏附属装置用于展示输出墙屏视频信号。

6.根据权利要求1所述的手势交互系统，其特征在于，所述地屏输出单元包括第二显示屏装置和/或第二显示屏附属装置，其中，所述第二显示屏附属装置用于展示输出地屏视频信号。

7.根据权利要求4所述的手势交互系统，其特征在于，所述音响模块包括如下至少之一：音源、控制设备、音频处理器、功率放大器和音箱装置。

8.根据权利要求1所述的手势交互系统，其特征在于，所述手势交互系统还包括：

手势建模模块，与所述识别模块连接，用于通过机器学习的方式对所述手势图像进行处理，得到手势模型类型，其中，所述手势模型类型表征了所述手势对应的手势类型。

9.根据权利要求8所述的手势交互系统，其特征在于，所述手势建模模块为数据库管理系统。

Images