CN111290585A - 一种基于显示设备的智能空间手势控制系统 - Google Patents

Abstract

本发明提出一种基于显示设备的智能空间手势控制系统，所述系统包括主控制器、数据获取模块、数据处理模块、数据通信模块、交互反馈模块和一个以上受控设备；该系统可实时监视及控制各个组网设备，在交互方式上将新型显示设备与手势控制深度集成于系统设计中，并利用新型显示设备为用户提供完整的图形界面反馈，同时能够识别用户的手势命令，并执行相应控制指令。与传统中控系统相比，本发明提出的系统结构新颖，使用便捷，外观美观，能够为用户提供更为清晰、简洁、自然的交互方式。

Description

一种基于显示设备的智能空间手势控制系统

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于显示设备的智能空间手势控制系统。

背景技术

随着物联网的不断发展，局部环境内的设备组网在智能家居、商场展示、办公协作等各个环境下得到广泛应用。而中控系统则是设备组网的核心环节，也是人机交互的主要接口。通过中控系统可以实时监测并控制各个设备的运行状态。作为人机交互的主要接口，目前的中控系统在交互上有些采用声音提示，有些则需要连接用户手机以app形式提供控制功能，大多缺少完整的图形界面为用户提供反馈。随着组网规模不断扩大、设备种类及功能不断增多，图形界面缺失带来的问题尤为明显。另一方面，在交互方式上，手势控制较为符合人体自然习惯，并且不受嘈杂环境影响，是目前的研究热点之一。而针对多设备、多功能的应用场景，手势控制可以为用户提供较为清晰、统一的操控方式，有效降低系统的操作难度。

目前，物联网环境下的中控系统主要由数据获取、中央控制器、数据通信三大部分组成，现有技术方案在架构上大体相似，区别主要在于人机交互方式的设计。常用的包括语音交互、手机app等，部分系统借助简易显示设备提供简单的图形界面，然而无论在美观程度和实用性上均有待提高。另一方面，随着显示硬件技术的不断进步，一些新型的显示设备为图形界面交互提供了新的可能，例如双面镜、电致变色材料等。然而目前此类技术多应用于小型终端，而未能有机集成于系统中。与此同时，手势控制以其灵活、自然的交互方式倍受青睐。目前手势控制从操控方式上分为平面手势控制和空间手势控制两类，硬件上则包括基于电磁感应、基于机器视觉和基于超声波测距等多种类型。

目前应用于小范围局部环境物联网的中控系统，在交互方式上大部分依赖于手机APP或语音识别。其中使用APP的方式需要用户携带手机，否则难以与中控交互；而基于语音的方式在嘈杂环境下存在短板。大部分系统或者缺少先进的显示设备及完整的图形界面为用户提供反馈，或者在控制方式上较为繁琐不易操作。随着组网规模不断扩大、设备种类及功能不断增多，图形界面缺失及操作模式繁琐带来的问题尤为明显。

而现有的新型显示设备多用于集成化的终端，只实现单一功能；而手势控制操作简洁、高效的交互方式，在大部分物联网中控系统中也缺少深度集成与应用，未能发挥全部优势。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于显示设备的智能空间手势控制系统。

本发明是通过以下技术方案实现的，本发明提出一种基于显示设备的智能空间手势控制系统，所述系统包括主控制器、数据获取模块、数据处理模块、数据通信模块、交互反馈模块和一个以上受控设备；

所述主控制器实时检测并控制其他各模块的运行；所述数据获取模块通过传感设备实时捕获用户手势操作，并传入数据处理模块；所述数据处理模块从传入的数据中识别操作指令，并传入数据通信模块；所述数据通信模块接收用户操作指令，转换为受控设备功能指令，并向受控设备发送；所述受控设备接收功能指令并执行相应功能，同时返回受控设备运行状态；在整个过程中，主控制器实时控制交互反馈模块向用户展示系统运行状态，提供操作提示并对用户手势操作执行结果进行反馈；

所述交互反馈模块为基于显示设备的图形界面，所述系统采用双面镜及附加在其上的显示器作为显示设备。

进一步地，将双面镜和显示器固定为一个整体，面向用户一侧为正面，另一侧安装显示器为背面；当显示器无信号输入时，从正面观察效果与普通镜面相同；而当显示器点亮时可透过双面镜的玻璃看到显示器内容。

进一步地，所述图形界面显示内容包括接入设备列表、设备功能列表、设备运行状态、异常提醒、操作提示和用户自定义内容。

进一步地，所述传感设备为电磁感应模块、摄像头或超声波感应模块。

本发明提出一种基于显示设备的智能空间手势控制系统，该系统可实时监视及控制各个组网设备，在交互方式上将新型显示设备与手势控制深度集成于系统设计中，并利用新型显示设备为用户提供完整的图形界面反馈，同时能够识别用户的手势命令，并执行相应控制指令。与传统中控系统相比，本发明提出的系统结构新颖，使用便捷，外观美观，能够为用户提供更为清晰、简洁、自然的交互方式。

附图说明

图1为本发明所述基于显示设备的智能空间手势控制系统总体框图；

图2为控制系统硬件结构框图；

图3为基于电磁感应的交互终端实施方案示意图；

图4为基于单目摄像头的交互终端实施方案示意图；

图5为基于深度摄像头的交互终端实施方案示意图；

图6为室内布局示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明提出一种基于显示设备的智能空间手势控制系统，所述系统包括主控制器、数据获取模块、数据处理模块、数据通信模块、交互反馈模块和一个以上受控设备；

所述主控制器实时检测并控制其他各模块的运行；所述数据获取模块通过传感设备实时捕获用户手势操作，并传入数据处理模块；所述数据处理模块从传入的数据中识别操作指令，并传入数据通信模块；所述数据通信模块接收用户操作指令，转换为受控设备功能指令，并向受控设备发送；所述受控设备接收功能指令并执行相应功能，同时返回受控设备运行状态；根据实际应用受控设备可有一个或多个；在整个过程中，主控制器实时控制交互反馈模块向用户展示系统运行状态，提供操作提示并对用户手势操作执行结果进行反馈；

所述交互反馈模块为基于显示设备的图形界面，所述系统采用双面镜及附加在其上的显示器作为显示设备。其中，双面镜为表面经过特殊处理的玻璃，照射到其表面的光线大部分受到反射，小部分可通过镜面。显示器则可选择普通LCD、LED显示器等。

将双面镜和显示器固定为一个整体，面向用户一侧为正面，另一侧安装显示器为背面；当显示器无信号输入时，从正面观察效果与普通镜面相同；而当显示器点亮时可透过双面镜的玻璃看到显示器内容。

图形界面用于向用户展示系统运行状态，并对用户的手势操作命令进行实时反馈。所述图形界面显示内容包括接入设备列表、设备功能列表、设备运行状态、异常提醒、操作提示和用户自定义内容。而操作反馈则应提示用户当前指令、指令执行状态等。

所述传感设备为电磁感应模块、摄像头或超声波感应模块。其中：

电磁感应模块由电场发射模块和接收模块组成，发射模块在器件近场空间内形成均匀电磁场，当用户手部靠近时电磁场分布会发生改变，其变化量由接收模块捕获，用以描述用户手势动作。

摄像头包括单目摄像头及深度摄像头。其中单目摄像头可以采用普通工业用摄像头，采集用户手部二维图像；深度摄像头从硬件实现方式主要包括结构光、TOF及多角度成像等，可以采集目标深度信息。

用户可通过非接触式手势与控制系统进行交互，通过手部形态、姿态及动作发送手势指令。作用距离可覆盖选定范围，手势指令也可根据应用需求进行定义。

控制系统硬件结构如图2所示。其中，手势捕获设备与显示设备集成为交互终端，主控制器、数据处理和数据通信模块集成于计算平台上。计算平台可采用工业嵌入式平台，其中，控制芯片可采用NXP imx8同级别或更高级别芯片；根据应用需求，数据处理与主控制器可以共用芯片，也可单独使用处理芯片，如Nvidia Jetson TX系列或相似处理芯片等；数据通信可采用定制化模块，也可采用通用模块，如ESP32蓝牙/WiFi双模通信模块、Zigbee通信模块等。

以下实施例中，控制系统均采用图2所示硬件结构，区别主要在交互终端实施上的差别：

实施例1--基于电磁感应的实施方案

基于电磁感应的实施方案用于近场手势控制，交互终端硬件实施方式如图3所示。其中，显示器和电磁感应模块均安装在双面镜背面，电磁感应模块与双面镜间有一夹角，使得最佳操作区位于显示器正前方，从而在用户角度观察，操作区与显示器图形界面显示区域重叠。

实施例2--基于单目摄像头的实施方案

基于单目摄像头的实施方案作用距离可覆盖近场至远场，交互终端硬件实施方式如图4所示。其中显示器和单目摄像头安装在双面镜背面，摄像头视场内选定区域为操作区。该方案下用户可在较大范围内活动。

实施例3--基于深度摄像头的实施方案

基于深度摄像头的实施方案可实现近中场距离的手势控制，交互终端硬件实施方式如图5所示。其中显示器安装在双面镜背面，深度摄像头安装在双面镜顶端，不受双面镜遮挡，并且拍摄方向与双面镜表面有一夹角，使得最佳操作区域在显示器正前方。该方案适于捕捉用户整体动作，并且对操作区域范围有较好的控制。

面向智能家居的应用方案

下面以智能家居场景为例说明本发明的应用方案。室内布局如图6所示，受控设备包括电视、空调和落地灯。计算平台可安装在室内任意通风良好的位置，以保证系统散热。计算平台与交互终端和各受控设备间可通过数据线、光纤或无线通信连接。交互终端安装于门边墙上，日常可做穿衣镜使用，通过手势激活后可显示图形界面，并可以通过后续手势控制各个受控设备。当长时间不操作时，交互终端会自动关闭图形界面显示。

当采用电磁感应模块捕获手势时，操作区域仅限于交互终端附近；而当采用摄像头作为手势捕获装置时，摄像头视场可覆盖整个室内空间。此时用户可摆脱操作位置限制，在任意位置做出手势动作控制设备运行。受控设备及功能如表1所示。系统所用手势及交互终端界面均可由用户自定义。

其中，交互终端除了实时显示设备运行状态、提供操作提示与反馈外，在软件层面还可嵌入日常实用功能，如天气预报、日程表，还可调用内置摄像头录制视频备忘并进行播放。

表1受控设备及功能列表

序号	设备	功能
			1	电视	开/关、音量调节、频道调节
2	空调	开/关、模式调节、温度调节
			3	落地灯	开/关、亮度调节
4	交互终端界面	开/关、系统设置、界面内容设置、录像留言、日程表等

以上对本发明所提出的一种基于显示设备的智能空间手势控制系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于显示设备的智能空间手势控制系统，其特征在于：所述系统包括主控制器、数据获取模块、数据处理模块、数据通信模块、交互反馈模块和一个以上受控设备；

所述主控制器实时检测并控制其他各模块的运行；所述数据获取模块通过传感设备实时捕获用户手势操作，并传入数据处理模块；所述数据处理模块从传入的数据中识别操作指令，并传入数据通信模块；所述数据通信模块接收用户操作指令，转换为受控设备功能指令，并向受控设备发送；所述受控设备接收功能指令并执行相应功能，同时返回受控设备运行状态；在整个过程中，主控制器实时控制交互反馈模块向用户展示系统运行状态，提供操作提示并对用户手势操作执行结果进行反馈；

所述交互反馈模块为基于显示设备的图形界面，所述系统采用双面镜及附加在其上的显示器作为显示设备。

2.根据权利要求1所述的系统，其特征在于：将双面镜和显示器固定为一个整体，面向用户一侧为正面，另一侧安装显示器为背面；当显示器无信号输入时，从正面观察效果与普通镜面相同；而当显示器点亮时可透过双面镜的玻璃看到显示器内容。

3.根据权利要求2所述的系统，其特征在于：所述图形界面显示内容包括接入设备列表、设备功能列表、设备运行状态、异常提醒、操作提示和用户自定义内容。

4.根据权利要求3所述的系统，其特征在于：所述传感设备为电磁感应模块、摄像头或超声波感应模块。

Images