CN211025083U

CN211025083U - 一种基于单目摄像头手势控制的墙面体感游戏设备

Info

Publication number: CN211025083U
Application number: CN201921466657.1U
Authority: CN
Inventors: 杜国铭; 孙晅; 冯大志
Original assignee: Harbin Tuobo Technology Co ltd
Current assignee: Harbin Tuobo Technology Co ltd
Priority date: 2019-09-04
Filing date: 2019-09-04
Publication date: 2020-07-17
Anticipated expiration: 2029-09-04

Abstract

本实用新型提出了一种基于单目摄像头手势控制的墙面体感游戏设备，所述设备包括单目摄像头、基于神经网络模型的嵌入式计算平台和显示终端；所述单目摄像头、嵌入式计算平台和显示终端均固定于墙上，单目摄像头和显示终端分别与嵌入式计算平台相连；所述嵌入式计算平台基于低端嵌入式处理芯片搭建，具备系统控制、数据处理及外部通信功能；用户手势动作由单目摄像头捕获，经由嵌入式计算平台处理识别，再通过显示终端提供交互反馈。所述设备整体响应灵敏，操作流畅。相比传统大型体感游戏设备，本实用新型所述设备成本低、功耗低、体积小，便于安装及维护。

Description

一种基于单目摄像头手势控制的墙面体感游戏设备

技术领域

本实用新型属于手势控制技术领域，特别是涉及一种基于单目摄像头手势控制的墙面体感游戏设备。

背景技术

基于手势控制的体感游戏是时下新颖的娱乐项目，区别于普通电子游戏，体感游戏不使用键盘、鼠标等输入设备，而是直接通过手部动作进行游戏。手势控制体感游戏的技术基础是精准的手势识别，而基于机器视觉的识别方法是目前的主流，从硬件上可分为基于单目摄像头的方法和基于深度摄像头的方法。其中，单目摄像头指单一的普通摄像头，深度摄像头则能够额外获取被摄物体与摄像头间的距离，如Kinect、RealSense及LeapMotion 等。相比之下，深度摄像头具有更高的精度，但成本高，对计算平台要求高；而单目摄像头成本低廉，适配的计算平台也更为灵活，从而设备整体体积小、功耗低，从而为低端嵌入式体感游戏设备的设计与实现提供了基础。现有的体感游戏设备在手势识别上很难直接应用，对计算平台要求较高，限于平台的算力及成本限制，急需一种能够适应低端平台，并且硬件造价相对低的体感游戏设备。

实用新型内容

本实用新型目的是为了解决现有技术中的问题，提供了一种基于单目摄像头手势控制的墙面体感游戏设备。

本实用新型是通过以下技术方案实现的，本实用新型提出一种基于单目摄像头手势控制的墙面体感游戏设备，所述设备包括单目摄像头、基于神经网络模型的嵌入式计算平台和显示终端；所述单目摄像头、嵌入式计算平台和显示终端均固定于墙上，单目摄像头和显示终端分别与嵌入式计算平台相连；所述嵌入式计算平台基于低端嵌入式处理芯片搭建，具备系统控制、数据处理及外部通信功能；用户手势动作由单目摄像头捕获，经由嵌入式计算平台处理识别，再通过显示终端提供交互反馈。

进一步地，所述单目摄像头为RGB摄像头。

进一步地，所述显示终端采用显示器、投影仪或其他具备显示输出功能的硬件设备。

进一步地，所述显示终端的屏幕分为多个区域，用户能够使用单手在某个相应区域做出手势或使用双手同时在相应的不同区域做出手势。

本实用新型的有益效果：

1、本实用新型采用单目摄像头及基于低端嵌入式处理芯片搭建的嵌入式计算平台，硬件成本低、功耗低；

2、低端嵌入式平台基于神经网络模型，在低算力限制下仍然具有较好的识别精度；

3、可同时检测多个手部目标；

4、设备体积小，便于安装与维护。

附图说明

图1为本实用新型所述设备总体硬件结构示意图；

图2为本实用新型所述设备总体工作流程图；

图3为本实用新型所述嵌入式计算平台工作流程图；

图4为核心调用示意图；

图5为石头剪刀布墙面体感游戏屏幕上方掉落手势示意图；

图6为石头剪刀布墙面体感游戏用户做出克制掉落手势示意图；

其中，1--单目摄像头，2--嵌入式计算平台，3--显示终端。

具体实施方式

下面将结合本实用新型实施例中的附图对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

结合图1，本实用新型提出一种基于单目摄像头手势控制的墙面体感游戏设备，所述设备包括单目摄像头1、基于神经网络模型的嵌入式计算平台2和显示终端3；所述单目摄像头1、嵌入式计算平台2和显示终端3均固定于墙上，单目摄像头1和显示终端3分别与嵌入式计算平台2相连；所述嵌入式计算平台2基于低端嵌入式处理芯片搭建，具备系统控制、数据处理及外部通信功能；用户手势动作由单目摄像头1捕获，经由嵌入式计算平台2处理识别，再通过显示终端3提供交互反馈。基于神经网络模型的嵌入式计算平台2根据识别策略处理手势图像，保证嵌入式平台2低算力下，仍然保持较好的识别精度。所述设备整体响应灵敏，操作流畅。相比传统大型体感游戏设备，本实用新型所述设备成本低、功耗低、体积小，便于安装及维护。

所述单目摄像头1为普通RGB摄像头。

所述显示终端3采用显示器、投影仪或其他具备显示输出功能的硬件设备。

所述显示终端3的屏幕分为多个区域，用户能够使用单手在某个相应区域做出手势或使用双手同时在相应的不同区域做出手势。

所述设备总体工作流程如图2所示，具体步骤如下：

步骤1、通过单目摄像头1采集用户手势图像；

步骤2、利用嵌入式计算平台2对用户手势进行识别与分析；

步骤3、通过显示终端3提供交互反馈。

基于神经网络模型的嵌入式计算平台2其深度不超过8个卷积层，并根据手部形态先验，确定各手势对应的模型大小。检测及识别流程如图3所示，具体步骤如下：

步骤4、输入用户手势图像；

步骤5、根据体感游戏交互逻辑预估手部位置，在该位置设置检测ROI(Region ofinterest，感兴趣区域)；

步骤6、在ROI内检测手部；

步骤7、根据当前及前序检测结果识别用户手势；

步骤8、根据当前检测结果更新ROI。

此外，针对低端嵌入式平台2应用需求，制定资源调度策略，将各检测过程按照流水线排序执行。对于双核处理器，核心调用示意图如图4所示。

石头剪刀布墙面体感游戏

本实施例中，设备采用硬件如表1所示：

表1设备硬件列表

序号	设备	型号
			1	嵌入式计算平台	基于Allwinner H6同级别或更高芯片搭建的计算平台
2	单目摄像头	RGB60fps@640x480
			3	显示终端	LED显示器60fps@1920x1080

游戏时，屏幕分为左、中、右三个区域，每个区域会随机从屏幕上方掉落石头、剪刀或布手势形状，如图5所示；玩家需要在相应区域做出克制掉落形状的手势，即掉落剪刀时做出石头手势，掉落石头时做出布手势，掉落布时做出剪刀手势。此时相应形状将被消除，如图6所示。如果形状掉落至屏幕底端时玩家未做出正确手势，游戏结束。玩家可使用双手同时在不同区域做出手势，以加快消除速度。

以上对本实用新型所提供的一种基于单目摄像头手势控制的墙面体感游戏设备，进行了详细介绍，本文中应用了具体个例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想；同时，对于本领域的一般技术人员，依据本实用新型的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本实用新型的限制。

Claims

1.一种基于单目摄像头手势控制的墙面体感游戏设备，其特征在于：所述设备包括单目摄像头、基于神经网络模型的嵌入式计算平台和显示终端；所述单目摄像头、嵌入式计算平台和显示终端均固定于墙上，单目摄像头和显示终端分别与嵌入式计算平台相连；所述嵌入式计算平台基于低端嵌入式处理芯片搭建，具备系统控制、数据处理及外部通信功能；用户手势动作由单目摄像头捕获，经由嵌入式计算平台处理识别，再通过显示终端提供交互反馈。

2.根据权利要求1所述的设备，其特征在于：所述单目摄像头为RGB摄像头。

3.根据权利要求1或2所述的设备，其特征在于：所述显示终端采用显示器或投影仪。

4.根据权利要求1或2所述的设备，其特征在于：所述显示终端的屏幕分为多个区域，用户能够使用单手在某个相应区域做出手势或使用双手同时在相应的不同区域做出手势。