CN202749066U

CN202749066U - 一种非接触式物展交互系统

Info

Publication number: CN202749066U
Application number: CN 201220088764
Authority: CN
Inventors: 刘聪杰; 徐路明
Original assignee: WUXI WORSHINE INFORMATION TECHNOLOGY Co Ltd
Current assignee: WUXI WORSHINE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2012-03-09
Filing date: 2012-03-09
Publication date: 2013-02-20
Anticipated expiration: 2022-03-09

Abstract

本实用新型公开了一种非接触式物展交互系统，由图像采集装置、显示装置、数据处理系统、及数据转化元件构成，数据转化元件具有三个端口，一个端口连接电源，一个端口连接数据处理系统，一个端口连接数据采集装置。本实用新型提供的物展交互系统，能解决物品方便展示，节约能耗的作用。

Description

一种非接触式物展交互系统

技术领域

本实用新型涉及一种物展交互系统，特别是一种非接触式物展交互系统。

背景技术

在平常的展会上，很多参展商将展物放到展台供参观者参观。这种方式已经延续了不知多少年。这种方式不能说不好，但过于传统，没有足够的创新和吸引力。

随后出现了“触屏展示系统”，其可以让参观者用触摸屏幕的方式取代传统的鼠标和键盘等遥控器的控制，从而和屏幕上的展物进行互动。从实现原理角度来看，参观者用手指或其他物体触摸显示器前段的触摸屏。触摸屏由触摸检测部件和触摸屏控制器组成。触摸检测部件在显示器前段，用于检测用户的触摸位置。触摸屏控制器的主要作用是从触摸点检测装置上接收触摸信息，将其转换成具体坐标，送给计算机进行分析处理并形成反馈信息显示在屏幕上。“触屏展示系统”的出现将传统的展示方式带入一个新纪元，能够让参观者非常精确的和屏幕上的展物进行互动，并且能够在操作过程中查看展物的详细信息，有着好的用户体验。但是“触屏展示系统”需要依靠特定的触摸屏来进行操作。触摸屏的费用一般不低，贵的要几千元甚至上万一套，整个触摸屏软硬件系统尺寸上也比较大，在运输上给参展商造成不便。如何突破这些限制实现展品高效的展示是个问题。

实用新型内容

本实用新型要解决的技术问题是提供一种非接触式物展交互系统，其通过软硬件的结合实现非接触式物展示，能很好的解决节能降耗问题，且实现展品的动态展示。

本非接触式物展交互系统，由图像采集装置、显示装置、数据处理系统、及数据转化元件构成，所述数据转化元件具有三个端口，一个端口连接电源，一个端口连接数据处理系统，一个端口连接数据采集装置。

所述图像采集装置为三维图像采集装置，优选体感摄像头。

所述显示装置为电脑显示器、投影仪或者大屏幕电视等显示设备。

使用被系统可方便的解决展品便携作用，节能降耗，方便展品的动态展示。该系统可以让参观者在不使用任何遥控器（鼠标、键盘、操作手柄等）仅仅在摄像头前通过肢体动作身临其境地操作屏幕上的三维仿真展物，从而提高参观者和展物的互动性。由于屏幕上的展物是三维建模而成，所以不存在展物被损坏的可能。即使参观者众多，只需要多放几台设备即可。在参观者和展物互动过程中，通过软件可以被很容易地从各个角度观看展物，也可以进行互动和必要的解释。

附图说明

下面结合附图和具体实施方式对本实用新型作进一步详细的说明。

图1为本实用新型的系统结构图

图2为本实用新型的工作流程图

图3本实用新型的采集装置工作图

图4本实用新型的使用流程图

图5本实用新型的数据采集方法

具体实施方式

图1为“非接触式物展交互系统”的系统结构图。

包括图像采集装置、显示装置、数据处理系统、及数据转化元件构成，所述数据转化元件具有三个端口，一个端口连接电源，一个端口连接数据处理系统，一个端口连接数据采集装置。

“非接触式物展交互系统”是基于体感摄像头的手势识别人机交互系统。

该系统涉及到的硬件包括四部分：图像采集装置、显示装置、数据处理系统、及数据转化元件构成。数据采集装置可为体感摄像头，如微软的KINECT体感摄像头。体感摄像头可以采集三维空间数据，并且可以识别摄像头前方的人以及人体骨架。KINECT侦测的最佳距离为1.2米到3.5米之间，水平视野为57度，垂直视野为43度。KINECT还附带有马达功能，能够在必要时候左右旋转27度来追踪物体扩展测量空间。KINECT以30赫兹的频率获取320*240点阵的分辨率数据，得到的是VGA画质。它可以判断的物体精准度为4mm。人体识别事务的反应速度高于100ms，而KINECT的识别速度大约为33ms，两者相比之后，可以不用担心KINECT扫瞄速度不够。取得的数据流为三维点阵数据流，具体的人体手势识别交由计算机程序进行处理。

该系统所用的数据处理系统为普通计算机即可。该系统是在Microsoft windows 7操作系统环境下集成开发。Kinect使用了类似于USB的接头。Kinect的功率为12瓦，远高于标准USB接口2.5瓦的功率。体感摄像头输入参数为：100V-240V 50/60HZ；输出参数为：DC 12V1.08A。

显示装置是这套系统比较灵活的部分。显示屏可以用笔记本电脑的显示屏，小巧便捷；也可以用投影仪或者大屏幕电视来显示。

该系统软件架构主要分为四模块，由采集，识别，处理，应用四个模块构成；其中，采集，识别，处理使用OpenNI框架技术实现，应用模块使用UNITY 3D技术实现画面的显示。

OpenNI在整个系统扮演了传递从体感摄像头到上层程序数据的角色，这部分设计构建了整个应用程序。在OpenNI内部，有一些中间件。中间件涵盖了整个交互的核心技术，作用就是采集原始三维数据，利用这套系统的算法对其精确分析和计算，并生成能够反映真实世界人物的空间位置和动作，再通过分类算法进行有效识别和归纳，最后返回有意义的数据。有意义的数据指能够被领会、理解或翻译的数据表示。

OpenNI使用工作节点来描述自己的工作流。所谓工作节点就是能够接收并产生数据的组件。每个工作节点的作用就是采集低一层级的数据，分析处理后传递给高层级使用。若干个工作节点的有效连接就构成了一个工作链。工作链描述了这个OpenNI框架中各个节点的拓扑关系。整个工作流程如图2所示：

人站在体感摄像头前，挥舞手掌让摄像头能够识别人体。如果识别不出人体来，则继续处于待识别状态，如果识别出来，进入下一阶段，对当前操作人的动作识别。如果操作人做出符合程序预定义的一些动作，则被判定为有效动作，进入分析处理阶段，用此动作和展物互动。

采集：该系统使用OpenNI的传感器节点进行采集。所谓传感器节点是OpenNI获取传感器数据的节点。本系统获取到的节点数据包括：深度数据、彩色图数据、红外数据。彩色图数据和红外数据作为程序显示场景用。深度数据为采集模块的最主要数据。采集模块获取到的数据为三维数据，即前文所说的，240*320个点阵的三维数据。该系统的采集部分采用“帧同步”概念，如图3所示：

体感摄像头采集到的三种数据（深度数据、彩色图数据、红外数据）以每秒30帧的频率被采集到程序节点上。程序会不断的循环判定所有的节点是否都有数据，如果并不是所有数据都齐全，那么这些不完全的节点数据组合而成的图像信息就是不完整的，显示出来则会存在误差。为了确保所有数据都是实时并且完整的，程序会在所有节点都有新数据的时候才取获取数据。获取数据后将输出数据进行处理，并将节点数据清空以及等待下一批数据到来。

识别：该系统使用OpenNI的中间件节点进行识别。本系统涉及到的中间件节点包括姿势通知生成器节点、场景分析器节点、手心生成器节点、用户生成器节点四个。这些生成器节点就是将采集模块获得到的数据进行分析处理，然后识别出不同的对象和动作。

姿势通知生成器：当指定的姿势被标识，就可以触发某程序。

场景分析器：分析一个场景后，分离前景、背景、地板等。其主要输出是带标签的深度图，其中每个像素带一个标识，标明它是否是一个前景或者背景。

手心生成器：能够在用户挥舞手掌的时候，跟踪手心位置，且在手心位置发生改变的时候发出通知。

用户生成器：产生一个在3D场景的身体表示。

该系统通过调用这些生成器，可以剥离出摄像头前面的操作人，然后解析其手势动作。如果该人的动作和预先定义的动作相匹配，则识别并确定该动作，将该人做出的动作标记成某种讯号。如果操作人的动作不完全符合动作要求，则程序不采取新的行动，继续监听直至产生有效动作。具体步骤如图4所示：

如某操作人将右手掌向右滑动，程序标记为“动作A”。然后将“动作A”这个讯号传递给函数进行处理；如果操作人将右手掌逆时针方向转动一圈，程序标记为“动作B”。“动作B”讯号也会被传递给函数。如果该人的动作过慢或者做出的动作幅度太小，则也无法被程序识别出来。

处理：处理模块是该系统的逻辑处理模块，也是承前启后的模块。该模块接收前面识别模块中的各种动作讯号，转化成某个键盘事件或者鼠标事件。后面的应用模块通过对键盘事件和鼠标事件进行监听和处理。

应用：应用模块使用UNITY3D技术来实现。UNITY3D技术可以让各种虚拟展物产生各种动作。unity3d中对象（三维模型）产生的行为都是由绑定在它身上的JavaScript编写的脚本来控制的，这些脚本通过实时侦听的方式（每次渲染都会触发一次）来获取键盘鼠标等外设的实时状态，一旦捕获到这些外设触发相应的状态，就执行相关函数来控制场景中的对象完成相应的行为。在本系统中，unity3d需要做的就是实时捕获传递进来的信息数据等，调用JS中既定的方法使导入其中的展物的三维模型在三维场景中完成各种既定的动作。如前面模块传递过来的动作讯号被转化为键盘事件，被Unity3D中弧球形摄像机对象上的实时侦听的JS脚本捕获，那么弧球形摄像机对象的JS脚本就会执行控制弧球形摄像机运动的函数按照预先制定好的弧球面运动（此过程中摄像机一直是以虚拟展物为焦点的，参照图5），来实现相当于人绕着展物观看的效果。

Claims

1.一种非接触式物展交互系统，其特征在于由图像采集装置、显示装置、数据处理系统、及数据转化元件构成，所述数据转化元件具有三个端口，一个端口连接电源，一个端口连接数据处理系统，一个端口连接数据采集装置。

2.根据权利要求1所述的系统，其特征在于所述图像采集装置为三维图像采集装置。

3.根据权利要求2所述的系统，其特征在于所述图像采集装置为体感摄像头。

4.根据权利要求1所述的系统，其特征在于所述显示装置为电脑显示器、投影仪或者大屏幕电视。