CN103605425A

CN103605425A - 基于Kinect的文化遗产数字化展示装置

Info

Publication number: CN103605425A
Application number: CN201310622387.XA
Authority: CN
Inventors: 杨裔; 邓毓博; 慕富强; 徐茂文; 周敏
Original assignee: SHANGHAI E-CONNECTIONS INFORMATION TECHNOLOGY Co Ltd; Lanzhou University
Current assignee: SHANGHAI E-CONNECTIONS INFORMATION TECHNOLOGY Co Ltd; Lanzhou University
Priority date: 2013-11-30
Filing date: 2013-11-30
Publication date: 2014-02-26

Abstract

本发明公开了一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主机、显示屏和服务器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网连接。通过使用Kinect设备代替原理复杂的鼠标、键盘、触摸屏为主，虽然虚拟头盔、3D眼镜和体感手套等，从而降低了装置的成本，并增强了体验真实感。

Description

基于Kinect的文化遗产数字化展示装置

技术领域

本发明涉及信息处理领域，具体地，涉及一种基于Kinect的文化遗产数字化展示装置。

背景技术

目前，现有文化遗产的数字化展示技术主要有基于虚拟现实技术的真实感绘制技术、沉浸式投影技术、基于多媒体信息集成展示技术的数字博物馆等。其中真实感绘制技术为用户提供一个由计算机制作的虚拟三维空间场景，用户通过鼠标、键盘等交互操作设备可实现在场景中的自由移动和变换视角；沉浸式投影技术利用投影仪和相关设备为用户提供高质量的立体影像与高度仿真的虚拟场景；数字博物馆利用计算机图像处理技术、多媒体技术和人机交互技术等营造数字化展示系统，用户可通过电子书、视听光盘、网页浏览、虚拟体验等方式访问文化遗产数字资源。

上述这些技术中采用的人机交互方式多以传统的交互设备如鼠标、键盘、触摸屏为主，虽然虚拟头盔、3D眼镜、体感手套等人机交互设备也在逐渐引入，但一方面应用这些设备的虚拟场景往往需要高昂的开发费用；另一方面用户需要额外穿戴外接设备，这会加大用户学习使用系统的困难，并降低体验真实感。另外，现有体感交互设备多需要数字摄像头和体感手套相互配合以提高对于人体姿态响应的精度，而且无法同时实现语音交互。

发明内容

本发明的目的在于，针对上述问题，提出一种于Kinect的文化遗产数字化展示装置，以实现降低成本的优点。

为实现上述目的，本发明采用的技术方案是：

一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主机、显示屏和服务器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网连接。

进一步的，所述主机为电脑。

进一步的，用户的肢体动作被Kinect设备识别后，用户通过肢体动作对显示屏界面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互联网发送至服务器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终解析，并依据解析结果对显示屏中界面里的素材进行控制操作。

本发明的技术方案具有以下有益效果：

本发明的技术方案，通过使用Kinect设备代替原理复杂的鼠标、键盘、触摸屏为主，虽然虚拟头盔、3D眼镜和体感手套等，从而降低了装置的成本，并增强了体验真实感。而使用Kinect设备的语音识别模块，通过语音识别模块对语音的识别和对服务器的调用，实现对语音命令的识别，从而达到了语音交互的目的。

附图说明

图1为本发明实施例所述的Kinect的文化遗产数字化展示装置的原理框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主机、显示屏和服务器， Kinect设备和显示屏均通过数据线连接在主机上，主机和服务器通过互联网连接。其中，主机为电脑。用户的肢体动作被Kinect设备识别后，用户通过肢体动作对显示屏界面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互联网发送至服务器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终解析，并依据解析结果对显示屏中界面里的素材进行控制操作。

其具体实施如下：

基于Kinect的文化遗产数字化展示装置由1个或多个Kinect体感交互设备、1台电脑、1套展示软件组成，其中Kinect设备与电脑连接，置于显示器附近。在电脑上安装完成并打开展示软件后，用户站在Kinect前方，距离约1.8—3米，通过肢体动作和语音可以实现对软件中展示素材的多种操作（即如触摸屏或鼠标样对程序进行操作）。主要技术方案如下：

1、开发一个可在Windows操作系统上运行的具有良好交互界面的展示系统，实现向系统导入图片等展示素材、在该系统中显示以及退出系统等功能。核心模块为显示模块，可以实现三维立体翻页等各种动态效果，主要通过调用Windows API中的GDI+实现。

2、利用微软研发的Kinect体感交互设备，编制具体的肢体交互动作并设计体感交互算法，调用适用于Kinect的SDK所提供的景深与图像传感器API，将动作数据与执行操作绑定，使Kinect能够识别相应的肢体动作。这些肢体动作能够实现对展示素材的打开、切换，对图片的放大缩小和旋转，对视音频和动画的播放、暂停、快进、回放等操作。

其中关键为利用KinectGetDepthImage()、KinectGetSkeleton()等函数实现Kinect设备对数据流的获取，利用KinectJudgeTrack()判断当前跟踪状态以及控制权，通过hook KinectSensor.ColorFrameReady事件及类似事件到合适的事件句柄并使用预先定义的事件模型实现对动作的识别和相应执行操作。

3、利用微软研发的Kinect体感交互设备和科大讯飞提供的开源语音识别引擎，设计开发具有简单语义识别功能的素材操作语音库，调用适用于Kinect的SDK所提供的麦克风阵列控制API和科大讯飞提供的语音识别API，将语音识别数据与执行操作绑定，使Kinect能够识别用户对于素材操作的常规语音控制命令，包括对展示素材的打开、切换，对图片的放大缩小和旋转，对视音频和动画的播放、暂停、快进、回放等操作。

其中关键技术为创建一个<TKey, TValue>字典，键是用户说出的词或短语，值是相关联的用户意图，接着定义上下文相关的短语，其中键是最终用户说出的与意图关联的词和短语，单个意图可以映射到多个单词和短语，这样便可创建丰富的词汇库，系统可以通过该方式实现对意思相近的短语实现语义分析并执行对应操作。

上述平台开发环境为Microsoft Visual Studio 2010，运行环境为.Net Framework 4.0，开发语言为C#，设备驱动程序为微软官方Kinect for Windows驱动程序。

如图1所示，用户站在Kinect设备与显示屏前方，Kinect设备与显示屏通过数据连接线与电脑主机连接，电脑主机通过互联网与语音识别引擎相连。

展示软件安装于电脑主机中，用户的肢体动作被Kinect设备识别后，可对显示屏中软件界面里的素材进行控制操作；用户的语音数据再被Kinect设备监听后通过互联网发送至语音识别引擎进行分析处理，并将结果返回电脑主机中的语义库进行最终解析，并依据结果对显示屏中软件界面里的素材进行控制操作。

本发明的技术方案中，用户不需要任何穿戴设备，只需要站立在Kinect设备可识别的有效距离内，就能对显示屏上的文化遗产数字化素材通过肢体动作（例如手势）和语音实现控制操作。该人机交互方式自然、简单，系统部署成本低。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于Kinect的文化遗产数字化展示装置，其特征在于，包括Kinect设备、主机、显示屏和服务器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网连接。

2.根据权利要求1所述的基于Kinect的文化遗产数字化展示装置，其特征在于，所述主机为电脑。

3.根据权利要求1或2所述的基于Kinect的文化遗产数字化展示装置，其特征在于，用户的肢体动作被Kinect设备识别后，用户通过肢体动作对显示屏界面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互联网发送至服务器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终解析，并依据解析结果对显示屏中界面里的素材进行控制操作。