CN113342177A - 博物馆用手势识别交互方法及装置 - Google Patents

Abstract

本申请涉及一种博物馆用手势识别交互方法及装置，属于计算机技术领域，该方法包括：显示预设生产作业流程的流程动画，预设生成作业流程包括多个生产作业活动，流程动画包括每个生产作业活动对应的动画；通过Unity中引入的Leapmotion插件获取用户手势数据；按照用户手势数据控制流程动画的播放；可以解决现有的博物馆展示方式单一的问题；结合视频内容和交互元素，增强博物馆视频展览形式，提高文物展示效果。另外，通过Leapmotion手势体感识别的交互方式，结合二维美术素材绘制和动画特效的制作，还原了文物的相关文化。这种艺术与技术的结合方式，可以提高文物展览的美观性和趣味性。

Description

博物馆用手势识别交互方法及装置

【技术领域】

本申请涉及一种博物馆用手势识别交互方法及装置，属于计算机技术领域。

【背景技术】

博物馆是征集、典藏、陈列和研究代表自然和人类文化遗产的实物的场所，对馆藏物品分类管理，为公众提供知识、教育和欣赏的文化教育的机构、建筑物、地点或者社会公共机构。

对于历史图片等文物，现有的博物馆通常是直接展示该历史图片本身。展示方式比较单一。

【发明内容】

本申请提供了一种博物馆用手势识别交互方法及装置，可以解决现有的博物馆展示方式单一的问题，可以结合视频内容和交互元素，增强博物馆视频展览形式，提高文物展示效果。本申请提供如下技术方案：

第一方面，提供一种博物馆用手势识别交互方法，所述方法包括：

显示预设生产作业流程的流程动画，所述预设生成作业流程包括五个生产作业活动，所述流程动画包括每个生产作业活动对应的动画；

通过Unity中引入的Leapmotion插件获取用户手势数据；

按照所述用户手势数据控制所述流程动画的播放。

可选地，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画。

可选地，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画。

可选地，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

可选地，所述预设生产作业流程包括豆腐制作流程，所述豆腐制作流程是基于所述博物馆展示的豆腐制作图确定的。

可选地，所述显示预设生产作业流程的流程动画之前，还包括：

使用平面软件生成所述菜肴制作图中的人物形象和场景素材；

使用Unity中的二维动画2D Animation功能绑定所述任务形象的骨骼，并调整权重，以制作所述流程动画；

为所述流程动画设置开关，以控制所述流程动画的播放和暂停；

将所述场景素材放置在所述流程动画的场景中。

可选地，所述显示预设生产作业流程的流程动画之前，还包括：

使用Unity中的粒子系统制作所述场景素材中指定粒子素材的粒子效果；

所述粒子效果通过以下几种中的至少一种表现：粒子大小、粒子颜色、粒子爆发数量、粒子爆发速率和粒子贴图。

可选地，所述指定粒子素材包括烟雾、火粒和碎片中的至少一种。

第二方面，提供一种博物馆用手势识别交互装置，所述装置包括：

动画显示模块，用于显示预设生产作业流程的流程动画，所述预设生成作业流程包括多个生产作业活动，所述流程动画包括每个生产作业活动对应的动画；

数据获取模块，用于通过Unity中引入的Leapmotion插件获取用户手势数据；

动画控制模块，用于按照所述用户手势数据控制所述流程动画的播放。

可选地，所述动画控制模块，用于：

响应于所述用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画；

响应于所述用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画；

响应于所述用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

本申请的有益效果至少包括：通过显示预设生产作业流程的流程动画，预设生成作业流程包括多个生产作业活动，流程动画包括每个生产作业活动对应的动画；通过Unity中引入的Leapmotion插件获取用户手势数据；按照用户手势数据控制流程动画的播放；可以解决现有的博物馆展示方式单一的问题；可以结合视频内容和交互元素，增强博物馆视频展览形式，提高文物展示效果。

另外，现有的Leapmotion技术只是单纯的手势体感控制器，并没有结合具体的历史文物的文化背景和平面动画技术，通过手势互动的形式展现文物。而本申请中，通过Leapmotion手势体感识别的交互方式，结合二维美术素材绘制和动画特效的制作，还原了文物的相关文化。这种艺术与技术的结合方式，可以提高文物展览的美观性和趣味性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

【附图说明】

图1是本申请一个实施例提供的博物馆用手势识别交互方法的流程图；

图2是本申请一个实施例提供的博物馆用手势识别交互装置的框图；

图3是本申请一个实施例提供的电子设备的框图。

【具体实施方式】

下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

首先，对本申请涉及的若干名词进行介绍。

Adobe Illustrator：常被称为“AI”，是一种应用于出版、多媒体和在线图像的工业标准矢量插画的软件。作为一款矢量图形处理工具，该软件主要应用于印刷出版、海报书籍排版、专业插画、多媒体图像处理和互联网页面的制作等，也可以为线稿提供较高的精度和控制，适合生产任何小型设计到大型的复杂项目。

Unity游戏引擎：Unity是实时互动内容创作和运营平台。Unity可以实现包括游戏开发、美术、影视动画、环境设计、汽车设计的内容，帮助所有开发者实现创作，提供一套相对完整的软件解决方案，实现任何实时互动的2D和3D内容，兼容支持多个平台，包括手机、平板电脑、PC、游戏主机以及增强现实和虚拟现实设备。

二维动画：是通过播放一系列连续的画面，形成视觉上连续变化的图画。它的基本原理与电影、电视一样,都是利用“视觉暂留”的视觉特性，造成一种流畅的视觉变化效果。

Leapmotion(或称Leap Motion)：是面向PC以及Mac的体感控制器。Leap Motion控制器不需要替代键盘、鼠标、手写笔或触控板，可以与这些设备协同工作。当Leap Motion软件运行时，只需将它插入Mac或PC中，用户只需挥动一只手指即可浏览网页、阅读文章、翻看照片，还有播放音乐。即使不使用任何画笔或笔刷，即可以绘画，涂鸦和设计。

可选地，本申请以各个实施例提供的博物馆用手势识别交互方法用于电子设备中为例进行说明，该电子设备可以为Leapmotion控制器，或者为与Leapmotion控制器通信相连的终端，该终端可以为计算机、平板电脑、等，本实施例不对终端的类型作限定。

图1是本申请一个实施例提供的博物馆用手势识别交互方法的流程图，该方法至少包括以下几个步骤：

步骤101，显示预设生产作业流程的流程动画，预设生成作业流程包括多个生产作业活动，流程动画包括每个生产作业活动对应的动画。

其中，预设生成作业流程中的多个生产作业活动在时间上存在先后执行顺序，即，上一生产作业活动完成后，再执行下一生产作业活动。

在一个示例中，预设生产作业流程包括豆腐制作流程，豆腐制作流程是基于博物馆展示的菜肴制作图确定的。相应地，每个生产作业活动对应的动画是对豆腐制作图的含义进行确定后制作的。如：豆腐制作流程包括：浸豆、磨豆和点浆等生产作业活动，流程动画包括浸豆对应的动画、磨豆对应的动画和点浆对应的动画。各个生产作业活动对应的动画按照预设生产作业流程的顺序播放。

比如：对实地墓室中的庖厨图进行拍摄后，得到做豆腐的相关文化内容，提取文化元素，通过文献资料，确定该豆腐图各个步骤的绘制含义；根据该绘制含义确定生产作业活动对应的动画。

在实际实现时，预设生成作业流程也可以是其它流程，比如：狩猎流程、朝会流程等，本实施例不对预设生成作业流程的内容作限定。

本实施例中，在显示预设生产作业流程的流程动画之前，需要制作各个生产作业活动对应的动画，得到流程动画。制作流程动画的过程包括：使用平面软件生成菜肴制作图中的人物形象和场景素材；使用Unity中的二维动画(2D Animation)功能绑定任务形象的骨骼，并调整权重，以制作流程动画；为流程动画设置开关，以控制流程动画的播放和暂停；将场景素材放置在流程动画的场景中。

以预设生产作业流程为豆腐制作流程为例，场景素材包括但不限于：烟雾、火焰、厨具、食材等，具体场景素材基于豆腐制作图中的素材内容确定，本实施例不对场景素材的内容作限定。

使用平面软件生成菜肴制作图中的人物形象和场景素材，包括：使用AI(或者图像处理软件(Photoshop，PS))的钢笔工具，将原有的豆腐制作图中的人物形象和图像素材绘制成矢量图形；在原有矢量图形基础上进行修改美化，比如：添加AI的投影、发光等效果，以丰富菜肴制作图的细节。这样，可以使原本被损坏的文物(比如豆腐图)，变得更加清晰、可观，更加生动。

使用Unity中的2D Animation功能绑定任务形象的骨骼，并调整权重，以制作流程动画，包括：对人物形象和场景素材进行分层、导出、整理；将单独的元素进行骨骼绑定、调整权重。本步骤对后续设置关键帧、制作挥手、点头以及人物呼吸状态动画起着重要作用，目的是实现舒适合理的动画效果。

可选地，为了丰富动画效果，在显示预设生产作业流程的流程动画之前，还包括：使用Unity中的粒子系统制作场景素材中指定粒子素材的粒子效果；粒子效果通过以下几种中的至少一种表现：粒子大小、粒子颜色、粒子爆发数量、粒子爆发速率和粒子贴图。

其中，指定粒子素材包括烟雾、火粒和碎片中的至少一种。

步骤102，通过Unity中引入的Leapmotion插件获取用户手势数据。

Leapmotion插件用于获取Leapmotion控制器采集到的用户手势数据，并对该用户手势数据进行识别。

步骤103，按照用户手势数据控制流程动画的播放。

可选地，按照用户手势数据控制流程动画的播放，包括：响应于用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画。和/或，响应于用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画。和/或，响应于用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

具体地，通过Leapmotion插件中自带的手势识别组件(如Extended FingerDetector)识别用户手势数据是否为握拳对应的手势数据。通过自定义的的脚本代码识别用户手势数据是否为向右挥手对应的手势数据、以及是否为向左挥手对应的手势数据。

综上所述，本实施例提供的博物馆用手势识别交互方法，通过显示预设生产作业流程的流程动画，预设生成作业流程包括多个生产作业活动，流程动画包括每个生产作业活动对应的动画；通过Unity中引入的Leapmotion插件获取用户手势数据；按照用户手势数据控制流程动画的播放；可以解决现有的博物馆展示方式单一的问题；可以结合视频内容和交互元素，增强博物馆视频展览形式，提高文物展示效果。

另外，现有的Leapmotion技术只是单纯的手势体感控制器，并没有结合具体的历史文物的文化背景和平面动画技术，通过手势互动的形式展现文物。而本申请中，通过Leapmotion手势体感识别的交互方式，结合二维美术素材绘制和动画特效的制作，还原了文物的相关文化。这种艺术与技术的结合方式，可以提高文物展览的美观性和趣味性。

图2是本申请一个实施例提供的博物馆用手势识别交互装置的框图。该装置至少包括以下几个模块：动画显示模块210、数据获取模块220和动画控制模块230。

动画显示模块210，用于显示预设生产作业流程的流程动画，所述预设生成作业流程包括多个生产作业活动，所述流程动画包括每个生产作业活动对应的动画；

数据获取模块220，用于通过Unity中引入的Leapmotion插件获取用户手势数据；

动画控制模块230，用于按照所述用户手势数据控制所述流程动画的播放。

可选地，所述动画控制模块230，用于：

响应于所述用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画；

响应于所述用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画；

响应于所述用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的博物馆用手势识别交互装置在进行博物馆用手势识别交互时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将博物馆用手势识别交互装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的博物馆用手势识别交互装置与博物馆用手势识别交互方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图3是本申请一个实施例提供的电子设备的框图。该设备至少包括处理器301和存储器302。

处理器301可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的博物馆用手势识别交互方法。

在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器301、存储器302和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的博物馆用手势识别交互方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的博物馆用手势识别交互方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种博物馆用手势识别交互方法，其特征在于，所述方法包括：

显示预设生产作业流程的流程动画，所述预设生成作业流程包括多个生产作业活动，所述流程动画包括每个生产作业活动对应的动画；

通过Unity中引入的Leapmotion插件获取用户手势数据；

按照所述用户手势数据控制所述流程动画的播放。

2.根据权利要求1所述的方法，其特征在于，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画。

3.根据权利要求1所述的方法，其特征在于，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画。

4.根据权利要求1所述的方法，其特征在于，所述按照所述用户手势数据控制所述流程动画的播放，包括：

响应于所述用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

5.根据权利要求1至4任一所述的方法，其特征在于，所述预设生产作业流程包括豆腐制作流程，所述豆腐制作流程是基于所述博物馆展示的豆腐制作图确定的。

6.根据权利要求5所述的方法，其特征在于，所述显示预设生产作业流程的流程动画之前，还包括：

使用平面软件生成所述菜肴制作图中的人物形象和场景素材；

使用Unity中的二维动画2D Animation功能绑定所述任务形象的骨骼，并调整权重，以制作所述流程动画；

为所述流程动画设置开关，以控制所述流程动画的播放和暂停；

将所述场景素材放置在所述流程动画的场景中。

7.根据权利要求6所述的方法，其特征在于，所述显示预设生产作业流程的流程动画之前，还包括：

使用Unity中的粒子系统制作所述场景素材中指定粒子素材的粒子效果；

所述粒子效果通过以下几种中的至少一种表现：粒子大小、粒子颜色、粒子爆发数量、粒子爆发速率和粒子贴图。

8.根据权利要求7所述的方法，其特征在于，所述指定粒子素材包括烟雾、火粒和碎片中的至少一种。

9.一种博物馆用手势识别交互装置，其特征在于，所述装置包括：

动画显示模块，用于显示预设生产作业流程的流程动画，所述预设生成作业流程包括多个生产作业活动，所述流程动画包括每个生产作业活动对应的动画；

数据获取模块，用于通过Unity中引入的Leapmotion插件获取用户手势数据；

动画控制模块，用于按照所述用户手势数据控制所述流程动画的播放。

10.根据权利要求9所述的装置，其特征在于，所述动画控制模块，用于：

响应于所述用户手势数据为向左挥手对应的手势数据，跳转至上一生产作业活动对应的动画；

响应于所述用户手势数据为向右挥手对应的手势数据，跳转至下一生产作业活动对应的动画；

响应于所述用户手势数据为握拳对应的手势数据，控制当前生产作业活动对应动画开始播放或暂停播放。

Images