CN113807154A - 一种数字展厅人机交互系统 - Google Patents

Abstract

本发明提出一种基于体感设备的一种数字展厅人机交互系统，分为图像采集模块，图像处理系统模块，合成拍照模块，防止误识别模块，肢体语言识别模型模块，系统命令模块。在展览展示互动领域，体验者本身不佩戴任何设备的情况下完成人机交互式体验，大人儿童均可以对展厅内容进行体验和交互。简单宜学的肢体语言降低了操作难度，合成拍照增加了趣味性和参与感。

Description

一种数字展厅人机交互系统

技术领域：

本发明涉及展览展示互动领域，尤其为支持展厅大屏幕互动体验领域，更具体地涉及一种应用到展览馆、博物馆、科技馆、图书馆等数字展厅的人机交互系统。

技术背景：

近几年，数字展厅，艺术展览，在国内外刮起了一场热风。在体验展览，体验艺术装置的同时，让用户更有参与感，显得尤为重要的。现已有的交互类型具体表现形式如下：

静态展示类型，无互动，大屏自动播放的内容和体验者不产生互动，该类型以静态浏览为主，因缺少参与感，导致体验感较差。

雷达作为人机交互媒介类型，雷达的特点就是通过射线扫描周边事物是否存在遮挡，如果存在遮挡就会转换成系统命令，完成人机之间的交互。应用到展厅展览体验中，需要体验者站在离屏幕较近的位置才能完成互动，这样使得体验者不能全面的观看展览内容、不能在一个小区域内操纵整个屏幕窗口，同时体验者离屏幕太近、时间太长会对眼睛造成了伤害。

手势识别设备(leap motion)作为人机交互媒介类型，手势识别设备获取双手骨骼位置信息。通过获取到的骨骼位置信息进行程序处理，转换成系统命令，完成人机之间的交互。在展厅体验中，需要把双手放在设备上方进行交互，这样体验者前面需要放置一个类似讲台的支架来放置手势识别设备。这样在体验者和屏幕之间有了遮挡物。而且手势识别设备可识别区域范围较小，需要时刻关注手是否还在识别区域内，对一边观看一遍操作造成了困扰，提高了操作难度，降低了用户体验。

头戴设备(VR头盔)为人机交互媒介类型，头戴设备主要通过戴在头上的凸镜进行显示，交互方面主要是以手持设备为主，这样使得体验者首先会觉得身体被束缚了，同时眼睛距离屏幕太近，有眩晕感，交互上只是单纯的根据手柄进行操作，体验者不能真正的融入进去，有不自然身体紧绷的感觉。

鉴于此，本发明所提供的基于体感交互系统的数字展览展示交互的有益效果：

体验者站在离采集摄像头2.5m～3.5m的地方进行体验，可以看到整体屏幕内容，同时对眼睛的伤害也降到了最低，达到了最舒适的观看效果。体验区域范围为1.5平方米，只要在体验区就能进行正常的体验，使得身体不处于紧绷状态。交互方面，采用了骨骼位置信息识别，大人儿童均可以对展厅内容进行体验和交互。内置多种肢体语言识别模型，通过双手就能操作整个展厅的选择、拖拽、旋转、左右翻页、放大缩小，简单易学降低了操作难度。不用佩戴任何设备在身上，减少对身体的束缚，让体验者更自然的进行交互。同时本发明也拥防止误识别模块，可以判断体验者的一些无意识操作，双手自然下垂、双手挠头、单手挠头、双手揉眼睛、单手揉眼睛、移动到离摄像头太近位置、移动到离摄像头太远位置、双手交叉，判定为无意识操作，不对展厅进行任何操作。为了增强体验感，本发明还增加了合成拍照模块，在体验结束时，可以和所观展的展厅进行合成拍照，并通过二维码把照片保存到手机上，完成一次愉快舒适的体验。

发明内容：

一种数字展厅人机交互系统，所描述的交互系统包括图像采集模块，图像处理系统模块，合成拍照模块，防止误识别模块，肢体语言识别模型模块，系统命令模块。

所述图像采集模块，人机交互的过程中体验者本身不需要佩戴任何设备，图像采集摄像头需要摆放的位置在距离地面不超过2.4m，距离体验者2.5m～3.5m，摄像头正面和屏幕正面朝向相同，并向下倾斜10°～15°。摄像头对现场图像进行图像采集，并将采集到的图像数据传输到图像处理系统模块。

所述图像处理系统模块，其特征在于：人脸识别功能，通过图像信息进行深度处理后，根据获取到的图像中人脸关键点信息进行匹配，对人脸信息分析后生成新的人脸图像信息。骨骼位置信息功能，对图像信息进行深度处理后，提取图像中特殊点位置，和骨骼模型位置进行比对，图像中提取的关键点和骨骼模型位置一致，对图像的关键点位置进行骨骼模型的绑定，返回对应体验者的骨骼模型位置的坐标。

所述合成拍照模块，体验者进行人脸识别后，得到人脸图像新的信息，把数据传递到合成拍照模块，完成当前的展厅场景和体验者拍照合成功能，同时生成照片的二维码，在拍照结束后可通过二维码获得照片。

所述防止误识别模块，我们根据人体的一些无意识的肢体动作，双手自然下垂、双手挠头、单手挠头、双手揉眼睛、单手揉眼睛、移动到离摄像头太近位置、移动到离摄像头太远位置、双手交叉，判定为无意识操作，不传递任何误操作信息数据。

所述肢体语言识别模型模块，肢体语言识别模型中我们设置一些常用的肢体语言数据，攥拳后张开手表示选中、一直攥拳移动表示拖拽和旋转场景、向左挥手表示切换下一页体验者向右挥手表示切换上一页、向前推手表示放大场景、向后拉手表示缩小场景。

所述系统命令模块，系统命令针对当前系统，肢体语言识别模型模块产生的数据发送到系统命令模块，通过系统命令模块分析转换成可识别的系统命令从而完成交互式体验。

一种数字展厅人机交互系统申请的有益效果：

上述一种数字展厅人机交互系统主要由一些静态的、固定的结构组成，整体结构简单，装配方便灵活，具有较高的稳定性。

上述一种数字展厅人机交互系统无需体验者身上佩戴任何电子设备，减少了对体验者身体上的束缚，使得体验者体验的更流畅，更灵活。

上述一种数字展厅人机交互系统可以人站在距离屏幕2.5m-3.5m的位置进行体验，使得体验者视角更广，不会受到视角限制。

上述一种数字展厅人机交互系统所述的体验位置，加大了人到屏幕之间的距离，对人身体健康起到了一种保护，尤其是眼睛。

上述一种数字展厅人机交互系统结合了肢体语言识别，肢体语言包括(手掌张开前推表示放大，手掌张开后拉表示缩小，手掌张开向左滑动表示向左翻页，手掌张开向右滑动表示向右翻页，手掌一直攥紧表示对场景进行拖拽，手掌攥拳后松开表示选中)场景反馈等技术，进一步增强了交互体验。

上述一种数字展厅人机交互系统针对体验者进行骨骼位置信息获取，从而主要执行骨骼绑定的体验者所发出的指令，不被身后的人所干扰。不会造成体验混乱。

上述一种数字展厅人机交互系统采用左下角小窗体进行场景和骨骼跟踪情况进行显示。在不影响体验者体验的同时，给体验正更好的反馈。

上述一种数字展厅人机交互系统增加了合成拍照模块，体验者可以根据自己所浏览的场景进行拍照合成，增加了增加了互动体验和趣味性。

附图说明：

图1为本发明涉及到的主要硬件部分：编号1为电脑主机、编号2为摄像头、编号3为音响、编号4为液晶显示器、编号5为多规格分屏器。

图2为本发明设备摆放结构图。

图3为本发明交互体验效果主视图。

图4为本发明体验系统流程。

具体实施方式：

以下结合附图对本发明做进一步的详细说明。所描述的具体实施案例仅仅是以解释本申请，并不限制与本申请。

步骤1：参考图1-4，一种数字展厅人机交互系统，包裹所需硬件设备、搭建人机交互系统环境、交互系统、体验区域。

步骤2：步骤1中所述硬件设备由图1进行描述：图1中1是电脑主机，图1中2是摄像头，图1中3是音响，图1中4是液晶显示器、编号5为多规格分屏器。

步骤3：步骤1中所述搭建人机交互系统环境是把所有硬件设备连接起来呈现如图2所示的结构。将9块液晶显示器连接到多规格分屏器的信号输出口上做画面融合，分屏器的信号是入口连接到电脑的高清显示口，所有的连接线为HDMI高清线。图形采集摄像头至于屏幕顶端，供电口插220v电源插排上，数据传输口插在电脑主机USB 3.0上，其中摄像头一端距离地面不超过2.4m，摄像头和屏幕正面朝向相同，并向下倾斜10°～15°。音响分别放于两端用于打造立体音效环境，体验效果更佳。

步骤4：步骤1中所述的交互系统包含图像采集模块，图像处理系统模块，合成拍照模块，防止误识别模块，肢体语言识别模型模块，系统命令模块。

所述图像采集模块，摄像头进行图像数据采集，将采集到的图像数据传输到图像处理系统模块。人机交互的过程中体验者本身不需要佩戴任何设备，图像采集摄像头需要摆放的位置在距离地面不超过2.4m，距离体验者2.5m～3.5m，摄像头正面和屏幕正面朝向相同，并向下倾斜10°～15°对现场图像进行图像采集。

所述图像处理系统模块接到数据后分别对人脸识别功能和骨骼位置信息功能进行进一步的数据处理：

人脸识别功能，通过图像信息进行深度处理后，根据获取到的图像中人脸关键点信息进行匹配，对人脸信息分析后生成新的人脸图像信息。骨骼位置信息功能，对图像信息进行深度处理后，提取图像中特殊点位置，和骨骼模型位置进行比对，图像中提取的关键点和骨骼模型位置一致，对图像的关键点位置进行骨骼模型的绑定，返回对应体验者的骨骼模型位置的坐标。

所述合成拍照模块，体验者进行人脸识别后，得到人脸图像新的信息，把数据传递到合成拍照模块，完成当前的展厅场景和体验者拍照合成功能，同时生成照片的二维码，在拍照结束后可通过二维码获得照片。

所述防止误识别模块，我们根据人体本能的一些肢体动作，双手自然下垂、双手挠头、单手挠头、双手揉眼睛、单手揉眼睛、移动到离摄像头太近位置、移动到离摄像头太远位置、双手交叉，判定为无意识操作，不传递任何误操作信息数据。

所述肢体语言识别模型模块，肢体语言识别模型中我们设置一些常用的肢体语言数据，攥拳后张开手表示选中、一直攥拳移动表示拖拽和旋转场景、向左挥手表示切换下一页体验者向右挥手表示切换上一页、向前推手表示放大场景、向后拉手表示缩小场景。

所述系统命令模块，系统命令针对当前系统，执行肢体语言识别模型模块传送的信息数据，转换成当前系统内部的指令，从而完成体验者和机器之间交互。整体流程如图4所示。

步骤5：如图3所示结构。体验者需要站在屏幕中间，距离屏幕2.5m-3.5m的位置，进行交互操作。

尽管上面已经描述了一种数字展厅人机交互系统的实施案例，可以理解的是，以上所描述的实施案例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施案例进行若干变化、修改、替换和变型。

以上本申请的具体实施方式，并不构成对本申请保护范围的限定。任何根据本申请的技术构思所作出的各种其他相应的改变与变形，均应包含在本申请权利要求的保护范围内。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种数字展厅人机交互系统，其特征在于，包含图像采集模块，图像处理系统模块，合成拍照模块，防止误识别模块，肢体语言识别模型模块，系统命令模块。

2.根据权利要求1所述图像采集模块：其特征在于，人机交互的过程中体验者本身不需要佩戴任何设备，图像采集摄像头需要摆放的位置在距离地面不超过2.4m，距离体验者2.5m～3.5m，摄像头正面和屏幕正面朝向相同，并向下倾斜10°～15°对现场图像进行图像采集。

3.根据权利要求1所述图像处理系统模块：其特征在于，人脸识别功能、骨骼位置信息功能：

所述人脸识别功能，对图像信息进行深度处理后，根据获取到的图像中人脸关键点信息进行匹配，对人脸信息分析后生成新的人脸图像信息；

所述骨骼位置信息功能，对图像信息进行深度处理后，提取图像中特殊点位置，和骨骼模型位置进行比对，图像中提取的关键点和骨骼模型位置一致，对图像的关键点位置进行骨骼模型的绑定，返回对应体验者的骨骼模型位置的坐标。

4.根据权利要求1所述合成拍照模块：其特征在于，根据图像处理系统模块中人脸识别功能得到人脸图像信息，和系统设定好的场景图片进行合成，完成拍照。

5.根据权利要求1所述防止误识别模块：其特征在于，根据图像处理系统模块人脸图形分析和骨骼模型位置分析，得到人体无意识的肢体动作；双手自然下垂、双手挠头、单手挠头、双手揉眼睛、单手揉眼睛、移动到离摄像头太近位置、移动到离摄像头太远位置、双手交叉判定为无意识操作。

6.根据权利要求1所述肢体语言识别模型模块：其特征在于，设置肢体语言数据，攥拳后张开手对应选中、保持攥拳移动对应拖拽和旋转、向左挥手对应切换下一页、向右挥手对应切换上一页、向前推手对应放大场景、向后拉手对应缩小场景。

7.根据权利要求1所述系统命令模块：其特征在于，把肢体语言识别模型模块产生的数据发送到系统命令模块，通过系统命令模块分析转换成可识别的系统命令从而完成交互式体验。

Images