CN113342176A - 一种沉浸式旅游互动系统 - Google Patents

Abstract

本发明涉及一种沉浸式旅游互动系统，包括操作台、连接操作台的投影仪、与投影仪对应的投影区以及用于监测用户状态的感应机构，所述投影区内设有用于承载投影仪的投影映像的互动屏，所述操作台内设有分控器，所述投影仪和感应机构均通信连接至分控器；本发明提供互动系统，感应机构负责采集用户数据，系统分控器负责对人体数据进行分析和处理、对虚拟展示内容数据进行存储以及用户与虚拟展示内容进行交互，用户用手势即可控制虚拟展示内容的变换，让用户从多个角度观赏细腻逼真的展示内容，增强了展示内容的生动性和展览的互动性，提高用户主动参与的积极性。

Description

一种沉浸式旅游互动系统

技术领域

本发明属于旅游智能化技术领域，具体涉及一种沉浸式旅游互动系统。

背景技术

随着移动互联网的不断发展与移动设备的广泛应用，传统旅游业逐步向智慧旅游的方向进行转变。旅游产品与其服务为了满足游客日益增长的旅游需求，愈加重视游客的旅游体验和满意度。同时旅游景区服务的形态也发生了变化，不仅包括了常见的团体游和自由行，深度体验游也作为一种新型的旅游形态逐渐进入了大众视野。所谓的深度体验游是自由行的体验优化升级，除了需要满足游客的各类基本的旅游需求外，还需同时满足游客对景区文化内容的深度体验需求。深度体验需求即游客除了了解景区的基本信息以外，还需要对景区文化有更深入的了解和体会。由此可见在当下的旅游景区服务中，文化沉浸式的体验诉求已经发展为一种越来越受欢迎的特色旅游方式。

沉浸体验也叫沉浸理论、沉浸式体验，沉浸体验在积极心理学领域是指：当人们在进行活动时如果完全投入情境当中，注意力专注，并且过滤掉所有不相关的知觉，即进入沉浸状态。沉浸体验是一种正向的、积极的心理体验，它会给个体参与活动时获得很大的愉悦感，从而促使个体反复进行同样的活动而不会厌倦。随计算机科技的发展，沉浸理论延伸至人机互动上的讨论，这时沉浸体验也指活动参与者进入一共同经验模式，意识集中在很小的范围之内，其他不相关的知觉和思考都被过滤，仅对具体的目标和明确的回馈有反应，并且对环境产生控制感。当个人的技巧水平与面临的挑战相匹配时，就会产生沉浸体验。目前常见的VR等虚拟智能提供了沉浸式体验，利用人的感官体验和认知体验，营造氛围让参与者享受某种状态，提供参与者完全沉浸的体验,使用户有一种置身于虚拟世界之中的感觉。

传统的景区内容的展示方式，由于物理空间的限制，主要通过标识牌的方式结合实物或图片进行展示，线上导游软件主要是跟踪游客的地理位置并通过语音加文字的方式对各景点的文化内容进行解说，从形式上和内容上可以看出这两类展示方式所传达的文化要素是很有限的，缺乏对景区文化内涵深度和广度的阐释。

发明内容

本发明的目的是为了解决背景技术中所提出的问题，而提供一种沉浸式旅游互动系统，感应机构负责采集用户数据，系统分控器负责对人体数据进行分析和处理、对虚拟展示内容数据进行存储以及用户与虚拟展示内容进行交互，用户用手势即可控制虚拟展示内容的变换，让用户从多个角度观赏细腻逼真的展示内容，增强了展示内容的生动性和展览的互动性，提高用户主动参与的积极性。

本发明的目的是这样实现的：

一种沉浸式旅游互动系统，包括操作台、连接操作台的投影仪、与投影仪对应的投影区以及用于监测用户状态的感应机构，所述投影区内设有用于承载投影仪的投影映像的互动屏，所述操作台内设有分控器，所述投影仪和感应机构均通信连接至分控器，所述分控器包括：

场景转换单元，包括转换模块和音乐模块，用户对存储在操作台内的虚拟场景通过转换模块进行转换，音乐模块根据用户转换的虚拟场景播放与之相匹配的背景音乐；

调取单元，包括调取模块和音频讲解模块，包括调取在不同的场景内的虚拟展体，用户自主调取并切换虚拟展体，音频讲解模块播放与之相匹配的音频讲解；

色彩单元，包括音频引导模块和色彩替换模块，用户通过色彩替换模块在音频引导模块的指引下对虚拟展体进行色彩展现、色彩拾取和色彩替换。

优选的，所述感应机构包括用于捕捉用户指尖在互动屏上触摸动作的摄像机和激光传感器，所述摄像机的视野范围完全覆盖投影仪成像画面。

优选的，所述的激光传感器发射连续的光束扫描以接收带有深度信息的图像信号，用户手势动作进入激光传感器发射的二维激光平面，激光传感器产生的原始信号发送给分控器，分控器进行图像去噪算法和目标定位跟踪算法的处理，将处理好的信号展现到互动屏上，实现人机交互。

优选的，所述感应机构还包括用于感应用户姿态的姿态感应传感器和对用户进行灯光照射的灯具，所述姿态感应传感器和灯具均连接至分控器，所述分控器根据姿态感应传感器捕捉到的用户的肢体运动，控制灯具将灯光聚射在用户周围。

优选的，所述分控器设至少两个，所述的至少两个分控器均由设于操作台内的主控器控制，所述的至少两个分控器的每个分控器均对应控制相应的投影仪、互动屏和感应机构。

优选的，所述互动屏通过触控整合器连接至主控器，所述触控整合器通过USB与互动屏及主控器通信，所述触控整合器通过无线通信连接至移动端。

优选的，所述分控器还包括：

显示模块，将获取的用户影像与虚拟场景进行融合并显示；

识别模块，用于用户的指尖及手势识别，向分控器发送用户的手势指令；

回应模块，根据识别模块接收到的手势指令，对虚拟展体作出相应的变换；

分享模块，负责用户通过拍照的方式与虚拟场景及虚拟展体进行合影，并对照片进行保存和分享。

优选的，通过激光传感器的激光雷达连续地测量运算实现运动区域的区分，基于摄像头运用连续帧差法判断连续图像的像素差别实现运动目标的检测，将两者的检测结果进行融入，手势指令是由激光传感器以及多帧图像的检测结果共同给出。

优选的，手势指令检测的具体的步骤如下：

A1、将用户的手势作为运动目标，基于运动目标δ={J_i=（f，b_L，b_C），i=1,2，…N}中的每个图像框b_Ci，根据激光传感器和摄像机组成的手势检测器给出一个得分s_Ci，将手势检测器的多帧检测结果记为S_C={s_Ci，i=1,2，…N}；

A2、若对运动目标的跟踪越稳定，则运动目标成为独立于背景的目标的概率越大，将前后帧关联的代价Γ作为判断是否为手势的依据，则有S_L={s_l ⁱ=1-Γi，i=1,2，…N}，当i=1时，初始化时没有关联代价，则令s_l ⁱ=1；关联失败时，s_l ⁱ=-1；

A3、有手势跟踪得分结果：

S_F=W[σ(S_C),S_L]^T,其中W表示权重，σ为一个把S_C投影到[-1,1]内的函数，且有σ(s)=2/[1-exp(-s/4)]-1；

当S_F＞Γ时，判定为手势。

A4、设跟踪目标生存帧数为N_b，当N_b＞δ_N，且S_F＜δ₂时，跟踪目标仍不能确定为手势，就退出跟踪列表。

优选的，通过投影仪将虚拟画面投射在互动屏上，由摄像机和激光传感器捕捉用户在互动屏上的交互手势图像，经数据接口传输给操作台的分控器进行处理，对前景手臂区域分割提取并检测指尖点的位置，并采用自适应结构光编码检测指尖触摸互动屏的操作，由分控器执行相应的操控，实现触摸的投影交互方式。

优选的，对投影区内互动屏上的前景手臂区域分割提取中，通过手臂皮肤对光照的反射率和互动屏表面的反射率差异来检测，设定投影区内环境光的影响为R，互动屏的表面反射率为A，摄像机的颜色转换函数为B，视觉回馈图像的亮度值为C，则有C=B×A×R；

若互动屏上没有任何前景物，则摄像机采集图像上对应点的像素值I=C；

若互动屏上存在交互的投影物，且投影物的表面反射率为A´，则有对应点的像素值I=B×A´×R。

优选的，检测指尖点的位置时，指尖点的定位是准确判断触摸位置的基础，在曲率极值算法的基础上，指尖点位置的检测步骤如下：

1）对手臂区域分割后的前景基于Canny算子检测边缘轮廓点；

2）对所有的边缘轮廓点计算对应的曲率，通过寻找曲率的极大值获取指尖位置的候选点，根据候选点与手掌区域轮廓的重心距排除手指之间夹缝的干扰；

3）将每个候选点相距较近的点分类成一个组合，为同一个手指上的候选点，距离较大的分类在不同的组，一个手掌区域分为五个组，每个组的点取平均值即为最终的指尖点返回。

优选的，轮廓上的一轮廓点P_i的曲率K的计算如下：

K(P_i)=P_iP_i-x×P_iP_i+x/‖P_iP_i-x‖×‖P_iP_i+x‖；其中点P_i-x为点P_i之前的第x点，点P_i+x为点P_i之后的第x点，x表示一个位移量。

优选的，指尖的位置距离手的重心位置较远，距离重心最远的候选点，就是指尖所在的位置。

优选的，采用自适应结构光编码检测指尖触摸互动屏中，在编码过程中，当分控器检测到某一帧图像上的指尖点位置后，在以指尖点为中心的邻域窗口进行自适应结构光编码，则有P=O+Δ_c，其中O表示原投影图像中的像素值，Δ_c为结构光编码嵌入的像素固定编码阈值。

与现有技术相比，本发明的有益效果在于：

1、本发明提供的一种沉浸式旅游互动系统，感应机构负责采集用户数据，系统分控器负责对人体数据进行分析和处理、对虚拟展示内容数据进行存储以及用户与虚拟展示内容进行交互，用户用手势即可控制虚拟展示内容的变换，让用户从多个角度观赏细腻逼真的展示内容，增强了展示内容的生动性和展览的互动性，提高用户主动参与的积极性。

2、本发明提供的一种沉浸式旅游互动系统，通过激光传感器操作和摄像机识别同时利用计算机进行数据交互，精确捕捉用户的指令动作并作出实时准确的反馈从而实现人机互动。

3、本发明提供的一种沉浸式旅游互动系统，用户可通过场景转换、虚拟展体调取和主动给虚拟展体进行色彩变换拉进与展体的距离，最大程度的让用户在体验的过程中加深对展体的了解，增加展体的灵活性和趣味性。

4、本发明提供的一种沉浸式旅游互动系统，通过激光传感器和摄像机捕捉到用户的手势动作，并对用户的指尖触摸指令进行判断和识别，实现自然方便的人机交互。

5、本发明提供的一种沉浸式旅游互动系统，由同一个操作台可同时控制多个互动屏，满足同一时段内多个用户的同时使用，实现多平台、多终端的互动交流。

附图说明

图1是本发明一种沉浸式旅游互动系统结构示意图。

图2是本发明一种沉浸式旅游互动系统的分控器示意图。

图3是本发明一种沉浸式旅游互动系统的感应机构示意图。

图4是本发明一种沉浸式旅游互动系统的整合器示意图。

具体实施方式

下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

结合图1，一种沉浸式旅游互动系统，包括操作台、连接操作台的投影仪、与投影仪对应的投影区以及用于监测用户状态的感应机构，所述投影区内设有用于承载投影仪的投影映像的互动屏，所述操作台内设有分控器，所述投影仪和感应机构均通信连接至分控器，用户注册后将移动端与操作台蓝牙或wifi连接，处于同一网络内，开启操作台，在移动端或操作台上选取想要体验的场景，选定后操作台控制投影仪开启并将相应的内容投影在投影区内的互动屏上，投影仪采用3D投影技术，用户可置身于投影区内，与展示内容融为一体，让客户有身临其境的感受，在投影区内，用户可通过操作移动端转换体验场景或具体的展体，并通过手势触摸互动屏来对虚拟展体进行相应的指令操作，让用户从多角度近距离的感受，增强体验的趣味。

所述感应机构包括用于捕捉用户指尖在互动屏上触摸动作的摄像机和激光传感器，所述摄像机的视野范围完全覆盖投影仪成像画面，所述的激光传感器发射连续的光束扫描以接收带有深度信息的图像信号，用户手势动作进入激光传感器发射的二维激光平面，激光传感器产生的原始信号发送给分控器，分控器进行图像去噪算法和目标定位跟踪算法的处理，将处理好的信号展现到互动屏上，实现人机交互。

打开摄像头和激光传感器，将操作台、传感器、互动屏连接并预运行，然后利用摄像头和激光传感器的激光雷达进行原始数据的采集，将激光雷达坐标向像素坐标投影转换并进行时间校准，将深度信息和视觉信息融合，进行图像去噪后进行运动滤波优化跟踪性能，最后通过三维互动软件Ventuz实现交互系统的功能设计。

所述感应机构还包括用于感应用户姿态的姿态感应传感器和对用户进行灯光照射的灯具，姿态感应传感器采用三轴加速度传感器，所述姿态感应传感器和灯具均连接至分控器，所述分控器根据姿态感应传感器捕捉到的用户的肢体运动，控制灯具将灯光聚射在用户周围，用户在投影区内走动时，分控器根据用户穿戴在身上的姿态感应传感器判断用户所处位置，以变换相应的灯光，让用户成为虚拟场景内的焦点。

实施例2

结合图2，所述分控器包括：

场景转换单元，包括转换模块和音乐模块，用户对存储在操作台内的虚拟场景通过转换模块进行转换，音乐模块根据用户转换的虚拟场景播放与之相匹配的背景音乐，让观众从不同环境去体验，可以身临其境地进行参观欣赏。

调取单元，包括调取模块和音频讲解模块，包括调取在不同的场景内的虚拟展体，用户自主调取并切换虚拟展体，音频讲解模块播放与之相匹配的音频讲解，在不同的时空维度内，用户可选的虚拟展体会随着场景的变化而变化，在不同的场景内，用户可以完全自主选择展陈对象。

色彩单元，包括音频引导模块和色彩替换模块，用户通过色彩替换模块在音频引导模块的指引下对虚拟展体进行色彩展现、色彩拾取和色彩替换，由静态展示转为动态的互动，增加了体验的趣味性。

显示模块，将获取的用户影像与虚拟场景进行融合并显示；

识别模块，用于用户的指尖及手势识别，向分控器发送用户的手势指令；

回应模块，根据识别模块接收到的手势指令，对虚拟展体作出相应的变换；

分享模块，负责用户通过拍照的方式与虚拟场景及虚拟展体进行合影，并对照片进行保存和分享。

实施例3

结合图3，所述的激光传感器发射连续的光束扫描以接收带有深度信息的图像信号，用户手势动作进入激光传感器发射的二维激光平面，激光传感器产生的原始信号发送给分控器，分控器进行图像去噪算法和目标定位跟踪算法的处理，将处理好的信号展现到互动屏上，实现人机交互。

分控器，处理激光和视觉传感器采集的信号，经过控制软件和显示软件处理后，输出到互动屏上；激光传感器：激光雷达进行交互环境的感知，将目标的位置、速度信息传输给分控器；CCD摄像机：采集图像信息，将连续的图像序列提供给分控器；互动屏，用来输出经过计算机处理过的图像信号，精确地显示操作结果的设备。

通过激光传感器的激光雷达连续地测量运算实现运动区域的区分，基于摄像头运用连续帧差法判断连续图像的像素差别实现运动目标的检测，将两者的检测结果进行融入，手势指令是由激光传感器以及多帧图像的检测结果共同给出。

手势指令检测的具体的步骤如下：

A1、将用户的手势作为运动目标，基于运动目标δ={J_i=（f，b_L，b_C），i=1,2，…N}中的每个图像框b_Ci，根据激光传感器和摄像机组成的手势检测器给出一个得分s_Ci，将手势检测器的多帧检测结果记为S_C={s_Ci，i=1,2，…N}；

A2、若对运动目标的跟踪越稳定，则运动目标成为独立于背景的目标的概率越大，将前后帧关联的代价Γ作为判断是否为手势的依据，则有S_L={s_l ⁱ=1-Γi，i=1,2，…N}，当i=1时，初始化时没有关联代价，则令s_l ⁱ=1；关联失败时，s_l ⁱ=-1；

A3、有手势跟踪得分结果：

S_F=W[σ(S_C),S_L]^T,其中W表示权重，σ为一个把S_C投影到[-1,1]内的函数，且有σ(s)=2/[1-exp(-s/4)]-1；

当S_F＞Γ时，判定为手势。

A4、设跟踪目标生存帧数为N_b，当N_b＞δ_N，且S_F＜δ₂时，跟踪目标仍不能确定为手势，就退出跟踪列表。

通过投影仪将虚拟画面投射在互动屏上，由摄像机和激光传感器捕捉用户在互动屏上的交互手势图像，经数据接口传输给操作台的分控器进行处理，对前景手臂区域分割提取并检测指尖点的位置，并采用自适应结构光编码检测指尖触摸互动屏的操作，由分控器执行相应的操控，实现触摸的投影交互方式。

实施例4

在实施例3的基础上，通过投影仪将虚拟画面投射在互动屏上，由摄像机和激光传感器捕捉用户在互动屏上的交互手势图像，经数据接口传输给操作台的分控器进行处理，对前景手臂区域分割提取并检测指尖点的位置，并采用自适应结构光编码检测指尖触摸互动屏的操作，由分控器执行相应的操控，实现触摸的投影交互方式。

对投影区内互动屏上的前景手臂区域分割提取中，通过手臂皮肤对光照的反射率和互动屏表面的反射率差异来检测，设定投影区内环境光的影响为R，互动屏的表面反射率为A，摄像机的颜色转换函数为B，视觉回馈图像的亮度值为C，则有C=B×A×R；

若互动屏上没有任何前景物，则摄像机采集图像上对应点的像素值I=C；

若互动屏上存在交互的投影物，且投影物的表面反射率为A´，则有对应点的像素值I=B×A´×R。

检测指尖点的位置时，指尖点的定位是准确判断触摸位置的基础，在曲率极值算法的基础上，指尖点位置的检测步骤如下：

1）对手臂区域分割后的前景基于Canny算子检测边缘轮廓点；

2）对所有的边缘轮廓点计算对应的曲率，通过寻找曲率的极大值获取指尖位置的候选点，根据候选点与手掌区域轮廓的重心距排除手指之间夹缝的干扰；

3）将每个候选点相距较近的点分类成一个组合，为同一个手指上的候选点，距离较大的分类在不同的组，一个手掌区域分为五个组，每个组的点取平均值即为最终的指尖点返回。

轮廓上的一轮廓点P_i的曲率K的计算如下：

K(P_i)=P_iP_i-x×P_iP_i+x/‖P_iP_i-x‖×‖P_iP_i+x‖；其中点P_i-x为点P_i之前的第x点，点P_i+x为点P_i之后的第x点，x表示一个位移量。

指尖的位置距离手的重心位置较远，距离重心最远的候选点，就是指尖所在的位置。

采用自适应结构光编码检测指尖触摸互动屏中，在编码过程中，当分控器检测到某一帧图像上的指尖点位置后，在以指尖点为中心的邻域窗口进行自适应结构光编码，则有P=O+Δ_c，其中O表示原投影图像中的像素值，Δ_c为结构光编码嵌入的像素固定编码阈值。

实施例5

结合图4，所述分控器设至少两个，所述的至少两个分控器均由设于操作台内的主控器控制，所述的至少两个分控器的每个分控器均对应控制相应的投影仪、互动屏和感应机构，所述互动屏通过触控整合器连接至主控器，所述触控整合器通过USB与互动屏及主控器通信，所述触控整合器通过Socket通信方式连接至移动端。

通过WIFI模块将触控整合器和移动终端设备接入同一局域网内，通过无线网络实现移动终端和触控整合器间的通信。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的保护范围内所做的任何修改，等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种沉浸式旅游互动系统，其特征在于：包括操作台、连接操作台的投影仪、与投影仪对应的投影区以及用于监测用户状态的感应机构，所述投影区内设有用于承载投影仪的投影映像的互动屏，所述操作台内设有分控器，所述投影仪和感应机构均通信连接至分控器，所述分控器包括：

场景转换单元，包括转换模块和音乐模块，用户对存储在操作台内的虚拟场景通过转换模块进行转换，音乐模块根据用户转换的虚拟场景播放与之相匹配的背景音乐；

调取单元，包括调取模块和音频讲解模块，包括调取在不同的场景内的虚拟展体，用户自主调取并切换虚拟展体，音频讲解模块播放与之相匹配的音频讲解；

色彩单元，包括音频引导模块和色彩替换模块，用户通过色彩替换模块在音频引导模块的指引下对虚拟展体进行色彩展现、色彩拾取和色彩替换。

2.根据权利要求1所述的一种沉浸式旅游互动系统，其特征在于：所述感应机构包括用于捕捉用户指尖在互动屏上触摸动作的摄像机和激光传感器，所述摄像机的视野范围完全覆盖投影仪成像画面。

3.根据权利要求2所述的一种沉浸式旅游互动系统，其特征在于：所述的激光传感器发射连续的光束扫描以接收带有深度信息的图像信号，用户手势动作进入激光传感器发射的二维激光平面，激光传感器产生的原始信号发送给分控器，分控器进行图像去噪算法和目标定位跟踪算法的处理，将处理好的信号展现到互动屏上，实现人机交互。

4.根据权利要求2所述的一种沉浸式旅游互动系统，其特征在于：所述感应机构还包括用于感应用户姿态的姿态感应传感器和对用户进行灯光照射的灯具，所述姿态感应传感器和灯具均连接至分控器，所述分控器根据姿态感应传感器捕捉到的用户的肢体运动，控制灯具将灯光聚射在用户周围。

5.根据权利要求1所述的一种沉浸式旅游互动系统，其特征在于：所述分控器设至少两个，所述的至少两个分控器均由设于操作台内的主控器控制，所述的至少两个分控器的每个分控器均对应控制相应的投影仪、互动屏和感应机构。

6.根据权利要求5所述的一种沉浸式旅游互动系统，其特征在于：所述互动屏通过触控整合器连接至主控器，所述触控整合器通过USB与互动屏及主控器通信，所述触控整合器通过无线通信连接至移动端。

7.根据权利要求1所述的一种沉浸式旅游互动系统，其特征在于：所述分控器还包括：

显示模块，将获取的用户影像与虚拟场景进行融合并显示；

识别模块，用于用户的指尖及手势识别，向分控器发送用户的手势指令；

回应模块，根据识别模块接收到的手势指令，对虚拟展体作出相应的变换；

分享模块，负责用户通过拍照的方式与虚拟场景及虚拟展体进行合影，并对照片进行保存和分享。

Images