CN113625868A - 一种沉浸式沙盘展示系统及其人机交互方法 - Google Patents

Abstract

本发明公开了一种沉浸式沙盘展示系统，包括显示模块、主控模块、VR体验模块、照明模块、声音模块、信息采集单元、语音输入模块以及用于沙盘的机械驱动模块；主控模块包括语音分析单元和手势识别单元，语音分析单元设置为带有字典数据库的语音分析单元，且语音分析单元用于将语音输入模块输入的语音命令与字典数据库中的文字序列匹配；VR体验模块具体设置为VR头显设备，VR体验模块用于将佩戴者带入沙盘相应的区域进行体验。本发明中，通过VR体验模块的设计，在现有沙盘讲解的基础上，通过VR体验模块将参观体验者带入到预先存储的场景，并且根据需求展示基于该场景的场景环境，使参观体验者能身临其境的感受。

Description

一种沉浸式沙盘展示系统及其人机交互方法

技术领域

本发明涉及医疗沉浸式沙盘展示技术领域，具体涉及一种沉浸式沙盘展示系统；本发明还涉及一种沉浸式沙盘展示系统的人机交互方法。

背景技术

随着医疗科技的进步智慧医疗的普及，越来越多的高端医疗企业会建立智能化沉浸式沙盘对医疗设备、医疗环境以及医疗流程进行展示。

但是，目前用于医疗方面的智能化沉浸式沙盘需要通过工作人员专业的操作才能进行展示，而且操作复杂，并且无法针对沙盘系统内存储的场景和环境进行模拟，而且参观者至通过沙盘的展示以及工作人员的讲解无法身临其境的感受，因此，我们提出一种沉浸式沙盘展示系统及其人机交互方法。

发明内容

本发明的目的在于提供一种沉浸式沙盘展示系统及其人机交互方法以解决上述背景技术中提出的现有沙盘操作复杂，无法针对沙盘系统内存储的场景和环境进行模拟展示，参观者无法身临其境的感受问题。

为实现上述目的，本发明提供如下技术方案：

一种沉浸式沙盘展示系统，包括显示模块、主控模块、VR体验模块、照明模块、声音模块、信息采集单元、语音输入模块以及用于沙盘的机械驱动模块，所述VR体验模块、信息采集单元、照明模块、声音模块、语音输入模块、机械驱动模块和显示模块均与主控模块电性连接；

所述主控模块包括语音分析单元和手势识别单元，所述语音分析单元设置为带有字典数据库的语音分析单元，且语音分析单元用于将语音输入模块输入的语音命令与字典数据库中的文字序列匹配，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作，所述手势识别单元用于识别人体手势，并配合语音分析单元使用达到体验人员所需要的操作；

所述VR体验模块具体设置为VR头显设备，所述VR体验模块用于将佩戴者带入沙盘相应的区域进行体验，所述VR体验模块中存储有针对沙盘所有区域的不同场景，并且针对不同场景中所常见以及可预见的场景状态予以分别储存，体验者在佩戴VR头显设备体验时，通过输入声音以及手势至主控模块，通过主控模块控制VR体验模块将体验者所想要的场景以及场景状态进行匹配。

作为优选的技术方案，所述显示模块具体为设置为投影仪和液晶屏，所述投影仪用于将不同的场景状态投射到沙盘相对应的区域，所述液晶屏用于显示体验人员在佩戴VR体验模块时第一视角的图像信息。

作为优选的技术方案，所述声音模块包括集成电源基板、数码播放模块、解码器模块、前级放大器模块、后级功放模块，所述集成电源基板的输入端连接外接电源，所述集成电源基板的输出端分别连接解码器模块、前级放大器模块、后级功放模块；所述数码播放模块连接解码器模块的信号输入端，所述解码器模块的信号输出端与前级放大器模块的信号输入端相连接，所述前级放大器模块的信号输出端与后级功放模块的信号输入端相连接；所述集成电源基板上设有与解码器模块之间可拆卸连接的解码器连接座组、与前级放大器模块之间可拆卸连接的放大器连接座组、与后级功放模块之间可拆卸连接的后级功放连接座组中的至少一个。

作为优选的技术方案，所述照明模块设置为LED照明模块，且所述照明模块上设置有散热片组件用于在照明模块使用时将其热量传导至外部，所述照明模块在实际使用时，体验人员通过语音输入模块将语音输入至主控模块，经主控模块分析后控制照明模块在不同场景环境下对沙盘上与场景环境相对应的区域进行突出照明。

作为优选的技术方案，所述机械驱动模块包括驱动电机、电动升降杆、电动滑台和电机控制器，所述电机控制器的输出端分别与驱动电机、电动升降杆、电动滑台的驱动端连接，且所述电机控制器的输入端与主控模块连接，所述机械驱动模块用于在不同场景下将＝控制沙盘相对应的区域进行动作，以达到展示目的。

作为优选的技术方案，本沉浸式沙盘展示系统还包括终端控制组件，所述终端控制组件与主控模块通过无线信号收发模块无线通信连接，所述终端控制组件用于人工输入沉浸式沙盘展示系统中未储存的场景环境以及场景状态，并且终端控制组件输入的信息作为优先级最高的指令被主控模块优先执行。

一种沉浸式沙盘展示系统人机交互方法：

沙盘人机交互方法：S1、通过信息采集单元以及语音输入模块采集人员的语音信息以及手势；

S2、通过主控模块的语音分析单元和手势识别单元进行分析，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作；

S3、当沙盘中的模块进行动作时，遇到无法识别的语音信息和手势，通过终端控制组件进行手动输入命令，并通过主控模块执行该命令；

VR体验模块人机交互方法：S1、体验人员带上VR头显设备后，通过语音以及手势的方式输入信息，主控模块在接收到信息后，控制VR头显设备进入相应的场景；

S2、在VR头显设备进入体验人员想进入的场景后，通过信息采集单元以及语音输入模块实时监控体验人员的语言信息以及手势，在体验人员做出中断场景的语言或者手势时，第一时间将信息传输至主控模块，并通过主控模块控制VR头显设备关闭；

S3、在体验人员通过VR头显设备进入虚拟场景后，声音模块和显示模块对虚拟场景的内容进行实时显示。

作为优选的技术方案，在VR体验模块人机交互方法中，若VR体验模块未储存体验人员所需求的场景或者场景环境，通过终端控制组件手动建设场景或者场景环境，然后通过主控模块传输至VR头显设备进行使用。

综上所述，由于采用了上述技术，本发明的有益效果是：

本发明中，通过信息采集单元和语音输入模块的设计，通过信息采集单元和语音输入模块对参观体验人员的语音以及手势进行采集并分析，然后通过主控模块控制沙盘各模块进行动作，打到展示的效果，代替现有技术中需要专业的讲解员进行操作才能进行展示，操作更为简单方便；

本发明中，通过VR体验模块的设计，在现有沙盘讲解的基础上，通过VR体验模块将参观体验者带入到预先存储的场景，并且根据需求展示基于该场景的场景环境，使参观体验者能身临其境的感受；

本发明中，通过终端控制组件的设计，并且将终端控制组件输入的信息作为优先级最高的指令被主控模块优先执行，在沙盘中的模块进行动作时，遇到无法识别的语音信息和手势，通过终端控制组件进行手动输入命令，并且当VR体验模块未储存体验人员所需求的场景或者场景环境，通过终端控制组件手动建设场景或者场景环境，然后通过主控模块传输至VR头显设备进行使用。

附图说明

图1为本发明沉浸式沙盘展示系统框图；

图2为本发明沙盘人机交互方法流程图；

图3为本发明VR体验模块人机交互方法流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例1

本发明提供了如图1所示的一种沉浸式沙盘展示系统，包括显示模块、主控模块、VR体验模块、照明模块、声音模块、信息采集单元、语音输入模块以及用于沙盘的机械驱动模块，VR体验模块、信息采集单元、照明模块、声音模块、语音输入模块、机械驱动模块和显示模块均与主控模块电性连接；

主控模块包括语音分析单元和手势识别单元，语音分析单元设置为带有字典数据库的语音分析单元，且语音分析单元用于将语音输入模块输入的语音命令与字典数据库中的文字序列匹配，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作，手势识别单元用于识别人体手势，并配合语音分析单元使用达到体验人员所需要的操作；

显示模块具体为设置为投影仪和液晶屏，投影仪用于将不同的场景状态投射到沙盘相对应的区域，液晶屏用于显示体验人员在佩戴VR体验模块时第一视角的图像信息；

VR体验模块具体设置为VR头显设备，VR体验模块用于将佩戴者带入沙盘相应的区域进行体验，VR体验模块中存储有针对沙盘所有区域的不同场景，并且针对不同场景中所常见以及可预见的场景状态予以分别储存，体验者在佩戴VR头显设备体验时，通过输入声音以及手势至主控模块，通过主控模块控制VR体验模块将体验者所想要的场景以及场景状态进行匹配；

通过VR体验模块的设计，在现有沙盘讲解的基础上，通过VR体验模块将参观体验者带入到预先存储的场景，并且根据需求展示基于该场景的场景环境，使参观体验者能身临其境的感受；

声音模块包括集成电源基板、数码播放模块、解码器模块、前级放大器模块、后级功放模块，集成电源基板的输入端连接外接电源，集成电源基板的输出端分别连接解码器模块、前级放大器模块、后级功放模块；数码播放模块连接解码器模块的信号输入端，解码器模块的信号输出端与前级放大器模块的信号输入端相连接，前级放大器模块的信号输出端与后级功放模块的信号输入端相连接；集成电源基板上设有与解码器模块之间可拆卸连接的解码器连接座组、与前级放大器模块之间可拆卸连接的放大器连接座组、与后级功放模块之间可拆卸连接的后级功放连接座组中的至少一个；

照明模块设置为LED照明模块，且照明模块上设置有散热片组件用于在照明模块使用时将其热量传导至外部，照明模块在实际使用时，体验人员通过语音输入模块将语音输入至主控模块，经主控模块分析后控制照明模块在不同场景环境下对沙盘上与场景环境相对应的区域进行突出照明；

机械驱动模块包括驱动电机、电动升降杆、电动滑台和电机控制器，电机控制器的输出端分别与驱动电机、电动升降杆、电动滑台的驱动端连接，且电机控制器的输入端与主控模块连接，机械驱动模块用于在不同场景下将＝控制沙盘相对应的区域进行动作，以达到展示目的；

通过信息采集单元和语音输入模块的设计，通过信息采集单元和语音输入模块对参观体验人员的语音以及手势进行采集并分析，然后通过主控模块控制沙盘各模块进行动作，打到展示的效果，代替现有技术中需要专业的讲解员进行操作才能进行展示，操作更为简单方便。

实施例2

在实施例1的基础上，为了更好的避免沙盘在展示是出现问题以及解决VR体验模块场景不全的问题，沉浸式沙盘展示系统还包括终端控制组件，终端控制组件与主控模块通过无线信号收发模块无线通信连接，终端控制组件用于人工输入沉浸式沙盘展示系统中未储存的场景环境以及场景状态，并且终端控制组件输入的信息作为优先级最高的指令被主控模块优先执行；

通过终端控制组件的设计，并且将终端控制组件输入的信息作为优先级最高的指令被主控模块优先执行，在沙盘中的模块进行动作时，遇到无法识别的语音信息和手势，通过终端控制组件进行手动输入命令，并且当VR体验模块未储存体验人员所需求的场景或者场景环境，通过终端控制组件手动建设场景或者场景环境，然后通过主控模块传输至VR头显设备进行使用。

实施例3

在实施例1结合实施例2的基础上，沉浸式沙盘展示系统人机交互方法：

沙盘人机交互方法：

S1、通过信息采集单元以及语音输入模块采集人员的语音信息以及手势；

S2、通过主控模块的语音分析单元和手势识别单元进行分析，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作；

S3、当沙盘中的模块进行动作时，遇到无法识别的语音信息和手势，通过终端控制组件进行手动输入命令，并通过主控模块执行该命令；

VR体验模块人机交互方法：

S1、体验人员带上VR头显设备后，通过语音以及手势的方式输入信息，主控模块在接收到信息后，控制VR头显设备进入相应的场景；

S2、在VR头显设备进入体验人员想进入的场景后，通过信息采集单元以及语音输入模块实时监控体验人员的语言信息以及手势，在体验人员做出中断场景的语言或者手势时，第一时间将信息传输至主控模块，并通过主控模块控制VR头显设备关闭；

S3、在体验人员通过VR头显设备进入虚拟场景后，声音模块和显示模块对虚拟场景的内容进行实时显示，在VR体验模块人机交互方法中，若VR体验模块未储存体验人员所需求的场景或者场景环境，通过终端控制组件手动建设场景或者场景环境，然后通过主控模块传输至VR头显设备进行使用。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (8)

1.一种沉浸式沙盘展示系统，包括显示模块、主控模块、VR体验模块、照明模块、声音模块、信息采集单元、语音输入模块以及用于沙盘的机械驱动模块，其特征在于：所述VR体验模块、信息采集单元、照明模块、声音模块、语音输入模块、机械驱动模块和显示模块均与主控模块电性连接；

所述主控模块包括语音分析单元和手势识别单元，所述语音分析单元设置为带有字典数据库的语音分析单元，且语音分析单元用于将语音输入模块输入的语音命令与字典数据库中的文字序列匹配，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作，所述手势识别单元用于识别人体手势，并配合语音分析单元使用达到体验人员所需要的操作；

所述VR体验模块具体设置为VR头显设备，所述VR体验模块用于将佩戴者带入沙盘相应的区域进行体验，所述VR体验模块中存储有针对沙盘所有区域的不同场景，并且针对不同场景中所常见以及可预见的场景状态予以分别储存，体验者在佩戴VR头显设备体验时，通过输入声音以及手势至主控模块，通过主控模块控制VR体验模块将体验者所想要的场景以及场景状态进行匹配。

2.根据权利要求1所述的一种沉浸式沙盘展示系统，其特征在于：所述显示模块具体为设置为投影仪和液晶屏，所述投影仪用于将不同的场景状态投射到沙盘相对应的区域，所述液晶屏用于显示体验人员在佩戴VR体验模块时第一视角的图像信息。

3.根据权利要求1所述的一种沉浸式沙盘展示系统，其特征在于：所述声音模块包括集成电源基板、数码播放模块、解码器模块、前级放大器模块、后级功放模块，所述集成电源基板的输入端连接外接电源，所述集成电源基板的输出端分别连接解码器模块、前级放大器模块、后级功放模块；所述数码播放模块连接解码器模块的信号输入端，所述解码器模块的信号输出端与前级放大器模块的信号输入端相连接，所述前级放大器模块的信号输出端与后级功放模块的信号输入端相连接；所述集成电源基板上设有与解码器模块之间可拆卸连接的解码器连接座组、与前级放大器模块之间可拆卸连接的放大器连接座组、与后级功放模块之间可拆卸连接的后级功放连接座组中的至少一个。

4.根据权利要求1所述的一种沉浸式沙盘展示系统，其特征在于：所述照明模块设置为LED照明模块，且所述照明模块上设置有散热片组件用于在照明模块使用时将其热量传导至外部，所述照明模块在实际使用时，体验人员通过语音输入模块将语音输入至主控模块，经主控模块分析后控制照明模块在不同场景环境下对沙盘上与场景环境相对应的区域进行突出照明。

5.根据权利要求1所述的一种沉浸式沙盘展示系统，其特征在于：所述机械驱动模块包括驱动电机、电动升降杆、电动滑台和电机控制器，所述电机控制器的输出端分别与驱动电机、电动升降杆、电动滑台的驱动端连接，且所述电机控制器的输入端与主控模块连接，所述机械驱动模块用于在不同场景下将＝控制沙盘相对应的区域进行动作，以达到展示目的。

6.根据权利要求1所述的一种沉浸式沙盘展示系统，其特征在于：本沉浸式沙盘展示系统还包括终端控制组件，所述终端控制组件与主控模块通过无线信号收发模块无线通信连接，所述终端控制组件用于人工输入沉浸式沙盘展示系统中未储存的场景环境以及场景状态，并且终端控制组件输入的信息作为优先级最高的指令被主控模块优先执行。

7.一种根据权利要求1-6任意一项所述的沉浸式沙盘展示系统人机交互方法，其特征在于：

沙盘人机交互方法：S1、通过信息采集单元以及语音输入模块采集人员的语音信息以及手势；

S2、通过主控模块的语音分析单元和手势识别单元进行分析，形成完整的输入命令，并将该命令根据分别输入相对应的模块进行动作；

S3、当沙盘中的模块进行动作时，遇到无法识别的语音信息和手势，通过终端控制组件进行手动输入命令，并通过主控模块执行该命令；

VR体验模块人机交互方法：S1、体验人员带上VR头显设备后，通过语音以及手势的方式输入信息，主控模块在接收到信息后，控制VR头显设备进入相应的场景；

S2、在VR头显设备进入体验人员想进入的场景后，通过信息采集单元以及语音输入模块实时监控体验人员的语言信息以及手势，在体验人员做出中断场景的语言或者手势时，第一时间将信息传输至主控模块，并通过主控模块控制VR头显设备关闭；

S3、在体验人员通过VR头显设备进入虚拟场景后，声音模块和显示模块对虚拟场景的内容进行实时显示。

8.根据权利要求7一种沉浸式沙盘展示系统人机交互方法，其特征在于：在VR体验模块人机交互方法中，若VR体验模块未储存体验人员所需求的场景或者场景环境，通过终端控制组件手动建设场景或者场景环境，然后通过主控模块传输至VR头显设备进行使用。

Images