CN108616732A - 一种基于移动终端的增强现实应急演练系统 - Google Patents

Abstract

本发明提供一种基于移动终端的增强现实(AR)应急演练系统，其包括场景模块，跟踪注册模块和交互模块，场景模块用于生成与存储应急演练中的三维场景数据和多媒体信息数据，跟踪注册模块获取并跟踪移动终端的位置，并将与当前位置对应的三维场景数据与现实环境结合后在移动终端上显示，交互模块用于参演人员相互通信，包括发送单元、接收单元和通信单元，发送单元将至少一个移动终端的交互数据通过通信单元发送至另一移动终端，接收单元通过通信单元从另一移动终端接收交互数据。

Description

一种基于移动终端的增强现实应急演练系统

技术领域

本发明一般涉及应急防灾演练领域，特别涉及一种基于移动终端的增强现实应急演练系统。

背景技术

增强现实技术(AR)时近年出现的新兴技术并迅速发展，所谓AR技术是指使用AR设备捕获某个真实环境后，通过分析计算，将AR数据库中三维模型投射到真实环境场景中，实现虚拟场景和真实场景的结合。

AR技术也开始被广泛运用与应急演练中，因为AR技术将虚拟场景和真实场景结合到了一起，因此，对于使用了AR技术的应急演练系统，只需要参演者使用移动设备在某个真实场地内进行活动，通过AR技术将演练中的演练道具或者演练特效投射到真实场地中并在移动设备中显示，而并不需要在现实场景中去制造哪些演练道具或演练特效，大大节省了演练成本。

然后，现在使用了AR技术的应急演练系统只能做到所有参演人员按照演练流程独自执行各自的演练任务，且只能和演练系统中的主控系统进行数据交互，缺乏在演练中参演人员彼此之间的数据交互以及相互协作，一定程度上限制了应急演练的演练效果。

发明内容

本发明的目的在于解决上述缺乏参演人员彼此交互协作的问题。提供一种基于移动终端的具有交互功能的增强现实应急演练系统。

为了实现上述目的，本发明提供了一种基于移动终端的增强现实应急演练系统，包括：

场景模块，用于生成与存储应急演练中的三维场景数据和多媒体信息数据；

跟踪注册模块，用于获取并跟踪所述移动终端的位置，并将与所述位置对应的三维场景数据与现实环境结合后在所述移动终端上显示；

所述演练系统进一步包括用于参演人员相互通信的交互模块，所述交互模块又包括发送单元、接收单元和通信单元；所述发送单元将至少一个移动终端的交互数据通过所述通信单元发送至另一移动终端，所述接收单元通过所述通信单元从所述另一移动终端接收交互数据。

上述演练系统，其中，所述发送单元又包括采集部、预处理部和编码部；

所述采集部采集所述交互数据并传输至所述预处理部；

所述预处理部对所述交互数据进行降噪和压缩，并传输至所述编码部；

所述编码部对所述交互数据进行编码，并传输至所述通信单元。

上述演练系统，其中，所述发送单元具有第一发送模式和/或第二发送模式；

所述第一发送模式将所述交互数据发送至特定的移动终端；

所述第二发送模式将所述交互数据发送至非特定的移动终端。

上述演练系统，其中，所述接收单元包括解码部、后处理部和播放部；

所述解码部，从所述通信单元接收所述交互数据并进行解码；

所述后处理部，对经过解码的所述交互数据进行缓冲和混合，并传输至所述播放部；

所述播放部，用于播放所述交互数据。

上述演练系统，其中，所述交互数据包括图像交互数据和声音交互数据。

上述演练系统，其中，还包括对参演人员或应急演练系统进行应急演练的评估模块，包括采集单元和评价单元；

所述采集单元，用于在演练过程中采集演练数据；

所述评价单元，用于根据所述演练数据对演练的完成情况进行评估，生成评估结果。

上述演练系统，其中，所述收集单元还包括自动采集部和人员输入部，所述自动采集部自动采集所述演练数据，所述人员输入部用于采集参演人员上传的演练数据。

上述演练系统，其中，所述评估模块具有系统评估模式和人员评估模式，所述系统评估模式对所述应急演练系统在演练过程中的运行情况进行评估，所述人员评估模式对参演人员在演练过程中的表现进行评估。

上述演练系统，其中，其特征在于，所述评估模块还包括报告生成单元，根据所述评估结果生成演练报告。

本发明还提供了一种增强现实应急演练实现方法，使用移动终端完成所述应急演练，其特征在于，包括以下步骤：

取得所述应急演练需要的三维场景数据和多媒体信息数据；

跟踪所述移动终端的位置数据，将对应于所述位置数据的所述三维场景数据与现实环境结合后在所述移动终端内显示；以及

信息交互，在不同的所述移动终端之间进行数据通信。

上述方法，其中所述信息交互步骤包括：

信息发送，从至少一个所述移动终端采集交互数据，并发送至特定的或非特定的所述移动终端；以及

信息接收，从其它所述移动终端接收数据并播放。

上述方法，其还包括：

演练评估步骤，收集演练过程中的演练数据，对演练执行情况或参演人员表现进行评价，生成评价报告。

附图说明

图1为根据本发明的实施方式的应急演练系统的模块结构图；

图2为根据本发明的实施方式的交互模块的结构示意图；

图3为根据本发明的实施方式的应急演练实现方法的流程图。

具体实施方式

下面根据附图和具体实施方式对本发明的技术方案进行说明。

请参阅图1，图1为根据本发明的实施方式的应急演练系统100的模块结构图。应急演练系统100具有主控模块110，通过主控模块110可对场景模块120、跟踪注册模块130、交互模块140和评估模块150进行控制。同时应急演练系统100还具有移动终端160，移动终端160具有多个用于输入/输出数据的数据接口，使得应急演练系统100产生的相关数据可传输至移动终端160，并通过数据接口反馈给参演人员，或者参演人员可通过移动终端160的数据接口向应急演练系统100上传急演练系统100需要的与应急演练相关的数据。同时，在一些实施方式中，场景模块120、跟踪注册模块130、交互模块140和评估模块150可集成在移动终端160内部，而主控模块110则设置在与移动终端160相分离的远端服务器中(未图示)，并且场景模块120、跟踪注册模块130、交互模块140和评估模块150通过无线通信模块(未图示)与主控模块110连接，以实现上述模块之间的数据通信。在另一些实施方式中，场景模块120、跟踪注册模块130、交互模块140也可与主控模块110一起设置在与移动终端160相分离的远端服务器上，同时通过无线通信模块(未图示)实现上述模块与移动终端160的数据通信。

在具体实施方式中，场景模块120包含预设的多种演练脚本，当参演人员通过不同的角色使用应急演练系统100时，选择本次演练要使用的脚本，设定参演的参演人员，即可开始演练。场景模块120用于整个演练过程的三维场景展示和多媒体信息展示，包括AR技术中需要的三维模型数据，演练基本流程的图像、音频数据等。

跟踪注册模块130用于将场景模块中的虚拟场景数据和现实世界相结合。在具体实施方式中，跟踪注册模块130实时从移动终端160的摄像头中获得与真实空间相关的数据，例如包括观察者的位置、观察角度、运动情况等，通过分析上述数据可获得操作移动终端160的参演人员在真实空间中的准确位置，接着，将与参演人员所在位置对应的虚拟场景数据中的部分虚拟场景数据和摄像头获取的真实空间内的场景结合后显示在移动终端160中。从而跟踪注册模块130实现了虚拟场景与现实世界的结合，模拟了更逼真的事故灾害场景。在一些实施方式中，虚拟场景与现实世界通过跟踪注册模块130结合后的场景图像可传输至移动终端160中的场景显示接口161，并通过场景显示接口161向操作移动终端160的参演人员展示结合后的场景图像。

交互模块140用于参演人员之间的相互通信。通过交互模块140，手持移动终端160的不同参演人员可将交互数据163通过交互模块140发送至其它参演人员的移动终端160上，或从其它参演人员的移动终端160出接收他人的交互数据162。在具体实施方式中，移动终端160进一步具有交互数据接口162，参演人员可通过交互数据接口162将交互数据发送给交互模块140，并且交互数据接口162可从交互模块140接收来自其它移动终端160的交互数据，并将接收到的交互数据反馈给参演人员。

在一些具体实施方式中，应急演练系统100还具有评估模块150，评估模块150用于整个系统的记录和评价。评估模块150根据从移动终端163获得的评估数据对整个演练过程进行评价的打分。在一些实施方式中，移动终端160具有评估数据接口163，移动终端160通过评估数据接口163将其采集到的评估数据传输至评估模块150，并且评估数据接口163可从评估模块160接收评估结果并反馈给参演人员。

请继续参阅图2，图2为根据本发明的实施方式的交互模块140的结构示意图，在具体实施方式中，交互模块140具有发送单元141、接收单元142和通信单元143。发送单元141可从移动终端160处获得交互数据，在具体实施方式中，由于在应急演练中通常具有多个参演人员，因此，每个参演人员都会持有一台移动终端160，当参演人员A与参演人员B相互通信交互时，发送单元141可从参演人员A持有的移动终端160A处获得需要向参演人员B发送的交互数据。其中交互数据162可以具有多种的形式，在具体实施方式中，交互数据162可以为图像，语音，视频和文字中的一种或上述多种的组合。当发送单元141取得交互数据后，通过通信单元143发送给接收单元142，此时，参演人员B持有的移动终端160B从接收单元142处接收交互数据，并将接收到的交互数据反馈给参演人员B，从而实现了参演人员A与参演人员B之间的通信交互。在具体实施方式中，通信单元143也可具有多种形式，在一些实施方式中，通信单元143可以为一个FTP服务器，以进行交互数据的数据交换，或者为网络实时通信(WebRTC)协议技术，通过该协议也可实现不同移动终端160之间的数据交互。

其中发送单元141还可包括采集部1411、预处理部1412和编码部1413，采集部1411用于采集交互数据，预处理部1412对采集到的交互数据进行预处理，经过预处理的交互数据162最后通过编码部1413进行编码以统一交互数据的数据形式，接着传输给通信单元143。在具体实施方式中，例如当交互数据是语音数据时，采集部1411采集到的可以是由移动终端的交互数据接口录制的PCM数据，即原始(RAW)数据，由于这些数据是没有任何文件头，存成文件以后无法用播放器进行播放。接着语音交互数据中可在预处理部1412执行回音消除、噪声抑制、静音检测。在一些实施方式中，回声消除了采用声学回声消除技术(AEC)技术，通过数字信号处理达到回声消除的效果；噪音抑制可使用传统的滤波器，通过测试获取到工频信号和噪声的功率谱PSD，设计一个陷波器来过滤掉噪声频率，达到噪声抑制的目的；静音检测与噪音抑制类似，通过测试获取到有用信号功率谱PSD，如果未获取到功率谱，则降低音频采集的码率(比特率)。最后编码部1413向经过预处理的原始声音数据加入一个44字节的文件头来将其转变成WAV格式的语音文件。

接收单元142还可包括解码部1421，后处理部1422和播放部1423，解码部1421从通信单元143接收经过编码的交互数据后进行解码，使得交互数据转换为可被播放的形式，在经过后处理部1422进行后处理，例如对交互数据进行缓冲以保证数据完整性，或将不同的交互数据进行混合，从而以更生动的方式呈现，接着，通过播放部1423在移动终端160进行播放。

另外，交互模块140可以有多种交互模式，在具体实施方式中，交互模块140具有群发模式和单发模式，群发模式为将交互数据发送给不特定的所有参演人员，通过该模式，可实现类似新闻联播的现场播报，单发模式为将交互数据发送给指定的参演人员，可实现和特定参演人员的协作。

请再次参阅图1，移动终端160可以通过评估数据接口163以不同的方式收集评估数据。在具体的实施方式中，评估数据接口163可自动收集演练的整个过程画面、参演人员的操作记录和参演人员间的交互内容等演练数据，并自动传输给评估模块150，或者参演人员可通过评估数据接口163将自己在演练中遇到的问题和建议上传至评估模块150。评估模块150也可以具有不通的评估模式，在具体实施方式中，评估模块150可根据参演人员的操作记录和参演人员间的交互内容对参演人员的表现进行评价，还可根据演练的整个过程画面，参演人员上传的问题和建议对演练系统100本身进行评估，另外，评估模块150还可具有报告生成单元(未图示)，根据评估结果生成相应报告，提供整个演练过程记录，供参演人员之间交流演练过程，探讨演练的心得体会和对演练脚本的意见建议。

请继续参阅图3，图3为根据本发明的实施方式的应急演练实现方法的流程图，下面以火灾及踩踏应急演练系统为例对本发明的应急演练实现方法进行说明。例如以某高校体育馆发生火灾及踩踏事故为背景，在步骤S100中，在场景模块120，使用或其他三维建模技术进行场景设计和渲染，创建脚本的火灾及踩踏事故模型。完成火灾应急演练脚本的编制，预定义好参与演练的角色与每个角色在每个阶段的不同任务，例如学生、医疗救援人员、校保安部人员等角色的演练任务和考核问题。

在步骤S102，将制作好的事故灾害场景准确定位到现实世界中的位置中从而将事故灾害场景与现实世界中真实场景结合。例如在上述某高校体育馆发生火灾及踩踏事故的应急演练中，在实际场景的基础上加入虚拟的灾害场景，包括火灾场景模型、踩踏场景模型、现场道具模型、现场人员模型等，演练人员根据所持的移动设备的不同位置以及不同的角度，实现不同观察位置的灾害现场模拟，模拟更真实的灾害现场环境。

步骤S104中，使用交互模块140完成不同参演人员的数据交互，例如在演练过程中，会弹出预先设置好的与火灾及踩踏事故应急处理相关考题，回答问题时参演人员通过点击场景界面语音交互按钮，开启录音软件录制语音，实时传入FTP服务器，其他参演人员从FTP获取并播放以实现多人共同答题，完成交互，参演人员也可通过点击场景界面的图像交互按钮，在弹出的浏览器中分享自己所看到的屏幕给其他演练人员，共同协助完成回答。

在步骤S106中，评估模块150记录演练的整个过程画面、参演人员的操作记录和参演人员间的交互内容等演练数据，并保存，演练结束后，对参演人员的表现进行打分，参演人员也可以查看得分情况、视频音频回放。参演人员还可以查看整个演练过程中参演人员的视频音频交互回放以及整个演练过程回放，探讨演练的心得体会和对演练脚本的意见或建议。之后根据所述意见或建议形成演练成果报告，对演练系统本身进行不断的升级完善。或生成针对参演人员的演练评估报告，包括本次演练该参演人员获取的分数以及该参演人员演练过程中的亮点和不足，供参演人员自学习和自完善。

虽然本发明以前述的实施例揭露如上，但并非用以限定本发明，任何熟悉所属技术领域的普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，而这些更动与润饰皆落入本发明所附权利要求的保护范围内。

Claims (12)

1.一种基于移动终端的增强现实应急演练系统，包括：

场景模块，用于生成与存储应急演练中的三维场景数据和多媒体信息数据；

跟踪注册模块，用于获取并跟踪所述移动终端的位置，并将与所述位置对应的三维场景数据与现实环境结合后在所述移动终端上显示；

其特征在于，所述演练系统进一步包括用于参演人员相互通信的交互模块，所述交互模块又包括发送单元、接收单元和通信单元；所述发送单元将至少一个移动终端的交互数据通过所述通信单元发送至另一移动终端，所述接收单元通过所述通信单元从所述另一移动终端接收交互数据。

2.根据权利要求1所述的应急演练系统，其特征在于，所述发送单元又包括采集部、预处理部和编码部；

所述采集部采集所述交互数据并传输至所述预处理部；

所述预处理对所述交互数据进行降噪和压缩，并传输至所述编码部；

所述编码部对所述交互数据进行编码，并传输至所述通信单元。

3.根据权利要求1或2所述的应急演练系统，其特征在于，所述发送单元具有第一发送模式和/或第二发送模式；

所述第一发送模式将所述交互数据发送至特定的移动终端；

所述第二发送模式将所述交互数据发送至非特定的移动终端。

4.根据权利要求1所述的应急演练系统，其特征在于，所述接收单元包括解码部、后处理部和播放部；

所述解码部，从所述通信单元接收所述交互数据并进行解码；

所述后处理部，对经过解码的所述交互数据进行缓冲和混合，并传输至所述播放部；

所述播放部，用于播放所述交互数据。

5.根据权利要求1、2或4所述的应急演练系统，其特征在于，所述交互数据包括图像交互数据和声音交互数据。

6.根据权利要求1所述的应急演练系统，其特征在于，还包括对参演人员或应急演练系统进行应急演练的评估模块，包括采集单元和评价单元；

所述采集单元，用于在演练过程中采集演练数据；

所述评价单元，用于根据所述演练数据对演练的完成情况进行评估，生成评估结果。

7.根据权利要求6所述的应急演练系统，其特征在于，所述收集单元还包括自动采集部和人员输入部，所述自动采集部自动采集所述演练数据，所述人员输入部用于采集参演人员上传的演练数据。

8.根据权利要求6所述的应急演练系统，其特征在于，所述评估模块具有系统评估模式和人员评估模式，所述系统评估模式对所述应急演练系统在演练过程中的运行情况进行评估，所述人员评估模式对参演人员在演练过程中的表现进行评估。

9.根据权利要求6所述的应急演练系统，其特征在于，所述评估模块还包括报告生成单元，根据所述评估结果生成演练报告。

10.一种增强现实应急演练实现方法，使用移动终端完成所述应急演练，其特征在于，包括以下步骤：

取得所述应急演练需要的三维场景数据和多媒体信息数据；

跟踪所述移动终端的位置数据，将对应于所述位置数据的所述三维场景数据与现实环境结合后在所述移动终端内显示；以及

信息交互，在不同的所述移动终端之间进行数据通信。

11.根据权利要求10所述的方法，其特征在于，所述信息交互步骤包括：

信息发送，从至少一个所述移动终端采集交互数据，并发送至特定的或非特定的所述移动终端；以及

信息接收，从其它所述移动终端接收数据并播放。

12.根据权利要求10所述的方法，其特征在于，还包括：

演练评估，收集演练过程中的演练数据，对演练执行情况或参演人员表现进行评价，生成评价报告。