发明内容
本发明公开了一种基于虚拟现实和体感技术的火灾逃生训练系统,提供了学校、家庭和超市三个不同的火灾场景,以训练在不同场景中的火灾逃生技能,训练的方式可分为教学、分步训练和整体训练,并且可进行重复训练,系统在开发阶段通过体感设备对人体的动作进行采集,并为训练过程中需要用到的动作按类别进行人工标识,然后通过机器学习的算法对已经具备标识的动作进行学习,生成一个动作分类器,在训练过程中,通过体感设备采集人体动作,并使用动作分类器对动作进行分类,然后控制虚拟场景中的主角做出相应动作,再通过虚拟现实设备向体验者呈现场景,系统会根据体验者上次的训练记录或手动设置的情况自动安排本次的训练,当体验者根据系统的引导完成一定任务后,系统自动启动奖励机制,反之则显示任务失败字样,最后更新训练记录。
为实现本发明之目的,采用以下技术方案予以实现:
一种基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,其中输入设备包括键盘、鼠标和体感设备;输出设备包括虚拟现实显示器、耳机和显示屏;训练模块包括模型数据库、训练信息库、触发器和动作分类器;其中:
所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块中,控制训练模块的进程以及通过输出设备输出信息;
所述键盘和鼠标用于人工输入训练信息,所述体感设备用于采集人体运动信息;
所述虚拟现实显示器用于显示虚拟现实场景的画面,所述耳机用于播放声音;
所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画;所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录;所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围;所述动作分类器用于提前对不同种类的动作进行了学习和记录,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
输入设备包含键盘、鼠标和体感设备,其中体感设备用于采集人体动作的图像,并自动生成骨骼数据,传输给主控器,键盘和鼠标用于输入训练信息。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
输出设备包括虚拟现实头戴显示器、耳机和显示屏,虚拟现实头戴显示器用于显示虚拟现实画面,耳机用于播放声音,显示屏在训练前用于显示训练信息,进入训练后,用于显示体验者在虚拟现实环境中的情况,可以用于观察体验者的视角或体验者对应的主角的行为,便于教师进行监控。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
在开发系统时,为训练过程中需要用到的动作提前建立相应的数据库,主控器根据体感设备采集的人体的动作数据,通过机器学习的分类算法对每类动作进行学习,生成一个动作分类器,训练前主控器从训练信息库中调取之前的练习记录,并根据记录安排当前的训练,如果通过键盘和鼠标人工输入了场景、难度、训练方式和奖励效果等训练信息,则将这些信息记录到训练信息库中,并安排相应的训练,进入训练后主控器调用模型数据库中的各种模型,并通过输出设备显示,同时开启体感设备,实时采集人体的动作,并使用动作分类器对动作进行分类,然后主控器控制虚拟现实场景中的主角做出相应动作,并通过虚拟现实显示器等输出设备显示相应的画面和声音,当主控器根据触发器的反馈判断其完成了一定的训练任务后,会播放一个虚拟奖励,如果没有按规定完成,则输出任务失败的消息,不论是否完成任务,均会更新训练记录,用于调节此后的训练。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
系统在开发阶段通过体感设备对人体的动作进行采集,获得骨骼数据(即将人体抽象成由几十个骨骼点组成的“火柴人”,本系统用到的体感设备自带此功能),并为训练过程中需要用到的动作按类别进行人工标识,这些动作有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻,每一种标识的动作都包含多个样本,样本由多人进行采集,每人每个动作采集多次,然后通过机器学习的算法对已经具备标识的样本的特征进行学习,样本的特征包含人体骨骼与骨骼之间形成的角度、骨骼点的速度、加速度等,学习的过程由成熟的机器学习算法自动进行,并最终生成一个动作分类器,在训练过程中,通过体感设备采集人体动作的骨骼数据,并使用动作分类器对动作进行对动作进行标识,系统通过动作的标识判断体验者当前进行的动作,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
所述的火灾逃生训练系统,其中:在训练过程中,通过主控器通过接收体感设备采集的人体动作的骨骼数据,使用动作分类器对动作进行标识,并根据动作的标识判断体验者当前进行哪一种动作,然后调用数据库中的动作模型,控制场景中的主角做出相应动作,该动作与受训者做出的动作为同一种类的动作,但不一定完全一致,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
训练信息库包括场景、难度、训练方式、奖励效果和训练记录,训练开始前,可通过键盘和鼠标输入场景、难度、训练方式、奖励效果这些训练信息,其中场景有学校、家庭和超市三种,分别对应学校、家庭和超市环境下的火灾逃生训练,这三种训练除了场景和物品放置的位置不同,训练的步骤是相同的,难度分成简单、中等和困难,在简单模式下,系统会通过动画、语音和标记提醒体验者完成相应的任务,在中等难度下,有语音和标记提示,在困难难度下不提示,训练方式分为教学、整体训练和分步训练,教学主要播放一段学校环境下几个人物从火灾中逃生的动画,并有一些旁白告诉体验者正确应对火灾的方法,整体训练是对整个火灾逃生进行训练,系统会记录整体逃生的时间,分步训练包括拿毛巾、弄湿毛巾和逃离火灾现场,每个步骤都可以进行单次或重复训练,奖励效果包括几十种不同的奖励动画,可以选择无奖励、单个或多个奖励,训练前主控器判断是否有训练任务由输入设备输入,如果通过键盘和鼠标人工输入了训练信息,则主控器将这些信息记录到训练信息库中,并安排相应的训练,如果没有人工输入训练信息,则从训练信息库中调取受训者之前的练习记录,并根据该记录自动安排当前的训练。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
模型数据库包含了整个虚拟现实用到的场景、物品、人物、标记、声音、动画、动作和轨迹,在本系统中,具体可体现为学校、家庭和超市的场景,火焰、手帕、毛衣、水杯、饮水机、流动的水等物品。几十个不同年龄不同性别的人物,闪光、箭头、圆圈等标记,教授部分语音、提示语音、背景音、奖励和失败语音等,教授部分动画、火焰燃烧动画、角色拿毛巾动画、角色弄湿毛巾动画、角色用湿毛巾捂住口鼻动画、角色走路动画等,以及角色运动轨迹,在训练中,主控器随时调用这些数据并通过输出设备输出画面和声音。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
触发器不具备硬件实体,包含在整个处理系统环境中,用于检测虚拟现实场景中人物和物品间的碰撞、触碰,或人物是否到达指定位置范围内,每个触发器都有具体的功用,例如毛巾、水杯、饮水机放置的位置有触发器,当体验者对应的主角行走到这些东西附近,触发器反馈信号给主控器,然后主控器才会利用动作分类器检测是否做出相应动作,例如走到毛巾附近是否做出拿毛巾动作,教学楼、家庭和超市外的触发器则用于检测是否成功逃离火灾现场。
所述的火灾逃生训练系统,其中:在学校场景下的教学训练方式下,主控器从模型数据库中载入相应的训练模型,并控制输出设备自动开始播放教学动画,首先耳机播放火灾报警器的声音,火灾报警器周围显示箭头,并在屏幕前方显示字幕,耳机播放相应的提示语音,然后画面突出显示燃烧的火焰,火焰周围显示箭头,屏幕前方的字幕和语音给出相应的提示,之后播放虚拟人物拿毛巾的动画,字幕和语音给出动作提示,接着依次播放主角使用水杯弄湿毛巾和使用饮水机弄湿毛巾的动画,字幕和语音给出相应的提示,然后场景切换到教室外的走廊上,安全出口周围显示箭头,镜头自动向安全出口移动,字幕和语音为给出相应的动作提示,最后显示画面自动从楼梯向下移动到教学楼外,字幕和语音给出相应的动作提示,教学部分结束后,主控器更新训练记录,然后退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示拿手帕训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到的受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,当手帕周围的触发器检测到主角靠近时,动作分类器开始判断体验者是否做出拿手帕的动作,如果在规定时间内做出拿手帕的动作,主控器控制场景中主角的手进行拿手帕,并播放奖励动画,如果未在规定时间内做出拿手帕动作,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示弄湿手帕训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到的受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,如果进入的是使用水杯弄湿手帕训练,水杯周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手拿起水杯并将水杯里的水倾倒在手帕上的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果进入的是使用饮水机弄湿手帕训练,饮水机周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手打开饮水机开关并用手帕接住流出的水的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果在规定时间内完成弄湿手帕的动作,主控器控制输出设备并播放奖励动画,如果未在规定时间内完成弄湿手帕的动作,则显示任务失败字样,不论任务是否完成,主控器均更新训练记录并退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示逃离火灾现场训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是用湿手帕捂住口鼻,则主控器控制场景中的主角进行相应动作,在做出该动作后,动作分类器才判断动作是否为行走,如果是行走,则主控器控制场景中的主角朝对应的方向行走,受训者需要根据指示出教室后顺着安全出口的楼梯下楼,如果在规定时间内,教学楼外的触发器检测到主角离开教学楼,则主控器控制输出设备并播放奖励动画,如果未在规定时间内离开教学楼,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出。
本发明易于操作,易于设置多种场景及易于设置不同难度的训练,训练针对性强,适于不同年龄、不同类型的受训者,对受训者的训练效果良好。
具体实施方式
下面结合附图1-7对本发明具体实施方式进行说明。本发明的定制化课程生成系统,包括
如图1所示,基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,输入设备包括键盘、鼠标和体感设备,输出设备包括虚拟现实显示器(优选的是虚拟现实头戴显示器,用于显示虚拟现实画面)、耳机和显示屏(一般来说,该显示屏是一个是普通电脑用的显示器,用于监控和显示设置界面),训练模块包括模型数据库、训练信息库、触发器和动作分类器。
所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块的对应位置、控制训练模块的进程、以及通过输出设备输出信息。所述键盘和鼠标用于人工输入训练信息。所述体感设备用于采集人体运动信息。所述虚拟现实显示器用于显示虚拟现实场景的画面。所述耳机用于播放声音。所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画等。所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录。所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围。所述动作分类器提前通过机器学习的算法对体感设备采集的不同种类的动作进行了学习和记录特征,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。
如图2所示,训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录等信息。其中场景标识包括学校、家庭、超市等类型;难度信息包括简单、中等、困难等;训练方式包括教学训练、整体训练、分布训练等;奖励效果标识包括多种奖励类型;训练记录包括受训者的受训情况等信息。
如图3所示,动作分类器中包含的人体动作库有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻五种,由于火灾逃生的场景包含范围较广,受训练场地大小限制,因此虚拟现实中行走的动作在实际上用原地踏步代替。训练系统在开发阶段通过体感设备对人体的动作进行采集,获得骨骼数据(即将人体抽象成由几十个骨骼点组成的“火柴人”,本系统用到的体感设备自带此功能),并为训练过程中需要用到的动作按类别进行人工标识,这些动作有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻,每一种标识的动作都包含多个样本,样本由多人进行采集,每人每个动作采集多次,然后通过机器学习的算法对已经具备标识的样本的特征进行学习,样本的特征包含人体骨骼与骨骼之间形成的角度、骨骼点的速度、加速度等,学习的过程由机器学习算法自动进行,并最终生成一个动作分类器,在训练过程中,通过体感设备采集人体动作的骨骼数据,并使用动作分类器对动作进行对动作进行标识,系统通过动作的标识判断体验者当前进行的动作,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
如图4所示,在学校场景下的教学训练方式下(教学部分没有提示和奖励效果),主控器从模型数据库中载入需要的模型,并控制输出设备自动开始播放教学动画,首先耳机播放火灾报警器的声音,虚拟现实显示器在显示的火灾报警器周围显示箭头,并在屏幕前方显示字幕,耳机播放相应的语音“火灾时,报警器响起,你要保持镇静,感到不舒服时,用手捂住耳朵,快速观察起火点的位置”,然后画面突出显示燃烧的火焰,火焰周围显示箭头,屏幕前方的字幕和语音为“发生火灾时,要远离起火点,找到可浸湿物体捂住口鼻,避免烟雾进入呼吸道,快速逃离起火处”,之后播放男孩A拿毛巾的动画,字幕和语音为“按照这个小男孩的行为所示,快速找到身边的纺织品,如毛巾手帕等”,接着依次播放男孩A使用水杯弄湿毛巾和男孩B使用饮水机弄湿毛巾的动画,字幕和语音为“找到毛巾或手帕后,快速找到水源,比如身边的水杯等,将水倒在毛巾上,捂住口鼻,快速离开教室。”,然后场景切换到教室外的走廊上,安全出口周围显示箭头,虚拟现实显示器显示的画面自动向安全出口移动,字幕和语音为“逃出教室后,寻找最近的安全出口,快速逃出火灾现场”,最后虚拟现实显示器显示的画面自动从楼梯向下移动到教学楼外,字幕和语音为“到达紧急出口,保持镇定有序,快速逃出出口,注意避免拥挤”。教学部分结束后,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图5所示,在学校场景的无提示拿手帕训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,当手帕周围的触发器检测到主角靠近时,动作分类器开始判断体验者是否做出拿手帕的动作,如果在规定时间内做出拿手帕的动作,主控器控制主角的手进行拿手帕,并控制虚拟现实头戴式显示器播放奖励动画,如果未在规定时间内做出拿手帕动作,则控制虚拟现实头戴式显示器显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图6所示,在学校场景的无提示弄湿手帕训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,如果进入的是使用水杯弄湿手帕训练,水杯周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手拿起水杯并将水杯里的水倾倒在手帕上的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果进入的是使用饮水机弄湿手帕训练,饮水机周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手打开饮水机开关并用手帕接住流出的水的动作,同理如果完成该动作,主控器控制主角进行相应动作,如果在规定时间内完成弄湿手帕的动作,主控器控制输出设备并播放奖励动画,如果未在规定时间内完成弄湿手帕的动作,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图7所示,在学校场景的无提示逃离火灾现场训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是用湿手帕捂住口鼻,则主控器控制主角进行相应动作,在做出该动作后,动作分类器才判断动作是否为行走,如果是行走,则主控器控制场景中的主角朝对应的方向行走,体验者需要根据指示出教室后顺着安全出口的楼梯下楼,如果在规定时间内,教学楼外的触发器检测到主角离开教学楼,则主控器控制输出设备并播放奖励动画,如果未在规定时间内离开教学楼,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
本发明与传统人工训练教学系统和App软件等相比,有如下优点:第一、本发明能够逼真再现了火灾发生时的场景(火、烟、着火声音等),克服现实中场景搭建困难问题,教学和训练环节循序渐进,场景逐步变化;第二、生活应用与训练内容一致,泛化更容易;第三、以视觉为主,尤其是学习抽象概念,视觉比听觉或触觉对他们来说更有效;第四、训练环境更安全,在VR中训练,即使有失败的情况,也不会造成对现实世界的影响;第五、零时间切换场景、训练密集、更有效;第六、教师不以实际身份加入训练,训练中能去除教师身份影响;第七、自动识别用户动作,系统采集了不同人的标准动作和不正确动作从而建立的动作模型,当用户训练时,要求用户动作与标准动作近似,训练要求相比人工训练更为标准规范。