CN106648120A - 基于虚拟现实和体感技术的火灾逃生训练系统 - Google Patents

基于虚拟现实和体感技术的火灾逃生训练系统 Download PDF

Info

Publication number
CN106648120A
CN106648120A CN201710091930.6A CN201710091930A CN106648120A CN 106648120 A CN106648120 A CN 106648120A CN 201710091930 A CN201710091930 A CN 201710091930A CN 106648120 A CN106648120 A CN 106648120A
Authority
CN
China
Prior art keywords
training
action
virtual reality
information
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710091930.6A
Other languages
English (en)
Other versions
CN106648120B (zh
Inventor
许达文
戴雨霖
王勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu shihaixintu Microelectronics Co.,Ltd.
Original Assignee
戴雨霖
王勉
许达文
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 戴雨霖, 王勉, 许达文 filed Critical 戴雨霖
Priority to CN201710091930.6A priority Critical patent/CN106648120B/zh
Publication of CN106648120A publication Critical patent/CN106648120A/zh
Application granted granted Critical
Publication of CN106648120B publication Critical patent/CN106648120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,其中输入设备包括键盘、鼠标和体感设备;输出设备包括虚拟现实显示器、耳机和显示屏;训练模块包括模型数据库、训练信息库、触发器和动作分类器;其中:所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块中,控制训练模块的进程以及通过输出设备输出信息;所述键盘和鼠标用于人工输入训练信息,所述体感设备用于采集人体运动信息;所述虚拟现实显示器用于显示虚拟现实场景的画面,所述耳机用于播放声音;所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画;所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录;所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围;所述动作分类器用于提前对不同种类的动作进行了学习和记录,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。

Description

基于虚拟现实和体感技术的火灾逃生训练系统
技术领域
本发明涉及计算机辅助技术,具体来讲涉及、虚拟现实、体感技术和机器学习,用于训练火灾逃生技能。
背景技术
自从深度摄像头实现民用化以来,深度摄像头开始广泛应用于游戏、监控等领域,有些摄像头不但可以探测深度图像,还能识别人体,又称为体感摄像头,使用机器学习中的分类算法对体感摄像头采集的人体的不同动作数据进行学习,可以实现对动作的分类识别,本系统使用虚拟现实作为主要显示设备,应用机器学习算法对体感摄像头采集的人体动作进行分类,通过控制虚拟现实场景中的主角做出与人相同的动作,从而实现和场景中其它人或物的互动,系统以训练体验者在遇到火灾时能够正确完成逃生为目的,提供了多个火灾场景,通过教学和提示一步步引导体验者完成相应的任务,并以虚拟奖励提升其积极性,系统的训练分为多个步骤和难度,每次训练前可以进行选择,系统也会记录体验者每次的训练情况,并自动调整下一次训练。
发明内容
本发明公开了一种基于虚拟现实和体感技术的火灾逃生训练系统,提供了学校、家庭和超市三个不同的火灾场景,以训练在不同场景中的火灾逃生技能,训练的方式可分为教学、分步训练和整体训练,并且可进行重复训练,系统在开发阶段通过体感设备对人体的动作进行采集,并为训练过程中需要用到的动作按类别进行人工标识,然后通过机器学习的算法对已经具备标识的动作进行学习,生成一个动作分类器,在训练过程中,通过体感设备采集人体动作,并使用动作分类器对动作进行分类,然后控制虚拟场景中的主角做出相应动作,再通过虚拟现实设备向体验者呈现场景,系统会根据体验者上次的训练记录或手动设置的情况自动安排本次的训练,当体验者根据系统的引导完成一定任务后,系统自动启动奖励机制,反之则显示任务失败字样,最后更新训练记录。
为实现本发明之目的,采用以下技术方案予以实现:
一种基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,其中输入设备包括键盘、鼠标和体感设备;输出设备包括虚拟现实显示器、耳机和显示屏;训练模块包括模型数据库、训练信息库、触发器和动作分类器;其中:
所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块中,控制训练模块的进程以及通过输出设备输出信息;
所述键盘和鼠标用于人工输入训练信息,所述体感设备用于采集人体运动信息;
所述虚拟现实显示器用于显示虚拟现实场景的画面,所述耳机用于播放声音;
所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画;所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录;所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围;所述动作分类器用于提前对不同种类的动作进行了学习和记录,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
输入设备包含键盘、鼠标和体感设备,其中体感设备用于采集人体动作的图像,并自动生成骨骼数据,传输给主控器,键盘和鼠标用于输入训练信息。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
输出设备包括虚拟现实头戴显示器、耳机和显示屏,虚拟现实头戴显示器用于显示虚拟现实画面,耳机用于播放声音,显示屏在训练前用于显示训练信息,进入训练后,用于显示体验者在虚拟现实环境中的情况,可以用于观察体验者的视角或体验者对应的主角的行为,便于教师进行监控。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
在开发系统时,为训练过程中需要用到的动作提前建立相应的数据库,主控器根据体感设备采集的人体的动作数据,通过机器学习的分类算法对每类动作进行学习,生成一个动作分类器,训练前主控器从训练信息库中调取之前的练习记录,并根据记录安排当前的训练,如果通过键盘和鼠标人工输入了场景、难度、训练方式和奖励效果等训练信息,则将这些信息记录到训练信息库中,并安排相应的训练,进入训练后主控器调用模型数据库中的各种模型,并通过输出设备显示,同时开启体感设备,实时采集人体的动作,并使用动作分类器对动作进行分类,然后主控器控制虚拟现实场景中的主角做出相应动作,并通过虚拟现实显示器等输出设备显示相应的画面和声音,当主控器根据触发器的反馈判断其完成了一定的训练任务后,会播放一个虚拟奖励,如果没有按规定完成,则输出任务失败的消息,不论是否完成任务,均会更新训练记录,用于调节此后的训练。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
系统在开发阶段通过体感设备对人体的动作进行采集,获得骨骼数据(即将人体抽象成由几十个骨骼点组成的“火柴人”,本系统用到的体感设备自带此功能),并为训练过程中需要用到的动作按类别进行人工标识,这些动作有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻,每一种标识的动作都包含多个样本,样本由多人进行采集,每人每个动作采集多次,然后通过机器学习的算法对已经具备标识的样本的特征进行学习,样本的特征包含人体骨骼与骨骼之间形成的角度、骨骼点的速度、加速度等,学习的过程由成熟的机器学习算法自动进行,并最终生成一个动作分类器,在训练过程中,通过体感设备采集人体动作的骨骼数据,并使用动作分类器对动作进行对动作进行标识,系统通过动作的标识判断体验者当前进行的动作,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
所述的火灾逃生训练系统,其中:在训练过程中,通过主控器通过接收体感设备采集的人体动作的骨骼数据,使用动作分类器对动作进行标识,并根据动作的标识判断体验者当前进行哪一种动作,然后调用数据库中的动作模型,控制场景中的主角做出相应动作,该动作与受训者做出的动作为同一种类的动作,但不一定完全一致,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
训练信息库包括场景、难度、训练方式、奖励效果和训练记录,训练开始前,可通过键盘和鼠标输入场景、难度、训练方式、奖励效果这些训练信息,其中场景有学校、家庭和超市三种,分别对应学校、家庭和超市环境下的火灾逃生训练,这三种训练除了场景和物品放置的位置不同,训练的步骤是相同的,难度分成简单、中等和困难,在简单模式下,系统会通过动画、语音和标记提醒体验者完成相应的任务,在中等难度下,有语音和标记提示,在困难难度下不提示,训练方式分为教学、整体训练和分步训练,教学主要播放一段学校环境下几个人物从火灾中逃生的动画,并有一些旁白告诉体验者正确应对火灾的方法,整体训练是对整个火灾逃生进行训练,系统会记录整体逃生的时间,分步训练包括拿毛巾、弄湿毛巾和逃离火灾现场,每个步骤都可以进行单次或重复训练,奖励效果包括几十种不同的奖励动画,可以选择无奖励、单个或多个奖励,训练前主控器判断是否有训练任务由输入设备输入,如果通过键盘和鼠标人工输入了训练信息,则主控器将这些信息记录到训练信息库中,并安排相应的训练,如果没有人工输入训练信息,则从训练信息库中调取受训者之前的练习记录,并根据该记录自动安排当前的训练。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
模型数据库包含了整个虚拟现实用到的场景、物品、人物、标记、声音、动画、动作和轨迹,在本系统中,具体可体现为学校、家庭和超市的场景,火焰、手帕、毛衣、水杯、饮水机、流动的水等物品。几十个不同年龄不同性别的人物,闪光、箭头、圆圈等标记,教授部分语音、提示语音、背景音、奖励和失败语音等,教授部分动画、火焰燃烧动画、角色拿毛巾动画、角色弄湿毛巾动画、角色用湿毛巾捂住口鼻动画、角色走路动画等,以及角色运动轨迹,在训练中,主控器随时调用这些数据并通过输出设备输出画面和声音。
所述的基于虚拟现实和体感技术的火灾逃生训练系统,其中:
触发器不具备硬件实体,包含在整个处理系统环境中,用于检测虚拟现实场景中人物和物品间的碰撞、触碰,或人物是否到达指定位置范围内,每个触发器都有具体的功用,例如毛巾、水杯、饮水机放置的位置有触发器,当体验者对应的主角行走到这些东西附近,触发器反馈信号给主控器,然后主控器才会利用动作分类器检测是否做出相应动作,例如走到毛巾附近是否做出拿毛巾动作,教学楼、家庭和超市外的触发器则用于检测是否成功逃离火灾现场。
所述的火灾逃生训练系统,其中:在学校场景下的教学训练方式下,主控器从模型数据库中载入相应的训练模型,并控制输出设备自动开始播放教学动画,首先耳机播放火灾报警器的声音,火灾报警器周围显示箭头,并在屏幕前方显示字幕,耳机播放相应的提示语音,然后画面突出显示燃烧的火焰,火焰周围显示箭头,屏幕前方的字幕和语音给出相应的提示,之后播放虚拟人物拿毛巾的动画,字幕和语音给出动作提示,接着依次播放主角使用水杯弄湿毛巾和使用饮水机弄湿毛巾的动画,字幕和语音给出相应的提示,然后场景切换到教室外的走廊上,安全出口周围显示箭头,镜头自动向安全出口移动,字幕和语音为给出相应的动作提示,最后显示画面自动从楼梯向下移动到教学楼外,字幕和语音给出相应的动作提示,教学部分结束后,主控器更新训练记录,然后退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示拿手帕训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到的受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,当手帕周围的触发器检测到主角靠近时,动作分类器开始判断体验者是否做出拿手帕的动作,如果在规定时间内做出拿手帕的动作,主控器控制场景中主角的手进行拿手帕,并播放奖励动画,如果未在规定时间内做出拿手帕动作,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示弄湿手帕训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到的受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,如果进入的是使用水杯弄湿手帕训练,水杯周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手拿起水杯并将水杯里的水倾倒在手帕上的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果进入的是使用饮水机弄湿手帕训练,饮水机周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手打开饮水机开关并用手帕接住流出的水的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果在规定时间内完成弄湿手帕的动作,主控器控制输出设备并播放奖励动画,如果未在规定时间内完成弄湿手帕的动作,则显示任务失败字样,不论任务是否完成,主控器均更新训练记录并退出。
所述的火灾逃生训练系统,其中:在学校场景的无提示逃离火灾现场训练中,首先主控器载入模型数据库中相应的模型,然后通过输出设备播放场景和声音,同时开启体感设备,体感设备将采集到受训者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是用湿手帕捂住口鼻,则主控器控制场景中的主角进行相应动作,在做出该动作后,动作分类器才判断动作是否为行走,如果是行走,则主控器控制场景中的主角朝对应的方向行走,受训者需要根据指示出教室后顺着安全出口的楼梯下楼,如果在规定时间内,教学楼外的触发器检测到主角离开教学楼,则主控器控制输出设备并播放奖励动画,如果未在规定时间内离开教学楼,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出。
本发明易于操作,易于设置多种场景及易于设置不同难度的训练,训练针对性强,适于不同年龄、不同类型的受训者,对受训者的训练效果良好。
附图说明
图1为系统总体结构示意图;
图2为训练信息库结构示意图;
图3为动作分类器包含的动作种类示意图;
图4为学校场景下教学流程图;
图5为学校场景下拿毛巾无提示训练流程图;
图6为学校场景下弄湿毛巾无提示训练流程图;
图7为学校场景下逃离火灾现场无提示训练流程图。
具体实施方式
下面结合附图1-7对本发明具体实施方式进行说明。本发明的定制化课程生成系统,包括
如图1所示,基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,输入设备包括键盘、鼠标和体感设备,输出设备包括虚拟现实显示器(优选的是虚拟现实头戴显示器,用于显示虚拟现实画面)、耳机和显示屏(一般来说,该显示屏是一个是普通电脑用的显示器,用于监控和显示设置界面),训练模块包括模型数据库、训练信息库、触发器和动作分类器。
所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块的对应位置、控制训练模块的进程、以及通过输出设备输出信息。所述键盘和鼠标用于人工输入训练信息。所述体感设备用于采集人体运动信息。所述虚拟现实显示器用于显示虚拟现实场景的画面。所述耳机用于播放声音。所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画等。所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录。所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围。所述动作分类器提前通过机器学习的算法对体感设备采集的不同种类的动作进行了学习和记录特征,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。
如图2所示,训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录等信息。其中场景标识包括学校、家庭、超市等类型;难度信息包括简单、中等、困难等;训练方式包括教学训练、整体训练、分布训练等;奖励效果标识包括多种奖励类型;训练记录包括受训者的受训情况等信息。
如图3所示,动作分类器中包含的人体动作库有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻五种,由于火灾逃生的场景包含范围较广,受训练场地大小限制,因此虚拟现实中行走的动作在实际上用原地踏步代替。训练系统在开发阶段通过体感设备对人体的动作进行采集,获得骨骼数据(即将人体抽象成由几十个骨骼点组成的“火柴人”,本系统用到的体感设备自带此功能),并为训练过程中需要用到的动作按类别进行人工标识,这些动作有:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻,每一种标识的动作都包含多个样本,样本由多人进行采集,每人每个动作采集多次,然后通过机器学习的算法对已经具备标识的样本的特征进行学习,样本的特征包含人体骨骼与骨骼之间形成的角度、骨骼点的速度、加速度等,学习的过程由机器学习算法自动进行,并最终生成一个动作分类器,在训练过程中,通过体感设备采集人体动作的骨骼数据,并使用动作分类器对动作进行对动作进行标识,系统通过动作的标识判断体验者当前进行的动作,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
如图4所示,在学校场景下的教学训练方式下(教学部分没有提示和奖励效果),主控器从模型数据库中载入需要的模型,并控制输出设备自动开始播放教学动画,首先耳机播放火灾报警器的声音,虚拟现实显示器在显示的火灾报警器周围显示箭头,并在屏幕前方显示字幕,耳机播放相应的语音“火灾时,报警器响起,你要保持镇静,感到不舒服时,用手捂住耳朵,快速观察起火点的位置”,然后画面突出显示燃烧的火焰,火焰周围显示箭头,屏幕前方的字幕和语音为“发生火灾时,要远离起火点,找到可浸湿物体捂住口鼻,避免烟雾进入呼吸道,快速逃离起火处”,之后播放男孩A拿毛巾的动画,字幕和语音为“按照这个小男孩的行为所示,快速找到身边的纺织品,如毛巾手帕等”,接着依次播放男孩A使用水杯弄湿毛巾和男孩B使用饮水机弄湿毛巾的动画,字幕和语音为“找到毛巾或手帕后,快速找到水源,比如身边的水杯等,将水倒在毛巾上,捂住口鼻,快速离开教室。”,然后场景切换到教室外的走廊上,安全出口周围显示箭头,虚拟现实显示器显示的画面自动向安全出口移动,字幕和语音为“逃出教室后,寻找最近的安全出口,快速逃出火灾现场”,最后虚拟现实显示器显示的画面自动从楼梯向下移动到教学楼外,字幕和语音为“到达紧急出口,保持镇定有序,快速逃出出口,注意避免拥挤”。教学部分结束后,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图5所示,在学校场景的无提示拿手帕训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,当手帕周围的触发器检测到主角靠近时,动作分类器开始判断体验者是否做出拿手帕的动作,如果在规定时间内做出拿手帕的动作,主控器控制主角的手进行拿手帕,并控制虚拟现实头戴式显示器播放奖励动画,如果未在规定时间内做出拿手帕动作,则控制虚拟现实头戴式显示器显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图6所示,在学校场景的无提示弄湿手帕训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是行走,则主控器控制场景中的主角朝对应的方向行走,如果进入的是使用水杯弄湿手帕训练,水杯周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手拿起水杯并将水杯里的水倾倒在手帕上的动作,如果完成该动作,主控器控制场景中的主角进行相应动作,如果进入的是使用饮水机弄湿手帕训练,饮水机周围的触发器检测到主角靠近,则动作分类器开始判断体验者是否用拿着手帕以外的手打开饮水机开关并用手帕接住流出的水的动作,同理如果完成该动作,主控器控制主角进行相应动作,如果在规定时间内完成弄湿手帕的动作,主控器控制输出设备并播放奖励动画,如果未在规定时间内完成弄湿手帕的动作,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
如图7所示,在学校场景的无提示逃离火灾现场训练中,首先主控器控制显示屏切换到监控画面,主控器载入模型数据库中需要的模型,然后通过输出设备播放场景和声音,同时开启体感设备,并将采集到体验者的动作传输给主控器,主控器通过动作分类器判断该动作的类别,如果动作是用湿手帕捂住口鼻,则主控器控制主角进行相应动作,在做出该动作后,动作分类器才判断动作是否为行走,如果是行走,则主控器控制场景中的主角朝对应的方向行走,体验者需要根据指示出教室后顺着安全出口的楼梯下楼,如果在规定时间内,教学楼外的触发器检测到主角离开教学楼,则主控器控制输出设备并播放奖励动画,如果未在规定时间内离开教学楼,则显示任务失败字样,不论任务是否完成,均更新训练记录并退出,显示屏切换到设置界面,以便设置下一次训练信息。
本发明与传统人工训练教学系统和App软件等相比,有如下优点:第一、本发明能够逼真再现了火灾发生时的场景(火、烟、着火声音等),克服现实中场景搭建困难问题,教学和训练环节循序渐进,场景逐步变化;第二、生活应用与训练内容一致,泛化更容易;第三、以视觉为主,尤其是学习抽象概念,视觉比听觉或触觉对他们来说更有效;第四、训练环境更安全,在VR中训练,即使有失败的情况,也不会造成对现实世界的影响;第五、零时间切换场景、训练密集、更有效;第六、教师不以实际身份加入训练,训练中能去除教师身份影响;第七、自动识别用户动作,系统采集了不同人的标准动作和不正确动作从而建立的动作模型,当用户训练时,要求用户动作与标准动作近似,训练要求相比人工训练更为标准规范。

Claims (6)

1.一种基于虚拟现实和体感技术的火灾逃生训练系统,包括主控器、输入设备、输出设备和训练模块,其中输入设备包括键盘、鼠标和体感设备;输出设备包括虚拟现实显示器、耳机和显示屏;训练模块包括模型数据库、训练信息库、触发器和动作分类器;其特征在于:
所述主控器用于接收输入设备输入的信息,并将信息保存在训练模块中,控制训练模块的进程以及通过输出设备输出信息;
所述键盘和鼠标用于人工输入训练信息,所述体感设备用于采集人体运动信息;
所述虚拟现实显示器用于显示虚拟现实场景的画面,所述耳机用于播放声音;
所述模型数据库用于存储系统需要的虚拟现实中的场景、物品、人物、轨迹、动画、动作、声音、奖励动画;所述训练信息库用于记录场景标识、难度、训练方式、奖励效果标识和训练记录;所述触发器用于检测虚拟现实场景中的主角是否碰到特定的物品或到达某个范围;所述动作分类器用于提前对不同种类的动作进行了学习和记录,并在训练过程中实时根据体感设备采集的人体动作的特征进行分类。
2.根据权利要求1所述的火灾逃生训练系统,其特征在于训练信息库包括场景标识、难度、训练方式、奖励效果标识和训练记录,其中场景标识包括学校、家庭、超市;难度信息包括简单、中等、困难;训练方式包括教学训练、整体训练、分布训练;奖励效果标识包括多种奖励类型;训练记录包括受训者的受训情况。
3.根据权利要求1所述的火灾逃生训练系统,其特征在于:训练前主控器判断是否有训练任务由输入设备输入,如果通过键盘和鼠标人工输入了训练信息,则主控器将这些信息记录到训练信息库中,并安排相应的训练,如果没有人工输入训练信息,则从训练信息库中调取受训者之前的练习记录,并根据该记录自动安排当前的训练。
4.根据权利要求1所述的火灾逃生训练系统,其特征在于动作分类器在训练前由训练系统生成,其生成方式为:训练系统通过体感设备对人体的动作进行采集,获得骨骼数据,并为训练过程中需要用到的动作按类别进行人工标识,每一种标识的动作都包含多个样本,样本由多人进行采集,每人每个动作采集多次,然后通过机器学习的算法对已经具备标识的样本的特征进行学习,样本的特征包含人体骨骼与骨骼之间形成的角度、骨骼点的速度、加速度,最终生成一个动作分类器。
5.根据权利要求1所述的火灾逃生训练系统,其特征在于:在训练过程中,通过主控器通过接收体感设备采集的人体动作的骨骼数据,使用动作分类器对动作进行标识,并根据动作的标识判断体验者当前进行哪一种动作,然后调用数据库中的动作模型,控制场景中的主角做出相应动作,该动作与受训者做出的动作为同一种类的动作,但不一定完全一致,动作分类器能够识别的动作类别受限于样本的类别,样本类别以外的动作,分类器一律不识别。
6.根据权利要求1所述的火灾逃生训练系统,其特征在于:所述动作包括:行走、拿起毛巾、使用水杯弄湿毛巾、使用饮水机弄湿毛巾和用湿毛巾捂住口鼻。
CN201710091930.6A 2017-02-21 2017-02-21 基于虚拟现实和体感技术的火灾逃生训练系统 Active CN106648120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710091930.6A CN106648120B (zh) 2017-02-21 2017-02-21 基于虚拟现实和体感技术的火灾逃生训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710091930.6A CN106648120B (zh) 2017-02-21 2017-02-21 基于虚拟现实和体感技术的火灾逃生训练系统

Publications (2)

Publication Number Publication Date
CN106648120A true CN106648120A (zh) 2017-05-10
CN106648120B CN106648120B (zh) 2020-04-03

Family

ID=58845670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710091930.6A Active CN106648120B (zh) 2017-02-21 2017-02-21 基于虚拟现实和体感技术的火灾逃生训练系统

Country Status (1)

Country Link
CN (1) CN106648120B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038925A (zh) * 2017-06-09 2017-08-11 成都智建新业建筑设计咨询有限公司 基于虚拟现实的建筑内火灾逃生模拟系统
CN107154175A (zh) * 2017-05-12 2017-09-12 威海智鑫消防科技有限公司 一种智能消防安全宣教机
CN107665277A (zh) * 2017-09-21 2018-02-06 杭州弼木建筑科技有限公司 基于bim的vr体验系统
CN108200446A (zh) * 2018-01-12 2018-06-22 北京蜜枝科技有限公司 虚拟形象的线上多媒体互动系统及方法
CN108196674A (zh) * 2017-12-29 2018-06-22 梁穗 用于虚拟感应现实的实体模型、通过虚拟设备感应现实模型的系统及实现方法
CN108595004A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 基于虚拟现实vr的多人交互方法、装置及相应设备
CN108648402A (zh) * 2018-05-02 2018-10-12 平安科技(深圳)有限公司 智能火灾报警方法、终端及存储介质
CN109513157A (zh) * 2018-10-16 2019-03-26 广州嘉影软件有限公司 基于Kinect体感的灭火演练交互方法与系统
CN109992109A (zh) * 2019-03-18 2019-07-09 成都凌感科技有限公司 基于vr的消防逃生演练方法、装置及vr穿戴设备
CN110111636A (zh) * 2019-05-16 2019-08-09 珠海超凡视界科技有限公司 一种基于vr实现灯光拨杆交互的方法、系统及装置
CN110428689A (zh) * 2019-08-11 2019-11-08 北京唯极科技有限公司 一种用于机场火灾模拟的虚拟现实系统
CN112419824A (zh) * 2020-12-01 2021-02-26 青岛凌鼎智能科技有限公司 一种互动消防模拟训练系统
CN112489510A (zh) * 2019-09-12 2021-03-12 皇家加勒比邮轮有限公司 用于远洋船舶的分布式集合
CN113827953A (zh) * 2021-09-28 2021-12-24 完美世界(北京)软件科技发展有限公司 游戏控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法
US20140060312A1 (en) * 2012-02-14 2014-03-06 Michael Alan Ruck Gas piston control system for a firearm
CN204650879U (zh) * 2015-03-27 2015-09-16 山东科技大学 一种煤矿井下火灾逃生训练平台
CN105374251A (zh) * 2015-11-12 2016-03-02 中国矿业大学(北京) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法
US20140060312A1 (en) * 2012-02-14 2014-03-06 Michael Alan Ruck Gas piston control system for a firearm
CN204650879U (zh) * 2015-03-27 2015-09-16 山东科技大学 一种煤矿井下火灾逃生训练平台
CN105374251A (zh) * 2015-11-12 2016-03-02 中国矿业大学(北京) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154175A (zh) * 2017-05-12 2017-09-12 威海智鑫消防科技有限公司 一种智能消防安全宣教机
CN107038925A (zh) * 2017-06-09 2017-08-11 成都智建新业建筑设计咨询有限公司 基于虚拟现实的建筑内火灾逃生模拟系统
CN107038925B (zh) * 2017-06-09 2019-04-23 成都智建新业建筑设计咨询有限公司 基于虚拟现实的建筑内火灾逃生模拟系统
CN107665277A (zh) * 2017-09-21 2018-02-06 杭州弼木建筑科技有限公司 基于bim的vr体验系统
CN107665277B (zh) * 2017-09-21 2021-03-12 杭州弼木建筑科技有限公司 基于bim的vr体验系统
CN108196674A (zh) * 2017-12-29 2018-06-22 梁穗 用于虚拟感应现实的实体模型、通过虚拟设备感应现实模型的系统及实现方法
CN108200446A (zh) * 2018-01-12 2018-06-22 北京蜜枝科技有限公司 虚拟形象的线上多媒体互动系统及方法
CN108200446B (zh) * 2018-01-12 2021-04-30 北京蜜枝科技有限公司 虚拟形象的线上多媒体互动系统及方法
CN108595004A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 基于虚拟现实vr的多人交互方法、装置及相应设备
CN108648402A (zh) * 2018-05-02 2018-10-12 平安科技(深圳)有限公司 智能火灾报警方法、终端及存储介质
CN108648402B (zh) * 2018-05-02 2020-04-24 平安科技(深圳)有限公司 智能火灾报警方法、终端及存储介质
CN109513157A (zh) * 2018-10-16 2019-03-26 广州嘉影软件有限公司 基于Kinect体感的灭火演练交互方法与系统
CN109513157B (zh) * 2018-10-16 2020-09-11 广州嘉影软件有限公司 基于Kinect体感的灭火演练交互方法与系统
CN109992109A (zh) * 2019-03-18 2019-07-09 成都凌感科技有限公司 基于vr的消防逃生演练方法、装置及vr穿戴设备
CN110111636A (zh) * 2019-05-16 2019-08-09 珠海超凡视界科技有限公司 一种基于vr实现灯光拨杆交互的方法、系统及装置
CN110428689A (zh) * 2019-08-11 2019-11-08 北京唯极科技有限公司 一种用于机场火灾模拟的虚拟现实系统
CN112489510A (zh) * 2019-09-12 2021-03-12 皇家加勒比邮轮有限公司 用于远洋船舶的分布式集合
CN112419824A (zh) * 2020-12-01 2021-02-26 青岛凌鼎智能科技有限公司 一种互动消防模拟训练系统
CN113827953A (zh) * 2021-09-28 2021-12-24 完美世界(北京)软件科技发展有限公司 游戏控制系统
CN113827953B (zh) * 2021-09-28 2024-03-22 完美世界(北京)软件科技发展有限公司 游戏控制系统

Also Published As

Publication number Publication date
CN106648120B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN106648120A (zh) 基于虚拟现实和体感技术的火灾逃生训练系统
US11815951B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
CN102473320B (zh) 通过学习到的来自用户的输入使视觉表示生动化的方法
US20140295393A1 (en) Interactive rehabilitation method and system for movement of upper and lower extremities
US9911352B2 (en) Situated simulation for training, education, and therapy
CN107067879A (zh) 一种智能钢琴教学系统
CN106887170B (zh) 基于虚拟现实和手势检测的乘坐公交车训练系统
US20220028296A1 (en) Information processing apparatus, information processing method, and computer program
CN104537925B (zh) 语障儿童语言训练辅助系统及方法
Alzubi et al. Improving the working memory during early childhood education through the use of an interactive gesture game-based learning approach
CN109658771A (zh) 基于vr技术的神经发育障碍交通安全训练系统及方法
CN105139701A (zh) 一种互动式幼儿教学系统
Rojas Ferrer et al. Read-the-game: System for skill-based visual exploratory activity assessment with a full body virtual reality soccer simulation
EP3063753A1 (en) Playground system
Peña et al. Circus in Motion: a multimodal exergame supporting vestibular therapy for children with autism
Naert et al. Lsf-animal: A motion capture corpus in french sign language designed for the animation of signing avatars
CN114462606A (zh) 人机对弈方法及装置、设备、存储介质
CN108499072A (zh) 一种游泳姿势训练方法及其系统
KR20150097050A (ko) 박수 게임을 이용한 유아 및 발달장애 아동의 학습 시스템
KR102427208B1 (ko) 인공 지능 완구를 이용한 콘텐츠 제공 방법 및 시스템
KR20170140756A (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
CN110786825A (zh) 基于虚拟现实视听觉通路的空间知觉失调测训系统
Carreno-Medrano et al. Corpus creation and perceptual evaluation of expressive theatrical gestures
Shaughnessy et al. Autism in the wild: Bridging the gap between experiment and experience
CN111009318A (zh) 一种基于虚拟现实技术的自闭症训练系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210602

Address after: No. 505, 5th floor, building 6, No. 599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610000

Patentee after: Chengdu shihaixintu Microelectronics Co.,Ltd.

Address before: Room 704, building 18, Baoli champagne community, intersection of Xiyou road and Jixian Road, administrative district, Hefei City, Anhui Province

Patentee before: Dai Yulin

Patentee before: Wang Mian

Patentee before: Xu Dawen