CN108762502A - 一种基于眼动追踪的虚拟现实人群仿真方法及系统 - Google Patents
一种基于眼动追踪的虚拟现实人群仿真方法及系统 Download PDFInfo
- Publication number
- CN108762502A CN108762502A CN201810507409.0A CN201810507409A CN108762502A CN 108762502 A CN108762502 A CN 108762502A CN 201810507409 A CN201810507409 A CN 201810507409A CN 108762502 A CN108762502 A CN 108762502A
- Authority
- CN
- China
- Prior art keywords
- crowd
- eye movement
- virtual reality
- building
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Abstract
本发明公开了一种基于眼动追踪的虚拟现实人群仿真方法及系统,建立人群仿真数据库,包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库;从建筑物及障碍物模型库中选取建筑物和障碍物模型,并结合人物声音及环境声音采集库,构建虚拟现实场景;基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物,并置于虚拟现实场景中;按照紧急情况下人群逃生或疏散路径规划,对虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据;将眼动追踪数据标注到建筑物模型表面,判断建筑物中安全标志安放的位置是否合理。本发明有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率。
Description
技术领域
本发明涉及人群仿真领域,特别涉及一种基于眼动追踪的虚拟现实人群仿真方法及系统。
背景技术
随着社会的发展,人类的进步,人口的数量也不断的增长,人们出行在各大公共场所的几率也越来越高,遭遇拥堵也是经常发生的事情,人多的地方就容易出现各种问题。现如今人们对人群仿真的需求越来越高,而且随着硬件水平的提高,大家对具有高仿真度,高真实性,高多样性的人群仿真的需求也越来越高。
虚拟现实技术是仿真技术与计算机图形学、多媒体技术等技术的结合,是一种新兴的数字化人机接口,虚拟现实技术经过虚拟现实元年的爆发,不断有新技术新设备的出现,快速的缩短了虚拟现实与我们大众的距离。虚拟现实技术不断渗透到各个领域,同样的在影视、游戏、教育、医疗等领域给人们带来逼真的体验和高效的学习工作效率。
在进行人群仿真的时候,由于大多数人群仿真系统并不能对人群注意力进行模拟所以缺乏在人群仿真注意力方面的数据收集和研究。有些时候人群的注意力也起着重要的作用,但往往难以获得,特别是在紧急事故发生的时候。因此,如何在人群仿真中获得人群在整个仿真过程中注意力的数据,并对建筑物中安全出口标志等安全标志安装位置进行判断评估,仍是待解决的技术问题。
发明内容
为了克服上述现有技术的不足,本发明提供了一种基于眼动追踪的虚拟现实人群仿真方法及系统,通过眼动追踪技术获得人群在紧急情况下注意力和关注点数据,在人群注视点分布较密集的地方安放安全出口等安全标志,以达到更高效的给人安全指示的作用,可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率。
本发明所采用的技术方案是:
一种基于眼动追踪的虚拟现实人群仿真方法,该方法包括以下步骤:
建立人群仿真数据库,包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库;
从建筑物及障碍物模型库中选取建筑物和障碍物模型,并结合人物声音及环境声音采集库,构建虚拟现实场景;
基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物,并置于虚拟现实场景中;
按照紧急情况下人群逃生或疏散路径规划,对虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据;
将眼动追踪数据标注到建筑物模型表面,判断建筑物中安全标志安放的位置是否合理。
进一步的,所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型;
所述人物声音及环境声音采集库用于存储所采集的人物和环境声音,包括人物行走、跑步、说话产生的声音,以及人物所处场景下的环境音;
所述真实人物资料库用于统计大量的现实世界中真实人物的各种信息,包括性别、年龄、身高、体重和身体健康状况;
所述人物模型库包含各种形体差异的人物模型;
所述人物属性库包含人物所具有的属性,包括移动速度、跌倒爬起到恢复正常行走的最短时间以及对真人进行动作捕捉的动作数据和对表情捕捉的表情数据。
进一步的,所述基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物角色的步骤包括:
接收测试用户输入的真实数据,从真实人物资料库选取与测试用户的真实数据相同的高仿真度人物资料构造具有高仿真度的虚拟人物角色;或者,
从人物模型库中选择人物模型,从人物属性库中选择人物属性,将人物属性绑定到人物模型上,构造具有高仿真度的虚拟人物角色。
进一步的,所述对虚拟人物进行仿真操作的步骤包括:
测试用户通过虚拟现实设备进行虚拟现实场景,按照紧急情况下人群逃生或疏散路径规划控制虚拟人物进行仿真操作;或者,
按照紧急情况下人群逃生或疏散路径规划,采用寻路算法控制虚拟人物进行仿真操作;
进一步的,所述眼动追踪数据包括眼动轨迹和热点图,眼动轨迹是眼睛移动的轨迹和关注的重点部位,热点图用于反映用户的注视和浏览情况。
进一步的,所述判断建筑物中安全标志的安放位置是否合理的步骤包括:
判断眼动追踪数据分布集中的地方是否为建筑物中安全标志的安放位置,如果建筑物中安全标志在眼动追踪数据分布集中的地方,则建筑物中安全标志的安放位置合理;如果建筑物中安全标志在眼动追踪数据分布不集中或没有眼动追踪数据的位置,则建筑物中安全标志的安放位置不合理;如果在眼动追踪数据分布集中的地方缺少安放安全标志,则建筑物中安全标志的安放位置不合理。
进一步的,还包括采用自适应变异的粒子群优化算法对虚拟现实场景进行路径优化的步骤。
进一步的,还包括采用基于surfel的实时渲染算法对虚拟现实场景进行渲染的步骤。
一种基于眼动追踪的虚拟现实人群仿真系统,该系统包括:
人群仿真数据库建立模块,用于建立人群仿真数据库,所述人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库;
虚拟现实场景构建模块,用于从建筑物及障碍物模型库中选取建筑物和障碍物模型,构建虚拟现实场景;
虚拟人物角色构造模块,用于基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物,并置于虚拟现实场景中;
仿真操作模块,用于按照紧急情况下人群逃生或疏散路径规划,对虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据;
评测模块,用于对眼动追踪数据进行处理和分析,并将眼动追踪数据标注到三维立体建筑物表面,判断虚拟现实场景中安全标志安放的位置是否合理。
进一步的,所述仿真操作模块为具有眼动追踪功能的虚拟现实设备。
与现有技术相比,本发明的有益效果是:
(1)本发明通过眼动追踪技术获得人群在紧急情况下逃生或疏散的注意力和关注点数据,实现对建筑物中安全出口标志等安全标志安装位置判断评估,在人群注视点分布较密集的地方安放安全出口等安全标志,以达到更高效的给人安全指示的作用,可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率;
(2)本发明通过人物模型和人物属性的组合,可以组合创造出多种不同的虚拟人物角色,并且有真实人物资料库可以直接使用真人映射,该映射包含真人各种属性,同时又通过真人控制,增加了人群仿真的人群多样性;
(3)本法采用虚拟现实技术将真人带入该虚拟现实场景中,使人群仿真更有人的自然的表现,有较高的真实性;采用虚拟现实技术,使人身临其境,并能与周围的环境以及环境中的人和物进行相互作用和交互,因此有较高的交互性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是基于眼动追踪的虚拟现实人群仿真方法流程图;
图2是基于眼动追踪的虚拟现实人群仿真系统结构框图;
图3为虚拟环境下某人甲在某场景A的注意力数据分部情况;
图4为虚拟环境下某人乙在某场景B的注意力数据分部情况。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术所介绍的,在进行人群仿真的时候,由于大多数人群仿真系统并不能对人群注意力进行模拟所以缺乏在人群仿真注意力方面的数据收集和研究不足,为了解决如上的技术问题,本申请提出了一种基于眼动追踪的虚拟现实人群仿真方法及系统。
本申请的一种典型的实施方式中,如图1所示,提供了一种基于眼动追踪的虚拟现实人群仿真方法,该方法包括以下步骤:
步骤1:建立人群仿真数据库。
该人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、具有形体差异的人物模型库和人物属性库。
建立一个建筑物及障碍物模型库,所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型等。本发明实施例的建筑物及障碍物模型库中不只局限于建筑物本身是一个完整的建筑物还包括建筑物中的各种设施等,该建筑物及障碍物模型库中的建筑物模型可以通过人工建模、物理扫描等进行丰富添加,可以是现实世界中已经存在的也可以是构想出来的任何建筑物模型,障碍物模型等,通过丰富的建筑物模型库来满足人群仿真中所需要的各种物理环境。该建筑物及障碍物模型库可通过人工建模方式,可使用多种建模工具,本发明实施例使用maya软件的建模功能对建筑物进行人工建模,建模人员可根据图纸或者到实地考察后进行建模,或者使用专门的测绘扫描建模工具对建筑物进行扫描生成模型,将通过各种方式制作完成的模型保存为obj、fbx等格式,导入到建筑物及障碍物模型库中,以方便以后使用。
建立人物声音及环境声音采集库,所述人物声音及环境声音采集库用来存储采集来的人物和环境的声音,包括人物行走、跑步、说话等情景下产生的声音,以及人物所处场景下的环境音,包括风吹草动等环境音。。
建立真实人物资料库,所述真实人物资料库包含大量的现实世界中真实人物的资料。所述真实人物资料库中的资料全部来源于真实的人类,是对真实人类的各种信息的统计,包括性别、年龄、身高、体重、身体状况等,在尊重被采集的本人意愿和隐私的情况下,可进行更细致的个人信息收集。所有采集信息过程都是征得被采集本人同意后进行的。该真实人物资料库的作用是为了得到更加真实的人群信息,以达到最大化的对真实人物的映射,即在虚拟现实场景中构造出最接近真人的虚拟角色,不仅包括外形还有身体素质等其他细致的个人信息。
建立具有形体差异的人物模型库,所述具有形体差异的人物模型库包含各种形体差异的人物模型,包括高、矮、胖、瘦、性别等特征。具有形体差异的人物模型库里的人物模型可通过人工建模、扫描设备等构建的人物模型进行填充,该模块应该包括大量的人体模型,数量和种类足够多以达到丰富人群的效果。可使用maya软件的建模功能对人物进行建模,或者使用扫描建模工具对真人进行扫描生成模型。之后将通过各种方式制作完成的模型保存为obj、fbx等格式导入到真实人物资料库中,收集各种形体差异的人物模型,包括高、矮、胖、瘦、性别等特征,以方便以后使用。
建立人物属性库,所述人物属性库模块包含人物所具有的属性,包括人的移动速度、跌倒爬起到恢复正常行走的最短时间等各种真人属性以及对真人进行动作捕捉和表情捕捉的动作和表情数据。
步骤2:从建筑物及障碍物模型库中选取建筑物和障碍物模型,并结合人物声音及环境声音采集库,构建虚拟现实场景。人物声音及环境声音采集库的作用是为了构建虚拟情景使用,使创建的虚拟现实场景有声音,不致于人在整个虚拟场景中听不到任何声音。
步骤3:基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物角色,并置于虚拟现实场景中。这样就得到一个完整的虚拟现实场景,包括建筑物、障碍物和人等,可有效提高人群仿真的多样性。
可根据系统要求使用真实人物资料库里面的具有高仿真度的虚拟人物角色,也可以通过具有形体差异的人物模型库模块和人物属性库模块进行组合,在具有形体差异的人物模型库中选择人物模型,在人物属性库中选择人物属性,并将人物模型和人物属性进行合理的组合,即将人物属性绑定到人物模型上,以达到对具有高仿真度的虚拟人物角色的构造,通过人物模型库和人物属性库构造出的虚拟人物角色属于人工组合,通过组合以达到人群的多样性,而真实人物资料库中的角色则是对真实世界中的人的映射。
步骤4:按照紧急情况下人群逃生或疏散路径规划,对具有高仿真度的虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据。
测试人员可以使用自身的真实数据进行映射到真实人物资料库从而使用自己的真实信息,或者使用系统分配的虚拟人物角色。测试人员通过虚拟现实设备,包括虚拟现实头显、双脚运动控制器等虚拟现实设备连接该系统,从而使测试人员可以操控自己在虚拟现实世界中的虚拟人物,在虚拟现实的场景中自由操作,并与虚拟现实中的情景中的一切进行交互。测试人员可以很多也可以很少,由于受测试人员条件的限制,测试人员可以选择整个情景中只有当前进行测试的人员,在没有较多的测试人员的情况下,可以选择系统添加智能虚拟人物,由系统模拟控制场景中的其他虚拟人物。
测试人员选择虚拟现实情景中存在的虚拟人物数量,可选择只有测试人员控制的虚拟人物,或者根据要求添加足够多的系统控制的虚拟人物,该系统中可以只包含测试人员控制的虚拟人物,也可以同时包含测试人员控制的虚拟人物以及系统控制的虚拟人物,或者只包含系统控制的虚拟人物,然后测试人员可以按照事先准备好了的测试方案进行测试。
测试人员通过虚拟现实设备进入虚拟现实场景,按事先的计划如测试对某建筑物或场所的人群疏散、多条路径比较及路径规划、公共场所人群流动等控制虚拟人物进行测试,包括路径规划等的测试。
虚拟现实设备包含大量可穿戴的虚拟现实设备,比如虚拟现实头显、操作手柄、虚拟现实移动装置等等,特别是具有眼动追踪技术的虚拟现实头显,能够实时的对使用者的眼球进行追踪,以便收集眼动追踪数据。
对于控制虚拟现实场景中虚拟人物可使用多种寻路算法,例如A*寻路算法。
步骤5:对眼动追踪数据进行处理和分析,并将眼动追踪数据标注到虚拟现实场景中三维立体建筑物模型表面,判断虚拟建筑物中安全标志安放的位置是否合理。
进行完一系列的人群仿真操作后,对采集的在紧急情况下的人群逃生或疏散过程中眼动追踪数据进行处理分析和存储,并将眼动追踪数据标注到三维立体建筑物表面,以方便对仿真过程中人群注意力的分析。
该眼动追踪数据为在紧急情况下的逃生或疏散的注意力和关注点数据,包括注视时间和次数,眼跳距离,瞳孔大小等数据,包括眼动轨迹、热点图。眼动轨迹是眼睛移动的轨迹和关注的重点部位,热点图用于反映用户的注视和浏览情况,红色代表注视和浏览最为集中的区域,黄色和绿色代表注视和浏览最少的区域。眼动轨迹上的圆点和路径代表视线的停留和转移,对特定的元素关注越多则该点将被重叠则该点越大,圆点分布较密集或圆点较大的区域则证明该区域为人眼关注的重点区域。通过眼动轨迹和热点图可以近似得出人眼关注的重点区域,将眼动追踪数据进行保存以方便今后使用。
由于在现实环境中不可拿人的生命在真实的灾难中进行实验,人群仿真又不够真实。所以本发明为了在灾难不可重现且人群仿真不够真实的情况下,可以获得人群在灾难来临等紧急情况下进行逃生和疏散的过程中眼动追踪数据。
在紧急情况下的人的注意力和关注点数据比人在正常状态下的注意力和关注点数据更能体现出在危急时刻人更加关注的内容,因此该数据用于在危急情况下保障人的生命和安全具有更重要的意义。
为了实现对建筑物中安全出口标志等安全标志安装位置判断评估,本发明获得人群在灾难来临等紧急情况下逃生或疏散过程中注意力和关注点数据后,将该数据与建筑物中安全出口等安全标志物进行对比,如果安全出口等安全标志在注视点数据分布集中的地方则证明该安全标志安放的位置较合理,如果安全出口等安全标志在注视点数据分布不集中或没有注视点数据的位置安放安全标志则该安全标志安放位置不合理,如果在注视点较密集的地方缺少安放安全标志同样证明该建筑物安放安全标志位置不合理。
通过本发明可以获得人群在灾难来临等紧急情况下人群逃生或疏散过程中注意力和关注点的数据,通过该发明获得需要安放安全出口等安全标志的建筑物在紧急情况下人群疏散过程中注意力和关注点数据,在人群注视点分布较密集的地方安放安全出口等安全标志以达到更高效的给人安全指示的作用,同时将注视点较密集的地方与安全标志无关的内容移除包括类似广告字画等各种与安全标志无关的内容,以免分散人群在灾难来临等紧急情况下的注意力和浪费人群在紧急情况发生时宝贵的时间,避免影响人群在灾难来临等紧急情况下进行逃生和疏散,通过该方法安放安全出口等安全标志可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率。
该方法还包括使用多种路径优化方法对虚拟现实场景中路径进行优化的步骤,例如可采用自适应变异的粒子群优化算法对虚拟现实场景进行路径优化。
该方法还包括对虚拟现实场景进行渲染的步骤,可以使用unity3d中自带的渲染效果,亦可以使用其他渲染算法如基于surfel的实时渲染算法实现。对虚拟现实场景进行渲染的具体实现方式为:
(1)采样阶段,在场景包围盒的前、测、顶3个方向上进行surfel采样,就可以得到场景的完整信息。通过光线投射算法,计算并记录所有的线面交点。每个交点就是一个surfel点。这样采样获得的surfel就记录了形状与着色属性两大类信息。
(2)采样精度的选择,采样精度的选择原则是空间的两个surfel点理论最大间距应该小于最终屏幕显示的每个pixel控制域的半径r′rec。如果每个采样平面上两个相邻采样点的间距为h0,那么分别位于3个采样面上的8个彼此相邻的采样点就构成了一个边长为h0的立方体,而这个立方体中,surfel都位于其边上,因此,两个surfel的最大间距smax就是由此,规定了采样最小精度:即必须保证smax≤r′rec,这样才能够保证最后的图像质量。在实际应用中,通常让采样精度偏高一些,以减小最终显示的图像失真程度。
(3)采样数据的组织结构,为了尽可能地调高绘制阶段的速度,组织合理的数据结构也是关键的一步工作。因为是要实现交互式渲染,观察点与观察距离会随着用户的需要产生变化,也就意味着图像细节是可以选择的,即在远距离观察是,物体本身比较小,其上的细节对于观察者而言,更不可能看清楚,因此过小的细节可以忽略,也就是说可以用较少量的surfel点来重绘一个看上去完全一样的场景。这是层次细节简化技术的基本思想,将其应用到笔者研究的surfel绘制技术上,为surfels采样点够早了一棵LDC树,按深度分层的立方体,来组织所有的surfel点。其优点在于,LDC树是根据八叉树的节点性质逐层递减采样精度,也相应减少了surfel点的数目,从而为多种输出精度提供了相适应的重绘surfel数目。
(4)选择合适的绘制精度,这里用来表示第n层LDC树上block中的相邻两surfel最大间距。同smax计算方法一样,就是第n层的block对角线除以其中的采样精度b。如果block边长为hn,那么
对于屏幕像素而言,每个像素的控制区域半径值rrecc等于s0是相邻两像素的间距。
通过计算得到和rrec后,选择LDC层次的原则就是也就是通过遍历LDC树,找到满足要求的n,即可得到应该采用的block,其中surfel点就包含了用来重绘产经所有有效点。
本发明实施例提出的基于眼动追踪的虚拟现实人群仿真方法,通过眼动追踪充分的获得了人群的注意力,并且可以获得在紧急情况下的人群的注意力和关注点数据,由于紧急情况特别是灾难性的,在现实中是难以模拟的,更不能拿真人来做实验,因此紧急情况下的人群注意力数据是极其难得的,通过该发明获得在紧急情况下人群注意力和关注点数据,在人群注视点分布较密集的地方安放安全出口等安全标志,以达到更高效的给人安全指示的作用,可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率;本发明通过人物模型和人物属性的组合,可以组合创造出多种不同的虚拟人物角色,并且有真实人物资料库可以直接使用真人映射,该映射包含真人各种属性,同时又通过真人控制,增加了人群仿真的人群多样性;采用虚拟现实技术将真人带入该虚拟现实场景中,使人群仿真更有人的自然的表现,有较高的真实性;采用虚拟现实技术,使人身临其境,并能与周围的环境以及环境中的人和物进行相互作用和交互,因此有较高的交互性;并且随着系统的产生和使用,系统的数据库中的内容会随着时间的变化收集更多数据从而变得越来越丰富,为以后的仿真带来更丰富的数据库。
本申请的另一种典型实施方式,如图2所示,提供了一种基于眼动追踪的虚拟现实人群仿真系统,该系统包括:
人群仿真数据库建立模块,用于建立人群仿真数据库,所述人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库。
所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型等;所述人物声音及环境声音采集库用来存储采集来的人物和环境的声音;所述真实人物资料库包含大量的现实世界中真实人物的资料;所述具有形体差异的人物模型库包含各种形体差异的人物模型,包括高、矮、胖、瘦、性别等特征;所述人物属性库包含人物所具有的属性,包括人的移动速度、跌倒爬起到恢复正常行走的最短时间等各种真人属性以及对真人进行动作捕捉和表情捕捉的动作和表情数据。
虚拟现实场景构建模块,用于从建筑物及障碍物模型库中选取建筑物和障碍物模型,构建虚拟现实场景;
虚拟人物角色构造模块,用于基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物角色,并置于虚拟现实场景中;
仿真操作模块,用于控制高仿真度人物角色进行仿真操作,并采集仿真操作中眼动追踪数据;
评测模块,用于对眼动追踪数据进行处理和分析,并将眼动追踪数据标注到三维立体建筑物表面,判断虚拟现实场景中安全标志安放的位置是否合理。
该系统基于计算机系统,可通过untiy3d等引擎进行开发,并借助虚拟现实头显设备、双脚运动控制器等虚拟现实设备实现。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于眼动追踪的虚拟现实人群仿真方法,其特征是,包括以下步骤:
建立人群仿真数据库,包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库;
从建筑物及障碍物模型库中选取建筑物和障碍物模型,并结合人物声音及环境声音采集库,构建虚拟现实场景;
基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物,并置于虚拟现实场景中;
按照紧急情况下人群逃生或疏散路径规划,对虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据;
将眼动追踪数据标注到建筑物模型表面,判断建筑物中安全标志安放的位置是否合理。
2.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型;
所述人物声音及环境声音采集库用于存储所采集的人物和环境声音,包括人物行走、跑步、说话产生的声音,以及人物所处场景下的环境音;
所述真实人物资料库用于统计大量的现实世界中真实人物的各种信息,包括性别、年龄、身高、体重和身体健康状况;
所述人物模型库包含各种形体差异的人物模型;
所述人物属性库包含人物所具有的属性,包括移动速度、跌倒爬起到恢复正常行走的最短时间以及对真人进行动作捕捉的动作数据和对表情捕捉的表情数据。
3.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,所述基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物角色的步骤包括:
接收测试用户输入的真实数据,从真实人物资料库选取与测试用户的真实数据相同的高仿真度人物资料构造具有高仿真度的虚拟人物角色;或者,
从人物模型库中选择人物模型,从人物属性库中选择人物属性,将人物属性绑定到人物模型上,构造具有高仿真度的虚拟人物角色。
4.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,所述对虚拟人物进行仿真操作的步骤包括:
测试用户通过虚拟现实设备进行虚拟现实场景,按照紧急情况下人群逃生或疏散路径规划控制虚拟人物进行仿真操作;或者,
按照紧急情况下人群逃生或疏散路径规划,采用寻路算法控制虚拟人物进行仿真操作。
5.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,所述眼动追踪数据包括眼动轨迹和热点图,眼动轨迹是眼睛移动的轨迹和关注的重点部位,热点图用于反映用户的注视和浏览情况。
6.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,所述判断建筑物中安全标志的安放位置是否合理的步骤包括:
判断眼动追踪数据分布集中的地方是否为建筑物中安全标志的安放位置,如果建筑物中安全标志在眼动追踪数据分布集中的地方,则建筑物中安全标志的安放位置合理;如果建筑物中安全标志在眼动追踪数据分布不集中或没有眼动追踪数据的位置,则建筑物中安全标志的安放位置不合理;如果在眼动追踪数据分布集中的地方缺少安放安全标志,则建筑物中安全标志的安放位置不合理。
7.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,还包括采用自适应变异的粒子群优化算法对虚拟现实场景进行路径优化的步骤。
8.根据权利要求1所述的基于眼动追踪的虚拟现实人群仿真方法,其特征是,还包括采用基于surfel的实时渲染算法对虚拟现实场景进行渲染的步骤。
9.一种基于眼动追踪的虚拟现实人群仿真系统,其特征是,包括:
人群仿真数据库建立模块,用于建立人群仿真数据库,所述人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库;
虚拟现实场景构建模块,用于从建筑物及障碍物模型库中选取建筑物和障碍物模型,构建虚拟现实场景;
虚拟人物角色构造模块,用于基于真实人物资料库、人物模型库和人物属性库,构造具有高仿真度的虚拟人物,并置于虚拟现实场景中;
仿真操作模块,用于按照紧急情况下人群逃生或疏散路径规划,对虚拟人物进行仿真操作,并采集仿真操作中眼动追踪数据;
评测模块,用于对眼动追踪数据进行处理和分析,并将眼动追踪数据标注到三维立体建筑物表面,判断虚拟现实场景中安全标志安放的位置是否合理。
10.根据权利要求9所述的基于眼动追踪的虚拟现实人群仿真系统,其特征是,所述仿真操作模块为具有眼动追踪功能的虚拟现实设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507409.0A CN108762502A (zh) | 2018-05-24 | 2018-05-24 | 一种基于眼动追踪的虚拟现实人群仿真方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507409.0A CN108762502A (zh) | 2018-05-24 | 2018-05-24 | 一种基于眼动追踪的虚拟现实人群仿真方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108762502A true CN108762502A (zh) | 2018-11-06 |
Family
ID=64006596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810507409.0A Pending CN108762502A (zh) | 2018-05-24 | 2018-05-24 | 一种基于眼动追踪的虚拟现实人群仿真方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108762502A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
CN109598076A (zh) * | 2018-12-10 | 2019-04-09 | 北京交通大学 | 一种城市轨道交通应急疏散仿真系统及方法 |
CN110033395A (zh) * | 2019-04-24 | 2019-07-19 | 江苏智臻能源科技有限公司 | 非侵入终端辨识能力测试案例库构建方法及模拟检测平台 |
CN110070624A (zh) * | 2019-04-26 | 2019-07-30 | 厦门大学 | 一种基于vr结合眼动跟踪的城市风貌特征识别的方法 |
CN111881830A (zh) * | 2020-07-28 | 2020-11-03 | 安徽爱学堂教育科技有限公司 | 一种基于注意力集中度检测的交互提示方法 |
CN112989865A (zh) * | 2019-12-02 | 2021-06-18 | 山东浪潮人工智能研究院有限公司 | 一种基于人头姿态判断的人群注意力焦点判断方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226390A (zh) * | 2013-05-15 | 2013-07-31 | 清华大学 | 全景式火灾紧急逃生的虚拟现实系统 |
CN103810741A (zh) * | 2014-02-19 | 2014-05-21 | 重庆邮电大学 | 一种基于多智能体的井下应急撤离虚拟人群仿真方法 |
CN104317637A (zh) * | 2014-10-16 | 2015-01-28 | 安徽理工大学 | 基于多智能体的虚拟矿工安全行为建模及应急仿真系统 |
-
2018
- 2018-05-24 CN CN201810507409.0A patent/CN108762502A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226390A (zh) * | 2013-05-15 | 2013-07-31 | 清华大学 | 全景式火灾紧急逃生的虚拟现实系统 |
CN103810741A (zh) * | 2014-02-19 | 2014-05-21 | 重庆邮电大学 | 一种基于多智能体的井下应急撤离虚拟人群仿真方法 |
CN104317637A (zh) * | 2014-10-16 | 2015-01-28 | 安徽理工大学 | 基于多智能体的虚拟矿工安全行为建模及应急仿真系统 |
Non-Patent Citations (1)
Title |
---|
孟凡兴等: "火灾下紧急逃生的虚拟现实系统开发与评估", 《人类工效学》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
CN109598076A (zh) * | 2018-12-10 | 2019-04-09 | 北京交通大学 | 一种城市轨道交通应急疏散仿真系统及方法 |
CN110033395A (zh) * | 2019-04-24 | 2019-07-19 | 江苏智臻能源科技有限公司 | 非侵入终端辨识能力测试案例库构建方法及模拟检测平台 |
CN110033395B (zh) * | 2019-04-24 | 2023-08-01 | 江苏智臻能源科技有限公司 | 非侵入终端辨识能力测试案例库构建方法及模拟检测平台 |
CN110070624A (zh) * | 2019-04-26 | 2019-07-30 | 厦门大学 | 一种基于vr结合眼动跟踪的城市风貌特征识别的方法 |
CN110070624B (zh) * | 2019-04-26 | 2020-05-08 | 厦门大学 | 一种基于vr结合眼动跟踪的城市风貌特征识别的方法 |
CN112989865A (zh) * | 2019-12-02 | 2021-06-18 | 山东浪潮人工智能研究院有限公司 | 一种基于人头姿态判断的人群注意力焦点判断方法 |
CN112989865B (zh) * | 2019-12-02 | 2023-05-30 | 山东浪潮科学研究院有限公司 | 一种基于人头姿态判断的人群注意力焦点判断方法 |
CN111881830A (zh) * | 2020-07-28 | 2020-11-03 | 安徽爱学堂教育科技有限公司 | 一种基于注意力集中度检测的交互提示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108762502A (zh) | 一种基于眼动追踪的虚拟现实人群仿真方法及系统 | |
WO2023045144A1 (zh) | 一种立体综合教学场系统的工作方法 | |
Liu et al. | Mapping landscape spaces: Methods for understanding spatial-visual characteristics in landscape design | |
CN108376198B (zh) | 一种基于虚拟现实的人群仿真方法及系统 | |
CN106327942A (zh) | 基于虚拟现实的分布式电力培训系统 | |
CN106294918A (zh) | 一种虚拟透明化办公系统的设计方法 | |
Bouchlaghem et al. | Virtual reality applications in the UK's construction industry | |
CN105913364A (zh) | 基于虚拟现实技术的监狱出监教育模拟方法 | |
CN102136205A (zh) | 地震应急处置演练平台 | |
Wessels et al. | Design and creation of a 3D virtual tour of the world heritage site of Petra, Jordan | |
Nguyen et al. | Civil War battlefield experience: Historical event simulation using augmented reality technology | |
Man et al. | (Retracted) Digital immersive interactive experience design of museum cultural heritage based on virtual reality technology | |
De Paolis et al. | A game-based 3D simulation of Otranto in the middle ages | |
Priestnall et al. | Virtual geographic environments | |
Chen et al. | Generating synthetic photogrammetric data for training deep learning based 3D point cloud segmentation models | |
CN108629121A (zh) | 基于避免恐怖谷效应的虚拟现实人群仿真方法和系统 | |
Shakibamanesh | Improving results of urban design research by enhancing advanced semiexperiments in virtual environments | |
Gmelch et al. | The case for low-cost, personalized visualization for enhancing natural hazard preparedness | |
Walls | Teaching urban landscape microclimate design using digital site visits: A mosaic method of embedding data, dynamics, and experience | |
Broderick et al. | Using game engines for marine visualisation and collaboration | |
Chi et al. | Design and Implementation of Virtual Campus System based on VR Technology | |
Bakaoukas | Virtual Reality Reconstruction Applications Standards for Maps, Artefacts, Archaeological Sites and Monuments | |
Zhang et al. | Information Design of Heritage Site Display Based on Alternate Reality in 5G Background | |
CN113268626B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
Neupane et al. | Experiences with a Virtual Reality System for Immersive Decision Making and Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |