CN111078006A - 基于虚拟现实眼神交流的测评方法、装置以及存储介质 - Google Patents
基于虚拟现实眼神交流的测评方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN111078006A CN111078006A CN201911202393.3A CN201911202393A CN111078006A CN 111078006 A CN111078006 A CN 111078006A CN 201911202393 A CN201911202393 A CN 201911202393A CN 111078006 A CN111078006 A CN 111078006A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual reality
- length
- time
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 91
- 238000011156 evaluation Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 37
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于虚拟现实眼神交流的测评方法、装置以及存储介质。其中,该方法包括:测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及根据与所述虚拟现实场景对应的测评规则以及所述用户凝视所述指定位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标。从而,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。
Description
技术领域
本申请涉及虚拟现实技术领域,特别是涉及一种基于虚拟现实眼神交流的测评方法、装置以及存储介质。
背景技术
目前,人们利用眼球追踪设备对用户的“凝视”状态进行监控,从而对用户的眼神交互信息做出简单的判定,并在一定逻辑下转化为有效利用的数据。该项技术可以用在语言教学、技能培训、娱乐游戏或者心理学等多个应用方面用来测试用户在交互过程中的认真程度,由此判断用户的状态。例如,在语言教学的应用方面,可以判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。
现有的虚拟现实设备仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,例如用户的“凝视”停留在虚拟按钮上3秒以上代表用户行为为点击该虚拟按钮。因此现有的基于虚拟现实的眼神交流技术功能简单,不能用于测试用户在交互过程中的认真程度,并由此判断用户的状态。因此,对于用户的“凝视”状态的跟踪仍然需要额外的眼球追踪设备。
针对上述的现有技术中存在的现有的基于虚拟现实的眼神交流技术功能简单,不能用于测试用户在交互过程中的认真程度并由此判断用户的状态,以及对于用户的“凝视”状态的跟踪仍然需要额外的眼球追踪设备的技术问题,目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种基于虚拟现实眼神交流的测评方法、装置以及存储介质,以至少解决现有技术中存在的现有的基于虚拟现实的眼神交流技术只是仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,但是对整个过程的原始数据并没有做采集和保留,更不会对原始数据进行分析处理得到有效利用的数据。另外,能够对原始数据进行采集保存后进行分析的虚拟现实的设备又是定制化的设备,设备的费用及其昂贵并且只能应用于特定场景,不利用普通用户的推广使用的技术问题。
根据本公开实施例的一个方面,提供了一种基于虚拟现实眼神交流的测评方法,包括:测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
根据本公开实施例的另一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时由处理器执行以上任意一项的方法。
根据本公开实施例的另一个方面,还提供了一种基于虚拟现实眼神交流的测评装置,包括:测量模块,用于测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及测评模块,用于根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
根据本公开实施例的另一个方面,还提供了一种基于虚拟现实眼神交流的测评装置,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
在本公开实施例中,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。该方法不需要特定的场景,不需要昂贵的虚拟现实设备就可以在语言教学的应用方面,判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。更加方便,并且能够为用户节约成本。从而解决了现有技术中存在的现有的基于虚拟现实的眼神交流技术只是仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,但是对整个过程的原始数据并没有做采集和保留,更不会对原始数据进行分析处理得到有效利用的数据。另外,能够对原始数据进行采集保存后进行分析的虚拟现实的设备又是定制化的设备,设备的费用及其昂贵并且只能应用于特定场景,不利用普通用户的推广使用的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1是用于实现根据本公开实施例1所述的基于虚拟现实眼神交流的测评方法的设备图;
图2是根据本公开实施例1的第一个方面所述的基于虚拟现实眼神交流的测评方法的流程示意图;
图3A是根据本公开实施例1的第一个方面所述的虚拟现实设备确定用户的头部中心位置的示意图;
图3B是根据本公开实施例1的第一个方面所述的虚拟现实设备确定用户头部面向的方向的示意图;
图3C是根据本公开实施例1的第一个方面所述的虚拟现实设备确定用户侧视图上下视线范围的最佳视线距离;
图3D是根据本公开实施例1的第一个方面所述的虚拟现实设备确定用户俯视图左右视线范围的最佳视线距离;
图3E是根据本公开实施例1的第一个方面所述的虚拟现实设备产生的不同虚拟现实场景中凝视指定位置的时间长度的示意图;
图4是根据本公开实施例1的第一个方面所述的测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度的示意图;
图5是根据本公开实施例1的第一个方面所述的虚测量用户在虚拟现实设备产生的用户倾听虚拟角色A的虚拟现实场景中凝视指定位置的时间长度的示意图;
图6是根据本公开实施例1所述的基于虚拟现实眼神交流的测评方法的示意图;
图7是根据本公开实施例1的第一个方面所述的虚拟现实设备确定用户所凝视的指定位置的位置信息的流程示意图;
图8是根据本公开实施例2所述的基于虚拟现实眼神交流的测评装置的示意图;以及
图9是根据本公开实施例3所述的基于虚拟现实眼神交流的测评装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例,还提供了一种基于虚拟现实眼神交流的测评方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现基于虚拟现实眼神交流的测评方法的设备图。如图1所示,虚拟现实设备100用于测量用户在虚拟场景中凝视指定位置的时间长度。
在上述运行环境下,根据本实施例的第一个方面,提供了一种基于虚拟现实眼神交流的测评方法。图2示出了该方法的流程示意图,该方法在图1所示的虚拟现实设备100中运行,参考图2所示,该方法包括:
S202:测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及
S204:根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
具体地,参考图1所示,用户通过佩戴虚拟现实设备100,从而进入虚拟现实设备100产生的虚拟现实场景中。然后用户在该虚拟现实设备场景中例如会和虚拟角色进行交流并进入“凝视”状态。虚拟现实设备100测量用户在虚拟场景中指定的位置(例如虚拟角色)所产生凝视的时间长度(S302)。然后虚拟现实设备根据与具体虚拟现实场景对应的评测规则(具体的虚拟现实场景有一定差异,因此不同的虚拟现实场景对应的测评规则也有一定差异)以及用户凝视指定位置的时间长度,测评用户的眼神交流相关的眼神交流指标(S304)。
其中,眼神交流指标例如可以是测评用户的关注度的指标、测评用户听课时认真度的指标,等等。从而虚拟现实装置可以根据用户凝视指定位置的时间长度,测评用户的以上指标。例如用户在听虚拟角色讲话时,凝视虚拟角色时间越长,则可以确定用户的关注度或者是认真度越高。
正如上述背景技术中所述,现有的基于虚拟现实的眼神交流技术功能简单,不能用于测试用户在交互过程中的认真程度并由此判断用户的状态。以及,对于用户的“凝视”状态的跟踪仍然需要额外的眼球追踪设备。
针对上述背景技术中存在的问题,本实施例提供了一种基于虚拟现实眼神交流的测评方法。从而,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。该方法不需要特定的场景,不需要昂贵的眼球跟踪设备就可以在语言教学的应用方面,判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。从而在测评用户时使用更加方便,并且能够减少测评用户的成本。从而解决了现有技术中存在的基于虚拟现实的眼神交流技术功能简单,不能用于测试用户在交互过程中的认真程度并由此判断用户的状态,以及对于用户的“凝视”状态的跟踪仍然需要额外的眼球追踪设备的技术问题。
可选地,测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:确定用户的头部中心位置、头部面向的方向以及最佳视线距离;根据用户的头部中心位置、头部面向的方向以及最佳视线距离,确定用户所凝视的指定位置的位置信息;以及确定用户凝视指定位置的时间长度。
具体地,本实施例测量用户在虚拟设备产生的虚拟场景中凝视指定位置的时间长度还需要以下操作:首先,参考图3A所示,虚拟现实设备确定用户的头部中心位置的坐标为(x0,y0,z0),并且根据用户面向的方向可以确定用户视线的中点;然后参考图3B所示,虚拟现实设备确定用户头部面向的方向;然后参考图3C以及图3D所示,虚拟现实设备确定用户的最佳视线距离。其中,参考图3C和图3D所示,用户的最佳视线距离包括用户侧视图上视线范围的最佳视线距离的坐标(x1,y1,z1)和下视线范围的最佳视线距离的坐标(x2,y2,z2),以及用户俯视图左视线范围的最佳视线距离的坐标(x3,y3,z3)和右视线范围的最佳视线距离的坐标(x4,y4,z4)。
进一步地,参考图3E所示,根据最佳视线距离的坐标(x1,y1,z1)、最佳视线距离的坐标(x2,y2,z2)、最佳视线距离的坐标(x3,y3,z3)以及最佳视线距离的坐标(x4,y4,z4)四个坐标可以确定当用户头部中心位置的坐标为(x0,y0,z0)时,用户的最佳视线范围面积S。从而,根据用户最佳视线范围面积S可以确定用户所凝视的位置的位置信息。从而当指定位置(例如虚拟角色)位于最佳视线范围面积S以内时,判定用户凝视所述指定位置。
最后,虚拟现实设备通过确定指定位置位于最佳视线范围面积S内的时间长度来确定用户凝视指定位置的时间长度。从而,通过这种方式,记录用户凝视指定位置的时间长度,方便后续利用一定的算法将用户凝视指定位置的时间长度的相关数据转化成有效利用的数据。
可选地,虚拟现实场景为用户倾听虚拟角色讲话的场景,并且测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量用户凝视虚拟角色的时间长度。
具体地,用户在凝视虚拟角色的时间长度中有倾听虚拟角色讲话的凝视时间长度,也有用户对虚拟角色讲话的凝视时间长度。例如,虚拟角色为A、B和C。参考图4所示,用户倾听虚拟角色讲话的凝视时间长度包含:用户倾听虚拟角色为A时,用户凝视虚拟角色A的时长为28s;用户倾听虚拟角色为B时,用户凝视虚拟角色B的时长为49s;用户倾听虚拟角色C对虚拟角色B讲话时,用户凝视虚拟角色为C老师和B老师的时长为8s。
进一步地,以用户倾听虚拟角色A时凝视虚拟角色A的时间长度为例进行阐述。优选地,例如,确定用户倾听虚拟角色讲话时,面对虚拟角色的眼神停留的最佳时间大约为4.5秒。参考图5所示,用户倾听虚拟角色为A老师的眼神停留时间大约为4.5秒的时间长度的时间段有3段:t_listening_1(6s)、t_listening_2(8s)以及t_listening_3(4s)。其他的关于用户凝视时间长度均以此为例。
从而,通过获取用户在倾听虚拟角色时用户凝视虚拟角色的时间长度,可以根据用户在倾听虚拟角色时用户凝视虚拟角色的时间长度的相关数据测评用户在与虚拟现实设备交互中用户倾听虚拟角色讲话的认真程度。
可选地,虚拟现实场景为用户对虚拟角色讲话的场景,并且测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量用户凝视虚拟角色的时间长度。
具体地,参考图4所示,用户对虚拟角色讲话的凝视时间长度包含:用户向虚拟角色A讲话时,用户凝视虚拟角色A的时长为25s;用户向虚拟角色C讲话时,用户凝视虚拟角色C的时长为19s。
从而,通过获取用户在向虚拟角色讲话时用户凝视虚拟角色的时间长度,可以根据用户在向虚拟角色讲话时用户凝视虚拟角色的时间长度的相关数据测评用户在与虚拟现实设备交互中用户向虚拟角色讲话的认真程度。
可选地,根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标,包括:测量用户凝视违规位置的时间长度;以及根据与虚拟现实场景对应的测评规则、用户凝视指定位置的时间长度以及用户凝视违规位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
具体地,虚拟现实设备根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。例如,虚拟现实设备测评用户倾听虚拟角色A时眼神交流相关的眼神交流指标。参考图5所示,首先,虚拟现实设备测量用户的眼神停留在违规位置的时间长度,其中违规位置可以是除了虚拟角色A以外的位置,例如天花板、地板等标记,例如用户的眼神停留在违规位置的时间长度为1s。其中测评规则规定用户眼神停留在违规位置的时间长度为1s记录1次,2秒为2次,依次累积增加。其中所记录的次数为用户注意力不集中的次数,一次整体分减少10%,两次减少20%,依次累积增加。
进一步地,虚拟现实设备根据测评规则、用户凝视指定位置的时间长度以及用户凝视违规位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。还是以用户倾听虚拟角色为A老师的凝视的时间长度为例进行阐述测评用户此时间长度的眼神交流指标,如下所示:
Method 1(每次眼神停留时间为4.5s){1-[(6-4.5)/4.5]}+{1-[(8-4.5)/4.5]}+{1-[(4-4.5)/4.5]}=59.3%;
Method 2(需保证70%的目光交流):(6+8+4)/28=64.3%,1-(64.3%-70%)/70%=91.9%;
Method 3(是否有触碰违规位置):1次
最终计算结果:[(59.3%+91.9%)/2]*(1-0.1)=68.04%。
最终得出用户倾听虚拟角色A时,用户凝视倾听虚拟角色A的时间长度的眼神交流指标为68.04%,其他时间长度的眼神交流指标依照该评测规则依次计算,此处不再一一赘述。
依照该评测规则,例如,用户向虚拟角色A讲话的凝视的时间长度的眼神交流指标为46.64%;用户倾听虚拟角色B凝视的时间长度的眼神交流指标为91.04%;用户向虚拟角色C讲话的凝视的时间长度的眼神交流指标为38.54%;用户倾听虚拟角色B与虚拟角色C交流的凝视的时间长度的眼神交流指标为65.92%。最后,将各个环节眼神交流指标加权求均值得到整段眼神交流指标:
整个练习的评分计算方式(每个环节的评分加权):
(28*68.04+25*49.64%+49*91.04%+19*38.04%+8*65.92%)/121=72.66%
从而,根据测评规则,将用户与虚拟现实设备交互时凝视虚拟角色的时长以及用户眼神停留在虚拟角色以外的其他违规位置的时长,测试用户在与交互过程中的认真程度并由此判断用户的状态。
此外以下作为本实施例的具体示例,参考图6所示,本实施例提供一种算法,通过记录并读取不同场景的原始数据,例如,用户眼神凝视的位置(X,Y,Z)以及其变化;用户眼神凝视的指定位置。虚拟现实设备将原始数据依据该算法计算出测评用户在具体场景下与虚拟现实设备交互的认真程度的具体数据信息,虚拟现实设备将该数据信息发送至用户的终端设备进行显示。并且,虚拟现实设备也会将原始数据测评用户在具体场景下与虚拟现实设备交互的认真程度的具体数据信息上传至云端进行数据备份并更新。以便未来如果硬件进行升级迭代,进行软件更新。
参考图7所示,以教学情景的课程练习为例,虚拟现实设备记录初始化数据:用户讲话时凝视虚拟角色的时长t-speaking、用户倾听时凝视虚拟角色的时长t-listening、用户其他情况下凝视虚拟角色的时长t-others、以及课程练习过程中的暂停时长|(例如角色之间进行切换)t-pause。
进一步地,用户在倾听虚拟角色讲话是通过用户眼神停留位置与当前虚拟角色在读脚本的状态来判定的。当虚拟角色开始讲话后,虚拟现实设备记录t-listening数值,例如用户在倾听虚拟角色A讲话时用户凝视4.5s,则t-listening=4.5s(中间虚拟角色切换的时间不做累积);用户在倾听虚拟角色B讲话时用户凝视3.2s,则t-listening=3.2s,累积数值t-listening=7.7s,以此类推直到整个课程练习结束。在记录t-listening数值总值的同时,将其拆分为多个小段的数值,如t-listening-1代表用户在倾听虚拟角色A讲话时用户凝视的时长;t-listening-2代表用户在倾听虚拟角色B讲话时用户凝视的时长;参考上一步的结果:t-listening=t-listening-1+t-listening-2。以此类推,记录每一个片段的时间长度。
进一步地,用户讲话是通过麦克风收到持续的语音声纹输入,并通过声纹辨别出用户。虚拟现实设备忽略非用户的其他声音,即将用户讲话的声音录入,用户开始讲话时,将用户讲话时的时长进行累计t-speaking。例如,用户讲话5s后,t-speaking=5s(中间虚拟角色切换的时间不做累积);虚拟现实设备主要判定依据麦克风输入的声音。在记录t-speaking数值总值的同时,将其拆分为多个小段的数值,如t-speaking-1代表用户第一段讲话时长;t-speaking-2代表用户第二段讲话时长;参考上一步的结果:t-speaking=t-speaking-1+t-speaking-2。以此类推,记录每一个片段的时间长度。
进一步地,其他情况下凝视虚拟角色的时长t-others参考用户讲话时凝视虚拟角色的时长t-speaking、用户倾听时凝视虚拟角色的时长t-listening,此处不再赘述。其中他情况包括加载课程或者结果评定等。最后,整个课程练习的时长t-total=t-speaking+t-listening+t-others,将整个练习的时长上传至云端进行数据备份。
此外,参考图1所示,根据本实施例的第二个方面,提供了一种存储介质104。所述存储介质104包括存储的程序,其中,在所述程序运行时由处理器执行以上任意一项所述的方法。
从而根据本实施例,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。该方法不需要特定的场景,不需要昂贵的虚拟现实设备就可以在语言教学的应用方面,判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。更加方便,并且能够为用户节约成本。从而解决了现有技术中存在的现有的基于虚拟现实的眼神交流技术只是仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,但是对整个过程的原始数据并没有做采集和保留,更不会对原始数据进行分析处理得到有效利用的数据。另外,能够对原始数据进行采集保存后进行分析的虚拟现实的设备又是定制化的设备,设备的费用及其昂贵并且只能应用于特定场景,不利用普通用户的推广使用的技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图8示出了根据本实施例所述的基于虚拟现实眼神交流的测评装置800,该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示,该装置800包括:测量模块810,用于测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及测评模块820,用于根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
可选地,测量模块810,包括:第一确定子模块,用于确定用户的头部中心位置、头部面向的方向以及最佳视线距离;第二确定子模块,用于根据用户的头部中心位置、头部面向的方向以及最佳视线距离,确定用户所凝视的指定位置的位置信息;以及第三确定子模块,用于确定用户凝视指定位置的时间长度。
可选地,虚拟现实场景为用户倾听虚拟角色讲话的场景,并且测量模块810,包括:测量倾听子模块,用于测量用户凝视虚拟角色的时间长度。
可选地,虚拟现实场景为用户对虚拟角色讲话的场景,并且测量模块810,包括:测量讲话子模块,用于测量用户凝视虚拟角色的时间长度。
可选地,测评模块820,包括:测量违规子模块,用于测量用户凝视违规位置的时间长度;以及测评子模块,用于根据与虚拟现实场景对应的测评规则、用户凝视指定位置的时间长度以及用户凝视违规位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
从而根据本实施例,基于虚拟现实眼神交流的测评装置800,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。该方法不需要特定的场景,不需要昂贵的虚拟现实设备就可以在语言教学的应用方面,判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。更加方便,并且能够为用户节约成本。从而解决了现有技术中存在的现有的基于虚拟现实的眼神交流技术只是仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,但是对整个过程的原始数据并没有做采集和保留,更不会对原始数据进行分析处理得到有效利用的数据。另外,能够对原始数据进行采集保存后进行分析的虚拟现实的设备又是定制化的设备,设备的费用及其昂贵并且只能应用于特定场景,不利用普通用户的推广使用的技术问题。
实施例3
图9示出了根据本实施例所述的基于虚拟现实眼神交流的测评装置900,该装置900与根据实施例1的第一个方面所述的方法相对应。参考图9所示,该装置900包括:处理器910;以及存储器920,与处理器910连接,用于为处理器910提供处理以下处理步骤的指令:测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
可选地,测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:确定用户的头部中心位置、头部面向的方向以及最佳视线距离;根据用户的头部中心位置、头部面向的方向以及最佳视线距离,确定用户所凝视的指定位置的位置信息;以及确定用户凝视指定位置的时间长度。
可选地,虚拟现实场景为用户倾听虚拟角色讲话的场景,并且测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量用户凝视虚拟角色的时间长度。
可选地,虚拟现实场景为用户对虚拟角色讲话的场景,并且测量用户在虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量用户凝视虚拟角色的时间长度。
可选地,根据与虚拟现实场景对应的测评规则以及用户凝视指定位置的时间长度,测评与用户的眼神交流相关的眼神交流指标,包括:
测量用户凝视违规位置的时间长度;以及根据与虚拟现实场景对应的测评规则、用户凝视指定位置的时间长度以及用户凝视违规位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
从而根据本实施例,基于虚拟现实眼神交流的测评装置900,通过测量用户在虚拟场景中的凝视指定位置的时间长度的相关数据,根据相应的规则将这个数据转换成用户测评用户的眼神交流相关的眼神交流指标的有效的数据。该方法不需要特定的场景,不需要昂贵的虚拟现实设备就可以在语言教学的应用方面,判断用户在学习过程中的认真程度,由此推算用户对所学内容的掌握程度;或者在技能培训的应用方面,判断用户的技能高低等等。更加方便,并且能够为用户节约成本。从而解决了现有技术中存在的现有的基于虚拟现实的眼神交流技术只是仅仅对用户眼神的“凝视”做一个简单的是/否逻辑判断,但是对整个过程的原始数据并没有做采集和保留,更不会对原始数据进行分析处理得到有效利用的数据。另外,能够对原始数据进行采集保存后进行分析的虚拟现实的设备又是定制化的设备,设备的费用及其昂贵并且只能应用于特定场景,不利用普通用户的推广使用的技术问题。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于虚拟现实眼神交流的测评方法,运行于虚拟现实设备,其特征在于,包括:
测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及
根据与所述虚拟现实场景对应的测评规则以及所述用户凝视所述指定位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标。
2.根据权利要求1所述的方法,其特征在于,测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:
确定所述用户的头部中心位置、头部面向的方向以及最佳视线距离;
根据所述用户的头部中心位置、头部面向的方向以及最佳视线距离,确定所述用户所凝视的最佳视线范围面积;以及
确定所述指定位置位于所述最佳视线范围面积内的时间长度。
3.根据权利要求1所述的方法,其特征在于,所述虚拟现实场景为所述用户倾听虚拟角色讲话的场景,并且测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量所述用户凝视所述虚拟角色的时间长度。
4.根据权利要求1所述的方法,其特征在于,所述虚拟现实场景为所述用户对虚拟角色讲话的场景,并且测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度,包括:测量所述用户凝视所述虚拟角色的时间长度。
5.根据权利要求1所述的方法,其特征在于,根据与所述虚拟现实场景对应的测评规则以及所述用户凝视所述指定位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标,包括:
测量所述用户凝视违规位置的时间长度;以及
根据与所述虚拟现实场景对应的测评规则、所述用户凝视所述指定位置的时间长度以及所述用户凝视所述违规位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标。
6.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时由处理器执行权利要求1至5中任意一项所述的方法。
7.一种基于虚拟现实眼神交流的测评装置,其特征在于,包括:
测量模块,用于测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及
测评模块,用于根据与所述虚拟现实场景对应的测评规则以及所述用户凝视所述指定位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标。
8.根据权利要求7所述的装置,其特征在于,测量模块,包括:
第一确定子模块,用于确定所述用户的头部中心位置、头部面向的方向以及最佳视线距离;
第二确定子模块,用于根据所述用户的头部中心位置、头部面向的方向以及最佳视线距离,确定所述用户所凝视的所述指定位置的位置信息;以及
第三确定子模块,用于确定所述用户凝视所述指定位置的时间长度。
9.根据权利要求7所述的装置,其特征在于,测评模块,包括:
测量违规子模块,用于测量用户凝视违规位置的时间长度;以及
测评子模块,用于根据与虚拟现实场景对应的测评规则、用户凝视指定位置的时间长度以及用户凝视违规位置的时间长度,测评与用户的眼神交流相关的眼神交流指标。
10.一种基于虚拟现实眼神交流的测评装置,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供处理以下处理步骤的指令:
测量用户在所述虚拟现实设备产生的虚拟现实场景中凝视指定位置的时间长度;以及
根据与所述虚拟现实场景对应的测评规则以及所述用户凝视所述指定位置的时间长度,测评与所述用户的眼神交流相关的眼神交流指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911202393.3A CN111078006A (zh) | 2019-11-29 | 2019-11-29 | 基于虚拟现实眼神交流的测评方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911202393.3A CN111078006A (zh) | 2019-11-29 | 2019-11-29 | 基于虚拟现实眼神交流的测评方法、装置以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111078006A true CN111078006A (zh) | 2020-04-28 |
Family
ID=70312109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911202393.3A Pending CN111078006A (zh) | 2019-11-29 | 2019-11-29 | 基于虚拟现实眼神交流的测评方法、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111078006A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155326A (zh) * | 2016-07-26 | 2016-11-23 | 北京小米移动软件有限公司 | 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备 |
CN108345386A (zh) * | 2018-02-09 | 2018-07-31 | 万间网络科技(天津)有限公司 | 基于虚拟现实技术实现施工安全考核的方法和装置 |
CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
US20190224568A1 (en) * | 2016-12-06 | 2019-07-25 | Tencent Technology (Shenzhen) Company Limited | Prompt method and related apparatus in virtual scene, and computer storage medium |
CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
-
2019
- 2019-11-29 CN CN201911202393.3A patent/CN111078006A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155326A (zh) * | 2016-07-26 | 2016-11-23 | 北京小米移动软件有限公司 | 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备 |
US20190224568A1 (en) * | 2016-12-06 | 2019-07-25 | Tencent Technology (Shenzhen) Company Limited | Prompt method and related apparatus in virtual scene, and computer storage medium |
CN108345386A (zh) * | 2018-02-09 | 2018-07-31 | 万间网络科技(天津)有限公司 | 基于虚拟现实技术实现施工安全考核的方法和装置 |
CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10786149B2 (en) | Head-mounted display for performing ophthalmic examinations | |
CN106462864A (zh) | 生成基于网络的广告库存以及定位基于网络的广告的方法 | |
KR20160117097A (ko) | 추정필터를 이용한 교육 성과 예측 방법 및 시스템 | |
CN103444160B (zh) | 话务员评价支援装置、话务员评价支援方法 | |
FI20195293A1 (en) | Customer terminal device, host computer, system and procedure for a virtual object in augmented reality | |
KR102150483B1 (ko) | Vr 컨텐츠의 멀미도 측정 및 저감 시스템, 그리고 그 방법 | |
KR101216316B1 (ko) | 사용자 단말기를 이용한 자기 관리 방법 및 상기 방법을 수행하는 시스템 | |
CN111639218A (zh) | 一种口语训练的交互方法及终端设备 | |
US20220036427A1 (en) | Method for managing immersion level and electronic device supporting same | |
KR101498593B1 (ko) | 게임 또는 인터넷 중독 평가 장치 및 방법 | |
CN108388338B (zh) | 一种基于vr设备的控制方法及系统 | |
CN111159379B (zh) | 一种自动出题方法、装置及系统 | |
CN111078006A (zh) | 基于虚拟现实眼神交流的测评方法、装置以及存储介质 | |
JP2019126423A (ja) | 聴覚的注意推定装置、聴覚的注意推定方法、プログラム | |
CN115116088A (zh) | 近视预测方法、装置、存储介质和程序产品 | |
CN113680071A (zh) | 电子勋章生成方法、装置、设备及存储介质 | |
JP7087804B2 (ja) | コミュニケーション支援装置、コミュニケーション支援システム及び通信方法 | |
CN113673811A (zh) | 一种基于session的在线学习绩效评估方法及装置 | |
KR101700146B1 (ko) | 경도 인지 장애(mci) 재활 치료 방법 | |
CN111580641A (zh) | 基于vr的模拟军事决策效能监测预警系统 | |
KR101845301B1 (ko) | 사용자 단말에 의해 수집된 사용자 정보를 아바타를 통해 제공하는 방법, 서버 및 컴퓨터 판독가능 기록매체 | |
CN112419112B (zh) | 学业成长曲线生成方法、装置、电子设备和存储介质 | |
KR102606862B1 (ko) | 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법 | |
KR20200010733A (ko) | 가상 현실 기기의 멀미를 약화시키기 위한 가상 현실 멀미 측정 장치 및 방법 | |
KR102562814B1 (ko) | 게임 캐릭터 세팅 변경 장치 및 게임 캐릭터 세팅 변경 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |