CN112346568B - 基于计数器和脑电波的vr试题动态呈现方法和装置 - Google Patents

基于计数器和脑电波的vr试题动态呈现方法和装置 Download PDF

Info

Publication number
CN112346568B
CN112346568B CN202011223714.0A CN202011223714A CN112346568B CN 112346568 B CN112346568 B CN 112346568B CN 202011223714 A CN202011223714 A CN 202011223714A CN 112346568 B CN112346568 B CN 112346568B
Authority
CN
China
Prior art keywords
counter
user
preset
brain wave
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011223714.0A
Other languages
English (en)
Other versions
CN112346568A (zh
Inventor
马赫
邓仕平
董淑娟
倪小明
郭南明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangcai Technology Guangzhou Group Co ltd
Original Assignee
Guangzhou Nanfang Human Resources Evaluation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Nanfang Human Resources Evaluation Center Co ltd filed Critical Guangzhou Nanfang Human Resources Evaluation Center Co ltd
Priority to CN202011223714.0A priority Critical patent/CN112346568B/zh
Publication of CN112346568A publication Critical patent/CN112346568A/zh
Application granted granted Critical
Publication of CN112346568B publication Critical patent/CN112346568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请揭示了一种基于计数器和脑电波的VR试题动态呈现方法和装置,激活第一计数器,采集第一脑电波数据;得到实时瞳孔图像;若目光聚焦于第一VR试题的开始之处,则激活第二计数器,采集第二脑电波数据;若目光聚焦于第一VR试题的结尾之处,则激活第三计数器,采集第三脑电波数据;调取标准脑电波数据;获取最后一个脑电波频率波动时间点;截取参考脑电波数据段;计算相似度值;若相似度值大于相似度阈值,则激活第四计数器,持续采集第四脑电波数据;将第一读数、第一脑电波数据、第二读数、第二脑电波数据、第三读数、第三脑电波数据、第四读数和第四脑电波数据,输入时间预测模型中,得到跳转时间点;进行试题跳转操作,呈现第二VR试题。

Description

基于计数器和脑电波的VR试题动态呈现方法和装置
技术领域
本申请涉及到计算机领域,特别是涉及到一种基于计数器和脑电波的VR试题动态呈现方法、装置、计算机设备和存储介质。
背景技术
VR技术在教育领域中的应用中,在教学与测试等方面具有独特的优势,例如采用VR技术对学生的水平进行测试,能够有效防止作弊行为的发生。其中,传统方案会在VR试题的展示过程中采用试题自动跳转的方式来实现,但是不同被测试者对于不同试题需要花费的时间均不同(原因有很多,例如包括人的自然生理原因、本征习惯(例如读题速度,思维方式等)和知识掌握程度的不同,导致解题时间不同),因此传统方案无法对不同被测试者及不同试题针对性给出准确地跳转时间,从而存在时间浪费(被测试者若不手动跳转或者无法手动跳转,则需要等待)或者数据处理量变大(需要增加手动跳转机制)等缺陷。
发明内容
本申请提出一种基于计数器和脑电波的VR试题动态呈现方法,包括以下步骤:
S1、通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
S2、利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
S3、根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
S4、若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
S5、对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
S6、若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
S7、若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
S8、从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
S9、找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
S10、从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
S11、根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
S12、若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
S13、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S14、在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
进一步地,所述根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处的步骤S3,包括:
S301、在所述使用者所处的VR空间内,依次在使用者的三个第一景深位置处临时展现三个呈第一颜色的插入物,其中所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等;
S302、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第一颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第一参考瞳孔图像,并分别获取三个第一参考瞳孔图像中瞳孔相对于图像中心的三个第一相对位置;
S303、在所述使用者所处的VR空间内,依次在使用者的三个第二景深位置处临时展现三个呈第二颜色的插入物,其中所述三个第二景深位置处与所述使用者在VR空间内的第二距离相等,并且第一距离与第二距离不相等;
S304、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第二颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第二参考瞳孔图像,并分别获取三个第二参考瞳孔图像中瞳孔相对于图像中心的三个第二相对位置;
……
S305、在所述使用者所处的VR空间内,依次在使用者的三个第n景深位置处临时展现三个呈第n颜色的插入物,其中所述三个第n景深位置处与所述使用者在VR空间内的第n距离相等,并且第n距离与第一距离、第二距离、…、第n-1距离中的任一个均不相等;
S306、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第三颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第n参考瞳孔图像,并分别获取三个第n参考瞳孔图像中瞳孔相对于图像中心的三个第n相对位置;
S307、获取所述实时瞳孔图像的瞳孔相对于图像中心的实时相对位置,并根据所述三个第一相对位置、三个第二相对位置、…、和三个第n相对位置,计算出与所述实时相对位置对应的所述使用者的目光聚焦处,并判断所述使用者的目光聚焦处是否为所述第一VR试题的开始之处;
S308、若所述使用者的目光聚焦处是否为所述第一VR试题的开始之处,则判定所述使用者的目光聚焦于所述第一VR试题的开始之处。
进一步地,所述对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值的步骤S5之后,包括:
S51、若所述第二脑电波数据中的脑电波频率超过预设的频率阈值,则在未激活预设的第三计数器的情况下直接激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,第四计数速度大于所述第二计数速度;第二时间窗口的截止点为直接激活预设的第四计数器的激活时间点;
S52、将第三计数器的第三读数设置为预设数值,并将预设的第三脑电波数据设置为空集;
S53、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、第三计数器的第三读数、第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S54、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
进一步地,所述根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值的步骤S11之后,包括:
S111、若所述相似度值不大于预设的相似度阈值,则将第四计数器的第四读数设置为预设数值,并将预设的第四脑电波数据设置为空集;
S112、将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;
S113、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
进一步地,所述在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成的步骤S13之前,包括:
S121、调取预先收集的预设数量的样本数据,其中所述样本数据由第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数、训练用第四脑电波数据和人工标注的跳转时间点构成;其中,第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数和训练用第四脑电波数据均是对在VR场景中对一个VR试题进行成功解题的解题者进行分阶段计数和脑电波数据采集得到;
S122、将样本数据按预设比例划分为训练数据和验证数据,并调取预设的神经网络模型;
S123、将训练数据输入神经网络模型中进行训练,从而得到中间模型;
S124、利用验证数据对中间模型进行验证处理,以得到验证结果,并判断验证结果是否为验证通过;
S125、若验证结果为验证通过,则将所述中间模型记为时间预测模型。
本申请提供一种基于计数器和脑电波的VR试题动态呈现装置,包括:
第一计数器激活单元,用于通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
实时瞳孔图像获取单元,用于利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
目光聚集处第一判断单元,用于根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
第二计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
频率阈值判断单元,用于对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
目光聚集处第二判断单元,用于若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
第三计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
标准脑电波数据调取单元,用于从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
脑电波频率波动时间点获取单元,用于找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
参考脑电波数据段截取单元,用于从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
相似度值计算单元,用于根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
第四计数器激活单元,用于若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
跳转时间点获取单元,用于在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
第二VR试题呈现单元,用于在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于计数器和脑电波的VR试题动态呈现方法、装置、计算机设备和存储介质,能够实现特异化地试题动态跳转(呈现),其中,特异化有两个方面的含义,第一层含义为,针对不同的被测试者(即使用者)提供不同的准确跳转时间;第二层含义为,针对不同的VR试题,提供不同的准确跳转时间。并且本申请采用时间四分法(并且分出的不同阶段的计数速度不同)及脑电波数据分析法,以确定使用者在处理VR试题时的不同思考阶段,并以此为分析依据以得到准确的跳转时间。从而,使用者无需花过长时间等待,也无需进行手动跳转操作,有利于保持使用者在VR场景中的解题思绪的连贯性。
附图说明
图1-2为本申请一实施例的基于计数器和脑电波的VR试题动态呈现方法的流程示意图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1-2,本申请实施例提供一种基于计数器和脑电波的VR试题动态呈现方法,包括以下步骤:
S1、通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
S2、利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
S3、根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
S4、若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
S5、对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
S6、若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
S7、若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
S8、从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
S9、找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
S10、从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
S11、根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
S12、若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
S13、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S14、在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
如上述步骤S1-S4所述,通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点。本申请中的VR眼镜可采用任意可行原理实现,例如采用双眼视差原理。使用者答复第一VR试题时可采用任意可行方式进行答题,例如使用者握有感应笔,感应笔的笔尖预设有传感器以感应考生在答题时的笔尖的轨迹,从而得到使用者的书写内容,并将书写内容实时反应在第一VR试题的答题区域内。本申请还设计有四个计数器,用以根据不同的计数速度对使用者在对第一VR试题的试题展示阶段、阅读试题阶段、理解试题阶段和具有思路从而开始构思答案阶段这四个阶段进行分别计数,以得到不同的阶段数据,而这四个阶段分别以四个不同的计数器以不同的计数速度进行计数。本申请之所以将答题过程(也是试题展示之初至跳转时间点的过程)划分为这四个阶段,是因为本申请分析得出,不同的人针对不同的VR试题,其在各个阶段中花费的时间不同,而不同阶段中花费的时间将影响解答出VR试题的总时间,例如某人阅读速度快于常人(这是由于人的自然属性决定的,一方面来自于天赋,另一方面来自于后天训练,但的确是因人而异),其在阅读阶段费时较少,那么在其他阶段与常人差异不大的情况下,则该人的理论跳转时间应更短。另外,在此需要强调的地方在于,本申请的四个计数器的计数速度是不同的,这是因为不同阶段花费的时间对于整个跳转时间的贡献权重不同,例如VR试题展示时,使用者未能快速集中注意力,以开始阅读VR试题(这就是VR试题展示阶段),这个阶段的计数速度最慢,因此最后的示数相对而言较小(相较于未调速度的情况),是因为这个阶段对于跳转时间的贡献最小;其他三个阶段也类似,在此不一一列举,但其他三个阶段的计数速度依次提高,并反应在最后的计数器读数上。因此,本申请的一个特点在于,采用四个计数器对于四个不同阶段进行分别计数,并且四个计数器的计数速度不同,从而使得最终的跳转时间预测具有更详细更可靠的数据支持,从而能够得到更准确的跳转时间。其中,在展示第一VR试题的同时激活预设的第一计数器,即第一计数器是第一个阶段(VR试题展示阶段)之初即已激活。同时,还在第一时间窗口内采集所述使用者的第一脑电波数据,以进一步作为跳转时间预测的依据。再利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像。其中本申请在整个VR过程中均对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像,而实时瞳孔图像可作为使用者目光聚焦处的分析依据。根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处,其中,图像分析方法可采用任意可行方法,例如通过分析瞳仁的相对位置,以确定聚集位置。其中,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处,目的在于确定使用者是否开始阅读第一VR试题了,从而确定是否进入了下一个阶段,即阅读试题阶段。若所述使用者的目光聚焦于所述第一VR试题的开始之处,表明进入了阅读试题阶段,因此激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据。本申请的另外一个特点在于,每个阶段的脑电波数据采集的窗口的截止时间不是固定的,其取决因素例如为下个阶段的开始之时,例如所述第一时间窗口的截止点为所述第二计数器的激活时间点,而所述第二计数器的激活时间点在未进行图像分析之前是未知的,通过这样的动态设计,使得本申请的阶段划分与脑电波采集更加准确,这也是本申请的一个特点。
进一步地,所述根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处的步骤S3,包括:
S301、在所述使用者所处的VR空间内,依次在使用者的三个第一景深位置处临时展现三个呈第一颜色的插入物,其中所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等;
S302、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第一颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第一参考瞳孔图像,并分别获取三个第一参考瞳孔图像中瞳孔相对于图像中心的三个第一相对位置;
S303、在所述使用者所处的VR空间内,依次在使用者的三个第二景深位置处临时展现三个呈第二颜色的插入物,其中所述三个第二景深位置处与所述使用者在VR空间内的第二距离相等,并且第一距离与第二距离不相等;
S304、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第二颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第二参考瞳孔图像,并分别获取三个第二参考瞳孔图像中瞳孔相对于图像中心的三个第二相对位置;
……
S305、在所述使用者所处的VR空间内,依次在使用者的三个第n景深位置处临时展现三个呈第n颜色的插入物,其中所述三个第n景深位置处与所述使用者在VR空间内的第n距离相等,并且第n距离与第一距离、第二距离、…、第n-1距离中的任一个均不相等;
S306、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第三颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第n参考瞳孔图像,并分别获取三个第n参考瞳孔图像中瞳孔相对于图像中心的三个第n相对位置;
S307、获取所述实时瞳孔图像的瞳孔相对于图像中心的实时相对位置,并根据所述三个第一相对位置、三个第二相对位置、…、和三个第n相对位置,计算出与所述实时相对位置对应的所述使用者的目光聚焦处,并判断所述使用者的目光聚焦处是否为所述第一VR试题的开始之处;
S308、若所述使用者的目光聚焦处是否为所述第一VR试题的开始之处,则判定所述使用者的目光聚焦于所述第一VR试题的开始之处。
从而实现准确地图像分析,以提高目光聚焦处的定位准确性。传统的VR场景中,对于目光聚焦处的位置确定不会考虑景深问题,其目光聚焦处的位置确定较为粗犷,然而对于本申请的VR试题,需要更为准确的目光定位,因此本申请采用了特别设计,以提高定位准确性。其中,所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等,指的是这三个位置的景深距离相等,为方便说明起见,以真实空间的位置进行类比解释说明,真实空间的第一景深位置离人眼或者摄像机的距离(景深距离)相等,在VR空间中,即是所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等。通过这种方式,本申请实现了目光聚焦处的准确定位。再判断目光聚焦处是否为第一VR试题的开始之处,就能确定进行所述使用者的目光聚焦于所述第一VR试题的开始之的判断,从而确定是否应当激活第二计数器。
如上述步骤S5-S7所述,对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点。脑电波是人脑行为的电学表达,其分析可采用任意可行的方式进行分析,例如进行频率分析,以确定脑电波波形等。
脑电波是一些自发的有节律的神经电活动,一般而言,其频率变动范围在每秒1-30次之间的,可根据频率的不同而划分为四个波段。本申请对第二脑电波数据分析采用的即是基于频率的分析,若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,表明使用者的脑部未足够的兴奋,即使用者并未找出合适的解题思路,仍处于解题前的题目理解阶段;反之,若所述第二脑电波数据中的脑电波频率超过预设的频率阈值,表明使用者的脑部足够的兴奋,即使用者在未完全读完题的情况下就已经找出合适的解题思路,表明使用者已进入了开始构思答案阶段,此时对应地应该开始第四计数器的计数。其中,所述频率阈值可为任意可行数值,例如为10-20HZ,13-17HZ。对于一般使用者,多是在读完题前仍未有解题思路,本申请则在使用者读完题时进行第三计数器的计数,即若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据。同样的,第三脑电波数据的第三时间窗口的截止时间也是动态的,与第二时间窗口类似,在此不再赘述。
进一步地,所述对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值的步骤S5之后,包括:
S51、若所述第二脑电波数据中的脑电波频率超过预设的频率阈值,则在未激活预设的第三计数器的情况下直接激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,第四计数速度大于所述第二计数速度;第二时间窗口的截止点为直接激活预设的第四计数器的激活时间点;
S52、将第三计数器的第三读数设置为预设数值,并将预设的第三脑电波数据设置为空集;
S53、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、第三计数器的第三读数、第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S54、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
从而实现了针对性地动态呈现第二VR试题。若所述第二脑电波数据中的脑电波频率超过预设的频率阈值,表明使用者更早进入了解题阶段,因此无需激活第三计数器,而只需直接激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据。需要注意的是,此时,第二时间窗口的截止点为直接激活预设的第四计数器的激活时间点。同时,将第三计数器的第三读数设置为预设数值,并将预设的第三脑电波数据设置为空集,再利用时间预测模型对所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、第三计数器的第三读数、第三脑电波数据、第四计数器的第四读数和第四脑电波数据进行处理,以得到跳转时间点,进而根据跳转时间点进行跳转VR试题,从而完成个性化的准确及时的VR试题跳转。
如上述步骤S8-S11所述,从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值。其中,调取标准脑电波数据,并截取指定时间长度的参考脑电波数据段的目的在于,找出所述使用者在开始解答VR试题时脑电波特征,以此作为确定所述使用者在处理第一VR试题时进入正式解答阶段时的准确时间点。一般而言,在解题时的解题思路出现时,是最后一个脑电波频率波动时间点,据此截取出参考脑电波数据段。所述相似度计算方法可为任意可行方法,例如计算所述第三脑电波数据与所述参考脑电波数据段之间的波形相似度,或者将所述第三脑电波数据与所述参考脑电波数据段分别映射为向量(通过将时间顺序的脑电波具体数值分为分向量数值,从而构成整体向量),再根据余弦公式计算向量间的相似度。其中,所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值,变化阈值可为任意可行数值,例如为10-20HZ、13-17HZ,15HZ等。进一步地,所述变化阈值可根据使用者进行具体设置。
进一步地,所述根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值的步骤S11之后,包括:
S111、若所述相似度值不大于预设的相似度阈值,则将第四计数器的第四读数设置为预设数值,并将预设的第四脑电波数据设置为空集;
S112、将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;
S113、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
从而实现针对于无法正确解题的使用者动态跳转至第二VR试题。若所述相似度值不大于预设的相似度阈值,则表示使用者没有很好的解题思路,因此不正式激活第四计数器,而将第四计数器的第四读数设置为预设数值,并将预设的第四脑电波数据设置为空集,再利用时间预测模型进行处理以得到跳转时间点,并进行跳转操作,以防止出现使用者长时间留滞于无法解答的题目的困境。
如上述步骤S12-S14所述,若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。若所述相似度值大于预设的相似度阈值,表明所述使用者已开始进入活跃思考阶段,即具有解题思路,因此激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据。需要注意的是,第四计数器的时间窗口与前几个计数器的时间窗口不同,第四计数器的时间窗口是固定的,即是预设的间隔时间,这是第四计算器与前三个计数器的一大区别。再将将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点。由于所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成,例如采用监督学习的方式训练而成,因此所述时间预测模型能够胜任跳转时间点预测工作。并在跳转时间点到来之时执行VR试题跳转操作,即可向所述使用者呈现第二VR试题,从而实现特异性地VR试题动态呈现过程。
进一步地,所述在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成的步骤S13之前,包括:
S121、调取预先收集的预设数量的样本数据,其中所述样本数据由第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数、训练用第四脑电波数据和人工标注的跳转时间点构成;其中,第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数和训练用第四脑电波数据均是对在VR场景中对一个VR试题进行成功解题的解题者进行分阶段计数和脑电波数据采集得到;
S122、将样本数据按预设比例划分为训练数据和验证数据,并调取预设的神经网络模型;
S123、将训练数据输入神经网络模型中进行训练,从而得到中间模型;
S124、利用验证数据对中间模型进行验证处理,以得到验证结果,并判断验证结果是否为验证通过;
S125、若验证结果为验证通过,则将所述中间模型记为时间预测模型。
从而获取时间预测模型。由于训练数据是由样本数据中划分出来的,且样本数据由第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数、训练用第四脑电波数据和人工标注的跳转时间点构成;其中,第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数和训练用第四脑电波数据均是对在VR场景中对一个VR试题进行成功解题的解题者进行分阶段计数和脑电波数据采集得到,并且时间预测模型是根据这些数据训练而成,因此能够胜任跳转时间点预测任务。其中,神经网络模型可为任意可行模型,例如为BP神经网络模型、长短期记忆神经网络模型、卷积神经网络模型、深度学习神经网络模型等。所述预设数量例如为10000-100000,所述预设比例例如为8:2-9:1。训练采用的是有监督学习的训练方式。
本申请的基于计数器和脑电波的VR试题动态呈现方法,能够实现特异化地试题动态跳转(呈现),其中,特异化有两个方面的含义,第一层含义为,针对不同的被测试者(即使用者)提供不同的准确跳转时间;第二层含义为,针对不同的VR试题,提供不同的准确跳转时间。并且本申请采用时间四分法(并且分出的不同阶段的计数速度不同)及脑电波数据分析法,以确定使用者在处理VR试题时的不同思考阶段,并以此为分析依据以得到准确的跳转时间。从而,使用者无需花过长时间等待,也无需进行手动跳转操作,有利于保持使用者在VR场景中的解题思绪的连贯性。
本申请实施例提供一种基于计数器和脑电波的VR试题动态呈现装置,包括:
第一计数器激活单元,用于通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
实时瞳孔图像获取单元,用于利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
目光聚集处第一判断单元,用于根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
第二计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
频率阈值判断单元,用于对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
目光聚集处第二判断单元,用于若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
第三计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
标准脑电波数据调取单元,用于从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
脑电波频率波动时间点获取单元,用于找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
参考脑电波数据段截取单元,用于从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
相似度值计算单元,用于根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
第四计数器激活单元,用于若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
跳转时间点获取单元,用于在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
第二VR试题呈现单元,用于在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
其中上述单元分别用于执行的操作与前述实施方式的基于计数器和脑电波的VR试题动态呈现方法的步骤一一对应,在此不再赘述。
本申请的基于计数器和脑电波的VR试题动态呈现装置,能够实现特异化地试题动态跳转(呈现),其中,特异化有两个方面的含义,第一层含义为,针对不同的被测试者(即使用者)提供不同的准确跳转时间;第二层含义为,针对不同的VR试题,提供不同的准确跳转时间。并且本申请采用时间四分法(并且分出的不同阶段的计数速度不同)及脑电波数据分析法,以确定使用者在处理VR试题时的不同思考阶段,并以此为分析依据以得到准确的跳转时间。从而,使用者无需花过长时间等待,也无需进行手动跳转操作,有利于保持使用者在VR场景中的解题思绪的连贯性。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于计数器和脑电波的VR试题动态呈现方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于计数器和脑电波的VR试题动态呈现方法。
上述处理器执行上述基于计数器和脑电波的VR试题动态呈现方法,其中所述方法包括的步骤分别与执行前述实施方式的基于计数器和脑电波的VR试题动态呈现方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,能够实现特异化地试题动态跳转(呈现),其中,特异化有两个方面的含义,第一层含义为,针对不同的被测试者(即使用者)提供不同的准确跳转时间;第二层含义为,针对不同的VR试题,提供不同的准确跳转时间。并且本申请采用时间四分法(并且分出的不同阶段的计数速度不同)及脑电波数据分析法,以确定使用者在处理VR试题时的不同思考阶段,并以此为分析依据以得到准确的跳转时间。从而,使用者无需花过长时间等待,也无需进行手动跳转操作,有利于保持使用者在VR场景中的解题思绪的连贯性。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现基于计数器和脑电波的VR试题动态呈现方法,其中所述方法包括的步骤分别与执行前述实施方式的基于计数器和脑电波的VR试题动态呈现方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,能够实现特异化地试题动态跳转(呈现),其中,特异化有两个方面的含义,第一层含义为,针对不同的被测试者(即使用者)提供不同的准确跳转时间;第二层含义为,针对不同的VR试题,提供不同的准确跳转时间。并且本申请采用时间四分法(并且分出的不同阶段的计数速度不同)及脑电波数据分析法,以确定使用者在处理VR试题时的不同思考阶段,并以此为分析依据以得到准确的跳转时间。从而,使用者无需花过长时间等待,也无需进行手动跳转操作,有利于保持使用者在VR场景中的解题思绪的连贯性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序或指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种基于计数器和脑电波的VR试题动态呈现方法,其特征在于,包括:
S1、通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
S2、利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
S3、根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
S4、若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
S5、对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
S6、若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
S7、若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
S8、从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
S9、找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
S10、从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
S11、根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
S12、若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
S13、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S14、在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题;
所述根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处的步骤S3,包括:
S301、在所述使用者所处的VR空间内,依次在使用者的三个第一景深位置处临时展现三个呈第一颜色的插入物,其中所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等;
S302、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第一颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第一参考瞳孔图像,并分别获取三个第一参考瞳孔图像中瞳孔相对于图像中心的三个第一相对位置;
S303、在所述使用者所处的VR空间内,依次在使用者的三个第二景深位置处临时展现三个呈第二颜色的插入物,其中所述三个第二景深位置处与所述使用者在VR空间内的第二距离相等,并且第一距离与第二距离不相等;
S304、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第二颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第二参考瞳孔图像,并分别获取三个第二参考瞳孔图像中瞳孔相对于图像中心的三个第二相对位置;
……
S305、在所述使用者所处的VR空间内,依次在使用者的三个第n景深位置处临时展现三个呈第n颜色的插入物,其中所述三个第n景深位置处与所述使用者在VR空间内的第n距离相等,并且第n距离与第一距离、第二距离、…、第n-1距离中的任一个均不相等;
S306、利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第三颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第n参考瞳孔图像,并分别获取三个第n参考瞳孔图像中瞳孔相对于图像中心的三个第n相对位置;
S307、获取所述实时瞳孔图像的瞳孔相对于图像中心的实时相对位置,并根据所述三个第一相对位置、三个第二相对位置、…、和三个第n相对位置,计算出与所述实时相对位置对应的所述使用者的目光聚焦处,并判断所述使用者的目光聚焦处是否为所述第一VR试题的开始之处;
S308、若所述使用者的目光聚焦处是否为所述第一VR试题的开始之处,则判定所述使用者的目光聚焦于所述第一VR试题的开始之处;
其中,所述时间预测模型采用的是有监督学习的训练方式。
2.根据权利要求1所述的基于计数器和脑电波的VR试题动态呈现方法,其特征在于,所述对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值的步骤S5之后,包括:
S51、若所述第二脑电波数据中的脑电波频率超过预设的频率阈值,则在未激活预设的第三计数器的情况下直接激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,第四计数速度大于所述第二计数速度;第二时间窗口的截止点为直接激活预设的第四计数器的激活时间点;
S52、将第三计数器的第三读数设置为预设数值,并将预设的第三脑电波数据设置为空集;
S53、在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、第三计数器的第三读数、第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
S54、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
3.根据权利要求1所述的基于计数器和脑电波的VR试题动态呈现方法,其特征在于,所述根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值的步骤S11之后,包括:
S111、若所述相似度值不大于预设的相似度阈值,则将第四计数器的第四读数设置为预设数值,并将预设的第四脑电波数据设置为空集;
S112、将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、第四计数器的第四读数和第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;
S113、在跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题。
4.根据权利要求1所述的基于计数器和脑电波的VR试题动态呈现方法,其特征在于,所述在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成的步骤S13之前,包括:
S121、调取预先收集的预设数量的样本数据,其中所述样本数据由第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数、训练用第四脑电波数据和人工标注的跳转时间点构成;其中,第一计数器的训练用第一读数、训练用第一脑电波数据、第二计数器的训练用第二读数、训练用第二脑电波数据、第三计数器的训练用第三读数、训练用第三脑电波数据、第四计数器的训练用第四读数和训练用第四脑电波数据均是对在VR场景中对一个VR试题进行成功解题的解题者进行分阶段计数和脑电波数据采集得到;
S122、将样本数据按预设比例划分为训练数据和验证数据,并调取预设的神经网络模型;
S123、将训练数据输入神经网络模型中进行训练,从而得到中间模型;
S124、利用验证数据对中间模型进行验证处理,以得到验证结果,并判断验证结果是否为验证通过;
S125、若验证结果为验证通过,则将所述中间模型记为时间预测模型。
5.一种基于计数器和脑电波的VR试题动态呈现装置,其特征在于,包括:
第一计数器激活单元,用于通过预设的VR眼镜,向穿戴所述VR眼镜的使用者展示预设的第一VR试题,在展示第一VR试题的同时激活预设的第一计数器,并利用所述VR眼镜上预设的脑电波采集装置,在第一时间窗口内采集所述使用者的第一脑电波数据;其中所述第一计数器以第一计数速度进行计数;
实时瞳孔图像获取单元,用于利用所述VR眼镜上的内置摄像头,对所述使用者的眼部进行实时图像采集处理,从而得到实时瞳孔图像;
目光聚集处第一判断单元,用于根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处;
第二计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的开始之处,则激活预设的第二计数器,并利用所述脑电波采集装置,在第二时间窗口内采集所述使用者的第二脑电波数据;其中所述第二计数器以第二计数速度进行计数,所述第二计数速度大于所述第一计数速度;所述第一时间窗口的截止点为所述第二计数器的激活时间点;
频率阈值判断单元,用于对所述第二脑电波数据进行实时分析,以判断所述第二脑电波数据中的脑电波频率是否超过预设的频率阈值;
目光聚集处第二判断单元,用于若所述第二脑电波数据中的脑电波频率未超过预设的频率阈值,则根据所述实时瞳孔图像,判断所述使用者的目光是否聚焦于所述第一VR试题的结尾之处;
第三计数器激活单元,用于若所述使用者的目光聚焦于所述第一VR试题的结尾之处,则激活预设的第三计数器,并利用所述脑电波采集装置,在第三时间窗口内采集所述使用者的第三脑电波数据;其中所述第三计数器以第三计数速度进行计数,所述第三计数速度大于所述第二计数速度;所述第二时间窗口的截止点为所述第三计数器的激活时间点;
标准脑电波数据调取单元,用于从预设的脑电波数据库中调取预先采集的标准脑电波数据,其中所述标准脑电波数据是对所述使用者在成功解答出预设的标准VR试题的整个过程中进行实时脑电波数据采集操作而得到的;
脑电波频率波动时间点获取单元,用于找出所述标准脑电波数据中的所有的脑电波频率波动时间点,并获取最后一个脑电波频率波动时间点;其中所述脑电波频率波动时间点指在脑电波频率波动时间点前后,脑电波频率变化数值大于预设的变化阈值;
参考脑电波数据段截取单元,用于从所述标准脑电波数据中截取指定时间长度的参考脑电波数据段,其中所述参考脑电波数据段包括所述脑电波频率波动时间点的脑电波数据;
相似度值计算单元,用于根据预设的相似度计算方法,计算所述第三脑电波数据与所述参考脑电波数据段之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;
第四计数器激活单元,用于若所述相似度值大于预设的相似度阈值,则激活预设的第四计数器,并利用所述脑电波采集装置,持续采集所述使用者的第四脑电波数据;其中所述第四计数器以第四计数速度进行计数,所述第四计数速度大于所述第三计数速度;所述第三时间窗口的截止点为所述第四计数器的激活时间点;
跳转时间点获取单元,用于在预设的间隔时间之后,将所述第一计数器的第一读数、所述第一脑电波数据、所述第二计数器的第二读数、所述第二脑电波数据、所述第三计数器的第三读数、所述第三脑电波数据、所述第四计数器的第四读数和所述第四脑电波数据,共同输入预设的时间预测模型中进行处理,从而得到所述时间预测模型输出的跳转时间点;所述时间预测模型基于神经网络模型并采用预先收集的训练数据训练而成;
第二VR试题呈现单元,用于在所述跳转时间点进行试题跳转操作,以从所述第一VR试题跳转至预设的第二VR试题,从而向所述使用者呈现所述第二VR试题;
所述根据预设的图像分析方法,以所述实时瞳孔图像为依据,判断所述使用者的目光是否聚焦于所述第一VR试题的开始之处,包括:
在所述使用者所处的VR空间内,依次在使用者的三个第一景深位置处临时展现三个呈第一颜色的插入物,其中所述三个第一景深位置处与所述使用者在VR空间内的第一距离相等;
利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第一颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第一参考瞳孔图像,并分别获取三个第一参考瞳孔图像中瞳孔相对于图像中心的三个第一相对位置;
在所述使用者所处的VR空间内,依次在使用者的三个第二景深位置处临时展现三个呈第二颜色的插入物,其中所述三个第二景深位置处与所述使用者在VR空间内的第二距离相等,并且第一距离与第二距离不相等;
利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第二颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第二参考瞳孔图像,并分别获取三个第二参考瞳孔图像中瞳孔相对于图像中心的三个第二相对位置;
……
在所述使用者所处的VR空间内,依次在使用者的三个第n景深位置处临时展现三个呈第n颜色的插入物,其中所述三个第n景深位置处与所述使用者在VR空间内的第n距离相等,并且第n距离与第一距离、第二距离、…、第n-1距离中的任一个均不相等;
利用所述VR眼镜上的内置摄像头,在使用者分别注视三个呈第三颜色的插入物时对所述使用者的眼部进行图像采集处理,以得到三个第n参考瞳孔图像,并分别获取三个第n参考瞳孔图像中瞳孔相对于图像中心的三个第n相对位置;
获取所述实时瞳孔图像的瞳孔相对于图像中心的实时相对位置,并根据所述三个第一相对位置、三个第二相对位置、…、和三个第n相对位置,计算出与所述实时相对位置对应的所述使用者的目光聚焦处,并判断所述使用者的目光聚焦处是否为所述第一VR试题的开始之处;
S308、若所述使用者的目光聚焦处是否为所述第一VR试题的开始之处,则判定所述使用者的目光聚焦于所述第一VR试题的开始之处;
其中,所述时间预测模型采用的是有监督学习的训练方式。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202011223714.0A 2020-11-05 2020-11-05 基于计数器和脑电波的vr试题动态呈现方法和装置 Active CN112346568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011223714.0A CN112346568B (zh) 2020-11-05 2020-11-05 基于计数器和脑电波的vr试题动态呈现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011223714.0A CN112346568B (zh) 2020-11-05 2020-11-05 基于计数器和脑电波的vr试题动态呈现方法和装置

Publications (2)

Publication Number Publication Date
CN112346568A CN112346568A (zh) 2021-02-09
CN112346568B true CN112346568B (zh) 2021-08-03

Family

ID=74428340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011223714.0A Active CN112346568B (zh) 2020-11-05 2020-11-05 基于计数器和脑电波的vr试题动态呈现方法和装置

Country Status (1)

Country Link
CN (1) CN112346568B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814516A (zh) * 2013-10-11 2016-07-27 交互数字专利控股公司 注视驱动的增强现实
CN105962931A (zh) * 2015-03-13 2016-09-28 胡渐佳 学习场景分段记录方法和记录装置
CN108304074A (zh) * 2018-02-11 2018-07-20 广东欧珀移动通信有限公司 显示控制方法及相关产品
CN109074165A (zh) * 2016-05-09 2018-12-21 微软技术许可有限责任公司 基于用户的大脑活动和凝视修改用户界面
WO2019031869A1 (en) * 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
CN111708434A (zh) * 2020-06-03 2020-09-25 东南大学 一种结合眼动识别的网上答题反馈系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
CN105814516A (zh) * 2013-10-11 2016-07-27 交互数字专利控股公司 注视驱动的增强现实
CN105962931A (zh) * 2015-03-13 2016-09-28 胡渐佳 学习场景分段记录方法和记录装置
CN109074165A (zh) * 2016-05-09 2018-12-21 微软技术许可有限责任公司 基于用户的大脑活动和凝视修改用户界面
WO2019031869A1 (en) * 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD
CN108304074A (zh) * 2018-02-11 2018-07-20 广东欧珀移动通信有限公司 显示控制方法及相关产品
CN111708434A (zh) * 2020-06-03 2020-09-25 东南大学 一种结合眼动识别的网上答题反馈系统

Also Published As

Publication number Publication date
CN112346568A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
KR101834003B1 (ko) 인지 학습 및 평가 시스템
Toker et al. Individual user characteristics and information visualization: connecting the dots through eye tracking
Renkewitz et al. Memory indexing: A novel method for tracing memory processes in complex cognitive tasks.
Lallé et al. Prediction of users' learning curves for adaptation while using an information visualization
WO2014034005A1 (ja) 知的生産性分析装置、プログラム
CN109620266B (zh) 个体焦虑水平的检测方法和系统
US20200214630A1 (en) Psychological Pressure Evaluation Method and Device
Carter et al. Individuals’ eye movements in reading are highly consistent across time and trial.
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
CN114209324A (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
CN110569347A (zh) 一种数据处理方法、装置、存储介质和电子设备
KR101731561B1 (ko) 성격 검사 장치 및 그 방법
US20120282577A1 (en) Measuring cognitive load
Potter A review and analysis of patterns of design decisions in recent media effects research
Godwin et al. Avoiding potential pitfalls in visual search and eye-movement experiments: A tutorial review
CN112528890B (zh) 一种注意力评估方法、装置及电子设备
CN112346568B (zh) 基于计数器和脑电波的vr试题动态呈现方法和装置
US20230346298A1 (en) Test method and apparatus for evaluating cognitive function decline
CN114998440B (zh) 基于多模态的测评方法、装置、介质及设备
RU2640709C1 (ru) Способ оценки знаний учащегося при компьютерном тестировании
JP6724279B2 (ja) ストレスマネジメント支援システム
CN114169808A (zh) 计算机实施的学习力评估方法、计算设备、介质和系统
JP2017207691A (ja) 択一問題の正答率予測方法
Barz et al. Development of a skills-based instrument to measure scientific reasoning in medicine across different levels of expertise
CN117708391B (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 511402 rooms 308-316, 401-416, No. 5, jinshangu creative 10th Street, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee after: Wangcai Technology (Guangzhou) Group Co.,Ltd.

Country or region after: China

Address before: 511402 rooms 308-316, 401-416, No. 5, jinshangu creative 10th Street, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU NANFANG HUMAN RESOURCES EVALUATION CENTER Co.,Ltd.

Country or region before: China