CN113486744B - 基于眼动和人脸表情范式的学生学习状态评估系统及方法 - Google Patents

基于眼动和人脸表情范式的学生学习状态评估系统及方法 Download PDF

Info

Publication number
CN113486744B
CN113486744B CN202110705055.2A CN202110705055A CN113486744B CN 113486744 B CN113486744 B CN 113486744B CN 202110705055 A CN202110705055 A CN 202110705055A CN 113486744 B CN113486744 B CN 113486744B
Authority
CN
China
Prior art keywords
eye movement
expression
test experiment
attention
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110705055.2A
Other languages
English (en)
Other versions
CN113486744A (zh
Inventor
王荃
卫晓洁
党若琛
胡炳樑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110705055.2A priority Critical patent/CN113486744B/zh
Publication of CN113486744A publication Critical patent/CN113486744A/zh
Application granted granted Critical
Publication of CN113486744B publication Critical patent/CN113486744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于眼动和人脸表情范式的学生学习状态评估系统及方法，以解决现有学生学习状态评估方法无法获取学生真实状态的问题。该系统包括任务呈现模块、眼动数据采集装置、人脸表情采集装置、分析融合模块以及学习状态评估模块。任务呈现模块用于在显示屏上呈现学习状态测试实验的任务；眼动数据采集装置采集学生的眼动数据；人脸表情采集装置采集学生的人脸图像数据；分析融合模块用于统计分析得到学生的眼动指标和表情指标，并将眼动指标和表情指标融合为空间特征向量，通过决策树进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；学习状态评估模块根据三方面的评估结果按照重要程度加权求得学习状态评估分数。

Description

基于眼动和人脸表情范式的学生学习状态评估系统及方法
技术领域
本发明涉及学生学习状态评估领域，具体涉及一种基于眼动和人脸表情范式的学生学习状态评估系统及方法。
背景技术
学生是学习的“主体”，学生“主动探究、主动建构新知”是认知和教学的规律。但无论公开课还是观摩课抑或“常态课”，观摩的老师，教研员或管理者，大多更关注课堂上的老师，对执教老师的评价占据着教学评价的主要位置。几乎很少见到从学生课堂学习状态的评价角度来评价老师的“教”。因此，要把目光投向教学评价应该注视的方向——学生学习状态。这样的评价视角是相对更科学的，体现了新的教学理念。
传统学生学习状态评估的方法有问卷调查、访谈以及观察等，然而很多学生由于各种原因往往不愿意配合或者故意隐瞒心理状态，无法获取学生真实的状态，因此需要一种学生无意识的采集系统对学生学习状态进行全面评估，为教学评估提供新的视角。
发明内容
本发明的目的是解决现有学生学习状态评估方法无法获取学生真实状态的问题，而提供一种基于眼动和人脸表情范式的学生学习状态评估系统及方法。
为达到上述目的，本发明所采用的技术方案是：
一种基于眼动和人脸表情范式的学生学习状态评估系统，其特殊之处在于：包括任务呈现模块、眼动数据采集装置、人脸表情采集装置、分析融合模块以及学习状态评估模块；
所述任务呈现模块用于在显示屏上呈现学习状态测试实验的任务；所述学习状态测试实验包括推理能力测试实验、情绪状态测试实验、专注状态测试实验；
所述眼动数据采集装置包括朝向学生脸部的眼动追踪仪，用于采集学生在实验过程中的眼动数据；
所述人脸表情采集装置包括朝向学生脸部的摄像头，用于采集学生在实验过程中的人脸图像数据；
所述分析融合模块包括眼动数据分析单元、人脸表情分析单元、眼动和表情融合单元；
所述眼动数据分析单元根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；
所述人脸表情分析单元对采集到的人脸图像数据进行表情分类，并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标；
所述眼动和表情融合单元用于将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；
所述学习状态评估模块根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。
进一步地，所述推理能力测试实验具体为在显示屏上呈现一个不完整图形和包含图形缺失部分的多个选项，需要学生从多个选项中选出图形缺失部分；
所述情绪状态测试实验具体为在显示屏上呈现分布有多个图片的画面，所述多个图片分别反映不同类型情绪，供学生观看；
所述专注状态测试实验具体为在显示屏上播放老师讲授课件的视频，供学生观看。
进一步地，所述推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标具体为：
推理能力测试实验过程中学生的注视持续时间、扫视时间、注视次数、扫视次数；
情绪状态测试实验过程中学生观看每个图片区域的注视持续时间、扫视时间；
专注状态测试实验过程中学生的注视持续时间、注视次数、抬头率。
进一步地，所述推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标具体为：
推理能力测试实验过程中学生的疑惑表情率、高兴表情率；
情绪状态测试实验过程中学生的高兴表情率、伤心表情率、恐惧表情率；
专注状态测试实验过程中学生的疑惑表情率、高兴表情率。
进一步地，所述眼动追踪仪为桌面非接触式眼动追踪仪。
一种基于眼动和人脸表情范式的学生学习状态评估方法，采用上述基于眼动和人脸表情范式的学生学习状态评估系统，其特殊之处在于，包括以下步骤：
1)在显示屏上呈现学习状态测试实验的任务，由学生完成任务；
2)眼动数据采集装置采集学生在实验过程中的眼动数据；同时，人脸表情采集装置采集学生在实验过程中的人脸图像数据；
3)根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；同时，对采集到的人脸图像数据进行表情分类，并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标；
4)将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；
5)根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。
进一步地，步骤3)中所述对采集到的人脸图像数据进行表情分类，具体按照以下步骤实施：
a)预处理：
将采集到的人脸图像进行人脸对齐，再将对齐后的人脸图像通过warp统一变成128×128像素大小；
b)基本特征学习：
使用卷积神经网络ResNet50作为特征提取器，对步骤a)处理后的人脸图像进行人脸表情特征提取，得到基本特征图F；
c)局部注意力特征提取：
将步骤b)得到的基本特征图F与通道数为M的1×1卷积核进行卷积，得到M个局部注意力掩模A，每个局部注意力掩模A关注一个特定的显著性人脸区域，将每个局部注意力掩模A与基本特征图F进行对应元素相乘，得到相应的局部注意力特征图FA；
d)全局注意力特征提取：
将M个局部注意力掩模A通过通道方向的最大池化得到全局注意力掩模AO，再将全局注意力掩模AO与基本特征图F进行对应元素相乘，得到全局显著性特征图Fsal；
e)关联注意力特征提取：
e.1)将步骤d)得到的全局显著性特征图Fsal拉平为一个二维矩阵
Figure BDA0003131826480000051
使用1×1卷积核与二维矩阵
Figure BDA0003131826480000052
进行卷积，得到空间θ、
Figure BDA0003131826480000053
g和h上的注意力掩膜Wθ、
Figure BDA0003131826480000054
Wg和Wh；再将空间θ、
Figure BDA0003131826480000055
和g上的注意力掩膜Wθ、
Figure BDA0003131826480000056
和Wg分别与二维矩阵
Figure BDA0003131826480000057
进行对应元素相乘，得到三个全局注意力图θ(x)、
Figure BDA0003131826480000058
和g(x)；
e.2)计算θ(x)和
Figure BDA0003131826480000059
的点积，将点积结果输入到softmax激活函数以提取不同特征点的相关性γ，再将γ与g(x)进行加权求和得到结果为z，然后使用跳层连接空间h上的注意力掩膜Wh，将全局显著性特征图Fsal累加到Wh*z上，得到全局关联特征图FS；
f)特征融合：
f.1)对所有的局部注意力特征图FA和全局关联特征图FS分别进行全局平均池化操作，得到M+1个注意力特征向量v；
f.2)将M+1个注意力特征向量v送入M+1个平行的全连接层进行进一步特征提取，得到M+1个注意力向量r；
f.3)将M+1个注意力向量r通过最大池化得到单个的特征表示向量ω,单个的特征表示向量ω再通过全连接层和softmax分类器进行分类，训练得到人脸表情识别模型；
g)损失函数优化：
g.1)将每个局部注意力掩模A归一化，对归一化后的局部注意力掩模通过最大池化操作，得到每个局部注意力掩模的最大值图；
g.2)计算理想情况下所有局部注意力掩模最大值图的和与实际情况下所有局部注意力掩膜最大值图的和的差值，得到局部注意力特征图FA的约束项Lreg；
g.3)根据下式计算人脸表情识别模型的整体损失函数L，完成模型优化；
L＝Lcls+αLreg
其中，Lcls是一个标准的交叉熵损失函数；
α为局部注意力特征图FA约束项的参数；
h)将采集到的未知类型人脸图像数据输入到优化后的人脸表情识别模型中，得到表情分类结果。
进一步地，所述步骤4)具体按照以下步骤实施：
4.1)将推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标分别组成一个眼动特征向量；将推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标分别组成一个面部表情特征向量；将每个实验的眼动特征向量和面部表情特征向量融合为一个空间特征向量；
4.2)将步骤4.1)得到的三个空间特征向量作为输入，使用决策树进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果。
进一步地，步骤4)中所述推理能力、情绪状态、专注状态三方面的评估结果包括：
推理能力为强、中或弱；情绪状态为积极、中性或消极；专注状态为集中或分散。
本发明相比现有技术的有益效果是：
本发明提供的一种基于眼动和人脸表情范式的学生学习状态评估系统及方法，通过同步跟踪眼动情况和人脸表情，建立眼动、表情与学生学习状态之间的关联关系，从而实现非接触式地对学生学习状态的全面评估，评估结果更加准确真实。
眼动数据和人脸图像数据同步采集处理，无需对眼动和面部表情进行时间匹配，处理过程更加简单。
附图说明
图1是本发明基于眼动和人脸表情范式的学生学习状态评估系统的使用场景图；
图中，1-显示屏，2-眼动追踪仪。
图2a为推理能力测试实验任务呈现；
图2b为情绪状态测试实验任务呈现；
图2c为专注状态测试实验任务呈现；
图3是本发明基于眼动和人脸表情范式的学生学习状态评估方法的流程图；
图4为本发明基于眼动和人脸表情范式的学生学习状态评估方法中表情分类的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供的基于眼动和人脸表情范式的学生学习状态评估系统，包括任务呈现模块、眼动数据采集装置、人脸表情采集装置、分析融合模块以及学习状态评估模块。
任务呈现模块用于在显示屏1上呈现学习状态测试实验的任务。将学生的学习状态分为三个方面进行评价：包括推理能力、情绪状态、专注状态。相应地，学习状态测试实验包括推理能力测试实验、情绪状态测试实验、专注状态测试实验，其使用场景如图1所示。
推理能力测试实验具体为：在显示屏1上呈现注视点“+”后，呈现一个不完整图形和包含图形缺失部分的多个选项，需要学生经过推理用鼠标点击从多个选项中选出图形缺失部分，如图2a所示。
情绪状态测试实验具体为：在显示屏1上呈现注视点“+”后，呈现一张幻灯片，幻灯片上分布有反映四种不同类型情绪的四个图片，供学生观看。四种不同类型情绪分别为积极、中性、威胁、悲伤，如图2b所示。
专注状态测试实验具体为：在显示屏1上播放老师讲授课件的视频，供学生观看。视频呈现包括PowerPoint形式呈现教学内容和授课老师的实时窗口，呈现过程中伴随授课老师的讲解并对课件重点内容画圈和划线批注，如图2c所示。
眼动数据采集装置包括朝向学生脸部的眼动追踪仪2，用于采集学生在实验过程中的眼动数据。眼动追踪仪2为桌面非接触式眼动追踪仪，眼动追踪仪2固定在显示屏1的正下方，学生无需佩戴任何设备。
人脸表情采集装置包括朝向学生脸部的摄像头，用于采集学生在实验过程中的人脸图像数据。本实施例中，摄像头直接使用眼动追踪仪2的单灯双摄摄像头，其在对人眼视线进行追踪的同时，也对人脸图像进行拍摄，后期无需进行同步操作，且无需使用额外的摄像头，方便快捷。
分析融合模块包括眼动数据分析单元、人脸表情分析单元、眼动和表情融合单元。
眼动数据分析单元根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标，具体为：推理能力测试实验过程中学生的注视持续时间、扫视时间、注视次数、扫视次数；情绪状态测试实验过程中学生观看每个图片区域的注视持续时间、扫视时间；专注状态测试实验过程中学生的注视持续时间、注视次数、抬头率。
人脸表情分析单元对采集到的人脸图像数据进行表情分类，并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标，具体为：推理能力测试实验过程中学生的疑惑表情率、高兴表情率；情绪状态测试实验过程中学生的高兴表情率、伤心表情率、恐惧表情率；专注状态测试实验过程中学生的疑惑表情率、高兴表情率。
眼动和表情融合单元用于将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对三个空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果。
学习状态评估模块根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。
使用上述基于眼动和人脸表情范式的学生学习状态评估系统进行学习状态评估的方法流程如图3所示，包括以下步骤：
步骤1)在显示屏1上呈现学习状态测试实验的任务，由学生完成任务。
实验是在光线昏暗、隔音且无强电磁干扰的环境中进行的。在电脑显示屏1正下方放置一个桌面非接触式眼动追踪仪2，用于实时采集学生眼睛的运动状态和人脸图像。
实验开始前，将被试学生引导至相应实验位置处，被试学生坐在一张舒适的椅子上，保持视线在显示屏1正中，并与显示屏1中心距离约为60cm，头部放置在下巴托上，开始实验时被试学生需进行九点或五点校准。
推理能力测试实验开始后，在显示屏1上呈现注视点“+”，接着出现一个不完整图形和包含图形缺失部分的多个选项，学生经过推理用鼠标点击选出最符合图形缺失部分的选项。
情绪状态测试实验开始后，在显示屏1上呈现注视点“+”，接着出现一张幻灯片，幻灯片上分布有反映四种不同类型情绪的四个图片，分别为积极、中性、威胁、悲伤，由学生观看。
专注状态测试实验开始后，在显示屏1上播放老师讲授课件的视频，视频呈现包括PowerPoint形式呈现教学内容和授课老师的实时窗口，呈现过程中伴随授课老师的讲解并对课件重点内容画圈和划线批注，由学生观看。
步骤2)眼动数据采集装置采集学生在实验过程中的眼动数据；同时，人脸表情采集装置采集学生在实验过程中的人脸图像数据。
步骤3)根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；同时，对采集到的人脸图像数据进行表情分类，并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标。
对学生推理能力的眼动数据评估，主要是对学生在推理能力测试实验过程中的注视持续时间、扫视时间、注视次数、扫视次数进行分析。注视持续时间指完成实验任务的总注视点持续时间，注视持续时间越长，表明推理时的心理加工时间越长，推理的难度越大；扫视时间反映了学生进行图形推理的加工难度，扫视时间越长，表明加工难度越大；注视次数越多，表明理解起来越困难；扫视次数反映学生进行图形推理时认知加工的效率，扫视次数越多，说明解决问题的效率越低。
对学生情绪状态的眼动数据评估，主要是从学生在情绪状态测试实验过程中观看每个类型图片区域的注视持续时间、扫视时间这两方面进行分析。消极的同学会花费更多的时间注视悲伤的图片，相反，积极的同学会花费更多的时间注视积极的图片。
对学生的课堂专注状态的眼动数据评估，主要是对学生在专注状态测试实验过程中的注视持续时间、注视次数、抬头率进行分析。注视持续时间表示学生对视频材料的投入度与加工程度，如果视线的停留时间越长，说明学生的投入度越高且加工程度越深；注视次数表示视频材料对学生注意力的引导，学生在视频学习内容中的注意力转移表现了学生在语义上联系各种类型的视频材料以达到综合理解的效果；抬头率主要是统计学生在视频学习过程中抬头和低头的次数，如果低头次数过多，说明学生对视频学习内容不感兴趣、无法专注于视频材料的学习。
对学生推理状态的人脸表情数据评估，主要是对学生在推理能力测试实验过程中的疑惑表情率、高兴表情率进行分析。
对学生情绪状态的人脸表情数据评估，主要是对学生在情绪状态测试实验过程中分析观看不同类型图片时的高兴表情率、伤心表情率和恐惧表情率。
对学生课堂专注状态的人脸表情数据评估，主要是对学生在专注状态测试实验过程中的疑惑表情率、高兴表情率进行分析。
对人脸表情进行识别并分类，采用基于局部-关联注意力网络的人脸表情识别算法，主要从人脸局部，以及局部的关联两方面对人脸进行建模，同时也考虑到人脸的全局信息。具体流程如图4所示，按照以下步骤实施：
a)预处理：
将采集到的人脸图像进行人脸对齐，再将对齐后的人脸图像通过warp统一变成128×128像素大小。
b)基本特征学习：
使用卷积神经网络ResNet50作为特征提取器，对步骤a)处理后的人脸图像进行人脸表情特征提取，得到基本特征图F。由于ResNet50最终的特征图的空间分辨率过小，每个像素的感受野过大，因此，使用ResNet50中conv3输出的特征图作为基本特征图，从而使得基本特征图有合适的空间分辨率以及感受野。
c)局部注意力特征提取：
使用局部注意力特征提取模块对人脸不同局部区域的信息进行特征提取。将步骤b)得到的基本特征图F与通道数为M的1×1卷积核进行卷积，得到M个局部注意力掩模A，每个局部注意力掩模A关注一个特定的显著性人脸区域，将每个局部注意力掩模A与基本特征图F进行对应元素相乘，得到相应的局部注意力特征图FA。
d)全局注意力特征提取：
将M个局部注意力掩模A通过通道方向的最大池化得到全局注意力掩模AO，再将全局注意力掩模AO与基本特征图F进行对应元素相乘，得到全局显著性特征图Fsal。
e)关联注意力特征提取：
使用自注意力机制对不同局部特征之间的关联进行建模，同时将包含人脸信息的全局关联特征图FS输出。步骤d)得到的全局显著性特征图Fsal被视为只包含人脸上所有显著性局部区域的特征图。
e.1)将全局显著性特征图Fsal拉平为一个二维矩阵
Figure BDA0003131826480000121
使用1×1卷积核与二维矩阵
Figure BDA0003131826480000131
进行卷积，得到空间θ、
Figure BDA0003131826480000132
g和h上的注意力掩膜Wθ、
Figure BDA0003131826480000133
Wg和Wh；再将空间θ、
Figure BDA0003131826480000134
和g上的注意力掩膜Wθ、
Figure BDA0003131826480000135
和Wg分别与二维矩阵
Figure BDA0003131826480000136
进行对应元素相乘，得到三个全局注意力图θ(x)、
Figure BDA0003131826480000137
和g(x)。
e.2)计算θ(x)和
Figure BDA0003131826480000138
的点积，通过计算不同空间特征点的内积得到它们之间的关联。将点积结果输入到softmax激活函数以提取不同特征点的相关性γ，再将γ与g(x)进行加权求和得到结果为z，然后使用跳层连接空间h上的注意力掩膜Wh，将全局显著性特征图Fsal累加到Wh*z上，得到全局关联特征图FS。这一操作将全局显著性特征图Fsal从输入端直接传递到输出端，保留显著性特征图的信息。
f)特征融合：
将步骤e.2)得到的全局关联特征图FS和步骤c)得到的局部注意力特征图FA一起输入到特征融合。
f.1)对所有的局部注意力特征图FA和全局关联特征图FS分别进行全局平均池化操作，得到M+1个注意力特征向量v。
f.2)将M+1个注意力特征向量v送入M+1个平行的全连接层进行进一步特征提取，得到M+1个注意力向量r。
f.3)将M+1个注意力向量r通过最大池化得到单个的特征表示向量ω,单个的特征表示向量ω再通过全连接层和softmax分类器进行分类，训练得到人脸表情识别模型。
g)损失函数优化：
局部-关联注意力网络的训练是通过同时优化一个包含两部分的损失函数来实现的。第一部分是局部注意力特征图FA的约束项，使得不同的局部注意力掩膜A能够关注不同的人脸区域。第二部分是一个标准的交叉熵损失函数，以使网络能够对表情正确分类。
g.1)将每个局部注意力掩模A归一化，对归一化后的局部注意力掩模通过最大池化操作，得到每个局部注意力掩模的最大值图。
g.2)理想情况下，所有局部注意力掩模的关注区域都彼此不同。此时，这M个局部注意力掩模的最大值图的和正好等于M。计算理想情况下所有局部注意力掩模最大值图的和与实际情况下所有局部注意力掩膜最大值图的和的差值，得到局部注意力特征图FA的约束项Lreg。
g.3)根据下式计算人脸表情识别模型的整体损失函数L，可以在对人脸表情分类的同时防止不同的局部注意力图相互重叠在一起，完成模型优化；
L＝Lcls+αLreg
其中，Lcls是一个标准的交叉熵损失函数；
α为局部注意力特征图FA约束项的参数。
h)将采集到的未知类型人脸图像数据输入到优化后的人脸表情识别模型中，得到表情分类结果。
步骤4)将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果。具体按照以下步骤实施：
4.1)将推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标分别组成一个眼动特征向量；将推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标分别组成一个面部表情特征向量；将每个实验的眼动特征向量和面部表情特征向量融合为一个空间特征向量；
4.2)将步骤4.1)得到的三个空间特征向量作为输入，使用决策树进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果。
评估结果包括：推理能力为强、中或弱；情绪状态为积极、中性或消极；专注状态为集中或分散。
步骤5)根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。

Claims (8)

1.一种基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于：包括任务呈现模块、眼动数据采集装置、人脸表情采集装置、分析融合模块以及学习状态评估模块；
所述任务呈现模块用于在显示屏上呈现学习状态测试实验的任务；所述学习状态测试实验包括推理能力测试实验、情绪状态测试实验、专注状态测试实验；
所述眼动数据采集装置包括朝向学生脸部的眼动追踪仪，用于采集学生在实验过程中的眼动数据；
所述人脸表情采集装置包括朝向学生脸部的摄像头，用于采集学生在实验过程中的人脸图像数据；
所述分析融合模块包括眼动数据分析单元、人脸表情分析单元、眼动和表情融合单元；
所述眼动数据分析单元根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；
所述人脸表情分析单元通过依次进行：a)预处理：将采集到的人脸图像进行人脸对齐，再将对齐后的人脸图像通过warp统一变成128×128像素大小；b)基本特征学习：使用卷积神经网络ResNet50作为特征提取器，对步骤a)处理后的人脸图像进行人脸表情特征提取，得到基本特征图F；c)局部注意力特征提取：将步骤b)得到的基本特征图F与通道数为M的1×1卷积核进行卷积，得到M个局部注意力掩模A，每个局部注意力掩模A关注一个特定的显著性人脸区域，将每个局部注意力掩模A与基本特征图F进行对应元素相乘，得到相应的局部注意力特征图FA；d)全局注意力特征提取：将M个局部注意力掩模A通过通道方向的最大池化得到全局注意力掩模AO，再将全局注意力掩模AO与基本特征图F进行对应元素相乘，得到全局显著性特征图Fsal；e)关联注意力特征提取：e.1)将步骤d)得到的全局显著性特征图Fsal拉平为一个二维矩阵
Figure FDA0003997177140000021
使用1×1卷积核与二维矩阵
Figure FDA0003997177140000022
进行卷积，得到空间θ、
Figure FDA0003997177140000023
g和h上的注意力掩膜Wθ、
Figure FDA0003997177140000024
Wg和Wh；再将空间θ、
Figure FDA0003997177140000025
和g上的注意力掩膜Wθ、
Figure FDA0003997177140000026
和Wg分别与二维矩阵
Figure FDA0003997177140000027
进行对应元素相乘，得到三个全局注意力图θ(x)、
Figure FDA0003997177140000028
和g(x)；e.2)计算θ(x)和
Figure FDA0003997177140000029
的点积，将点积结果输入到softmax激活函数以提取不同特征点的相关性γ，再将γ与g(x)进行加权求和得到结果为z，然后使用跳层连接空间h上的注意力掩膜Wh，将全局显著性特征图Fsal累加到Wh*z上，得到全局关联特征图FS；f)特征融合：f.1)对所有的局部注意力特征图FA和全局关联特征图FS分别进行全局平均池化操作，得到M+1个注意力特征向量v；f.2)将M+1个注意力特征向量v送入M+1个平行的全连接层进行进一步特征提取，得到M+1个注意力向量r；f.3)将M+1个注意力向量r通过最大池化得到单个的特征表示向量ω,单个的特征表示向量ω再通过全连接层和softmax分类器进行分类，训练得到人脸表情识别模型；g)损失函数优化：g.1)将每个局部注意力掩模A归一化，对归一化后的局部注意力掩模通过最大池化操作，得到每个局部注意力掩模的最大值图；g.2)计算理想情况下所有局部注意力掩模最大值图的和与实际情况下所有局部注意力掩膜最大值图的和的差值，得到局部注意力特征图FA的约束项Lreg；g.3)根据下式计算人脸表情识别模型的整体损失函数L，完成模型优化；L＝Lcls+αLreg；其中，Lcls是一个标准的交叉熵损失函数；α为局部注意力特征图FA约束项的参数；h)将采集到的未知类型人脸图像数据输入到优化后的人脸表情识别模型中，对表情分类；并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标；
所述眼动和表情融合单元用于将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；
所述学习状态评估模块根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。
2.根据权利要求1所述的基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于：
所述推理能力测试实验具体为在显示屏上呈现一个不完整图形和包含图形缺失部分的多个选项，需要学生从多个选项中选出图形缺失部分；
所述情绪状态测试实验具体为在显示屏上呈现分布有多个图片的画面，所述多个图片分别反映不同类型情绪，供学生观看；
所述专注状态测试实验具体为在显示屏上播放老师讲授课件的视频，供学生观看。
3.根据权利要求2所述的基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于，所述推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标具体为：
推理能力测试实验过程中学生的注视持续时间、扫视时间、注视次数、扫视次数；
情绪状态测试实验过程中学生观看每个图片区域的注视持续时间、扫视时间；
专注状态测试实验过程中学生的注视持续时间、注视次数、抬头率。
4.根据权利要求2所述的基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于，所述推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标具体为：
推理能力测试实验过程中学生的疑惑表情率、高兴表情率；
情绪状态测试实验过程中学生的高兴表情率、伤心表情率、恐惧表情率；
专注状态测试实验过程中学生的疑惑表情率、高兴表情率。
5.根据权利要求1至4任一所述的基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于：
所述眼动追踪仪为桌面非接触式眼动追踪仪。
6.一种基于眼动和人脸表情范式的学生学习状态评估方法，采用权利要求1至5任一所述的基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于，包括以下步骤：
1)在显示屏上呈现学习状态测试实验的任务，由学生完成任务；
2)眼动数据采集装置采集学生在实验过程中的眼动数据；同时，人脸表情采集装置采集学生在实验过程中的人脸图像数据；
3)根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；同时，对采集到的人脸图像数据进行表情分类，并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标；
所述对采集到的人脸图像数据进行表情分类，具体按照以下步骤实施：
a)预处理：
将采集到的人脸图像进行人脸对齐，再将对齐后的人脸图像通过warp统一变成128×128像素大小；
b)基本特征学习：
使用卷积神经网络ResNet50作为特征提取器，对步骤a)处理后的人脸图像进行人脸表情特征提取，得到基本特征图F；
c)局部注意力特征提取：
将步骤b)得到的基本特征图F与通道数为M的1×1卷积核进行卷积，得到M个局部注意力掩模A，每个局部注意力掩模A关注一个特定的显著性人脸区域，将每个局部注意力掩模A与基本特征图F进行对应元素相乘，得到相应的局部注意力特征图FA；
d)全局注意力特征提取：
将M个局部注意力掩模A通过通道方向的最大池化得到全局注意力掩模AO，再将全局注意力掩模AO与基本特征图F进行对应元素相乘，得到全局显著性特征图Fsal；
e)关联注意力特征提取：
e.1)将步骤d)得到的全局显著性特征图Fsal拉平为一个二维矩阵
Figure FDA0003997177140000051
使用1×1卷积核与二维矩阵
Figure FDA0003997177140000052
进行卷积，得到空间θ、
Figure FDA0003997177140000053
g和h上的注意力掩膜Wθ、
Figure FDA0003997177140000054
Wg和Wh；再将空间θ、
Figure FDA0003997177140000055
和g上的注意力掩膜Wθ、
Figure FDA0003997177140000056
和Wg分别与二维矩阵
Figure FDA0003997177140000057
进行对应元素相乘，得到三个全局注意力图θ(x)、
Figure FDA0003997177140000058
和g(x)；
e.2)计算θ(x)和
Figure FDA0003997177140000059
的点积，将点积结果输入到softmax激活函数以提取不同特征点的相关性γ，再将γ与g(x)进行加权求和得到结果为z，然后使用跳层连接空间h上的注意力掩膜Wh，将全局显著性特征图Fsal累加到Wh*z上，得到全局关联特征图FS；
f)特征融合：
f.1)对所有的局部注意力特征图FA和全局关联特征图FS分别进行全局平均池化操作，得到M+1个注意力特征向量v；
f.2)将M+1个注意力特征向量v送入M+1个平行的全连接层进行进一步特征提取，得到M+1个注意力向量r；
f.3)将M+1个注意力向量r通过最大池化得到单个的特征表示向量ω,单个的特征表示向量ω再通过全连接层和softmax分类器进行分类，训练得到人脸表情识别模型；
g)损失函数优化：
g.1)将每个局部注意力掩模A归一化，对归一化后的局部注意力掩模通过最大池化操作，得到每个局部注意力掩模的最大值图；
g.2)计算理想情况下所有局部注意力掩模最大值图的和与实际情况下所有局部注意力掩膜最大值图的和的差值，得到局部注意力特征图FA的约束项Lreg；
g.3)根据下式计算人脸表情识别模型的整体损失函数L，完成模型优化；
L＝Lcls+αLreg
其中，Lcls是一个标准的交叉熵损失函数；
α为局部注意力特征图FA约束项的参数；
h)将采集到的未知类型人脸图像数据输入到优化后的人脸表情识别模型中，得到表情分类结果；
4)将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；
5)根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。
7.根据权利要求6所述的基于眼动和人脸表情范式的学生学习状态评估方法，其特征在于，所述步骤4)具体按照以下步骤实施：
4.1)将推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标分别组成一个眼动特征向量；将推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标分别组成一个面部表情特征向量；将每个实验的眼动特征向量和面部表情特征向量融合为一个空间特征向量；
4.2)将步骤4.1)得到的三个空间特征向量作为输入，使用决策树进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果。
8.根据权利要求6或7所述的基于眼动和人脸表情范式的学生学习状态评估方法，其特征在于，步骤4)中所述推理能力、情绪状态、专注状态三方面的评估结果包括：
推理能力为强、中或弱；情绪状态为积极、中性或消极；专注状态为集中或分散。
CN202110705055.2A 2021-06-24 2021-06-24 基于眼动和人脸表情范式的学生学习状态评估系统及方法 Active CN113486744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110705055.2A CN113486744B (zh) 2021-06-24 2021-06-24 基于眼动和人脸表情范式的学生学习状态评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110705055.2A CN113486744B (zh) 2021-06-24 2021-06-24 基于眼动和人脸表情范式的学生学习状态评估系统及方法

Publications (2)

Publication Number Publication Date
CN113486744A CN113486744A (zh) 2021-10-08
CN113486744B true CN113486744B (zh) 2023-02-14

Family

ID=77936131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110705055.2A Active CN113486744B (zh) 2021-06-24 2021-06-24 基于眼动和人脸表情范式的学生学习状态评估系统及方法

Country Status (1)

Country Link
CN (1) CN113486744B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564203B (zh) * 2022-09-23 2023-04-25 杭州国辰智企科技有限公司 基于多维数据协同的设备实时性能评估系统及其方法
WO2024116280A1 (ja) * 2022-11-29 2024-06-06 日本電気株式会社 情報処理装置、決定方法及び記憶媒体
CN117153403A (zh) * 2023-09-13 2023-12-01 安徽爱学堂教育科技有限公司 基于微表情与身体指标的心理健康评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
JP2017151588A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 画像評価学習装置、画像評価装置、画像検索装置、画像評価学習方法、画像評価方法、画像検索方法、およびプログラム
CN112257647A (zh) * 2020-11-03 2021-01-22 徐州工程学院 基于注意力机制的人脸表情识别方法
CN112464865A (zh) * 2020-12-08 2021-03-09 北京理工大学 一种基于像素和几何混合特征的人脸表情识别方法
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112784764A (zh) * 2021-01-27 2021-05-11 南京邮电大学 一种基于局部与全局注意力机制的表情识别方法及系统
CN112861633A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于机器学习的图像识别方法、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200046277A1 (en) * 2017-02-14 2020-02-13 Yuen Lee Viola Lam Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151588A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 画像評価学習装置、画像評価装置、画像検索装置、画像評価学習方法、画像評価方法、画像検索方法、およびプログラム
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
CN112257647A (zh) * 2020-11-03 2021-01-22 徐州工程学院 基于注意力机制的人脸表情识别方法
CN112464865A (zh) * 2020-12-08 2021-03-09 北京理工大学 一种基于像素和几何混合特征的人脸表情识别方法
CN112861633A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于机器学习的图像识别方法、设备及存储介质
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112784764A (zh) * 2021-01-27 2021-05-11 南京邮电大学 一种基于局部与全局注意力机制的表情识别方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Evaluation of user concentration in ubiquitous and cognitive artificial intelligence-assisted English online guiding system integrating face and eye movement detection;Lu Liu 等;《SPECIAL ISSUE ARTICLE》;20200820;全文 *
Promoting social attention in 3-year-olds with ASD through gaze-contingent eye tracking;Quan Wang 等;《Wiley Online Library》;20190830;全文 *
在线学习行为多模态数据融合模型构建及实证;王丽英等;《中国远程教育》;20200608(第06期);全文 *
基于单幅图像Pn P头部姿态估计的学习注意力可视化分析;陈平等;《通信学报》;20180930;全文 *
基于注意力机制的卷积神经网络人脸表情识别;亢洁等;《陕西科技大学学报》;20200728(第04期);全文 *
基于注意力机制的视频人脸表情识别;何晓云等;《信息技术》;20200220(第02期);全文 *

Also Published As

Publication number Publication date
CN113486744A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113486744B (zh) 基于眼动和人脸表情范式的学生学习状态评估系统及方法
US10643487B2 (en) Communication and skills training using interactive virtual humans
Pabba et al. An intelligent system for monitoring students' engagement in large classroom teaching through facial expression recognition
Murshed et al. Engagement detection in e-learning environments using convolutional neural networks
Chan et al. Multimodal learning analytics in a laboratory classroom
CN111528859A (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
Zakka et al. Estimating student learning affect using facial emotions
Pise et al. Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping
Dash et al. A two-stage algorithm for engagement detection in online learning
Ashwin et al. Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques
Samir et al. Exam cheating detection system with multiple-human pose estimation
Gazawy et al. Deep learning for enhanced education quality: Assessing student engagement and emotional states
Dimitriadou et al. Student Action Recognition for Improving Teacher Feedback During Tele-Education
Vishnumolakala et al. In-class student emotion and engagement detection system (iSEEDS): an AI-based approach for responsive teaching
Kadyrov et al. Automated Reading Detection in an Online Exam.
Leng et al. An automated object detection method for the attention of classroom and conference participants
Hasegawa et al. Learner’s mental state estimation with PC built-in camera
Naidu et al. Classroom engagement evaluation using 360-degree view of the camera with deep learning techniques
Xiang et al. Analysis of Spatiotemporal Characteristics of Student Concentration Based on Emotion Evolution
Nakamura et al. Estimating learners’ subjective impressions of the difficulty of course materials in e-learning environments
Ahmad et al. Comparative studies of facial emotion detection in online learning
Saravanan et al. IoT-Based Behavioral Analysis Model for Smart Learning
Tian et al. Application of Real-time Sentiment Analysis Based on Mini-Xception in Classroom Teaching
정의필 Facial Emotion Recognition using Deep Learning with Real-Time Convolutional Neural Networks
Ghule et al. A Coherent Way of detecting pupil’s emotions via live Camera using CNNs along with Haar-Cascasde Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant