CN114898449A - 一种基于大数据的外语教学辅助方法及装置 - Google Patents
一种基于大数据的外语教学辅助方法及装置 Download PDFInfo
- Publication number
- CN114898449A CN114898449A CN202210819287.5A CN202210819287A CN114898449A CN 114898449 A CN114898449 A CN 114898449A CN 202210819287 A CN202210819287 A CN 202210819287A CN 114898449 A CN114898449 A CN 114898449A
- Authority
- CN
- China
- Prior art keywords
- student
- foreign language
- language teaching
- teaching
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008451 emotion Effects 0.000 claims abstract description 68
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 53
- 230000001815 facial effect Effects 0.000 claims abstract description 40
- 230000008909 emotion recognition Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 37
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002411 adverse Effects 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于大数据的外语教学辅助方法及装置，包括以下步骤：实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；根据学员的情绪识别结果，对教师进行提醒，并在外语教学数据库内为教师匹配教学方式。本发明能够根据采集的学员图像判断学员的情绪状态，且能够根据学员的情绪状态及时帮助教师调整教学方式，能够辅助教师实时了解学员的学习情绪，改正教师教学中不良的负面影响，能够帮助教师及时调节学员的学习积极性，能够提高教师在外语教学中的教学质量。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于大数据的外语教学辅助方法及装置。
背景技术
近十年来，互联网+成为互联网下一阶段的发展趋势，在教育行业中，以互联网+教育为核心的网络教学占据着十分重要的地位。
相较于传统的课堂教学，网络教学以其资源丰富、不受时间地点约束、可以个性化授课等优势，在教育领域所占比重越来越大。
目前，外语教学相较于其他学科对于学员的学习吸引力较弱，在现有的在1对1网络教学中，不能很好的对根据学员的学习状态对学员的学习情绪进行有效的调动，缺少交流互动的信息，对于学员的状态实时反馈能力较差，因此存在较大缺陷。
有鉴于此特提出本发明。
发明内容
为了现有技术存在的上述技术缺陷，本发明提供了一种基于大数据的外语教学辅助方法及装置，可以有效解决背景技术中的问题。
为了解决上述技术问题，本发明提供的技术方案具体如下：
本发明实施例公开了一种基于大数据的外语教学辅助方法，包括以下步骤：
实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；
以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；
通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；
根据学员的情绪识别结果，对教师进行提醒，并在外语教学数据库内为教师匹配教学方式。
在上述任一方案中优选的是，在所述实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理之前，还包括：
通过TFLearn构建卷积神经网络；
通过大数据获取人脸表情图像并筛选，生成训练数据集，以作为卷积神经网络的训练输入源；
对生成的训练数据集进行预处理，以提高对卷积神经网络的训练准确度；
对预处理后的训练数据集进行手工标注，标定情绪权值。
在上述任一方案中优选的是，对生成的训练数据集进行预处理中包括：
对图像中人脸区域进行识别并提取人脸区域；
对提取人脸区域后的图像进行图片缩放；
将缩放后的模糊图片进行去除，以提升训练数据集的整体图像清晰度；
在模糊图片去除后，对数据集中剩余图片添加高斯噪声。
在上述任一方案中优选的是，将缩放后的模糊图片进行去除包括：
通过拉普拉斯梯度函数衡量图片中连续像素之间的变化快慢，并设置定值Pr；
若图片的拉普拉斯算子方差小于Pr，则该图片为低清晰度图片，进行去除；
若图片的拉普拉斯算子方差大于Pr，则该图片为高清晰度图片，进行保留。
在上述任一方案中优选的是，对所述采集的学员面部图像进行同化处理包括：
设置采集时间窗口T并设定采集时间t；
设置相似度阈值D，计算采集时间窗口T内ti时刻获取的学员面部图像与ti+1时刻获取的学员面部图像之间的相似度D（ti～ti+1）；
根据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留；
对采集时间窗口T内所剩余的学员图像进行预处理，以满足卷积神经网络的输入条件。
在上述任一方案中优选的是，所述根据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留包括：
若D（ti～ti+1）小于D，则保留ti时刻和ti+1时刻获取的学员面部图像；
若D（ti～ti+1）大于D，则计算ti+1时刻获取的学员面部图像与ti+2时刻获取的学员面部图像之间的相似度D（ti+1～ti+2），若D（ti+1～ti+2）小于D，则删除ti时刻获取的学员面部图像；若D（ti+1～ti+2）大于D，则删除ti+1时刻获取的学员面部图像。
在上述任一方案中优选的是，所述以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别包括：
以同化后学员面部图像集作为卷积神经网络的输入，依次输出每张面部图像的情绪权值；
通过映射公式
，对每张面部图像的
情绪权值在学习分数区间[0,1]上进行映射，得到每张面部图像的学习情绪分数，其中，
weight为输出的面部图像的情绪权值，maxW和minW为情绪权值的上限和下限，maxS和minS
为情绪分数的上限和下限；
计算同化后学员的面部图像集的平均学习情绪分数，若大于0.5，则判断学员的情绪状态为积极学习状态，若小于0.5则判断学员为消极学习状态。
在上述任一方案中优选的是，所述外语教学数据库包括正向引导数据集和负向引导数据集，所述正向引导数据集和所述负向引导数据集内的外语教学方式均设置有引导分数。
在上述任一方案中优选的是，所述为教师匹配教学方式包括：
获取学员在当前教学方式下的积极学习状态或消极学习状态：
根据所述积极学习状态或消极学习状态，在外语教学数据库匹配对应的外语教学方式；
若为积极学习状态，则正常教学；
若为消极学习状态，则对教师进行提醒，并计算正向引导数据集内所有教学方式所对应的引导分值与学员的学习情绪分数之差，选取教学方式所对应的引导分值与学员的学习情绪分数之差为0.5的教学方式为教师匹配。
一种基于大数据的外语教学辅助装置，所述辅助装置包括：
采集模块，用于实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；
识别模块，用于以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；
储存模块，用于通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；
匹配模块，用于根据学员的情绪识别结果，对教师进行提醒，并为教师匹配教学方式。
与现有技术相比，本发明的有益效果：
本发明提供了一种基于大数据的外语教学辅助方法及装置，能够根据采集的学员图像判断学员的情绪状态，且能够根据学员的情绪状态及时帮助教师调整教学方式，能够辅助教师实时了解学员的学习情绪，改正教师教学中不良的负面影响，能够帮助教师及时调节学员的学习积极性，能够提高教师在外语教学中的教学质量。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明基于大数据的外语教学辅助方法的流程示意图；
图2是本发明基于大数据的外语教学辅助方法的在所述实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理之前的流程示意图；
图3是本发明基于大数据的外语教学辅助装置示意图。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
如图1和图2所示，本发明提供了一种基于大数据的外语教学辅助方法，包括以下步骤：
步骤1：通过TFLearn构建卷积神经网络。
具体的，所述TFLearn可被用于支持图像识别、计起学习等多项任务，能够将复杂的数据输入至神经网中进行分析和处理，能够提发哦构建卷积神经网络的效率。
所述卷积神经网络包括：
输入层，用于训练数据的输入，并为隐含层提供训练数据；
隐含层，用于对输入数据进行特征提取；
输出层，用于对结果的输出，并根据训练数据分类标签的维度调整神经元个数。
进一步的，如表1所示，所述隐含层包括多层卷积层和多层池化层，多层所述卷积层与多层所述池化层间隔设置，且所述卷积层设置于所述池化层之前，以便于网络的快速收敛；所述卷积层用于进行卷积运算，并提取图片特征；所述池化层用于进行聚合统计，并对图片特征进行映射。
进一步的，如表1所示，所述隐含层还包括dropout层和全连接层，所述dropout层设置于所述池化层之后，所述全连接层设置于所述dropout层之后，所述全连接层设置有两层；通过设置所述dropout层可以使神经元按照随机概率和随机挑选出的神经单元一起发挥作用，能够减弱多个神经元之间的耦合性，增加了适应性，能够弥补现有的网络结构中费时和容易弥合两个缺点。
进一步的，通过sigmoid函数对所述输出层的输入进行映射，映射至情绪权值区
间，以得到预测的情绪权值，所述输出层公式为：
，其中Output和input分别为输出层的输出与输入，maxW和minW分别为情绪权值的上限和下
限。
进一步的，通过损失函数对卷积神经网络进行学习情绪分数的回归，损失函数公
式为：
，其中，Loss为损失函数值，y’为预测值，y为人工标记值，i为一
次迭代中所用到的图片数据集的图片编号，N为一次迭代中数据集图片数量。
进一步的，通过随机梯度下降法进行卷积神经网络中情绪权值的训练，以加快卷
积神经网络的训练速度，随机梯度下降法对应的情绪权值更新公式为：
，其中，
为情绪权值，
为学习速度参数，
为梯
度。
在本发明实施例所述的基于大数据的外语教学辅助方法中，如表1所示，所述卷积神经网络的参数采用基于高斯分布的随机参数设置，通过采用基于高斯分布的随机参数设置能够增加网络的多样性，使网络更加健壮，同时回传梯度也相对稳定；为使卷积神经网络识别精度提高，所述卷积神经网络的网络结构参数是卷积核大小为3*3，卷积核个数为16*32*64，卷积核移动步长为1，池化方式为平均池化，激活函数为relu，两个全连接层的神经元个数分别为2304和128。
表1：
如图1和图2所示，步骤2：通过大数据获取人脸表情图像并筛选，生成训练数据集，以作为卷积神经网络的训练输入源。
具体的，为提升对卷积神经网络的训练效果，通过大数据获取人脸表情图像集，优选的是人脸表情图像集为Fer2013数据集，所述Fer2013数据集由35887幅人脸的灰度图像组成，其中每幅图像的分辨率为48*48，且每幅图像人脸区域大致保持居中，在每张图像中人脸在图像中占据大致相同的像素数量，采用Fer2013数据集生成训练数据集可以免去网络爬虫和筛选样本的时间，能够提高对卷积神经网络的训练效率。
如图1和图2所示，步骤3：对生成的训练数据集进行预处理，以提高对卷积神经网络的训练准确度。
具体的，预处理包括：
步骤31：对图像中人脸区域进行识别并提取人脸区域；
步骤32：对提取人脸区域后的图像进行图片缩放；
具体的，由于卷积神经网络的输入层输入维度固定，需要输入网络的人脸图片具有相同的像素点，而Fer2013数据集中图片经过人脸检测提取人脸区域后，图像中人脸所占像素的数目并不完全相同，需使图片方所至相同像素数量，以作为卷积神经网络的输入。
进一步的，通过双线性插值重新生成图片像素矩阵，以对提取人脸区域后的图像进行图片缩放。
步骤33：将缩放后的模糊图片进行去除，以提升训练数据集的整体图像清晰度；
具体的，在进行人脸识别和放缩后，会导致有些原数据集图片上所占像素数量较小的人脸图片放缩后图片变得模糊，而这种模糊的图片的情绪特征并不清洗，输入至卷积神经网络中会在一定程度上污染卷积神经网络参数的训练。
进一步的，所述将缩放后的模糊图片进行去除包括：
通过拉普拉斯梯度函数衡量图片中连续像素之间的变化快慢，并设置定值Pr；
若图片的拉普拉斯算子方差小于Pr，则该图片为低清晰度图片，进行去除；
若图片的拉普拉斯算子方差大于Pr，则该图片为高清晰度图片，进行保留。
步骤34：在模糊图片去除后，对数据集中剩余图片添加高斯噪声；
具体的，通过公式
对图片中的每一个像素点修改其值为原
始值和高斯随机数的和，得到噪声图片，以对数据集中剩余图片添加高斯噪声，以实现在对
数据集进行扩充的同时，也可以提高卷积神经网络的鲁棒性；其中，x为像素点的灰度，
为
所增加高斯噪声的均值，
为所增加高斯噪声的方差。
如图1和图2所示，步骤4：对预处理后的训练数据集进行手工标注，标定情绪权值。
具体的，通过情绪权值作为情绪标定标准，以对不同程度的情绪进行区分及映射，从而得到情绪份数，可以适应不同的情绪分数划分标准的需要并且可以使对训练数据集的标定简单化。
进一步的，通过选取训练数据集中情绪程度划分明显的不同类型图片作为基准，对其分别赋予不同的情绪权值。
如图1和图2所示，步骤5：实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理。
具体的，由于教学方式与学员个体的差异，一种教学方式的情绪启发学员情绪状态具有时间效力，在一段时间内，学员可能出现主情绪状态和多种次情绪状态，若仅以某时刻下学员的面部图像作为学员情绪识别的输入图像，可能与实际学员的情绪状态存在较大的差异，因此需对采集的学员面部图像进行同化处理，以保留学员主情绪状态的面部图像，剔除学员次情绪状态的面部图像。
对所述采集的学员面部图像进行同化处理包括：
步骤51：设置采集时间窗口T并设定采集时间t；
步骤52：设置相似度阈值D，计算时间窗口T内ti时刻获取的学员面部图像与ti+1时刻获取的学员面部图像之间的相似度D（ti～ti+1）；
步骤53：根据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留，若D（ti～ti+1）小于D，则保留ti时刻和ti+1时刻获取的学员面部图像；若D（ti～ti+1）大于D，则计算ti+1时刻获取的学员面部图像与ti+2时刻获取的学员面部图像之间的相似度D（ti+1～ti+2），若D（ti+1～ti+2）小于D，则删除ti时刻获取的学员面部图像；若D（ti+1～ti+2）大于D，则删除ti+1时刻获取的学员面部图像；
步骤54：对采集时间窗口T内所剩余的学员图像进行预处理，以满足卷积神经网络的输入条件。
在本发明实施例所述的基于大数据的外语教学辅助方法中，所述步骤34中对采集时间窗口T内所剩余的学员图像进行的预处理操作，与步骤3中对生成的训练数据集进行的预处理操作相同，以减小对学员情绪状态的识别误差。
如图1和图2所示，步骤6：以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别。
具体的，所述以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别包括：
步骤61：以同化后学员面部图像集作为卷积神经网络的输入，依次输出每张面部图像的情绪权值；
步骤62：通过映射公式
，对每张面部图
像的情绪权值在学习分数区间[0,1]上进行映射，得到每张面部图像的学习情绪分数，其
中，weight为输出的面部图像的情绪权值，maxW和minW为情绪权值的上限和下限，maxS和
minS为情绪分数的上限和下限；
步骤63：计算同化后学员的面部图像集的平均学习情绪分数，若大于0.5，则判断学员的情绪状态为积极学习状态，若小于0.5则判断学员为消极学习状态。
如图1和图2所示，步骤7：通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库。
具体的，在外语教学中，学员对所学知识的学习情绪，可以直接表现学员对所学知识的学习效率，其中，教师的教学方式可直接影响学员的情绪状态，例如语调高亢或低沉、肢体动作的夸张与低调等，不同的教学方式可能引导学员产生积极的学习情绪或消极的学习情绪，即正向引导或负向引导。
进一步的，在云端建立外语教学数据库，通过大数据预先对多种外语教学方式进行分类汇总，并上传至外语教学数据库内进行存储；其中，外语教学数据库包括正向引导数据集和负向引导数据集。
进一步的，所述外语教学数据库内还存储有基准外语教学方式，根据所述基准外语教学方式对所述正向引导数据集和所述负向引导数据集遍历，逐一进行排序并赋予引导分值。
例如，以常态化的外语教学方式作为所述基准外语教学方式，即所述基准外语教学方式的引导分值为0.5；以此为识别模板，对所述正向引导数据集和所述负向引导数据集内的全部外语教学方式进行相似度识别，所述正向引导数据集和所述负向引导数据集内的外语教学方式与所述基准外语教学方式的相似度越近，则其对应的引导分值则越接近于0.5，其中所述正向引导数据集内的外语教学方式所对应的引导分值区间为(0.5,1]，所述负向引导数据集内的外语教学方式所对应的引导分值区间为[0,0.5)。
如图1和图2所示，步骤8：根据学员的情绪识别结果，对教师进行提醒，并为教师匹配教学方式；
所述为教师匹配教学方式包括：
获取学员在当前教学方式下的积极学习状态或消极学习状态：
根据所述积极学习状态或消极学习状态，在外语教学数据库匹配对应的外语教学方式；
若为积极学习状态，则正常教学；
若为消极学习状态，则对教师进行提醒，并计算正向引导数据集内所有教学方式所对应的引导分值与学员的学习情绪分数之差，选取教学方式所对应的引导分值与学员的学习情绪分数之差为0.5的教学方式为教师匹配。
如图3所示，本发明还提供了一种基于外语教学辅助装置，包括：
构建模块，用于通过TFLearn构建卷积神经网络；
生成模块，用于通过大数据获取人脸表情图像并筛选，生成训练数据集，以作为卷积神经网络的训练输入源；
处理模块，用于对生成的训练数据集进行预处理，以提高对卷积神经网络的训练准确度；
标注模块，用于对预处理后的训练数据集进行手工标注，标定情绪权值；
采集模块，用于实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；
识别模块，用于以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；
储存模块，用于通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；
匹配模块，用于根据学员的情绪识别结果，对教师进行提醒，并为教师匹配教学方式。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于大数据的外语教学辅助方法及装置，能够根据采集的学员图像判断学员的情绪状态，且能够根据学员的情绪状态及时帮助教师调整教学方式，能够辅助教师实时了解学员的学习情绪，改正教师教学中不良的负面影响，能够帮助教师及时调节学员的学习积极性，能够提高教师在外语教学中的教学质量。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于大数据的外语教学辅助方法，其特征在于：包括以下步骤：
实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；
以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；
通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；
根据学员的情绪识别结果，对教师进行提醒，并在外语教学数据库内为教师匹配教学方式。
2.根据权利要求1所述的基于大数据的外语教学辅助方法，其特征在于：在所述实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理之前，还包括：
通过TFLearn构建卷积神经网络；
通过大数据获取人脸表情图像并筛选，生成训练数据集，以作为卷积神经网络的训练输入源；
对生成的训练数据集进行预处理，以提高对卷积神经网络的训练准确度；
对预处理后的训练数据集进行手工标注，标定情绪权值。
3.根据权利要求2所述的基于大数据的外语教学辅助方法，其特征在于：对生成的训练数据集进行预处理中包括：
对图像中人脸区域进行识别并提取人脸区域；
对提取人脸区域后的图像进行图片缩放；
将缩放后的模糊图片进行去除，以提升训练数据集的整体图像清晰度；
在模糊图片去除后，对数据集中剩余图片添加高斯噪声。
4.根据权利要求3所述的基于大数据的外语教学辅助方法，其特征在于：将缩放后的模糊图片进行去除包括：
通过拉普拉斯梯度函数衡量图片中连续像素之间的变化快慢，并设置定值Pr；
若图片的拉普拉斯算子方差小于Pr，则该图片为低清晰度图片，进行去除；
若图片的拉普拉斯算子方差大于Pr，则该图片为高清晰度图片，进行保留。
5.根据权利要求4所述的基于大数据的外语教学辅助方法，其特征在于：对所述采集的学员面部图像进行同化处理包括：
设置采集时间窗口T并设定采集时间t；
设置相似度阈值D，计算采集时间窗口T内ti时刻获取的学员面部图像与ti+1时刻获取的学员面部图像之间的相似度D（ti～ti+1）；
根据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留；
对采集时间窗口T内所剩余的学员图像进行预处理，以满足卷积神经网络的输入条件。
6.根据权利要求5所述的基于大数据的外语教学辅助方法，其特征在于：所述根据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留包括：
若D（ti～ti+1）小于D，则保留ti时刻和ti+1时刻获取的学员面部图像；
若D（ti～ti+1）大于D，则计算ti+1时刻获取的学员面部图像与ti+2时刻获取的学员面部图像之间的相似度D（ti+1～ti+2），若D（ti+1～ti+2）小于D，则删除ti时刻获取的学员面部图像；若D（ti+1～ti+2）大于D，则删除ti+1时刻获取的学员面部图像。
7.根据权利要求6所述的基于大数据的外语教学辅助方法，其特征在于：所述以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别包括：
以同化后学员面部图像集作为卷积神经网络的输入，依次输出每张面部图像的情绪权值；
通过映射公式
，对每张面部图像的情绪权值在学习分数区间[0,1]上进行映射，得到每张面部图像的学习情绪分数，其中，weight为输出的面部图像的情绪权值，maxW和minW为情绪权值的上限和下限，maxS和minS为情绪分数的上限和下限；
计算同化后学员的面部图像集的平均学习情绪分数，若大于0.5，则判断学员的情绪状态为积极学习状态，若小于0.5则判断学员为消极学习状态。
8.根据权利要求7所述的基于大数据的外语教学辅助方法，其特征在于：所述外语教学数据库包括正向引导数据集和负向引导数据集，所述正向引导数据集和所述负向引导数据集内的外语教学方式均设置有引导分数。
9.根据权利要求8所述的基于大数据的外语教学辅助方法，其特征在于：所述为教师匹配教学方式包括：
获取学员在当前教学方式下的积极学习状态或消极学习状态：
根据所述积极学习状态或消极学习状态，在外语教学数据库匹配对应的外语教学方式；
若为积极学习状态，则正常教学；
若为消极学习状态，则对教师进行提醒，并计算正向引导数据集内所有教学方式所对应的引导分值与学员的学习情绪分数之差，选取教学方式所对应的引导分值与学员的学习情绪分数之差为0.5的教学方式为教师匹配。
10.一种基于大数据的外语教学辅助装置，其特征在于：所述辅助装置包括：
采集模块，用于实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理；
识别模块，用于以同化处理后的学员面部图像做为卷积神经网络的输入源，通过卷积神经网络对学员进行情绪识别；
储存模块，用于通过大数据对外语教学方式进行分类并汇总，生成外语教学数据库；
匹配模块，用于根据学员的情绪识别结果，对教师进行提醒，并为教师匹配教学方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210819287.5A CN114898449B (zh) | 2022-07-13 | 2022-07-13 | 一种基于大数据的外语教学辅助方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210819287.5A CN114898449B (zh) | 2022-07-13 | 2022-07-13 | 一种基于大数据的外语教学辅助方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898449A true CN114898449A (zh) | 2022-08-12 |
| CN114898449B CN114898449B (zh) | 2022-10-04 |
Family
ID=82729408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210819287.5A Active CN114898449B (zh) | 2022-07-13 | 2022-07-13 | 一种基于大数据的外语教学辅助方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898449B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304793A (zh) * | 2018-01-26 | 2018-07-20 | 北京易真学思教育科技有限公司 | 在线学习分析系统及方法 |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| US20190147293A1 (en) * | 2017-11-16 | 2019-05-16 | Samsung Electronics Co., Ltd. | Method and system for management and operation over image in a computing system |
| US20200175264A1 (en) * | 2017-08-07 | 2020-06-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Teaching assistance method and teaching assistance system using said method |
| CN112418034A (zh) * | 2020-11-12 | 2021-02-26 | 元梦人文智能国际有限公司 | 多模态情感识别方法、装置、电子设备和存储介质 |
| CN113221683A (zh) * | 2021-04-27 | 2021-08-06 | 北京科技大学 | 教学场景下基于cnn模型的表情识别方法 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
| US11132532B1 (en) * | 2018-05-10 | 2021-09-28 | Ism Connect, Llc | System and method for facial recognition accuracy |
| CN113657168A (zh) * | 2021-07-19 | 2021-11-16 | 西安理工大学 | 基于卷积神经网络的学生学习情绪的识别方法 |
-
2022
- 2022-07-13 CN CN202210819287.5A patent/CN114898449B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175264A1 (en) * | 2017-08-07 | 2020-06-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Teaching assistance method and teaching assistance system using said method |
| US20190147293A1 (en) * | 2017-11-16 | 2019-05-16 | Samsung Electronics Co., Ltd. | Method and system for management and operation over image in a computing system |
| CN108304793A (zh) * | 2018-01-26 | 2018-07-20 | 北京易真学思教育科技有限公司 | 在线学习分析系统及方法 |
| US11132532B1 (en) * | 2018-05-10 | 2021-09-28 | Ism Connect, Llc | System and method for facial recognition accuracy |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| CN112418034A (zh) * | 2020-11-12 | 2021-02-26 | 元梦人文智能国际有限公司 | 多模态情感识别方法、装置、电子设备和存储介质 |
| CN113221683A (zh) * | 2021-04-27 | 2021-08-06 | 北京科技大学 | 教学场景下基于cnn模型的表情识别方法 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
| CN113657168A (zh) * | 2021-07-19 | 2021-11-16 | 西安理工大学 | 基于卷积神经网络的学生学习情绪的识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| WEIQING WANG等: "《Emotion Recognition of Students Based on Facial Expressions in Online Education Based on the Perspective of Computer Simulation》", 《HINDAWI》 * |
| 李希 等: "《移动学习视阈下的手机与英语词汇习得应用》", 《乐山师范学院学报》 * |
| 李江: "《基于深度学习的人脸表情识别研究与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王艳玲: "《基于人脸识别的课堂教学监控系统分析》", 《电子测试》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898449B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111597908A (zh) | 试卷批改方法和试卷批改装置 | |
| CN113657168B (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
| CN108090857A (zh) | 一种多模态的学生课堂行为分析系统和方法 | |
| CN112487949B (zh) | 一种基于多模态数据融合的学习者行为识别方法 | |
| CN112508334A (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
| CN111915148A (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| CN116563738A (zh) | 一种基于不确定性的多阶段引导的小目标半监督学习检测方法 | |
| CN108345833A (zh) | 数学公式的识别方法及系统和计算机设备 | |
| JP2020047234A (ja) | データ評価方法、装置、機器及び読み取り可能な記憶媒体 | |
| CN116109455B (zh) | 一种基于人工智能的语言教学辅助系统 | |
| CN115797829A (zh) | 一种在线课堂学习状态分析方法 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN115546692A (zh) | 一种远程教育数据采集分析方法、设备及计算机存储介质 | |
| CN117150151B (zh) | 一种基于大语言模型的错题分析及试题推荐系统和方法 | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| CN107633527A (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
| CN114898449B (zh) | 一种基于大数据的外语教学辅助方法及装置 | |
| US20230290118A1 (en) | Automatic classification method and system of teaching videos based on different presentation forms | |
| CN116341983A (zh) | 一种专注力评价和预警方法、系统、电子设备及介质 | |
| CN113688789B (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 | |
| CN116029581A (zh) | 一种基于多源数据融合的在线教育用专注度评价方法 | |
| CN112613500A (zh) | 一种基于深度学习的校园动态阅卷系统 | |
| CN113469001A (zh) | 一种基于深度学习的学生课堂行为检测方法 | |
| CN111950472A (zh) | 教师磨课测评方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |