CN110826510A - 一种基于表情情感计算的三维教学课堂实现方法 - Google Patents

一种基于表情情感计算的三维教学课堂实现方法 Download PDF

Info

Publication number
CN110826510A
CN110826510A CN201911100319.0A CN201911100319A CN110826510A CN 110826510 A CN110826510 A CN 110826510A CN 201911100319 A CN201911100319 A CN 201911100319A CN 110826510 A CN110826510 A CN 110826510A
Authority
CN
China
Prior art keywords
expression
dimensional
interaction
web end
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911100319.0A
Other languages
English (en)
Inventor
谢宁
贾昕岚
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911100319.0A priority Critical patent/CN110826510A/zh
Publication of CN110826510A publication Critical patent/CN110826510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及在线教育领域，其公开了一种基于表情情感计算的三维教学课堂实现方法，将适用于教育场景的表情识别情感分析模型加入到无需任何插件支持的三维网页课程中，实现人机之间更加自然、更加智能化的互动。本发明基于WebGL构建教育教学场景，通过制作适用于教育场景的多样化人脸表情数据集，对卷积神经网络进行训练获得表情识别模型，将表情识别模型应用到服务端并与Web3D端通过WebSocket互连，实时通过前端摄像头截取人脸表情图片通过编码传递到后端，后端通过解码表情信息并利用表情识别模型进行快速特征提取并识别对应表情标签，再将最终识别结果传递给前端并匹配对应的情感交互事件，实现利用人脸表情识别算法来控制页端与用户进行交互的WebGL多媒体智能交互。

Description

一种基于表情情感计算的三维教学课堂实现方法
技术领域
本发明涉及在线教育领域，具体涉及一种基于表情情感计算的三维教学课堂实现方法。
背景技术
在互联网的各个领域中，发展和变化最快的就是Web应用的发展，已经成为当今网络技术的研究重点。随着人们对网页体验的要求不断提高，网页正在逐渐地从传统的二维平面网页向交互式三维网页发展。
但是，早期的三维技术并不成熟，比如Java Applet所实现的非常简单的Web交互三维图形程序，不仅需要下载一个巨大的支持环境，而且画面非常粗糙，性能也很差，其主要原因就在于Java Applet在进行图形渲染时，并没有直接利用到图形硬件本身的加速功能。后来，Adobe的Flash Player浏览器插件和微软Silverlight技术相继出现，逐渐成为了Web交互式三维图形的主流技术。与Java Applet技术不同，这两种技术直接利用操作系统提供的图形程序接口，来调用图形硬件的加速功能，从而实现了高性能的图形渲染。但是，这两种解决方案都存在一些问题：首先，它们是都是通过浏览器插件形式实现的，这就意味着对于不同的操作系统和浏览器需要下载不同版本的插件；其次，对于不同的操作系统，这两种技术需要调用不同图形程序接口。这两点不足在很大程度上限制了Web交互式三维图形程序的使用范围。
2014年10月，万维网联盟完成了HTMLS的标准制定，而作为HTMLS标准之一的WebGL(3D绘图协议)很好地解决了上述两个问题:首先，它通过Javascript脚本实现Web交互式三维图形制作程序的设计与实现，无需任何浏览器插件支持；其次，它利用底层图形硬件的加速功能进行的图形渲染，是通过统一的、标准的、跨平台的OpenGL ES2.0实现的。利用WebGL技术构建三维交互平台并加载三维模型，能使模型在网页端达到更加流畅的呈现效果。而由于WebGL的出现，也给日新月异的交互技术带来了新的挑战。
传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然，这是由于人类之间的沟通与交流是自然而富有感情的。因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算(Affective Computting)就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。情感是一种内部的主观体验，但总是伴随着某种表情。表情包括面部表情(面部肌肉变化所组成的模式)，姿态表情(身体其他部分的表情动作)和语调表情(言语的声调、节奏和速度等方面的变化)，这三种表情也被称为体语，构成了人类的非言语交往方式。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。心理学家A.Mehrabian经研究指出，在人类日常生活交际过程中，高达55％的社交意义是通过面部表情信息传达的，而言语信息所表达的全部社交意义的7％，其余的38％通过声音、音调、音色等信息传递。因此面部表情成为人类表达认知和情绪状态的一种重要方式，研究学者们也越来越重视如何利用计算机识别面部表情。
作为一种有效的情感分析方法，表情识别技术在教学环境中的应用效果受到广泛学者的认可，该类研究通过借助一定的外接设备(摄像头，传感器等)对学习者进行实时监测，并将收集到的关于人脸表情信息传递给服务器，经过一定的数据处理，再将结果反馈到Web端实现人机自然交互行为。在这个过程中，数据来源是情感计算的最重要前提，表情作为更直接有效的情感计算方式，可以展现出学生最真实的心理状态。
基于上述，本发明提出将基于深度学习的人脸表情识别算法应用到由WebGL构建的三维教学环境中，摆脱传统的手动人机交互模式，利用计算机分析人的脸部表情特征及变化，进而确定其内心情绪或思想活动，实现人机之间更自然、更智能化的互动。
发明内容
本发明所要解决的技术问题是：一种基于表情情感计算的三维教学课堂实现方法，将适用于教育场景的表情识别情感分析模型加入到无需任何插件支持的三维网页课程中，实现人机之间更加自然、更加智能化的互动。
本发明解决上述技术问题采用的技术方案是：
一种基于表情情感计算的三维教学课堂实现方法，包括以下步骤：
A、制作适用于教育场景的表情数据集；
B、采用表情数据集中的数据对由深度学习框架搭建的卷积神经网络进行训练，获得表情识别模型；
C、在服务端基于WebGL搭建在线教育3D教学场景，并设置与表情对应的交互事件；
D、将表情识别模型应用于服务端，服务端与web端通过WebSocket建立连接；
E、当进行在线教学时，在web端的浏览器上加载所述在线教育3D教学场景并进行动画渲染，呈现三维教学环境；
F、在web端采集用户的表情信息传送给服务端，由服务端基于表情识别模型进行表情识别并触发对应的交互事件反馈到web端的浏览器的当前界面中。
作为进一步优化，步骤A中，所述适用于教育场景的表情数据集包括分为积极、消极、中性三大类十种表情：专注、走神、疲惫、失望、恐惧、悲伤、中性、高兴、惊讶和生气。
作为进一步优化，步骤A中，还包括基于表情数据集构建表情数据库，所述表情数据库包含十种表情的二维RGB图片序列、对应帧的深度图像以及整个脸部的三维特征点数据。
作为进一步优化，步骤B中，所述采用表情数据集中的数据对由深度学习框架搭建的卷积神经网络进行训练包括：将表情数据集中的人脸表情训练样本放入由深度学习框架搭建的卷积神经网络中提取图像的深层特征，然后通过softmax分类器进行表情特征分类。
作为进一步优化，步骤B中，在对卷积神经网络进行训练过程中，通过表情数据训练次数的迭代以及不同参数的优化尝试来提高训练的表情识别模型算法的准确率。
作为进一步优化，步骤C中，所述设置与表情对应的交互事件具体包括：为不同的表情分别设置对应的语音+视觉的交互反馈，其中视觉反馈包括3D动态模型和文字。
作为进一步优化，步骤E中，所述web端的浏览器为任意浏览器且无需插件支持即可在线浏览课程。
作为进一步优化，步骤F具体包括：在web端实时通过摄像头截取人脸表情图片通过编码传递到服务端，服务端通过解码表情信息并利用已经训练好的表情识别模型进行特征提取并识别对应表情标签，再将最终识别结果传递给web端，同时匹配对应的情感交互事件向web端下达反馈交互指令，web端根据获取的反馈交互指令进行对应的视觉+听觉的交互反馈。
本发明的有益效果是：
(1)从教学应用的角度出发，提出将人脸表情识别的智能人机交互算法应用于利用WebGL所研发的三维课件中，使学习者在较为真实、形象的学习环境下学习，让学习环境更加生动化、形象化，有利于提高学习的兴趣；
(2)在Web端无需指定浏览器以及安装插件即可进行在线浏览课程，并进行实时的智能交互，并且可以跨平台运行，包括手机、平板、家用电脑等任何主流操作系统当中；
(3)在交互反馈中，融合了视觉+听觉的交互反馈信息，能够达到更好的交互效果。
附图说明
图1为本发明智能情感分析的3D教育平台的整体架构图；
图2为交互反馈分类示意图；
图3为卷积神经网络基本模型图。
具体实施方式
本发明旨在提供一种基于表情情感计算的三维教学课堂实现方法，将适用于教育场景的表情识别情感分析模型加入到无需任何插件支持的三维网页课程中，实现人机之间更加自然、更加智能化的互动。本发明通过对目前关于三维场景呈现技术的研究与对比，选取了可跨平台的WebGL技术作为主要的技术手段来搭建3D教育平台，WebGL借助系统显卡，为浏览器提供硬件图形图像加速渲染，学生可以在浏览器里更加流畅地浏览3D场景和模型。WebGL技术的一大特点就是不需要在浏览器上添加任何插件，便能够被运用到网页中去以创建复杂多样的3D结构，在相同硬件条件下提高3D数据的渲染性能与效果，达到较好的三维场景呈现效果。而为了了解学生的学习状态，本发明在构建好的三维教学场景中加入了基于表情识别的情感分析技术，让机器能快速、准确的了解学习中的学习状态，从而达到较好的交互效果。最终本发明将实现一个融入了基于表情识别的情感分析交互技术的三维网页教育课程，并最终构建一套适用于三维教育场景中的情感分析神经网络并实现智能人机交互。
本发明搭建出来的融入情感分析的教育平台包括对教育场景的人脸表情的训练、识别、分析、分类以及在页端实时加载、渲染三维模型，最终呈现一个较为真实的三维教学环境，整体的组织结构如图1所示；主要有三个部分：第一个部分就是教育三维场景的渲染，包括在Canvas中加载逼真的三维模型与动画渲染；第二部分就是人脸表情的获取，通过前端的摄像头进行人脸表情的识别以及截取并编码传递给后端；第三部分就是交互模式的呈现，后端接收前端传递的情感数据，并对数据进行解码将其作为情感分析模型的输入参数，利用已经训练好的人脸表情识别模型进行情感分析，并匹配不同的情感标签，利用对表情标签设定的情感分类，分别对应不同的智能人机交互模式，并对前端下达交互指令，完成人机交互。
本发明基于表情情感计算的三维教学课堂实现方法在具体实现上包括以下步骤：
1、构建本发明所使用的面向教育场景的表情数据集：制作的人脸表情数据集中，人脸表情样本集需要多样化，在基于常见的7种表情数据(目前选择的数据集是fer2013，后期会用更全面的emotionet数据集)中需要进行更加细化的分类，除了常见的表情之外，还需要定义符合教育情景的走神、专注、疲惫这三种表情训练集样本。因此，本发明的表情数据集涵盖10种基本表情。
结合心理学界提出的情绪与认知活动的关系:积极的情绪促进认知活动的发生，消极情绪会阻碍认知过程，本发明将学生在智能学习环境中的学习情绪分为积极情绪、中性情绪、消极情绪。表1为10类基本表情与情绪状态的映射关系。
表1：基本表情与情绪状态的映射关系表
Figure BDA0002269660900000041
基于对现存数据库录制流程的研究，制定详细的表情数据库构建方案，并基于该方案分类录制一套较为完整的表情数据库进行验证，该数据库包含二维RGB图片序列，还包括对应帧的深度图像，以及整个脸部的三维特征点数据，该数据库的构建可以为后续表情检测识别提供数据支撑。
2、采用表情数据集中的数据对由深度学习框架搭建的卷积神经网络进行训练，获得表情识别模型：将制作好的训练集放入设计好的卷积神经网络进行训练，通过表情数据训练次数的迭代以及不同参数的优化尝试，最大程度提高算法的识别准确率。
卷积神经网络(CNN)仅是众多人工神经网络中的其中一个，但确是当今在图像分类以及目标检测等许多领域中发展最快的并且效果最优的那个，并且在自然语言处理以及人脸表情识别等其他领域的担当着重要的角色。卷积网络的突出优点就是结构简单，训练参数少，实质就是一种从输入到输出的映射模型。通过有监督的训练，卷积网络就能够有效地学习输入与输出之间的映射关系，而不需要精确的数学公式。图3所示是卷积神经网络的基本模型。
卷积神经网络的训练算法包括4个步骤，这4个步骤又被划分为两个方向，分别为前向传播和后向传播。
其中，前向传播的过程如下：
从输入信息中取样本(X，Xp)，其中X为输入的样本，Xp为样本X的标签值，作为后向传播的输入参数。将X输入网络后计算对应的输出变量Op：
在这个网络模型中，从输入层逐级往下传递到输出层，这中间信息经过了多次处理与变化。神经网络具体运算的公式如式1所示
Op＝Fn(...((F2(F1(XpW(1))W(2))...)W(n))p) (式1)
其中Fn中的n代表第n层，W(n)代表第n个权重系数，Xp表示当前第p个标签值。
后向传播的过程如下：
在实际系统中得到的输出值Op与理想中的输出值Yp总是有差距的，通过计算他们的差值，在得到差值后，通过使用极小化误差的方法来调整权矩阵。
在这两个阶段，需用式2计算Ep，这代表第p个样本的误差测度，这非常有利于控制精度。而将网络关于整个样本集的误差测度定义为:E＝∑Ep
Figure BDA0002269660900000051
其中Ym表示输出的理想值，Oj表示实际的输出值，j代表当前所算的第j个oj值，在后向传播阶段，通过实际输出与理想输出的误差来调整神经元的连接权值，接着，再逐层往前回调得到其他层的误差。卷积神经网络也可以分为3个层级，分别是输入层、中间层和输出层，假设他们的单元数分别是N、L和M。并设定X＝(X0,X1,X2...XN)代表输入信息，H＝(H0,H1,H2...HM)代表中间层输出信息，Y＝(Y0,Y1,Y2...YN)代表的输出层信息，再用D＝(D0,D1,D2...DM)来代表训练过程中的预设输出矢量。Wij被用来表示输入层信息i到中间层输出信息j的权值，Wjk被用来表示而中间层输出信息j到输出层信息k的权值。θk和Φj分别被用来表示输出单元和中间层单元的阈值。
那么，可以把中间层各单元以及输出层各单元的输出公式定义如式3所示:
Figure BDA0002269660900000061
其中L表示中间层的单元数，yk代表第k层输出信息，Wn表示当前层的权值,hj代表第j层的输出信息，θk代表第k层的误差值，其中，符号f()代表激励函数，它的定义如式4所示，其中k表示激励函数系数:
Figure BDA0002269660900000062
基于以上原理，对网络进行训练，有如下步骤:
(1)挑选训练样本作为输入；
(2)初始化参数：将Vij、Wjk、θk、Φj，设置为接近于0的随机值，并对常量系数α及控制参数ε和学习率进行初始化；
(3)在网络的输入层输入样本X，并确定预设输出矢量D；
(4)根据上面的原理分别算出中间层各单元的输出和输出层各单元的输出；
(5)求输出层各单元的输出中的元素yk、与预设输出矢量中的元素dk的差值，如式5所示:
接着，中间层输出信息的误差项式如式6所示:
Figure BDA0002269660900000064
hj代表第j层的输出信息，M表示输出层的单元数，Wjk表示j层的第k个单元的权值；
(6)接着算出各权值的调整量式，公式如式7、式8所示：
ΔWjk(n)＝(α/(1+L))*(ΔWjk(n-1)+1)*δk*hj (式7)
ΔVjk(n)＝(α/(1+N))*(ΔVjk(n-1)+1)*δk*hj (式8)
其中L表示中间层的单元数，阈值的调整量式如式9、式10所示：
Δθk(n)＝(α/(1+L))*(Δθk(n-1)+1)*δk (式9)
Figure BDA0002269660900000071
(7)调整权值，如式11和式12所示：
Wjk(n+1)＝Wjk(n)+ΔWjk(n) (式11)
Vij(n+1)＝Vij(n)+ΔVij(n) (式12)
调整阈值：如式13和式14所示：
θk(n+1)＝θk(n)+Δθk(n) (式13)
Figure BDA0002269660900000072
(8)经过调整以后，看精度是否达到要求E≤ε,E代表总误差函数，满足就继续下一步。假如精度没有达到预期效果，那么就继续迭代。
(9)在训练完成后保存权值和阈值。这时各个权值己经确定下来，得到稳定的分类器。保存的权值和阈值可以用于下一次训练，无需再初始化。
3、在服务端基于WebGL搭建在线教育3D教学场景，并设置与表情对应的交互事件：
应用较为熟悉的Web图形引擎开发知识，搭建出3D教育场景。WebGL是基于OpenGLES 2.0的一种新的API，在浏览器中与Web页面的其他元素可以无缝连接。WebGL具有跨平台的特性，可以运行在从手机、平板到家用电脑的任何主流操作系统当中。
在搭建教学场景后，还要为不同的表情分别设置对应的语音+视觉的交互反馈，其中视觉反馈包括3D动态模型和文字。利用此交互反馈，可以在实时分析出教学环境中学生的学习状态，对其作出适宜的交互行为。
4、将表情识别模型应用于服务端，服务端与web端通过WebSocket建立连接：
将训练好的基于深度学习的人脸表情识别算法应用到服务端并与Web3D端通过WebSocket互连，通过Web端与服务器之间的socket(套接字)接口可以完成面部表情信息的实时传送，从而便于服务器对表情进行识别和分析，以此触发对应交互事件控制web端作出交互。
5、当进行在线教学时，在web端的浏览器上加载所述在线教育3D教学场景并进行动画渲染，呈现三维教学环境：通过对页面场景的灯光调控、渲染器设置以及调用模型加载函数，最终在Web端构造一个虚拟的三维世界。
6、在web端采集用户的表情信息传送给服务端，由服务端基于表情识别模型进行表情识别并触发对应的交互事件反馈到web端的浏览器的当前界面中：在web端实时通过摄像头截取人脸表情图片通过编码传递到服务端，服务端通过解码表情信息并利用已经训练好的表情识别模型进行特征提取并识别对应表情标签，再将最终识别结果传递给web端，同时匹配对应的情感交互事件向web端下达反馈交互指令，web端根据获取的反馈交互指令进行对应的视觉+听觉的交互反馈，如图2所示。
基于该交互反馈，本发明可以完成web端界面上的卡通模型向用户微笑(用户微笑状态)、提醒(用户走神状态)、哭泣(外接视频设备故障以及用户答题失败)、赞扬(用户专注状态)、高兴(用户答题正确)、鼓励(用户疑问状态)、振作(用户疲惫状态)等表情样式的展示，同时还可与对应声音相结合一起反馈到用户界面。

Claims (8)

1.一种基于表情情感计算的三维教学课堂实现方法，其特征在于，
包括以下步骤：
A、制作适用于教育场景的表情数据集；
B、采用表情数据集中的数据对由深度学习框架搭建的卷积神经网络进行训练，获得表情识别模型；
C、在服务端基于WebGL搭建在线教育3D教学场景，并设置与表情对应的交互事件；
D、将表情识别模型应用于服务端，服务端与web端通过WebSocket建立连接；
E、当进行在线教学时，在web端的浏览器上加载所述在线教育3D教学场景并进行动画渲染，呈现三维教学环境；
F、在web端采集用户的表情信息传送给服务端，由服务端基于表情识别模型进行表情识别并触发对应的交互事件反馈到web端的浏览器的当前界面中。
2.如权利要求1所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤A中，所述适用于教育场景的表情数据集包括分为积极、消极、中性三大类十种表情：专注、走神、疲惫、失望、恐惧、悲伤、中性、高兴、惊讶和生气。
3.如权利要求2所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤A中，还包括基于表情数据集构建表情数据库，所述表情数据库包含十种表情的二维RGB图片序列、对应帧的深度图像以及整个脸部的三维特征点数据。
4.如权利要求1所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤B中，所述采用表情数据集中的数据对由深度学习框架搭建的卷积神经网络进行训练包括：将表情数据集中的人脸表情训练样本放入由深度学习框架搭建的卷积神经网络中提取图像的深层特征，然后通过softmax分类器进行表情特征分类。
5.如权利要求4所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤B中，在对卷积神经网络进行训练过程中，通过表情数据训练次数的迭代以及不同参数的优化尝试来提高训练的表情识别模型算法的准确率。
6.如权利要求1所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤C中，所述设置与表情对应的交互事件具体包括：为不同的表情分别设置对应的语音+视觉的交互反馈，其中视觉反馈包括3D动态模型和文字。
7.如权利要求1所述的一种基于表情情感计算的三维教学课堂实现方法，
其特征在于，步骤E中，所述web端的浏览器为任意浏览器且无需插件支持即可在线浏览课程。
8.如权利要求1-7任意一项所述的一种基于表情情感计算的三维教学课堂实现方法，
步骤F具体包括：在web端实时通过摄像头截取人脸表情图片通过编码传递到服务端，服务端通过解码表情信息并利用已经训练好的表情识别模型进行特征提取并识别对应表情标签，再将最终识别结果传递给web端，同时匹配对应的情感交互事件向web端下达反馈交互指令，web端根据获取的反馈交互指令进行对应的视觉+听觉的交互反馈。
CN201911100319.0A 2019-11-12 2019-11-12 一种基于表情情感计算的三维教学课堂实现方法 Pending CN110826510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100319.0A CN110826510A (zh) 2019-11-12 2019-11-12 一种基于表情情感计算的三维教学课堂实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100319.0A CN110826510A (zh) 2019-11-12 2019-11-12 一种基于表情情感计算的三维教学课堂实现方法

Publications (1)

Publication Number Publication Date
CN110826510A true CN110826510A (zh) 2020-02-21

Family

ID=69554276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100319.0A Pending CN110826510A (zh) 2019-11-12 2019-11-12 一种基于表情情感计算的三维教学课堂实现方法

Country Status (1)

Country Link
CN (1) CN110826510A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459283A (zh) * 2020-04-07 2020-07-28 电子科技大学 一种融合人工智能和Web3D的人机交互实现方法
CN111882628A (zh) * 2020-08-05 2020-11-03 北京智湃科技有限公司 一种基于WebGL对3D数字虚拟人实时行为渲染的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130297297A1 (en) * 2012-05-07 2013-11-07 Erhan Guven System and method for classification of emotion in human speech
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107958433A (zh) * 2017-12-11 2018-04-24 吉林大学 一种基于人工智能的在线教育人机交互方法与系统
CN108427910A (zh) * 2018-01-30 2018-08-21 浙江凡聚科技有限公司 深层神经网络ar手语翻译学习方法、客户端及服务器
CN109300537A (zh) * 2018-09-17 2019-02-01 金碧地智能科技（珠海）有限公司 一种基于深度学习的独居老人异常表情识别及自动求助系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN109637207A (zh) * 2018-11-27 2019-04-16 曹臻祎 一种学前教育互动教学装置及教学方法
CN109711371A (zh) * 2018-12-29 2019-05-03 山东旭兴网络科技有限公司 一种基于面部表情识别的课堂教学评估系统
CN109767368A (zh) * 2019-01-16 2019-05-17 南京交通职业技术学院 一种基于WebGL技术的虚拟化学实验教学平台
CN109948569A (zh) * 2019-03-26 2019-06-28 重庆理工大学 一种利用粒子滤波框架的三维混合表情识别方法
KR101996039B1 (ko) * 2018-09-27 2019-07-03 국립공주병원 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
CN110110169A (zh) * 2018-01-26 2019-08-09 上海智臻智能网络科技股份有限公司 人机交互方法及人机交互装置
CN110163145A (zh) * 2019-05-20 2019-08-23 西安募格网络科技有限公司 一种基于卷积神经网络的视频教学情感反馈系统
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130297297A1 (en) * 2012-05-07 2013-11-07 Erhan Guven System and method for classification of emotion in human speech
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107958433A (zh) * 2017-12-11 2018-04-24 吉林大学 一种基于人工智能的在线教育人机交互方法与系统
CN110110169A (zh) * 2018-01-26 2019-08-09 上海智臻智能网络科技股份有限公司 人机交互方法及人机交互装置
CN108427910A (zh) * 2018-01-30 2018-08-21 浙江凡聚科技有限公司 深层神经网络ar手语翻译学习方法、客户端及服务器
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN109300537A (zh) * 2018-09-17 2019-02-01 金碧地智能科技（珠海）有限公司 一种基于深度学习的独居老人异常表情识别及自动求助系统
KR101996039B1 (ko) * 2018-09-27 2019-07-03 국립공주병원 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
CN109637207A (zh) * 2018-11-27 2019-04-16 曹臻祎 一种学前教育互动教学装置及教学方法
CN109711371A (zh) * 2018-12-29 2019-05-03 山东旭兴网络科技有限公司 一种基于面部表情识别的课堂教学评估系统
CN109767368A (zh) * 2019-01-16 2019-05-17 南京交通职业技术学院 一种基于WebGL技术的虚拟化学实验教学平台
CN109948569A (zh) * 2019-03-26 2019-06-28 重庆理工大学 一种利用粒子滤波框架的三维混合表情识别方法
CN110163145A (zh) * 2019-05-20 2019-08-23 西安募格网络科技有限公司 一种基于卷积神经网络的视频教学情感反馈系统
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
HONG-REN CHEN: "ASSESSMENT OF LEARNERS’ATTENTION TO E-LEARNING BY MONITORING FACIAL EXPRESSIONS FOR COMPUTER NETWORK COURSES", 《J. EDUCATIONAL COMPUTING RESEARCH》 *
LUCA CHITTARO: "Web3D technologies in learning, education and training:Motivations, issues, opportunities", 《COMPUTERS & EDUCATION 》 *
ZAIWEN WANG: "Research on E-Learning System and Its Supporting Products:A Review Base on Knowledge Management", 《PROCEEDINGS OF THE SECOND SYMPOSIUM INTERNATIONAL COMPUTER SCIENCE AND COMPUTATIONAL TECHNOLOGY(ISCSCT’09)》 *
刘琳: "基于情感计算和 Web3D技术的现代远程教学模型", 《中国远程教育》 *
孙波: "智慧学习环境中基于面部表情的情感分析", 《现代远程教育研究》 *
李勇帆: "论情感计算和Web3D技术支持的网络自主在线学习模式的设计与构建", 《中国电化教育》 *
王新星: "基于WebGL和自然交互技术的太极拳学习系统设计与实现", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *
马希荣: "基于情感计算的e-Learning系统建模", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459283A (zh) * 2020-04-07 2020-07-28 电子科技大学 一种融合人工智能和Web3D的人机交互实现方法
CN111882628A (zh) * 2020-08-05 2020-11-03 北京智湃科技有限公司 一种基于WebGL对3D数字虚拟人实时行为渲染的方法

Similar Documents

Publication Publication Date Title
US11790587B2 (en) Animation processing method and apparatus, computer storage medium, and electronic device
CN110851760A (zh) 在web3D环境融入视觉问答的人机交互系统
WO2023284435A1 (zh) 生成动画的方法及装置
CN111028319A (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN115294427A (zh) 一种基于迁移学习的风格化图像描述生成方法
CN116309992A (zh) 一种智能元宇宙直播人物生成方法、设备和存储介质
CN115953521B (zh) 远程数字人渲染方法、装置及系统
CN116704085B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN110826510A (zh) 一种基于表情情感计算的三维教学课堂实现方法
CN117251057A (zh) 一种基于aigc构建ai数智人的方法及系统
Lv et al. Cognitive robotics on 5G networks
CN116883608B (zh) 一种多模态数字人社交属性控制方法及相关装置
Battistoni et al. Sign language interactive learning-measuring the user engagement
Geng Design of English teaching speech recognition system based on LSTM network and feature extraction
CN116740238A (zh) 个性化配置方法、装置、电子设备及存储介质
Gu et al. Online teaching gestures recognition model based on deep learning
CN106845391B (zh) 一种家居环境下的氛围场识别方法及识别系统
Cao et al. Facial Expression Study Based on 3D Facial Emotion Recognition
Fernandez-Fernandez et al. Neural policy style transfer
CN117857892B (zh) 基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN116775179A (zh) 虚拟对象配置方法、电子设备及计算机可读存储介质
Zhao et al. A Vision and Semantics-Jointly Driven Hybrid Intelligence Method for Automatic Pairwise Language Conversion
Zhu et al. Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application.
CN111459283A (zh) 一种融合人工智能和Web3D的人机交互实现方法
CN118037921A (zh) 一种虚拟人物的渲染方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication