CN110174948A - 一种基于小波神经网络的语言智能辅助学习系统与方法 - Google Patents

一种基于小波神经网络的语言智能辅助学习系统与方法 Download PDF

Info

Publication number
CN110174948A
CN110174948A CN201910447173.0A CN201910447173A CN110174948A CN 110174948 A CN110174948 A CN 110174948A CN 201910447173 A CN201910447173 A CN 201910447173A CN 110174948 A CN110174948 A CN 110174948A
Authority
CN
China
Prior art keywords
student
neural network
wavelet neural
signal
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910447173.0A
Other languages
English (en)
Other versions
CN110174948B (zh
Inventor
江沸菠
代建华
罗坚
陈大卫
自永红
薛开伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN201910447173.0A priority Critical patent/CN110174948B/zh
Publication of CN110174948A publication Critical patent/CN110174948A/zh
Application granted granted Critical
Publication of CN110174948B publication Critical patent/CN110174948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明公开了一种基于小波神经网络的语言智能辅助学习系统与方法，属于智能辅助学习技术领域，包括学生端系统、教师端系统，该基于小波神经网络的语言智能辅助学习系统结合了小波神经网络的多尺度分析功能，将面部表情信号、语音情感信号、脑电专注度信号进行神经网络处理，再进行综合比对，得到学生的学习情绪、学习状态和学习纪律指标，教师再根据相关指标实时调整课堂教学方法；本发明具有使用方便，操作便捷，数据可靠等优点，对于解决目前语言学习效率低下的问题具有重要的社会意义和应用价值。

Description

一种基于小波神经网络的语言智能辅助学习系统与方法
技术领域
本发明属于智能辅助学习技术领域，特别涉及一种基于小波神经网络的语言智能辅助学习系统与方法。
背景技术
随着世界经济的发展，经济全球化和贸易全球化已经是一种世界潮流，地球变成了“地球村”，全世界人民之间的文化交流日益增多，而语言是不同人类文明之间进行文化、经济、政治交流的重要载体，对于大多数人而言，掌握一门甚至多门外语迫在眉睫。
传统的语言学习以黑板为载体，教学方式单一，不能充分调动学生学习积极性和主动性，且不同语言之间存在相当大的差异，往往忽视了学生的学习情绪、学习状态和学习纪律，导致学习效率低下，教学效果不佳。
发明内容
针对语言学习效率低下和教学效果不佳的问题，本发明的目的在于提供一种基于小波神经网络的语言智能辅助学习系统与方法，在语言教学过程中，监督捕捉学生的面部表情、脑电专注度信号和语音情感信号，通过小波神经网络进行综合分析，得到学生的学习情绪、学习状态和学习纪律指标，以此来调整课堂上的教学计划和教学方法。
本发明提供以下技术方案：一种基于小波神经网络的语言智能辅助学习系统，包括学生端系统1、教师端系统2；
所述学生端系统1包括微处理器ARM 101、面部摄像头102、脑电传感器103、话筒104、通信模块105、存储器106、触摸屏107、电源模块108，微处理器ARM 101与面部摄像头102、脑电传感器103、话筒104、通信模块105、存储器106、触摸屏107、电源模块108相连；面部摄像头102用于捕捉学生的面部图像，并发送至微处理器ARM 101；脑电传感器103用于采集学生的脑电信号，并发送至微处理器ARM 101；话筒104用于采集学生的语音信号，并发送至微处理器ARM 101；通信模块105用于学生端系统1与教师端系统2的数据通信，微处理器ARM 101将采集的面部图像、脑电信号和语音信号转换为面部表情信息、脑电专注度信息和语音情感信息，通过通信模块105发送至教师端系统2；存储器106用于存储学生端的配置数据；触摸屏107用于I/O交互；电源模块108为整个学生端系统供电；
所述教师端系统2包括微处理器ARM 201、小波神经网络模块202、通信模块203、存储器204、触摸屏205、高清摄像头206、话筒207、电源模块208，微处理器ARM 201与小波神经网络模块202、通信模块203、存储器204、触摸屏205、高清摄像头206、话筒207、电源模块208相连；微处理器ARM 201通过小波神经网络模块202对面部表情信息、脑电专注度信息和语音情感信息进行处理，得到学生的学习情绪、学习状态和学习纪律指标；通信模块203用于学生端系统1与教师端系统2的数据通信；存储器204用于存储教师端的配置数据；触摸屏205用于I/O交互，输出当前的学生状态指标；高清摄像头206用于采集教师的教学视频；话筒207用于采集教师的教学语音；教学视频、教学语音通过通信模块203传输至学生端系统1，通过触摸屏107播放，供学生进行语言学习；电源模块208为整个教师端系统2供电。
优选的，所述通信模块为4G模块。
优选的，所述电源模块为可充电的二次电池；更优选为锂电池。
优选的，所述触摸屏用于播放视频、语音数据，也用于接收用户的操作指令并上传至微处理器ARM。
本发明还提供一种基于小波神经网络的语言智能辅助学习方法，包括以下步骤：
步骤一、学生端系统通过话筒采集学生的语音信号，通过脑电传感器采集学生的脑电信号，通过面部摄像头采集学生的面部图像信息，获取学生的面部图像信息、脑电信号和语音信号；
步骤二、学生端微处理器ARM对语音信号进行情感分析，对面部图像信息进行表情识别，对脑电信号进行专注度分析，得到面部表情信号、脑电专注度信号和语音情感信号，并发送至教师端系统；
步骤三、建立小波神经网络，根据面部表情信号、脑电专注度信号和语音情感信号标注学生的学习情绪、学习状态和学习纪律指标三种输出指标，采集足够的训练样本；
步骤四、根据训练样本进行神经网络训练，直至小波神经网络收敛；
步骤五、实时接收学生的采集数据，并分析输出当前学生的学习情绪、学习状态和学习纪律指标，教师根据以上指标调整课堂上的教学计划和教学方法。
进一步，所述步骤二中，采用支持向量机(SVM)算法，对语音信号进行情感分析，对面部图像信息进行表情识别，对脑电信号进行专注度分析，得到面部表情信号、脑电专注度信号和语音情感信号。
进一步，所述步骤三中，小波神经网络对面部表情信号、脑电专注度信号和语音情感信号进行综合分析，采用人工标注的方法：根据现场学生的反馈，组织有经验的老师对数据进行标注，得到学生的学习情绪、学习状态和学习纪律指标，小波神经网络的输入输出指标分布如下表所示：
在小波神经网络中，为了实现高阶的非线性拟合，同时克服小样本学习下，神经网络的过拟合问题，所述小波神经网络采用超权衰减误差回传算法(HWDBP)进行训练，进而提高网络的泛化能力，在超权衰减误差回传算法中，泛化误差函数定义为：
式(1)中t是当前迭代次数，G(t)为泛化误差函数，r为正则化系数，E(t)为误差项，B(t)为超权衰减项，分别定义为：
B(t)＝∑Θ(t)2/(1+Θ(t)2) (2)
式(2)中，l为样本数量，Ol(t)为神经网络预测结果，包括学习情绪、学习状态和学习纪律三个指标，为对应样本标记结果；Θ代表了小波神经网络的参数；超权衰减机制能够增强神经网络的泛化能力，提高神经网络在小样本条件下的预测性能；
小波神经网络的输出定义为：
式(3)中k为小波神经网络中小波节点的数量，uk为归一化激励强度，为小波基函数，采用Morlet母小波ak与bk分别为小波基函数的尺度参数和位移参数，wjk为小波神经网络的权值，zj为输入信号，包括面部表情信息、脑电专注度信息和语音情感信息。
进一步，所述HWDBP算法的更新规则如下：
Θ(t+1)＝Θ(t)+ΔΘ (4)
式(4)中代表wjk，uk，ak和bk的梯度，计算公式分别为：
式中为的一阶导数。
本发明具有以下有益技术效果：
本发明提供一种基于小波神经网络的语言智能辅助学习系统与方法，该基于小波神经网络的语言智能辅助学习系统结合了小波神经网络的多尺度分析功能，将面部表情信号、语音情感信号、脑电专注度信号进行神经网络处理，再进行综合比对，得到学生的学习情绪、学习状态和学习纪律指标，教师再根据相关指标实时调整课堂教学方法；本发明具有使用方便，操作便捷，数据可靠等优点，对于解决目前语言学习效率低下的问题具有重要的社会意义和应用价值。
附图说明
图1为基于小波神经网络的语言智能辅助学习系统的结构框图。
图2为基于小波神经网络的语言智能辅助学习方法的流程图。
具体实施方式
下面结合具体实施例和附图对本发明进行进一步说明：
如图1所示，一种基于小波神经网络的语言智能辅助学习系统，包括学生端系统1、教师端系统2；
学生端系统1包括微处理器ARM 101、面部摄像头102、脑电传感器103、话筒104、通信模块105、存储器106、触摸屏107、电源模块108，微处理器ARM 101与面部摄像头102、脑电传感器103、话筒104、通信模块105、存储器106、触摸屏107、电源模块108相连；面部摄像头102用于捕捉学生的面部图像，并发送至微处理器ARM 101；脑电传感器103用于采集学生的脑电信号，并发送至微处理器ARM 101；话筒104用于采集学生的语音信号，并发送至微处理器ARM 101；通信模块105用于学生端系统1与教师端系统2的数据通信，微处理器ARM 101对采集的语音信号进行情感分析，对采集的面部图像信息进行表情识别，对采集的脑电信号进行专注度分析，并通过通信模块105将面部表情信号、脑电专注度信号和语音情感信号发送至教师端系统2；存储器106用于存储学生端的配置数据；触摸屏107用于I/O交互；电源模块108为整个学生端系统供电；
教师端系统2包括微处理器ARM 201、小波神经网络模块202、通信模块203、存储器204、触摸屏205、高清摄像头206、话筒207、电源模块208，微处理器ARM 201与小波神经网络模块202、通信模块203、存储器204、触摸屏205、高清摄像头206、话筒207、电源模块208相连；微处理器ARM 201通过小波神经网络模块202对面部表情信号、脑电专注度信号和语音情感信号进行处理，得到学生的学习情绪、学习状态和学习纪律指标；通信模块203用于学生端系统1与教师端系统2的数据通信；存储器204用于存储教师端的配置数据；触摸屏205用于I/O交互，输出当前的学生状态指标；高清摄像头206用于采集教师的教学视频；话筒207用于采集教师的教学语音；教学视频、教学语音通过通信模块203传输至学生端系统1，通过触摸屏107播放，供学生进行语言学习；电源模块208为整个教师端系统2供电。
在具体实施例中，通信模块为4G模块。
在具体实施例中，电源模块为锂电池。
在具体实施例中，微处理器ARM的型号为Exynos 4412。
面部摄像头102采集学生面部图像，脑电传感器103采集学生脑电信号，话筒104采集学生语音信号，并由微处理器ARM 101对采集的语音信号进行情感分析获得语音情感信号，对采集的面部信息进行表情识别获得面部表情信号，对采集的脑电信号进行专注度分析获得脑电专注度信号。微处理器ARM 201通过小波神经网络模块202对三类信号进行分析处理从而得到学生的学习情绪、学习状态和学习纪律指标，教师根据以上指标调整教学计划、教学方法。小波神经网络是整个系统的核心，用来对面部表情信号、脑电专注度信号和语音情感信号进行综合分析，得到学生的学习情绪、学习状态和学习纪律指标。
本发明还提供一种基于小波神经网络的语言智能辅助学习方法，包括以下步骤：
步骤一、学生端系统通过话筒采集学生的语音信号，通过脑电传感器采集学生的脑电信号，通过面部摄像头采集学生的面部图像，获取学生的面部图像信息、脑电信号和语音信号；
步骤二、学生端微处理器ARM采用支持向量机(SVM)算法对语音信号进行情感分析，对面部图像信息进行表情识别，对脑电信号进行专注度分析，得到面部表情信号、脑电专注度信号和语音情感信号，并发送至教师端系统；
步骤三、小波神经网络对面部表情信号、脑电专注度信号和语音情感信号进行综合分析，采用人工标注的方法：根据现场学生的反馈，组织有经验的老师对数据进行标注，得到学生的学习情绪、学习状态和学习纪律指标，小波神经网络的输入输出指标分布如下表所示：
步骤四、根据训练样本进行神经网络训练，直至小波神经网络收敛；
步骤五、实时接收学生的采集数据，并输出当前学生的学习情绪、学习状态和学习纪律指标，教师根据以上指标调整课堂上的教学计划和教学方法。
在课堂上，学生通过学生端系统进行语言学习，通过触摸屏观看教师的教学视频，在学习过程中，面部摄像头采集学生的面部图像，话筒采集学生的语音反馈，脑电传感器佩戴在学生的头上，采集学生学习过程中的脑电信息，以上信息通过ARM处理器处理后，转化为面部表情信息，语音情感信息和脑电专注度信息通过通信模块发送到教师端系统；教师端系统通过通信模块采集所有客户端的学生学习信息(面部表情信息，语音情感信息和脑电专注度信息)，并利用小波神经网络模型进行实时教学情况的分析。
基于小波神经网络的语言智能辅助学习方法，分为两个阶段：
训练阶段：这个阶段教师采集学生的学习信息(面部表情信息，语音情感信息和脑电专注度信息)，并根据信息标注学生的状态指标(学习情绪、学习状态和学习纪律)，形成足够的训练样本库，然后采用本发明的HWDBP算法对网络进行训练，使小波神经网络收敛；
测试阶段：教师通过高清摄像头和话筒进行实时教学，将教学的视频和语言数据传输到学生端系统，学生通过触摸屏进行学习，并通过学生端将实时的学习情况数据返回至教师端系统，教师端的小波神经网络根据学生端的数据进行实时分析，得到当前学生的学习情况、状态和纪律，并以此来调整课堂的教学计划和教学方案，实现语言学习教学的实时互动和自适应教学。
小波神经网络采用超权衰减误差回传算法(HWDBP)进行训练，进而提高网络的泛化能力，在超权衰减误差回传算法中，泛化误差函数定义为：
式(1)中t是当前迭代次数，G(t)为泛化误差函数，r为正则化系数，E(t)为误差项，B(t)为权衰减项，分别定义为：
B(t)＝∑Θ(t)2/(1+Θ(t)2) (2)
式(2)中，l为样本数量，Ol(t)为神经网络预测结果，包括学习情绪、学习状态和学习纪律三个指标，为对应样本标记结果；Θ代表了小波神经网络的参数；超权衰减机制能够增强神经网络的泛化能力，提高神经网络在小样本条件下的预测性能；
小波神经网络的输出定义为：
式(3)中k为后件小波神经网络的数量，uk为归一化激励强度，为小波基函数，采用Morlet母小波ak与bk分别为小波基函数的尺度参数和位移参数，wjk为小波神经网络的权值，zj为输入信号，包括面部表情信息、脑电专注度信息和语音情感信息。
HWDBP算法的更新规则如下：
Θ(t+1)＝Θ(t)+ΔΘ (4)
式(4)中代表wjk，uk，ak和bk的梯度，计算公式分别为：
式中为的一阶导数。
因此，本发明建立一套能够在语言教学过程中，进行学习监督捕捉学生面部表情，脑电，语音等情绪信号并进行分析决策的智能语言辅助学习系统，对于解决语言学习效率低下的问题具有重要的社会意义和市场前景。

Claims (9)

1.一种基于小波神经网络的语言智能辅助学习系统，其特征在于，包括学生端系统(1)、教师端系统(2)；
所述学生端系统(1)包括微处理器ARM(101)、面部摄像头(102)、脑电传感器(103)、话筒(104)、通信模块(105)、存储器(106)、触摸屏(107)、电源模块(108)，微处理器ARM(101)与面部摄像头(102)、脑电传感器(103)、话筒(104)、通信模块(105)、存储器(106)、触摸屏(107)、电源模块(108)相连；面部摄像头(102)用于捕捉学生的面部图像，并发送至微处理器ARM(101)；脑电传感器(103)用于采集学生的脑电信号，并发送至微处理器ARM(101)；话筒(104)用于采集学生的语音信号，并发送至微处理器ARM(101)；通信模块(105)用于学生端系统(1)与教师端系统(2)的数据通信，微处理器ARM(101)将采集的面部图像、脑电信号和语音信号转换为面部表情信息、脑电专注度信息和语音情感信息，通过通信模块(105)发送至教师端系统(2)；存储器(106)用于存储学生端的配置数据；触摸屏(107)用于I/O交互；电源模块(108)为整个学生端系统(1)供电；
所述教师端系统(2)包括微处理器ARM(201)、小波神经网络模块(202)、通信模块(203)、存储器(204)、触摸屏(205)、高清摄像头(206)、话筒(207)、电源模块(208)，微处理器ARM(201)与小波神经网络模块(202)、通信模块(203)、存储器(204)、触摸屏(205)、高清摄像头(206)、话筒(207)、电源模块(208)相连；微处理器ARM(201)通过小波神经网络模块(202)对面部表情信息、脑电专注度信息和语音情感信息进行处理，得到学生的学习情绪、学习状态和学习纪律指标；通信模块(203)用于学生端系统(1)与教师端系统(2)的数据通信；存储器(204)用于存储教师端的配置数据；触摸屏(205)用于I/O交互，输出当前的学生状态指标；高清摄像头(206)用于采集教师的教学视频；话筒(207)用于采集教师的教学语音；教学视频、教学语音通过通信模块(203)传输至学生端系统(1)，通过触摸屏(107)播放，供学生进行语言学习；电源模块(208)为整个教师端系统(2)供电。
2.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统，其特征在于，所述通信模块为4G模块。
3.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统，其特征在于，所述电源模块为可充电的二次电池。
4.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统，其特征在于，所述触摸屏用于播放视频、语音数据，也用于接收用户的操作指令并上传至微处理器ARM。
5.一种基于小波神经网络的语言智能辅助学习方法，其特征在于，包括以下步骤：
步骤一、学生端系统通过话筒采集学生的语音信号，通过脑电传感器采集学生的脑电信号，通过面部摄像头采集学生的面部图像信息，获取学生的面部图像信息、脑电信号和语音信号；
步骤二、学生端微处理器ARM对语音信号进行情感分析，对面部图像信息进行表情识别，对脑电信号进行专注度分析，得到面部表情信号、脑电专注度信号和语音情感信号，并发送至教师端系统；
步骤三、建立小波神经网络，根据面部表情信号、脑电专注度信号和语音情感信号标注学生的学习情绪、学习状态和学习纪律指标三种输出指标，采集足够的训练样本；
步骤四、根据训练样本进行神经网络训练，直至小波神经网络收敛；
步骤五、实时接收学生的采集数据，并分析输出当前学生的学习情绪、学习状态和学习纪律指标，教师根据以上指标调整课堂上的教学计划和教学方法。
6.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法，其特征在于，所述步骤二中，采用支持向量机(SVM)算法，对语音信号进行情感分析，对面部图像信息进行表情识别，对脑电信号进行专注度分析，得到面部表情信号、脑电专注度信号和语音情感信号。
7.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法，其特征在于，所述步骤三中，小波神经网络对面部表情信号、脑电专注度信号和语音情感信号进行综合分析，采用人工标注的方法：根据现场学生的反馈，组织有经验的老师对数据进行标注，得到学生的学习情绪、学习状态和学习纪律指标，小波神经网络的输入输出指标分布如下表所示：
8.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法，其特征在于，所述步骤三中，所述小波神经网络采用超权衰减误差回传算法(HWDBP)进行训练，进而提高网络的泛化能力，在超权衰减误差回传算法中，泛化误差函数定义为：
式(1)中t是当前迭代次数，G(t)为泛化误差函数，r为正则化系数，E(t)为误差项，B(t)为超权衰减项，分别定义为：
B(t)＝∑Θ(t)2/(1+Θ(t)2) (2)
式(2)中，l为样本数量，Ol(t)为神经网络预测结果，包括学习情绪、学习状态和学习纪律三个指标，为对应样本标记结果；Θ代表了小波神经网络的参数；超权衰减机制能够增强神经网络的泛化能力，提高神经网络在小样本条件下的预测性能；
小波神经网络的输出定义为：
式(3)中k为小波神经网络中小波节点的数量，uk为归一化激励强度，为小波基函数，采用Morlet母小波ak与bk分别为小波基函数的尺度参数和位移参数，wjk为小波神经网络的权值，zj为输入信号，包括面部表情信息、脑电专注度信息和语音情感信息。
9.根据权利要求8所述的基于小波神经网络的语言智能辅助学习方法，其特征在于，所述HWDBP算法的更新规则如下：
Θ(t+1)＝Θ(t)+ΔΘ (4)
式(4)中代表wjk，uk，ak和bk的梯度，计算公式分别为：
式中为的一阶导数。
CN201910447173.0A 2019-05-27 2019-05-27 一种基于小波神经网络的语言智能辅助学习系统与方法 Active CN110174948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910447173.0A CN110174948B (zh) 2019-05-27 2019-05-27 一种基于小波神经网络的语言智能辅助学习系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910447173.0A CN110174948B (zh) 2019-05-27 2019-05-27 一种基于小波神经网络的语言智能辅助学习系统与方法

Publications (2)

Publication Number Publication Date
CN110174948A true CN110174948A (zh) 2019-08-27
CN110174948B CN110174948B (zh) 2020-10-27

Family

ID=67696258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910447173.0A Active CN110174948B (zh) 2019-05-27 2019-05-27 一种基于小波神经网络的语言智能辅助学习系统与方法

Country Status (1)

Country Link
CN (1) CN110174948B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765987A (zh) * 2019-11-27 2020-02-07 北京工业大学 创新行为特征的量化方法、装置和电子设备
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112289239A (zh) * 2020-12-28 2021-01-29 之江实验室 一种可动态调整的讲解方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542849A (zh) * 2012-01-20 2012-07-04 东南大学 形成性评测系统
CN105280044A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的智能教学系统
KR20170004547A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 뇌 정보 (EEG spectrum) 추출 방법 및 그 장치
CN106955112A (zh) * 2017-03-17 2017-07-18 泉州装备制造研究所 基于量子小波神经网络模型的脑电波情绪认知方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107616780A (zh) * 2016-07-14 2018-01-23 山东大学苏州研究院 一种利用小波神经网络的脑电检测方法及装置
CN108898084A (zh) * 2018-06-20 2018-11-27 四川文理学院 一种机器人识别学生状态辅助课堂教学的方法及其装置
CN109598222A (zh) * 2018-11-26 2019-04-09 南开大学 基于eemd数据增强的小波神经网络运动想象脑电分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542849A (zh) * 2012-01-20 2012-07-04 东南大学 形成性评测系统
KR20170004547A (ko) * 2015-07-03 2017-01-11 상명대학교서울산학협력단 동공 크기 변화율을 이용한 뇌 정보 (EEG spectrum) 추출 방법 및 그 장치
CN105280044A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的智能教学系统
CN107616780A (zh) * 2016-07-14 2018-01-23 山东大学苏州研究院 一种利用小波神经网络的脑电检测方法及装置
CN106955112A (zh) * 2017-03-17 2017-07-18 泉州装备制造研究所 基于量子小波神经网络模型的脑电波情绪认知方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108898084A (zh) * 2018-06-20 2018-11-27 四川文理学院 一种机器人识别学生状态辅助课堂教学的方法及其装置
CN109598222A (zh) * 2018-11-26 2019-04-09 南开大学 基于eemd数据增强的小波神经网络运动想象脑电分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗珍珍: "课堂教学环境下学生学习兴趣智能化分析", 《中国博士学位论文全文数据库 社会科学Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765987A (zh) * 2019-11-27 2020-02-07 北京工业大学 创新行为特征的量化方法、装置和电子设备
CN110765987B (zh) * 2019-11-27 2022-05-17 北京工业大学 创新行为特征的量化方法、装置和电子设备
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112289239A (zh) * 2020-12-28 2021-01-29 之江实验室 一种可动态调整的讲解方法、装置及电子设备

Also Published As

Publication number Publication date
CN110174948B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN109766427B (zh) 一种基于协同注意力的虚拟学习环境智能问答方法
CN106097801B (zh) 一种利于提高学习兴趣的智慧课堂系统
CN110174948A (zh) 一种基于小波神经网络的语言智能辅助学习系统与方法
CN110232346A (zh) 一种基于深度学习的视频智能分析系统
CN107316257A (zh) 一种基于课堂学生行为分析的教学质量评估方法及系统
CN109359215A (zh) 视频智能推送方法和系统
CN107609736A (zh) 一种综合应用人工智能技术的教学诊断分析系统及方法
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN110059614A (zh) 一种基于人脸情绪识别的智能辅助教学方法及系统
CN111126263B (zh) 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
CN107491890A (zh) 一种可量化课堂教学质量评估系统及方法
CN109872587A (zh) 多维教学数据的处理系统
CN107481566A (zh) 一种基于云平台的计算机教学授课系统
CN109697577A (zh) 一种基于语音的课堂质量评价方法
CN108257052A (zh) 一种在线学生知识评估方法及其系统
CN106803377A (zh) 一种英语学习管理机器人
CN111399647A (zh) 一种人工智能自适应互动教学系统
CN110245253A (zh) 一种基于环境信息的语义交互方法及系统
CN106056503A (zh) 一种智能化音乐教学平台及其使用方法
Li et al. An optophone based on raspberry pi and Android wireless communication
CN112116841A (zh) 一种基于深度学习的个性化远程教育系统及方法
CN115719497A (zh) 一种学生专注度识别方法及系统
CN109886255A (zh) 一种具有面部情绪识别功能的智能互动教学系统
CN114255426A (zh) 一种基于视频识别和语音分离技术的学生专注度评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant