CN116109455B - 一种基于人工智能的语言教学辅助系统 - Google Patents
一种基于人工智能的语言教学辅助系统 Download PDFInfo
- Publication number
- CN116109455B CN116109455B CN202310218419.3A CN202310218419A CN116109455B CN 116109455 B CN116109455 B CN 116109455B CN 202310218419 A CN202310218419 A CN 202310218419A CN 116109455 B CN116109455 B CN 116109455B
- Authority
- CN
- China
- Prior art keywords
- module
- voice
- learner
- classroom
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 77
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008451 emotion Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000014509 gene expression Effects 0.000 claims abstract description 12
- 230000033764 rhythmic process Effects 0.000 claims abstract description 8
- 238000013519 translation Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 15
- 230000036544 posture Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000010195 expression analysis Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008909 emotion recognition Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005477 standard model Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000014616 translation Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 238000013480 data collection Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- Acoustics & Sound (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于人工智能的语言教学辅助系统，包括语言识别系统、图像识别系统和考试分析系统；语言识别系统用于识别学习者语言表述过程中发音、节奏、翻译、情绪及状态；图像识别系统用于从实时提供的视频信号中提取识别学习者对问题的掌握情况，以及从体态和面部提取学习者学习状态及情绪变化；考试分析系统用于结合应试者的考试结果和实时应试图像，判断应试者学习情况，并生成个人的针对性学习状态报告。本发明为教学过程中的在线教学、线下教学提供一套人工智能辅助系统，根据学生课堂语言交流情况、学习情绪状态和考试情况综合分析，为教师提供教学建议，可以很好的降低师生经济成本及时间成本，提高教学质量和效率。
Description
技术领域
本发明涉及人工智能领域，尤其一种基于人工智能的语言教学辅助系统。
背景技术
随着教育信息化的高速发展，教学活动与人工智能技术的融合越来越紧密，传统语言教育教学活动中因材施教、有教无类等个性化教育教学严重不足，教与学脱离、学与用分家等普遍现象。比如，英语知识基础与英语语言能力既相关也不同，这种不同不仅体现在教的环节的重点、方式、方法不同，也体现在学的过程侧重点不一，更体现在用的环节的天壤之别，正因教学活动纷繁复杂方显其巨大的价值。从教的角度看同一知识点教授的对象不同、应用场景不同其所使用的方法、视角、侧重点也各异。传统教学往往较少关注学习者在学习过程中的状态、情绪、时长等变化带来的效率与效果。学生作为语言教育教学活动的主体，其所呈现的学习状态和学业基本能力的丰富性是教学活动关注的重点也是面临的主要难点。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供一种基于人工智能的语言教学辅助系统，将人工智能技术综合应用到语言教学活动中，分析学生学习情况，为教师提供教学指导提高教学质量。
本发明的目的是通过以下技术方案来实现的：
一种基于人工智能的语言教学辅助系统，包括语言识别系统、图像识别系统和考试分析系统；
所述语言识别系统用于识别学习者语言表述过程中发音、节奏、翻译；
所述图像识别系统用于从实时提供的视频信号中提取识别学习者对问题的掌握情况，以及从体态及面部特殊提取学习者学习状态及情绪变化；
所述考试分析系统用于结合应试者的考试结果和实时应试图像，判断应试者学习情况，并生成个人的针对性学习状态报告。
具体的，所述语言识别系统包括语音交流模块、语音管理模块、交流记录模块、语言智能分析模块和系统管理模块；
语音交流模块用于通过语音输入设备与机器人进行交流；
语音管理模块用于上传、修改和删除各类语音数据；
交流记录模块用于记录和管理语音交流数据；
语言智能分析模块用于识别学习者发音、节奏方面的错误或不当；
系统管理模块用于语言识别系统账号管理及系统版本管理。
具体的，所述语音交流模块还包括分贝识别子模块、筛序子模块、转换子模块、音轨识别子模块、音色切换子模块、语音识别子模块、语音分析子模块、应答子模块、答复数据子模块、循环子模块、提取子模块和播报子模块；
所述分贝识别子模块针对所识别的用户语音进行分贝识别，并结合用户环境，对除用户语音外其他语音分贝进行识别；
所述筛序子模块根据分贝识别子模块所识别的用户语音分贝和其他语音分贝进行筛选，选出分贝最大的语音信息，截取模块对分贝最大的语音信息进行截取，提取出分贝最大的语音信息并默认为用户语音信息；
所述转换子模块将来自语音接收模块最终识别的用户语音信息进行转换，将语音信息转换为数字音频信息，
所述音轨识别子模块接收转换子模块的数字音频信息，并结合音轨数据库识别该数字音频信息的音轨区间，
音色切换子模块根据该数字音频信息所处的音轨区间对音色进行配置并切换，之后由语音识别子模块进行识别；
所述语音分析子模块对所识别的音频信息进行分析，识别出用户音频信息所属的类别；
所述应答子模块进行应答处理；
所述答复数据子模块中数据区间对各类数字音频信息进行分区，分类单元对各个区间同一类数字音频信息进行分类，标记单元对同一类数字音频信息进行标记，依次标记为YP1、YP2...YPN；
所述循环子模块在同一类数字音频信息标记中，根据用户相同提问依照YP1、YP2...YPN顺序依次择取数字音频信息并循环；
所述提取子模块根据语音分析子模块分析语音信息的类别，提取答复数据库中相应答复并提交给播报模块；
所述播报子模块最后进行播报
具体的，所述语音识别子模块采用wav2letter++模型进行语音识别。
具体的，所述语音管理模块包括语音上传模块、语音修改模块和语音删除模块；
所述交流记录模块包括清空模块和交流记录导出模块。
具体的，所述图像识别系统包括课堂表情分析单元、头部姿态分析单元、课堂手势分析单元、注意力分析单元和课堂智能分析单元；
课堂表情分析单元，用于对学习者的课堂表情信息进行分析，确定学习者不同面部情绪在整个课堂的占比情况，以及课堂不同时间段学习者面部情绪的分布情况；
头部姿态分析单元，用于对学习者的头部姿态信息进行分析，确定学习者整个课堂的注意力分布情况，并确定学习者整个课堂不同头部姿势的使用情况；
课堂手势分析单元，用于对学习者的课堂手势信息进行分析，确定学习者的各类手势在整个课堂的占比情况，以及课堂不同时间段的手势变化情况；
注意力分析单元，用于对学习者注视黑板的信息进行分析，确定课堂不同时间段学习者注视黑板的情况；通过学习者注视黑板的状态将学习者的注意力状态分为：漠视、关注以及专注三种状态；
课堂智能分析单元，用于结合对学习者课堂表情、头部姿态、课堂手势以及注视黑板信息的分析结果，并参考预设的听课标准，以及参考历史分析记录，分析学习者学习情绪状态和知识掌握情况。
具体的，所述课堂表情分析单元采用Face++算法对收集到的人脸图片进行深度训练，并在LFW数据集上验证准确率；
所述Face++算法将人脸进行分块，然后通过训练好的深度学习网络提取出特征值，最后对这些特征值进行人脸身份分析，通过结构光技术融合深度图像信息，提高人脸识别的准确度；所述Face++算法采用Adaboost-KNN动态人脸情感识别技术识别人脸表情，并创建具体模型；
所述模型表示为：
g＝SR(g0+AT+ST)+t；
其中，S为放大系数，R为旋转矩阵，g0为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为模型的空间转换量。
具体的，所述头部姿态分析单元和课堂手势分析单元对头部、身体、四肢进行实时分割与追踪，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，并实时识别学生的肢体动作；
所述肢体动作包括趴桌子、举手及站立。
具体的，所述注意力分析单元通过判定眼中心位置c*获取学习者注视黑板的信息；
所述判定眼中心位置的计算式为：
其中，c*为注视中心点，c为当前像素，N为当前图片的像素总数，T为变换矩阵，gi为在当前像素的梯度矢量，di为当前像素的归一化位移矢量。
具体的，所述考试分析系统包括在线考试模块、考试结果分析模块、视频监控模块和报表生成模块；
在线考试模块用于提供应试者知识测试；
考试结果分析模块用于分析应试者知识掌握情况；
视频监控模块用于从实时视频中分析监测处应试者的状态、情绪、完成速度；
报表生成模块用于根据测试分析结果和应试状态生成个人的针对性学习状态报告。
本发明的有益效果：
本发明为教学过程中的在线教学、线下教学提供一套人工智能辅助系统，根据学生课堂语言交流情况、学习情绪状态和考试情况综合分析，为教师提供教学建议，可以很好的降低师生经济成本及时间成本，提高教学质量和效率。
附图说明
图1是本发明的系统架构图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，一种基于人工智能的语言教学辅助系统，包括语言识别系统、图像识别系统和考试分析系统；
所述语言识别系统用于识别学习者语言表述过程中发音、节奏、翻译、情绪及状态；
所述图像识别系统用于从实时提供的视频信号中提取识别学习者对问题的掌握情况，以及从体态及面部特殊提取学习者学习状态及情绪变化；
所述考试分析系统，通过诸如期中、期末考试或者四六级模拟考试，这些考试都为在线考试，结合语言识别系统和图像识别系统，通过实时监测应试者应试状态、情绪、速度、正确率从而判断应试者学习情况，并以此为基础生成个人的针对性学习状态报告，老师以此为基础指导、引导学生调整学习方法、节奏及关注的重难点。
所述语言识别系统实现采用wav2letter++模型，重点在于数据的收集及模型的训练，如英语英语语言识别模型要完成模型训练有两个核心条件，其一收集大量的英语“读”相关的语音数据，其二是构建语音识别模型并训练。数据收集阶段不仅涉及数据的采集，还需要将完成数据预处理，通过如，帧切割、去杂讯、高频加强等方法现实特征提取及归一化操作。待数据处理好之后即可调整模型各训练参数找出一个最优模型。
所述语言识别系统包括语音交流模块、语音管理模块、交流记录模块、语言智能分析模块和系统管理模块；
语音交流模块用于通过语音输入设备与机器人进行交流，由AI芯片对整个语音沟通交流服务系统的执行进行控制，用户语音首先由语音接收模块进行接收，分贝识别模块针对所识别的用户语音进行分贝识别，并结合用户环境，对除用户语音外其他语音分贝进行识别，筛序模块根据分贝识别模块所识别的用户语音分贝和其他语音分贝进行筛选，选出分贝最大的语音信息，截取模块对分贝最大的语音信息进行截取，提取出分贝最大的语音信息并默认为用户语音信息，转换子模块将来自语音接收模块最终识别的用户语音信息进行转换，将语音信息转换为数字音频信息，音轨识别模块接收转换子模块的数字音频信息，并结合音轨数据库识别该数字音频信息的音轨区间，音色切换模块根据该数字音频信息所处的音轨区间对音色进行配置并切换，之后由语音识别模块进行识别，随后由语音分析子模块对所识别的音频信息进行分析，识别出用户音频信息所属的类别，之后应答模块进行应答处理，答复数据库中数据区间对各类数字音频信息进行分区，分类单元对各个区间每同一类数字音频信息进行分类，标记单元对每同一类数字音频信息进行标记，依次标记为YP1、YP2...YPN，循环单元在同一类数字音频信息标记中，根据用户相同提问依照YP1、YP2...YPN顺序依次择取数字音频信息并循环，提取模块根据语音分析子模块分析语音信息的类别提取来组答复数据库中相应答复并提交给播报模块，最终由播报模块进行播报，整个操作过程结束。机器人也有无法辨别的信息，无法识别的情况下，系统会自动提示信息。
语音管理模块用于上传、修改和删除各类语音数据。
交流记录模块用于记录和管理语音交流数据。
语言智能分析模块用于识别学习者发音、节奏等方面的错误或不当。
系统管理模块用于语言识别系统账号管理及系统版本管理。
所述语音管理模块包括语音上传模块、语音修改模块和语音删除模块。
所述交流记录模块包括清空模块和交流记录导出模块。
所述图像识别系统包括课堂表情分析单元、头部姿态分析单元、课堂手势分析单元、注意力分析单元和课堂智能分析单元；课堂表情分析单元，用于对学习者的课堂表情信息进行分析，确定学习者不同面部情绪在整个课堂的占比情况，以及课堂不同时间段学习者面部情绪的分布情况；头部姿态分析单元，用于对学习者的头部姿态信息进行分析，确定学习者整个课堂的注意力分布情况，并确定学习者整个课堂不同头部姿势的使用情况；课堂手势分析单元，用于对学习者的课堂手势信息进行分析，确定学习者的各类手势在整个课堂的占比情况，以及课堂不同时间段的手势变化情况；注意力分析单元，用于对学习者注视黑板的信息进行分析，确定课堂不同时间段学习者注视黑板的情况；通过学习者注视黑板的状态将学习者的注意力状态分为：漠视、关注以及专注三种状态；课堂智能分析单元，用于结合对学习者课堂表情、头部姿态、课堂手势以及注视黑板信息的分析结果，并参考预设的听课标准，以及参考历史分析记录，分析学习者学习情绪状态和知识掌握情况。
学生课堂情绪状态识别具体流程为：建立学生专注度的大数据采集标准，采用大数据算法计算整堂课各阶段学生的专注度情况，并以时间轴的形式对学生在课堂时间内的专注度变化趋势进行可视化图形展示；根据肢体动作数据，对头部、身体、四肢进行实时分割与追踪，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，并实时识别学生的肢体动作，肢体动作包括趴桌子、举手及站立。根据表情数据，对人物面部数据识别和面部特征点采集，通过视频流的微表情采集和分析识别出学生的表情，并数字化处理。采用深度学习多任务卷积神经网络算法检测人脸的位置，将原始图像通过尺度变化为不同尺寸，构件图像结构，然后通过整体人脸及人脸的各种特征点进行定位。同时，通过Face++算法对收集到的人脸图片进行深度训练，并在LFW数据集上验证准确率。具体的，基于深度学习的Face++算法人脸识别流程为：首先将人脸进行分块，然后通过训练好的深度学习网络提取出特征值，最后对这些特征值进行人脸身份分析，通过结构光技术融合深度图像信息，提高人脸识别的准确度。通过采用基于深度学习的Face++算法进行人脸识别，具有适应性强的特点，即对遮挡、抖动、不当光照或头部姿势(可循序高达90°倾斜角)的影响，保持强劲性能；同时，还具有高精度关键点、快速获取人脸关键点及适应多人场景的优点。同时，采用Adaboost-KNN动态人脸情感识别技术识别人脸表情，并创建具体模型为：
g＝SR(g0+AT+ST)+t；
其中，S为放大系数，R为旋转矩阵，g0为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为模型的空间转换量。通过构建参数化的模型，在冬天人脸情感识别中，能够对不同头部姿势、大小和位置的人脸进行跟踪，具有准确度高且识别速度快的优点。
所述注意力分析单元确定学习者注视黑板的状态，通过判定眼中心位置c*获取学习者注视黑板的信息，计算式为：
其中，c*为注视中心点，c为当前像素，N为当前图片的像素总数，T为变换矩阵，gi为在当前像素的梯度矢量，di为当前像素的归一化位移矢量。
所述考试分析系统包括在线考试模块、考试结果分析模块、视频监控模块和报表生成模块；
在线考试模块用于提供应试者知识测试；
考试结果分析模块用于分析应试者知识掌握情况；
视频监控模块用于从实时视频中分析监测处应试者的状态、情绪、完成速度；
报表生成模块用于根据测试分析结果和应试状态生成个人的针对性学习状态报告。
本发明整合三套系统获取的学习状态信息，结合后台语言知识库及专家系统，通过考试分析系统即可向老师及学生给出学习状态及知识掌握情况报告及应对建议。本发明将人工智能技术综合应用到语言教学活动中，为学生学习老师指导形成一种长效机制，从而让英语学习全过程可监控。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可：各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (4)
1.一种基于人工智能的语言教学辅助系统，其特征在于，包括语言识别系统、图像识别系统和考试分析系统；
所述语言识别系统用于识别学习者语言表述过程中发音、节奏、翻译；所述语言识别系统包括语音交流模块、语音管理模块、交流记录模块、语言智能分析模块和系统管理模块；
语音交流模块用于通过语音输入设备与机器人进行交流；
语音管理模块用于上传、修改和删除各类语音数据；
交流记录模块用于记录和管理语音交流数据；
语言智能分析模块用于识别学习者发音、节奏方面的错误或不当；
系统管理模块用于语言识别系统账号管理及系统版本管理；
所述图像识别系统用于从实时提供的视频信号中提取识别学习者对问题的掌握情况，以及从体态和面部提取学习者学习状态及情绪变化；所述图像识别系统包括课堂表情分析单元、头部姿态分析单元、课堂手势分析单元、注意力分析单元和课堂智能分析单元；
课堂表情分析单元，用于对学习者的课堂表情信息进行分析，确定学习者不同面部情绪在整个课堂的占比情况，以及课堂不同时间段学习者面部情绪的分布情况；
头部姿态分析单元，用于对学习者的头部姿态信息进行分析，确定学习者整个课堂的注意力分布情况，并确定学习者整个课堂不同头部姿势的使用情况；
课堂手势分析单元，用于对学习者的课堂手势信息进行分析，确定学习者的各类手势在整个课堂的占比情况，以及课堂不同时间段的手势变化情况；
注意力分析单元，用于对学习者注视黑板的信息进行分析，确定课堂不同时间段学习者注视黑板的情况；通过学习者注视黑板的状态将学习者的注意力状态分为：漠视、关注以及专注三种状态；
课堂智能分析单元，用于结合对学习者课堂表情、头部姿态、课堂手势以及注视黑板信息的分析结果，并参考预设的听课标准，以及参考历史分析记录，分析学习者学习情绪状态和知识掌握情况；所述语音交流模块还包括分贝识别子模块、筛序子模块、转换子模块、音轨识别子模块、音色切换子模块、语音识别子模块、语音分析子模块、应答子模块、答复数据子模块、循环子模块、提取子模块和播报子模块；
所述分贝识别子模块针对所识别的用户语音进行分贝识别，并结合用户环境，对除用户语音外其他语音分贝进行识别；
所述筛序子模块根据分贝识别子模块所识别的用户语音分贝和其他语音分贝进行筛选，选出分贝最大的语音信息，截取模块对分贝最大的语音信息进行截取，提取出分贝最大的语音信息并默认为用户语音信息；
所述转换子模块将来自语音接收模块最终识别的用户语音信息进行转换，将语音信息转换为数字音频信息，
所述音轨识别子模块接收转换子模块的数字音频信息，并结合音轨数据库识别该数字音频信息的音轨区间，
音色切换子模块根据该数字音频信息所处的音轨区间对音色进行配置并切换，之后由语音识别子模块进行识别；
所述语音分析子模块对所识别的音频信息进行分析，识别出用户音频信息所属的类别；
所述应答子模块进行应答处理；
所述答复数据子模块中数据区间对各类数字音频信息进行分区，分类单元对各个区间同一类数字音频信息进行分类，标记单元对同一类数字音频信息进行标记，依次标记为YP1、YP2...YPN；
所述循环子模块在同一类数字音频信息标记中，根据用户相同提问依照YP1、YP2...YPN顺序依次择取数字音频信息并循环；
所述提取子模块根据语音分析子模块分析语音信息的类别，提取答复数据库中相应答复并提交给播报模块；
所述播报子模块最后进行播报；
所述考试分析系统用于结合应试者的考试结果和实时应试图像，判断应试者学习情况，并生成个人的针对性学习状态报告；所述考试分析系统包括在线考试模块、考试结果分析模块、视频监控模块和报表生成模块；
在线考试模块用于提供应试者知识测试；
考试结果分析模块用于分析应试者知识掌握情况；
视频监控模块用于从实时视频中分析监测处应试者的状态、情绪、完成速度；
报表生成模块用于根据测试分析结果和应试状态生成个人的针对性学习状态报告；所述头部姿态分析单元和课堂手势分析单元对头部、身体、四肢进行实时分割与追踪，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，并实时识别学生的肢体动作；
所述肢体动作包括趴桌子、举手及站立；所述注意力分析单元通过判定眼中心位置c*获取学习者注视黑板的信息；
所述判定眼中心位置的计算式为：
其中，c*为注视中心点，c为当前像素，N为当前图片的像素总数，T为变换矩阵，gi为在当前像素的梯度矢量，di为当前像素的归一化位移矢量。
2.根据权利要求1所述的一种基于人工智能的语言教学辅助系统，其特征在于，所述语音识别子模块采用wav2letter++模型进行语音识别。
3.根据权利要求1所述的一种基于人工智能的语言教学辅助系统，其特征在于，所述语音管理模块包括语音上传模块、语音修改模块和语音删除模块；
所述交流记录模块包括清空模块和交流记录导出模块。
4.根据权利要求1所述的一种基于人工智能的语言教学辅助系统，其特征在于，所述课堂表情分析单元采用Face++算法对收集到的人脸图片进行深度训练，并在LFW数据集上验证准确率；
所述Face++算法将人脸进行分块，然后通过训练好的深度学习网络提取出特征值，最后对这些特征值进行人脸身份分析，通过结构光技术融合深度图像信息，提高人脸识别的准确度；所述Face++算法采用Adaboost-KNN动态人脸情感识别技术识别人脸表情，并创建具体模型；
所述模型表示为：
g＝SR(g0+AT+ST)+t；
其中，S为放大系数，R为旋转矩阵，g0为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为模型的空间转换量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218419.3A CN116109455B (zh) | 2023-03-09 | 2023-03-09 | 一种基于人工智能的语言教学辅助系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218419.3A CN116109455B (zh) | 2023-03-09 | 2023-03-09 | 一种基于人工智能的语言教学辅助系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109455A CN116109455A (zh) | 2023-05-12 |
| CN116109455B true CN116109455B (zh) | 2023-06-30 |
Family
ID=86267341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310218419.3A Active CN116109455B (zh) | 2023-03-09 | 2023-03-09 | 一种基于人工智能的语言教学辅助系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109455B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116453027B (zh) * | 2023-06-12 | 2023-08-22 | 深圳市玩瞳科技有限公司 | 用于教育机器人的ai识别管理方法 |
| CN116645252A (zh) * | 2023-07-21 | 2023-08-25 | 广州市润心教育咨询有限公司 | 一种应用大数据的人工智能教育系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991381A (zh) * | 2019-12-12 | 2020-04-10 | 山东大学 | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 |
| CN110992741A (zh) * | 2019-11-15 | 2020-04-10 | 深圳算子科技有限公司 | 一种基于课堂情绪和行为分析的学习辅助方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087739B1 (en) * | 2018-11-13 | 2021-08-10 | Amazon Technologies, Inc. | On-device learning in a hybrid speech processing system |
| CN110246514B (zh) * | 2019-07-16 | 2020-06-16 | 中国石油大学(华东) | 一种基于模式识别的英语单词发音学习系统 |
| CN113723250B (zh) * | 2021-08-23 | 2023-09-15 | 华中师范大学 | 一种用于帮助教师反思性成长的课堂智能分析方法及系统 |
| CN114119308B (zh) * | 2021-12-03 | 2022-09-16 | 哈尔滨工业大学 | 智能云外语多媒体教学系统及方法、计算机及存储介质 |
| CN115424223A (zh) * | 2022-07-27 | 2022-12-02 | 浙江大华技术股份有限公司 | 图神经网络训练方法、点云特征提取方法、设备及介质 |
| CN115239533A (zh) * | 2022-07-30 | 2022-10-25 | 谢幸杏 | 一种交互式在线英语教学系统及其使用方法 |
-
2023
- 2023-03-09 CN CN202310218419.3A patent/CN116109455B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992741A (zh) * | 2019-11-15 | 2020-04-10 | 深圳算子科技有限公司 | 一种基于课堂情绪和行为分析的学习辅助方法及系统 |
| CN110991381A (zh) * | 2019-12-12 | 2020-04-10 | 山东大学 | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109455A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116109455B (zh) | 一种基于人工智能的语言教学辅助系统 | |
| CN110991381B (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| CN107766842B (zh) | 一种手势识别方法及其应用 | |
| CN110364049B (zh) | 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法 | |
| US6963656B1 (en) | Method and device for visualizing images through sound | |
| CN111709358A (zh) | 基于课堂视频的师生行为分析系统 | |
| CN110931111A (zh) | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | |
| CN115239527B (zh) | 基于知识库的教学特征融合与建模的教学行为分析系统 | |
| CN112766226A (zh) | 一种线上线下相结合的多维教学ai学堂系统 | |
| CN111027486A (zh) | 一种中小学课堂教学效果大数据辅助分析评价系统及其方法 | |
| CN111428175A (zh) | 基于微表情识别的在线课程推荐方法及相关设备 | |
| CN113657168B (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
| CN111915148A (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| CN106982357A (zh) | 一种基于分布云的智能拍摄系统 | |
| CN109086664A (zh) | 一种动静态融合的多态手势识别方法 | |
| CN117055724B (zh) | 虚拟教学场景中生成式教学资源系统的工作方法 | |
| CN110245253A (zh) | 一种基于环境信息的语义交互方法及系统 | |
| CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
| CN116957867A (zh) | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 | |
| CN116957866A (zh) | 一种数字人教师个性化教学装置 | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| CN114970701A (zh) | 一种基于多模态融合的课堂互动分析方法及系统 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、系统及计算机设备 | |
| CN111399647A (zh) | 一种人工智能自适应互动教学系统 | |
| Jain et al. | Student’s Feedback by emotion and speech recognition through Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |