CN116957867A - 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 - Google Patents
一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116957867A CN116957867A CN202310835921.9A CN202310835921A CN116957867A CN 116957867 A CN116957867 A CN 116957867A CN 202310835921 A CN202310835921 A CN 202310835921A CN 116957867 A CN116957867 A CN 116957867A
- Authority
- CN
- China
- Prior art keywords
- learner
- teacher
- digital
- learning
- digital human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims description 45
- 230000008921 facial expression Effects 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质，包括知识点讲解、实时互动、作业管理、课后答疑、学习跟踪与评估，并对学习状态不良的同学进行预警，该教学服务装置及方法的服务涵盖学习者学习的全过程，为学习者系统学习知识提供了系统、全面的服务。另外，所述数字人教师线上教学服务装置及方法能应用于千人千面网络课程模式或一对一直播课模式。
Description
技术领域
本发明属于虚拟现实、人工智能与教育交叉的技术领域，具体涉及一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质。
背景技术
随着人工智能技术的不断发展，语音合成、自然语言处理、图像识别等技术的应用逐渐成熟，数字人技术应运而生，被广泛应用于各个领域，包括教育行业。并且数字化转型是教育行业的一个重要趋势，尤其是在全球疫情爆发后，远程在线教学和数字化教学工具得到了广泛应用。但是远程教育缺乏真人教师的面对面指导和互动，使得学习效果难以保证。虚拟数字人教师的出现，可以在一定程度上弥补这种不足，提供更好的远程教育体验。虚拟数字人教师作为一种新型的数字化教学工具，可以通过语音合成和面部表情合成等技术，产生逼真的语音和表情，实现互动式教学，为学生提供更加生动、形象、有效的教学体验，因此备受欢迎。
虚拟数字人教师的应用，可以帮助教育行业更好地利用先进的人工智能技术，为教育事业的发展注入新的活力，同时也可以为广大学生提供更加优质、高效、便捷的学习服务。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质，针对数字人教师可以提供的线上教学服务内容以及可应用的教学场景做出归纳与定义，具体技术方案如下：
一种数字人教师线上教学服务方法，其特征在于，包括：
(1)知识点讲解：数字人教师通过虚拟形象的方式，使用语音合成技术和面部表情合成技术以产生高质量、自然流畅的语音输出与生动形象的数字人表情与教学动作，为学习者讲解各种知识点，并结合动画、图片、音频这些形式来进行讲解，让学习者更加生动、形象地理解知识点；
(2)实时互动：数字人教师与学习者进行实时交互，学习者输入交互信息，数字人教师通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应，将生成的回应通过文本、语音等形式输出给学习者；
(3)作业管理：数字人教师通过网络课程平台发布在线作业，自动批阅作业并及时反馈学习者的学习情况；
(4)课后答疑：数字人教师能够提供课后答疑，帮助学习者解决学习中遇到的问题，它基于一个完整的教学知识库，通过自然语言处理模型对该学习者语音输入或问题进行语义解析，识别问题实体，其次在知识库中找到该实体所对应的候选属性，随后使用深度学习神经网络方法得到学习者问题与候选属性的语义向量，计算两个语义向量的余弦相似度，找到学习者问题对应的属性，最终根据处理得到的命名实体与属性，在知识库中检索出最准确的答案，最后由数字人教师将答案反馈给学习者；
(5)学习跟踪与评估：数字人教师能够实时监控学习者的学习情况和行为，统计学习者的学习数据；评估学习者的学习情况，分析学习者的答题正确率、平均分数、偏好学习方式；给学习者提供个性化的学习建议，如针对薄弱知识点推荐相关练习题及其他资源；并对学习状态不良的同学进行预警。
进一步的，所述知识点讲解包括如下步骤：
(1)确定讲解脚本：根据教学目标和教学资料进行整合，编写讲解脚本，确定数字人教师需要讲解的文本、讲解过程中需要用到的图片、文本、视频这些学习资料；
(2)生成数字人教师声音：根据语音讲解脚本，利用语音合成技术，生成数字人教师声音；
(3)生成数字人教师表情：通过将语音信号转换为文本，然后将文本与口型相关的信息匹配，生成与口型一致的表情序列。首先，通过语音识别技术将语音信号转换为文本。然后，根据文本内容和特定的发音规则，确定与口型相关的信息。最后，将这些信息与3DMM模型中的形状变化参数相结合，生成与口型一致的表情序列。3DMM通过对大量人脸数据的分析，学习出人脸形状和纹理的主要变化模式，生成新的人脸形状和纹理。该模型主要包含以下两个组成部分：a.形状模型用于描述人脸的几何形状变化。它基于大量的人脸数据，通过主成分分析(PCA)等统计方法，提取出人脸形状的主要变化模式。形状模型由一组基础形状向量和对应的权重系数组成，可以根据权重系数的变化生成不同形状的人脸。b.纹理模型用于描述人脸的颜色和纹理变化。类似于形状模型，纹理模型也利用主成分分析等方法，提取出人脸纹理的主要变化模式。纹理模型通常由一组基础纹理向量和对应的权重系数组成，可以根据权重系数的变化生成不同纹理的人脸。在生成与口型相一致的表情时，通过依据文本生成的口型信息，修改形状模型和纹理模型的权重系数来控制人脸的表情变化，从而实现生成高度逼真和可控的人脸表情；
(4)生成数字人教师讲解视频：将数字人教师模型与教学课件(包括但不限于文本、图片、动画、幻灯片等)、教学用具(黑板、显示屏、尺子等)结合起来，并将数字人教师置于虚拟的教学背景中(包括但不限于教室、报告厅、会议室等)生成完整的教学视频。
进一步的，实时互动包括如下步骤：
(1)采集学习者输入：学习者与数字人教师进行交互时，需要采集学习者的输入互动信息；
(2)处理学习者输入：数字人教师需要通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应；
(3)生成回应：数字人教师利用GPT通用预训练语言模型针对学习者的输入信息生成回应，上述回应包括数字人教师可以回答用户的问题、提供建议、进行交互；
(4)输出回应：数字人教师将生成的回应输出给用户。
进一步的，作业管理包括如下步骤：
(1)作业布置：数字人教师设置作业的类型、截止时间、作业内容，并将作业分配给相应的学习者或班级；
(2)作业批改：学习者提交作业后，数字人教师进行批改，包括自动批改和人工批改，自动批改应用一些自动化工具和算法，包括文本相似度匹配、关键词匹配；人工批改则需要真人教师逐一检查学习者提交的作业并进行评分和评价；
(3)作业反馈：数字人教师为学习者提供作业反馈，包括评分和评语，同时还为学习者提供错题讲解、改错指导这些教学服务；
(4)作业分析：数字人教师对作业进行分析，包括分析作业完成情况、学习者答题情况、作业难度评估，帮助评估学习者的学习状况和教学效果。
进一步的，课后答疑包括如下步骤：
(1)学习者向数字人教师提出问题，学习者输入一段语音或一段文字；
(2)数字人教师识别学习者问题实体；
(3)数字人教师匹配学习者问题实体对应的属性；
(4)数字人教师从结构化学科知识库搜寻问题答案，计算学习者问题与候选属性的语义向量的余弦相似度；
(5)根据处理得到的命名实体与属性，在知识库中检索出最准确的答案；
(6)数字人教师结合语音与动作将答案实时讲解给学习者。
进一步的，学习跟踪与评估包括如下步骤：
(1)数据采集：数字人教师收集学习者的学习数据，包括在线作业、课堂测验、练习题答题情况、视频观看记录，这些数据用于评估学习者的学习情况和提供个性化建议；
(2)数据分析：数字人教师通过对采集的学习数据进行分析，来评估学习者的学习情况，数字人教师可以分析学习者的答题正确率、平均分数、偏好学习方式，来评估学习者的学习水平；可以分析学习者的考试成绩，识别出表现较差或者进步缓慢的学习者；可以监测学习者的学习行为，包括学习时间、学习频率、学习进度，通过分析这些数据，可以发现学习者的学习状态是否良好；
(3)个性化建议：数字人教师根据分析结果，提供个性化的学习建议，如果学习者在某个知识点上表现较差，数字人教师可以针对性地推荐相关练习题、视频讲解，帮助学习者加深对知识点的理解；
(4)评估报告：数字人教师可以生成学习评估报告，展示学习者的学习情况，评估报告包括学习者的学习进度、知识点掌握情况、弱项和优点，以便学习者对学习情况有更全面的了解。
进一步的，所述数字人教师线上教学服务方法能应用于千人千面网络课程模式或一对一直播课模式。
进一步的，千人千面网络课程模式提供由数字人教师作为主讲人的教学视频，以及所有的教学资源，学习者可以根据自己对教师的偏好选择构建不同的数字人教师进行授课，其实现步骤如下：
(1)学习者根据自己的偏好选择不同的数字人教师，其偏好类型主要包括：外型类别：性别，身高，发型，肤色，服饰；性格类别：幽默，严肃，和蔼；最终采用深度合成技术合成仿真的人物影像或者采用三维建模技术构建虚拟的三维教师模型；
(2)生成数字人教师的知识点讲解视频；
(3)实现学习者在线学习的视频都是由其自定义的数字人教师讲解的，即实现千人千面的网络课程模式。
进一步的，一对一在线直播教学模式是指数字人教师可以开展一对一直播讲授课程，且能够与学习者实时互动，其实现步骤如下：
(1)学习者针对自己薄弱知识点申请数字人教师直播讲解；
(2)数字人教师依据学习者的学习情况制定学习内容，提前生成讲解脚本；
(3)数字人教师给学习者进行直播讲解，其其表情、动作由面部表情合成技术和肢体动作合成技术驱动的；
(4)数字人教师与学习者进行实时互动，通过语音识别技术识别用户的语音输入，然后通过自然语言处理技术进行语义分析，从而理解用户的意图和需求；
(5)数字人使用面部表情识别技术和姿态识别技术，对用户的面部表情和身体姿态进行实时识别，从而更好地响应用户的需求和情绪。
本发明还提供一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如上述的一种数字人教师线上教学服务方法的步骤。
本发明还提供一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行如上述的一种数字人教师线上教学服务方法的步骤。
本发明具有如下有益技术效果：
1、本发明所述的一种数字人教师线上教学服务方法，通过数字人教师弥补了线上教学缺乏真人教师的面对面指导和互动的缺陷，确保了学习效果。
2、本发明所述的一种数字人教师线上教学服务方法，从知识点讲解、实时互动、作业管理、课后答疑，到学习跟踪与评估并对学习状态不良的同学进行预警，该教学服务装置及方法的服务涵盖学习者学习的全过程，为学习者系统学习知识提供了系统、全面的服务。
3、本发明所述的一种数字人教师线上教学服务方法能应用于千人千面网络课程模式或一对一直播课等模式，能满足不同学习者对数字人教师的需求，使得数字人教师更加形象、生动，更有吸引力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍：
图1是本发明所述的一种数字人教师线上教学服务方法的示意图；
图2是本发明所述的数字人教师实现知识点讲解流程图；
图3是本发明所述的生成数字人教师面部表情方法的流程图；
图4是本发明所述的数字人教师实现实时互动流程图；
图5是本发明所述的数字人教师实现作业管理流程图；
图6是本发明所述的数字人教师实现课后答疑流程图；
图7是本发明所述的数字人教师实现学习跟踪与评估流程图；
图8是本发明所述的数字人教师实现千人千面的网络课程流程图；
图9是本发明所述的数字人教师实现一对一的直播课流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1-8对本发明进行进一步详细说明。
如图1所示，本发明提供一种数字人教师线上教学服务方法，其特征在于，包括如下步骤：
(1)知识点讲解：数字人教师通过虚拟形象的方式，使用语音合成技术和面部表情合成技术以产生高质量、自然流畅的语音输出与生动形象的数字人表情与教学动作，为学习者讲解各种知识点，并结合动画、图片、音频这些形式来进行讲解，让学习者更加生动、形象地理解知识点；
(2)实时互动：数字人教师与学习者进行实时交互，学习者输入交互信息，数字人教师通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应，将生成的回应通过文本、语音等形式输出给学习者；
(3)作业管理：数字人教师通过网络课程平台发布在线作业，自动批阅作业并及时反馈学习者的学习情况；
(4)课后答疑：数字人教师能够提供课后答疑，帮助学习者解决学习中遇到的问题，它基于一个完整的教学知识库，通过自然语言处理模型对该学习者语音输入或问题进行语义解析，识别问题实体，其次在知识库中找到该实体所对应的候选属性，随后使用深度学习神经网络方法得到学习者问题与候选属性的语义向量，计算两个语义向量的余弦相似度，找到学习者问题对应的属性，最终根据处理得到的命名实体与属性，在知识库中检索出最准确的答案，最后由数字人教师将答案反馈给学习者；
(5)学习跟踪与评估：数字人教师能够实时监控学习者的学习情况和行为，统计学习者的学习数据；评估学习者的学习情况，分析学习者的答题正确率、平均分数、偏好学习方式；给学习者提供个性化的学习建议，并对学习状态不良的同学进行预警。
进一步的，如图2所示，所述知识点讲解包括如下步骤：
(1)确定讲解脚本：根据教学目标和教学资料进行整合，编写讲解脚本，确定数字人教师需要讲解的文本、讲解过程中需要用到的图片、文本、视频这些学习资料；
(2)生成数字人教师声音：根据语音讲解脚本，利用语音合成技术，生成数字人教师声音；
(3)生成数字人教师表情：如图3所示，通过将语音信号转换为文本，然后将文本与口型相关的信息匹配，生成与口型一致的表情序列。首先，通过语音识别技术将语音信号转换为文本。然后，根据文本内容和特定的发音规则，确定与口型相关的信息。最后，将这些信息与3DMM模型中的形状变化参数相结合，生成与口型一致的表情序列。3DMM通过对大量人脸数据的分析，学习出人脸形状和纹理的主要变化模式，生成新的人脸形状和纹理。该模型主要包含以下两个组成部分：a.形状模型用于描述人脸的几何形状变化。它基于大量的人脸数据，通过主成分分析(PCA)等统计方法，提取出人脸形状的主要变化模式。形状模型由一组基础形状向量和对应的权重系数组成，可以根据权重系数的变化生成不同形状的人脸。b.纹理模型用于描述人脸的颜色和纹理变化。类似于形状模型，纹理模型也利用主成分分析等方法，提取出人脸纹理的主要变化模式。纹理模型通常由一组基础纹理向量和对应的权重系数组成，可以根据权重系数的变化生成不同纹理的人脸。在生成与口型相一致的表情时，通过依据文本生成的口型信息，修改形状模型和纹理模型的权重系数来控制人脸的表情变化，从而实现生成高度逼真和可控的人脸表情，提供更丰富和生动的人机交互体验；
(4)生成数字人教师讲解视频：将数字人教师模型与教学课件(包括但不限于文本、图片、动画、幻灯片等)、教学用具(黑板、显示屏、尺子等)结合起来，并将数字人教师置于虚拟的教学背景中(包括但不限于教室、报告厅、会议室等)生成完整的教学视频。
进一步的，如图4所示，实时互动包括如下步骤：
(1)采集学习者输入：学习者与数字人教师进行交互时，需要采集学习者的输入互动信息；
(2)处理学习者输入：数字人教师需要通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应；
(3)生成回应：数字人教师利用GPT通用预训练语言模型针对学习者的输入信息生成回应，上述回应包括数字人教师可以回答用户的问题、提供建议、进行交互；
(4)输出回应：数字人教师将生成的回应输出给用户。
进一步的，如图5所示，作业管理包括如下步骤：
(1)作业布置：数字人教师设置作业的类型、截止时间、作业内容，并将作业分配给相应的学习者或班级；
(2)作业批改：学习者提交作业后，数字人教师进行批改，包括自动批改和人工批改，自动批改应用一些自动化工具和算法，包括文本相似度匹配、关键词匹配；人工批改则需要真人教师逐一检查学习者提交的作业并进行评分和评价；
(3)作业反馈：数字人教师为学习者提供作业反馈，包括评分和评语，同时还为学习者提供错题讲解、改错指导这些教学服务；
(4)作业分析：数字人教师对作业进行分析，包括分析作业完成情况、学习者答题情况、作业难度评估，帮助评估学习者的学习状况和教学效果。
进一步的，如图6所示，课后答疑包括如下步骤：
(1)学习者向数字人教师提出问题，学习者输入一段语音或一段文字；
(2)数字人教师识别学习者问题实体；
(3)数字人教师匹配学习者问题实体对应的属性；
(4)数字人教师从结构化学科知识库搜寻问题答案，计算学习者问题与候选属性的语义向量的余弦相似度；
(5)根据处理得到的命名实体与属性，在知识库中检索出最准确的答案；
(6)数字人教师结合语音与动作将答案实时讲解给学习者。
进一步的，如图7所示，学习跟踪与评估包括如下步骤：
(1)数据采集：数字人教师收集学习者的学习数据，包括在线作业、课堂测验、练习题答题情况、视频观看记录，这些数据用于评估学习者的学习情况和提供个性化建议；
(2)数据分析：数字人教师通过对采集的学习数据进行分析，来评估学习者的学习情况，数字人教师可以分析学习者的答题正确率、平均分数、偏好学习方式，来评估学习者的学习水平；可以分析学习者的考试成绩，识别出表现较差或者进步缓慢的学习者；可以监测学习者的学习行为，包括学习时间、学习频率、学习进度，通过分析这些数据，可以发现学习者的学习状态是否良好；
(3)个性化建议：数字人教师根据分析结果，提供个性化的学习建议，如果学习者在某个知识点上表现较差，数字人教师可以针对性地推荐相关练习题、视频讲解，帮助学习者加深对知识点的理解；
(4)评估报告：数字人教师可以生成学习评估报告，展示学习者的学习情况，评估报告包括学习者的学习进度、知识点掌握情况、弱项和优点，以便学习者对学习情况有更全面的了解。
进一步的，所述数字人教师线上教学服务方法能应用于千人千面网络课程模式或一对一直播课模式。
进一步的，如图8所示，千人千面网络课程模式提供由数字人教师作为主讲人的教学视频，以及所有的教学资源，学习者可以根据自己对教师的偏好选择构建不同的数字人教师进行授课，其实现步骤如下：
(1)学习者根据自己的偏好选择不同的数字人教师，其偏好类型主要包括：外型类别：性别，身高，发型，肤色，服饰；性格类别：幽默，严肃，和蔼；最终采用深度合成技术合成仿真的人物影像或者采用三维建模技术构建虚拟的三维教师模型；
(2)生成数字人教师的知识点讲解视频；
(3)实现学习者在线学习的视频都是由其自定义的数字人教师讲解的，即实现千人千面的网络课程模式。
进一步的，如图9所示，一对一在线直播教学模式是指数字人教师可以开展一对一直播讲授课程，且能够与学习者实时互动，其实现步骤如下：
(1)学习者针对自己薄弱知识点申请数字人教师直播讲解；
(2)数字人教师依据学习者的学习情况制定学习内容，提前生成讲解脚本；
(3)数字人教师给学习者进行直播讲解，其其表情、动作由面部表情合成技术和肢体动作合成技术驱动的；
(4)数字人教师与学习者进行实时互动，通过语音识别技术识别用户的语音输入，然后通过自然语言处理技术进行语义分析，从而理解用户的意图和需求；
(5)数字人使用面部表情识别技术和姿态识别技术，对用户的面部表情和身体姿态进行实时识别，从而更好地响应用户的需求和情绪。
本发明还提供一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如上述的一种数字人教师线上教学服务方法的步骤。
本发明还提供一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行如上述的一种数字人教师线上教学服务方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数字人教师线上教学服务方法，其特征在于，包括如下步骤：
(1)知识点讲解：数字人教师通过虚拟形象的方式，使用语音合成技术和面部表情合成技术以产生高质量、自然流畅的语音输出与生动形象的数字人表情与教学动作，为学习者讲解各种知识点，并结合动画、图片、音频这些形式来进行讲解，让学习者更加生动、形象地理解知识点；
(2)实时互动：数字人教师与学习者进行实时交互，学习者输入交互信息，数字人教师通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应，将生成的回应通过文本、语音等形式输出给学习者；
(3)作业管理：数字人教师通过网络课程平台发布在线作业，自动批阅作业并及时反馈学习者的学习情况；
(4)课后答疑：数字人教师能够提供课后答疑，帮助学习者解决学习中遇到的问题，它基于一个完整的教学知识库，通过自然语言处理模型对该学习者语音输入或问题进行语义解析，识别问题实体，其次在知识库中找到该实体所对应的候选属性，随后使用深度学习神经网络方法得到学习者问题与候选属性的语义向量，计算两个语义向量的余弦相似度，找到学习者问题对应的属性，最终根据处理得到的命名实体与属性，在知识库中检索出最准确的答案，最后由数字人教师将答案反馈给学习者；
(5)学习跟踪与评估：数字人教师能够实时监控学习者的学习情况和行为，统计学习者的学习数据；评估学习者的学习情况，分析学习者的答题正确率、平均分数、偏好学习方式；给学习者提供个性化的学习建议，并对学习状态不良的同学进行预警。
2.根据权利要求1所述的一种数字人教师线上教学方法，其特征在于：知识点讲解包括如下步骤：
(1)确定讲解脚本：根据教学目标和教学资料进行整合，编写讲解脚本，确定数字人教师需要讲解的文本、讲解过程中需要用到的图片、文本、视频这些学习资料；
(2)生成数字人教师声音：根据语音讲解脚本，利用语音合成技术，生成数字人教师声音；
(3)生成数字人教师表情与动作：通过将语音信号转换为文本，然后将文本与口型相关的信息匹配，生成与口型一致的表情序列；在生成与口型相一致的表情时，通过依据文本生成的口型信息，修改形状模型和纹理模型的权重系数来控制人脸的表情变化，从而实现生成高度逼真和可控的人脸表情；
(4)生成数字人教师讲解视频：将数字人教师模型与教学课件、教学用具结合起来，并将数字人教师置于虚拟的教学背景中生成完整的教学视频。
3.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：实时互动包括如下步骤：
(1)采集学习者输入：学习者与数字人教师进行交互时，需要采集学习者的输入互动信息；
(2)处理学习者输入：数字人教师需要通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应；
(3)生成回应：数字人教师利用GPT通用预训练语言模型针对学习者的输入信息生成回应，上述回应包括数字人教师可以回答用户的问题、提供建议、进行交互；
(4)输出回应：数字人教师将生成的回应输出给用户。
4.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：作业管理包括如下步骤：
(1)作业布置：数字人教师设置作业的类型、截止时间、作业内容，并将作业分配给相应的学习者或班级；
(2)作业批改：学习者提交作业后，数字人教师进行批改，包括自动批改和人工批改，自动批改应用一些自动化工具和算法，包括文本相似度匹配、关键词匹配；人工批改则需要真人教师逐一检查学习者提交的作业并进行评分和评价；
(3)作业反馈：数字人教师为学习者提供作业反馈，包括评分和评语，同时还为学习者提供错题讲解、改错指导这些教学服务；
(4)作业分析：数字人教师对作业进行分析，包括分析作业完成情况、学习者答题情况、作业难度评估，帮助评估学习者的学习状况和教学效果。
5.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：课后答疑包括如下步骤：
(1)学习者向数字人教师提出问题，学习者输入一段语音或一段文字；
(2)数字人教师识别学习者问题实体；
(3)数字人教师匹配学习者问题实体对应的属性；
(4)数字人教师从结构化学科知识库搜寻问题答案，计算学习者问题与候选属性的语义向量的余弦相似度；
(5)根据处理得到的命名实体与属性，在知识库中检索出最准确的答案；
(6)数字人教师结合语音与动作将答案实时讲解给学习者。
6.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：学习跟踪与评估包括如下步骤：
(1)数据采集：数字人教师收集学习者的学习数据，包括在线作业、课堂测验、练习题答题情况、视频观看记录，这些数据用于评估学习者的学习情况和提供个性化建议；
(2)数据分析：数字人教师通过对采集的学习数据进行分析，来评估学习者的学习情况，数字人教师可以分析学习者的答题正确率、平均分数、偏好学习方式，来评估学习者的学习水平；可以分析学习者的考试成绩，识别出表现较差或者进步缓慢的学习者；可以监测学习者的学习行为，包括学习时间、学习频率、学习进度，通过分析这些数据，可以发现学习者的学习状态是否良好；
(3)个性化建议：数字人教师根据分析结果，提供个性化的学习建议，如果学习者在某个知识点上表现较差，数字人教师可以针对性地推荐相关练习题、视频讲解，帮助学习者加深对知识点的理解；
(4)评估报告：数字人教师可以生成学习评估报告，展示学习者的学习情况，评估报告包括学习者的学习进度、知识点掌握情况、弱项和优点，以便学习者对学习情况有更全面的了解。
7.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：
所述数字人教师线上教学服务方法能应用于千人千面网络课程模式，千人千面网络课程模式提供由数字人教师作为主讲人的教学视频，以及所有的教学资源，学习者可以根据自己对教师的偏好选择构建不同的数字人教师进行授课，其实现步骤如下：
(1)学习者根据自己的偏好选择不同的数字人教师，其偏好类型主要包括：外型类别：性别，身高，发型，肤色，服饰；性格类别：幽默，严肃，和蔼；最终采用深度合成技术合成仿真的人物影像或者采用三维建模技术构建虚拟的三维教师模型；
(2)生成数字人教师的知识点讲解视频；
(3)实现学习者在线学习的视频都是由其自定义的数字人教师讲解的，即实现千人千面的网络课程模式。
8.根据权利要求1所述的一种数字人教师线上教学服务方法，其特征在于：
所述数字人教师线上教学服务方法能应用于一对一直播课模式，一对一在线直播教学模式是指数字人教师可以开展一对一直播讲授课程，且能够与学习者实时互动，其实现步骤如下：
(1)学习者针对自己薄弱知识点申请数字人教师直播讲解；
(2)数字人教师依据学习者的学习情况制定学习内容，提前生成讲解脚本；
(3)数字人教师给学习者进行直播讲解，其表情、动作由面部表情合成技术和肢体动作合成技术驱动的；
(4)数字人教师与学习者进行实时互动，通过语音识别技术识别用户的语音输入，然后通过自然语言处理技术进行语义分析，从而理解用户的意图和需求；
(5)数字人使用面部表情识别技术和姿态识别技术，对用户的面部表情和身体姿态进行实时识别，从而更好地响应用户的需求和情绪。
9.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如权利要求1-8中任一项所述的一种数字人教师线上教学服务方法的步骤。
10.一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行如权利要求1-8中任一项所述的一种数字人教师线上教学服务方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310835921.9A CN116957867A (zh) | 2023-07-10 | 2023-07-10 | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310835921.9A CN116957867A (zh) | 2023-07-10 | 2023-07-10 | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116957867A true CN116957867A (zh) | 2023-10-27 |
Family
ID=88454064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310835921.9A Pending CN116957867A (zh) | 2023-07-10 | 2023-07-10 | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116957867A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519663A (zh) * | 2024-01-08 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种数字人智能生产平台 |
| CN117557426A (zh) * | 2023-12-08 | 2024-02-13 | 广州市小马知学技术有限公司 | 基于智能题库的作业数据反馈方法及学习评估系统 |
-
2023
- 2023-07-10 CN CN202310835921.9A patent/CN116957867A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557426A (zh) * | 2023-12-08 | 2024-02-13 | 广州市小马知学技术有限公司 | 基于智能题库的作业数据反馈方法及学习评估系统 |
| CN117557426B (zh) * | 2023-12-08 | 2024-05-07 | 广州市小马知学技术有限公司 | 基于智能题库的作业数据反馈方法及学习评估系统 |
| CN117519663A (zh) * | 2024-01-08 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种数字人智能生产平台 |
| CN117519663B (zh) * | 2024-01-08 | 2024-04-26 | 广州趣丸网络科技有限公司 | 一种数字人智能生产平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113095969B (zh) | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 | |
| CN116957867A (zh) | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 | |
| CN105632251A (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
| CN112908355B (zh) | 一种师范生教学技能量化评价系统及其方法 | |
| CN113362471A (zh) | 基于教学语义的虚拟老师肢体动作生成方法及系统 | |
| Tsai et al. | Automatic question generation for repeated testing to improve student learning outcome | |
| Luo et al. | Exploration of interactive foreign language teaching mode based on artificial intelligence | |
| Ritsos et al. | Towards more visual analytics in learning analytics | |
| Xie et al. | Virtual reality primary school mathematics teaching system based on GIS data fusion | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| Widiaty et al. | The application of virtual reality (VR) in vocational education | |
| Kappagantula et al. | Automatic deictic gestures for animated pedagogical agents | |
| Li et al. | Research and application of personalized learning under the background of artificial intelligence | |
| Pan et al. | Application of virtual reality in English teaching | |
| CN117333327A (zh) | 一种数字人教师线上教学服务装置 | |
| Dai | College English listening teaching design based on computer multimedia teaching platform | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 | |
| CN111461153A (zh) | 人群特征深度学习方法 | |
| Fu | English Teaching System Based on Computer Aided Technology | |
| Li et al. | Informatization of Constructive English Learning Platform Based on Artificial Intelligence Algorithm | |
| Xue | Research on the Application of Virtual Reality Technology in IELTS Teaching Under the COVID-19 | |
| Zou | Analysis on the Application of Computer Virtual Reality Technology in College Physical Education Teaching | |
| Shabri et al. | Interactive Computer-Based Learning Media for Teaching Transformation Topic at Mathematics Class of Senior High School | |
| Amin-Naseri et al. | Authoring a Thermodynamics Cycle Tutor Using GIFT. | |
| Yuan et al. | Faculty of Humanities and Basic Education, Xinjiang Vocational and Technical College of Communications, Urumqi Municipality, Xinjiang, China zhangzhang10171110@ 163. com |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |