CN116957866A - 一种数字人教师个性化教学装置 - Google Patents

一种数字人教师个性化教学装置 Download PDF

Info

Publication number
CN116957866A
CN116957866A CN202310835920.4A CN202310835920A CN116957866A CN 116957866 A CN116957866 A CN 116957866A CN 202310835920 A CN202310835920 A CN 202310835920A CN 116957866 A CN116957866 A CN 116957866A
Authority
CN
China
Prior art keywords
teacher
digital
digital human
actor
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310835920.4A
Other languages
English (en)
Inventor
刘三女牙
周东波
曾超勇
李千千
陈迪
杨宗凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310835920.4A priority Critical patent/CN116957866A/zh
Publication of CN116957866A publication Critical patent/CN116957866A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种数字人教师个性化教学装置，其包括数字人教师数据采集装置和数字人教师个性化教学系统，其中，数字人教师数据采集装置用于实现数字人教师的高精度建模，数字人教师个性化教学系统用于让数字人教师与用户进行交互，并根据用户的输入提供个性化的教学内容，让数字人教师将输出的教学内容转化为不同的格式，以满足不同用户的需求；数字人教师采用了高度真实的人类外貌和语音特征，并采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图。

Description

一种数字人教师个性化教学装置
技术领域
本发明属于在线教学领域，具体涉及一种数字人教师个性化教学装置。
背景技术
随着教育行业的发展和数字化进程的加速，数字人教师已经成为教育领域的新兴技术之一。数字人教师可以提供在线课程和教学资源。目前，数字人教师在教育行业中的应用越来越广泛，但是仍存在一些问题，如数字人教师缺乏真实性、交互性和针对性等。
发明内容
本发明为克服现有技术的不足，提供一种数字人教师个性化教学装置，本发明的数字人教师个性化教学装置的特点在于，数字人教师采用了高度真实的人类外貌和语音特征，使得用户与数字人教师的交互更加自然和真实。数字人教师还采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图，并提供个性化的教育服务。数字人输出转化应用的模块采用了多媒体技术，可以将数字人教师的输出转化为多种形式，以适应不同用户的需求。
本发明提供一种数字人教师个性化教学装置，其包括数字人教师数据采集装置和数字人教师个性化教学系统，其中，数字人教师数据采集装置用于实现数字人教师的高精度建模，数字人教师个性化教学系统用于让数字人教师与用户进行交互，并根据用户的输入提供个性化的教学内容，让数字人教师将输出的教学内容转化为不同的格式，以满足不同用户的需求。
进一步的，数字人教师采用了高度真实的人类外貌和语音特征，并采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图，所述数字人教师数据采集装置的采集流程如下：
2.1数字人表情扫描；
2.2数字人身体扫描；
2.3数字人模型处理及制作；
2.4AI对话训练。
进一步的，步骤2.1数字人表情扫描包括如下步骤：数字人表情扫描是通过拍摄真实的人类演员的照片，然后将这些真实的人类演员的照片导入软件中进行处理作为数字人教师的形象，数字人表情扫描包括演员定妆照采集和演员面部三维采集；
2.1.1演员定妆照采集
演员定妆照采集的过程是拍摄一系列照片，用于记录演员的化妆、服装和发型这些细节；在面部三维扫描之前，需要进行演员定妆照采集，以确保在进行面部三维扫描时，演员的妆容、服装和发型这些细节已经确定；
在采集定妆照时，使用高分辨率相机拍摄演员的正面、侧面和背面照片，在拍摄过程中，演员需要面对相机，以确保正面照片中的面部特征清晰可见，此外，摄影师还会要求演员转动头部，以便从不同角度记录面部和发型的细节，在拍摄完成后，摄影师通常会从一系列照片中选择最佳的照片，以供后续的处理和制作使用；
通过演员定妆照采集，制作人员可以在面部三维扫描之前对演员的妆容、服装和发型进行准确的记录和分析，从而为后续的制作工作提供更加准确和细致的参考，此外，通过演员定妆照采集，制作人员还可以更好地了解演员的形象和角色特点，以便更好地进行后续的制作和处理；
2.1.2演员面部三维采集
面部三维光场采集是一种高级的面部扫描技术，可以非常精确地捕捉演员面部的几何形状和光照信息，为后续的制作和处理提供准确的数据基础；
演员进行面部三维光场采集时，通常会使用面部光场相机阵列进行拍摄，这种相机阵列可以同时捕捉到演员面部的多个角度和不同方向的光照信息，从而生成高精度的三维面部模型，面部光场相机工作原理与传统相机不同，它不仅可以记录演员的表面几何形状，还可以捕捉到演员面部不同方向和角度下的光照信息。
进一步的，步骤2.2数字人身体扫描包括如下步骤：
数字人身体扫描是通过扫描真实的人类演员的身体实现，演员全身三维扫描时，使用三维扫描设备进行拍摄，该设备可以同时拍摄演员的多个角度和位置，以捕捉到演员的全身形态和细节，摄像机阵列安装在特定的位置和角度，以确保捕捉到演员全身的完整信息；
在进行全身三维扫描之前，演员可穿上特定的服装，这种服装通常由许多小点组成，可以在扫描时提供重要的参考点；
全身三维扫描时，采集到的照片将被导入计算机软件中进行处理，生成演员的三维模型，制作人员可以使用这个三维模型来制作演员在电影或者其他制作中的数字化版本，或者通过计算机动画来操纵这个三维模型，使其动作和姿势与演员的实际表现一致；
演员全身三维扫描使用摄像机阵列进行拍摄，以捕捉演员全身的形态和细节，通过这种扫描技术，制作人员可以快速生成演员的三维数字化版本，用于后续的制作和处理。
三维扫描设备包括66个超清摄像机组成的摄像机阵列，这66个超清摄像机分布在11根灯光立柱上，每根立柱上安装有6个摄像机，66个摄像机对演员进行拍摄，以捕捉演员全身的形态和细节。
进一步的，步骤2.3数字人模型处理及制作包括如下步骤：
数字人模型是通过将演员的身体形态和细节转换为数字化的形式所创建，数字人模型是一个以三维空间为基础的计算机生成的表示，它包含了演员的身体外形、拓扑结构和表面细节；数字人模型通常包括以下内容：
几何结构：模型以网格的形式表示，由多个相连的三角形或多边形构成，这些三角形或多边形的连接和排列形成了数字人模型的几何结构，描述了演员的身体形状；
拓扑结构：模型的拓扑结构定义了模型中各个顶点、边和面之间的连接关系；它决定了模型的流畅性、可变形性和动画效果；拓扑结构的优化和调整可以提高模型的性能和质量；
纹理映射：纹理映射是将纹理图像应用到模型表面的过程；纹理图像包含了模型的颜色、细节和纹理信息，可以使模型看起来更加逼真和具体；纹理映射可以使用专业的绘制软件或手工绘制来创建；
骨骼结构：为了实现数字人模型的动画效果，需要将骨骼结构应用于模型中；骨骼结构由一系列关节和骨骼组成，模拟了演员的骨骼系统，这样，模型就可以进行姿势和动作的变化；
捕捉数据：如果需要为数字人模型添加真实的动作，可以使用动作捕捉技术来记录演员的动作数据，并将其应用于模型；动作捕捉数据包括关节角度、位置和运动轨迹信息，用于模型的动画控制；
这些元素共同组成了数字人模型，使其成为一个能够在计算机中呈现和操作的具体形象，模型处理和制作的过程旨在优化模型的质量、添加细节和功能，并使其适应特定的应用需求。
数字人扫描之后的处理流程可以分为三个步骤：数据清理和优化、纹理贴图和动作捕捉：
(1)数据清理和优化
在数字人扫描之后，原始数据通常包含各种噪音、不完整的部分和其他不必要的信息，因此，第一步是进行数据清理和优化，以确保最终结果的准确性和质量；
去除噪音：使用各种算法和技术来去除扫描数据中的噪音和干扰，例如滤波器、平滑算法和边缘检测等；
数据修复：对于可能存在的缺失或损坏的部分，通过填补或重建的方式修复数据，以恢复完整的数字人模型。
拓扑优化：对扫描数据进行拓扑结构的优化，以减少不必要的面片和三角形数量，提高模型的效率和性能。
网格对齐：如果从不同角度或不同设备进行扫描，可能需要对数据进行网格对齐，以保证各个部分的一致性和连贯性。
(2)纹理贴图
纹理贴图是为数字人模型赋予逼真的外观和细节的过程。通过将纹理像映射到数字人模型的表面，可以为其添加肤色、细节纹理和其他外观特征。
UV映射：在进行纹理贴图之前，首先需要进行UV映射。这是将数字人模型的表面映射到二维纹理空间的过程。通过定义UV坐标，可以确定在纹理图像上对应于数字人模型每个点的纹理信息。
纹理创建：基于扫描数据或通过其他方式获取的纹理图像被应用到数字人模型的UV坐标上，从而为其表面提供颜色、皮肤细节和其他图案等外观特征。
纹理映射：将纹理图像映射到数字人模型的表面上，以确保纹理正确地与模型的几何形状对应，并呈现逼真的外观。
(3)动作捕捉：
动作捕捉是为数字人模型添加运动和动画的过程。通过捕捉真实世界中的运动数据，并将其应用到数字人模型上，可以使其具有逼真的动作
进一步的，步骤2.4AI对话训练包括如下步骤：
通过建立面向学科的语料库和采用大模型预训练方法，探索数字人教师教学交互内容的自动生成方法，该研究将以学科为单元，构建覆盖基础教育与高等教育的学科资源库，采用可视交互的生产方法，建立学科基础语料库，并进行大模型的训练、评估和测试；此外，该研究还将根据业务逻辑需要快速调整数字教师的知识、行为和逻辑，并使其交互行为符合真实场景的应用需求。
进一步的，数字人教师个性化教学系统，通过学生与数字人教师的交互，数字人教师根据学生的学习数据和教师的教学数据提供个性化教学服务，数字人教师个性化教学系统包括以下模块：
3.1数据采集模块，该模块采集学生的学习数据和教师的教学数据，并将数据用于大规模预训练的深度学习模型预训练数字人教师；
3.2互动学习模块，数字人教师的该模块能提供多种学习方式；
3.3个性化分析模块：该模块通过决策树技术对学生和教师的数据进行分析，得出学生和教师的特点和偏好，从而提供个性化的教育支持和辅助；
3.4评估反馈模块：该模块对学生的学习情况进行评估和反馈，帮助学生更好地了解自己的学习情况，同时也帮助教师更好地了解学生的学习情况和教学效果，以便进行进一步的个性化教学。
进一步的，上述互动学习模块提供以下几种学习方式：
3.2.1视频教学：数字人教师利用视频教学的方式，为学生呈现生动形象的课程内容，同时，学生可以在观看视频的过程中随时提出问题，数字人教师可以即时回答或者引导学生思考；
3.2.2交互式课堂，数字人教师通过互动式课堂平台与学生进行实时互动，教师发起问题或者任务，学生在互动平台上参与讨论、提交答案或者完成任务，数字人教师根据学生的回答和表现，及时调整教学内容和方式；
3.2.3智能测评，数字人教师利用自然语言处理技术和人工智能技术，为学生提供智能测评服务，学生通过智能测评获得个性化的评估报告，了解自己的优势和不足，数字人教师根据评估结果，为学生提供精准的教学指导和建议；
3.2.4虚拟实验，数字人教师借助虚拟实验平台，为学生提供真实的实验场景和模拟操作体验，学生可以通过虚拟实验平台学习相关知识和技能，并在模拟实验中进行实践和探索，数字人教师可以通过监控学生的操作和结果，及时给予反馈和指导；
3.2.5协作式学习，数字人教师通过协作式学习平台，为学生提供多人协作的学习环境，学生在协作式学习中互相交流、合作、讨论，共同完成学习任务；数字人教师可以通过监控学生的互动和表现，及时调整学习内容和方式；
进一步的，上述个性化分析模块包括如下工作步骤：
3.3.1数据准备：收集学生和教师的数据，进行数据清洗和特征提取，包括将数据转换为数值型或二值型、处理缺失值、标准化或归一化这些预处理过程；
3.3.2特征选择：选取有区分性的特征进行决策树的构建，采用基于信息熵或基尼系数的算法，比较各个特征的区分度，选择最优的特征作为节点进行划分；
3.3.3决策树的构建：通过递归的方式对数据集进行划分，将数据集分成若干个子集，每个子集对应一个决策树节点，构建的决策树应该是具有高泛化能力和可解释性的；
3.3.4决策树的剪枝：为避免过拟合，需要对决策树进行剪枝，通常采用预剪枝或后剪枝的方法进行剪枝；预剪枝是在决策树构建过程中，设置一个阈值，当节点样本数少于该阈值时，停止划分该节点；后剪枝是在决策树构建完成后，剪掉决策树上的一些节点，以达到优化模型的目的；
3.3.5决策树的应用：使用构建好的决策树对新数据进行分类或预测，可以得出学生和教师的特点和偏好，包括性别、年龄、学习习惯、教学方法偏好。
本发明的有益技术效果：
1、本发明的一种数字人教师个性化教学装置，数字人教师采用了高度真实的人类外貌和语音特征，使得用户与数字人教师的交互更加自然和真实，提高了用户的学习效果和满意度。
2、本发明的数字人教师还采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图，并提供个性化的教育服务。
3、本发明的数字人教师输出转化应用的模块采用了多媒体技术，可以将数字人教师的输出转化为多种形式，以适应不同用户的需求。
4、本发明的数字人教师可以根据用户的学习进度和反馈信息，自动调整教学内容和方式，提供更加个性化的教育服务。这使得用户能够更加高效地学习，提高学习效果。
附图说明
图1为本发明所述的一种数字人教师个性化教学装置的示意图；
图2为本发明的面部光场相机的外形图；
图3为本发明所述的三维扫描设备的外形图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图1-3对本发明中的技术方案进行清楚、完整地描述。
如图1所示的是本发明所述的一种数字人教师个性化教学装置的示意图。
一种数字人教师个性化教学装置，其包括数字人教师数据采集装置和数字人教师个性化教学系统，其中，数字人教师数据采集装置用于实现数字人教师的高精度建模，数字人教师个性化教学系统用于让数字人教师与用户进行交互，并根据用户的输入提供个性化的教学内容，让数字人教师将输出的教学内容转化为不同的格式，以满足不同用户的需求。
进一步的，数字人教师采用了高度真实的人类外貌和语音特征，并采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图，所述数字人教师数据采集装置的采集流程如下：
2.1数字人表情扫描；
2.2数字人身体扫描；
2.3数字人模型处理及制作；
2.4AI对话训练。
进一步的，步骤2.1数字人表情扫描包括如下步骤：数字人表情扫描是通过拍摄真实的人类演员的照片，然后将这些真实的人类演员的照片导入软件中进行处理作为数字人教师的形象，数字人表情扫描包括演员定妆照采集和演员面部三维采集；
2.1.1演员定妆照采集
演员定妆照采集的过程是拍摄一系列照片，用于记录演员的化妆、服装和发型这些细节；在面部三维扫描之前，需要进行演员定妆照采集，以确保在进行面部三维扫描时，演员的妆容、服装和发型这些细节已经确定；
在采集定妆照时，使用高分辨率相机拍摄演员的正面、侧面和背面照片，在拍摄过程中，演员需要面对相机，以确保正面照片中的面部特征清晰可见，此外，摄影师还会要求演员转动头部，以便从不同角度记录面部和发型的细节，在拍摄完成后，摄影师通常会从一系列照片中选择最佳的照片，以供后续的处理和制作使用；
通过演员定妆照采集，制作人员可以在面部三维扫描之前对演员的妆容、服装和发型进行准确的记录和分析，从而为后续的制作工作提供更加准确和细致的参考，此外，通过演员定妆照采集，制作人员还可以更好地了解演员的形象和角色特点，以便更好地进行后续的制作和处理；
2.1.2演员面部三维采集
面部三维光场采集是一种高级的面部扫描技术，可以非常精确地捕捉演员面部的几何形状和光照信息，为后续的制作和处理提供准确的数据基础；
演员进行面部三维光场采集时，通常会使用面部光场相机阵列进行拍摄，这种相机阵列可以同时捕捉到演员面部的多个角度和不同方向的光照信息，从而生成高精度的三维面部模型，面部光场相机工作原理与传统相机不同，它不仅可以记录演员的表面几何形状，还可以捕捉到演员面部不同方向和角度下的光照信息。
进一步的，步骤2.2数字人身体扫描包括如下步骤：
数字人身体扫描是通过扫描真实的人类演员的身体实现，演员全身三维扫描时，使用三维扫描设备进行拍摄，该设备可以同时拍摄演员的多个角度和位置，以捕捉到演员的全身形态和细节，摄像机阵列安装在特定的位置和角度，以确保捕捉到演员全身的完整信息；
在进行全身三维扫描之前，演员可穿上特定的服装，这种服装通常由许多小点组成，可以在扫描时提供重要的参考点；
全身三维扫描时，采集到的照片将被导入计算机软件中进行处理，生成演员的三维模型，制作人员可以使用这个三维模型来制作演员在电影或者其他制作中的数字化版本，或者通过计算机动画来操纵这个三维模型，使其动作和姿势与演员的实际表现一致；
演员全身三维扫描使用摄像机阵列进行拍摄，以捕捉演员全身的形态和细节，通过这种扫描技术，制作人员可以快速生成演员的三维数字化版本，用于后续的制作和处理。
三维扫描设备包括66个超清摄像机组成的摄像机阵列，这66个超清摄像机分布在11根灯光立柱上，每根立柱上安装有6个摄像机，66个摄像机对演员进行拍摄，以捕捉演员全身的形态和细节。
进一步的，步骤2.3数字人模型处理及制作包括如下步骤：
数字人模型是通过将演员的身体形态和细节转换为数字化的形式所创建，数字人模型是一个以三维空间为基础的计算机生成的表示，它包含了演员的身体外形、拓扑结构和表面细节；数字人模型通常包括以下内容：
几何结构：模型以网格的形式表示，由多个相连的三角形或多边形构成，这些三角形或多边形的连接和排列形成了数字人模型的几何结构，描述了演员的身体形状；
拓扑结构：模型的拓扑结构定义了模型中各个顶点、边和面之间的连接关系；它决定了模型的流畅性、可变形性和动画效果；拓扑结构的优化和调整可以提高模型的性能和质量；
纹理映射：纹理映射是将纹理图像应用到模型表面的过程；纹理图像包含了模型的颜色、细节和纹理信息，可以使模型看起来更加逼真和具体；纹理映射可以使用专业的绘制软件或手工绘制来创建；
骨骼结构：为了实现数字人模型的动画效果，需要将骨骼结构应用于模型中；骨骼结构由一系列关节和骨骼组成，模拟了演员的骨骼系统，这样，模型就可以进行姿势和动作的变化；
捕捉数据：如果需要为数字人模型添加真实的动作，可以使用动作捕捉技术来记录演员的动作数据，并将其应用于模型；动作捕捉数据包括关节角度、位置和运动轨迹信息，用于模型的动画控制；
这些元素共同组成了数字人模型，使其成为一个能够在计算机中呈现和操作的具体形象，模型处理和制作的过程旨在优化模型的质量、添加细节和功能，并使其适应特定的应用需求。
数字人扫描之后的处理流程可以分为三个步骤：数据清理和优化、纹理贴图和动作捕捉：
(1)数据清理和优化
在数字人扫描之后，原始数据通常包含各种噪音、不完整的部分和其他不必要的信息，因此，第一步是进行数据清理和优化，以确保最终结果的准确性和质量；
去除噪音：使用各种算法和技术来去除扫描数据中的噪音和干扰，例如滤波器、平滑算法和边缘检测等；
数据修复：对于可能存在的缺失或损坏的部分，通过填补或重建的方式修复数据，以恢复完整的数字人模型。
拓扑优化：对扫描数据进行拓扑结构的优化，以减少不必要的面片和三角形数量，提高模型的效率和性能。
网格对齐：如果从不同角度或不同设备进行扫描，可能需要对数据进行网格对齐，以保证各个部分的一致性和连贯性。
(2)纹理贴图
纹理贴图是为数字人模型赋予逼真的外观和细节的过程。通过将纹理像映射到数字人模型的表面，可以为其添加肤色、细节纹理和其他外观特征。
UV映射：在进行纹理贴图之前，首先需要进行UV映射。这是将数字人模型的表面映射到二维纹理空间的过程。通过定义UV坐标，可以确定在纹理图像上对应于数字人模型每个点的纹理信息。
纹理创建：基于扫描数据或通过其他方式获取的纹理图像被应用到数字人模型的UV坐标上，从而为其表面提供颜色、皮肤细节和其他图案等外观特征。
纹理映射：将纹理图像映射到数字人模型的表面上，以确保纹理正确地与模型的几何形状对应，并呈现逼真的外观。
(3)动作捕捉：
动作捕捉是为数字人模型添加运动和动画的过程。通过捕捉真实世界中的运动数据，并将其应用到数字人模型上，可以使其具有逼真的动作
进一步的，步骤2.4AI对话训练包括如下步骤：
通过建立面向学科的语料库和采用大模型预训练方法，探索数字人教师教学交互内容的自动生成方法，该研究将以学科为单元，构建覆盖基础教育与高等教育的学科资源库，采用可视交互的生产方法，建立学科基础语料库，并进行大模型的训练、评估和测试；此外，该研究还将根据业务逻辑需要快速调整数字教师的知识、行为和逻辑，并使其交互行为符合真实场景的应用需求。
进一步的，数字人教师个性化教学系统，通过学生与数字人教师的交互，数字人教师根据学生的学习数据和教师的教学数据提供个性化教学服务，数字人教师个性化教学系统包括以下模块：
3.1数据采集模块，该模块采集学生的学习数据和教师的教学数据，并将数据用于大规模预训练的深度学习模型预训练数字人教师；
3.2互动学习模块，数字人教师的该模块能提供多种学习方式；
3.3个性化分析模块：该模块通过决策树技术对学生和教师的数据进行分析，得出学生和教师的特点和偏好，从而提供个性化的教育支持和辅助；
3.4评估反馈模块：该模块对学生的学习情况进行评估和反馈，帮助学生更好地了解自己的学习情况，同时也帮助教师更好地了解学生的学习情况和教学效果，以便进行进一步的个性化教学。
大规模预训练的深度学习模型，具体而言，这个大模型是一个BERT(Bidirectional Encoder Representations from Transformers)是一种双向预训练语言模型语言模型，用于生成与数字人相关的自然语言描述或对话；
(1)数据收集：收集对话语料：从各种来源(如网络、聊天记录等)收集与数字人教师相关的对话数据。收集问题-回答对：获取问题和对应的回答，这些问题和回答涉及到数字人教师的指导、信息查询等。收集图像或视频数据：收集数字人的图像或视频数据，用于与其外观和动作相关的视觉理解任务。
(2)自监督或弱监督预训练：自编码器训练：使用自编码器模型，通过最小化重构误差来学习数据的低维表示，以便在理解语义和语法上进行自监督预训练。预测任务训练：通过训练模型预测输入序列中的下一个元素或填充缺失的部分，使模型能够学习序列的内部结构和上下文关系。
(3)微调和迁移学习：对话任务微调：使用标注的对话数据，将预训练的模型与对话任务相关的损失函数相结合，通过梯度下降方法微调模型参数，使其在对话理解和生成任务上表现更好。问题-回答任务微调：使用标注的问题-回答对数据，将预训练的模型与问题-回答任务相关的损失函数相结合，通过微调模型参数，使其能够更好地回答与数字人教师相关的问题。视觉任务微调：使用标注的数字人图像或视频数据，将预训练的模型与视觉任务相关的损失函数相结合，通过微调模型参数，使其能够更好地理解和处理数字人的视觉信息。
(4)模型评估和迭代：评估指标：使用适当的评估指标(如准确率、BLEU分数、重建误差等)评估模型在与数字人教师相关的任务上的性能。调整模型架构和超参数：根据评估结果，可能需要对模型架构和超参数进行调整，以提高模型性能。迭代训练过程：根据反馈和评估结果，迭代地进行微调、评估和调整，直到模型达到预期的性能水平。
进一步的，上述互动学习模块提供以下几种学习方式：
3.2.1视频教学：数字人教师利用视频教学的方式，为学生呈现生动形象的课程内容，同时，学生可以在观看视频的过程中随时提出问题，数字人教师可以即时回答或者引导学生思考；
3.2.2交互式课堂，数字人教师通过互动式课堂平台与学生进行实时互动，教师发起问题或者任务，学生在互动平台上参与讨论、提交答案或者完成任务，数字人教师根据学生的回答和表现，及时调整教学内容和方式；
3.2.3智能测评，数字人教师利用自然语言处理技术和人工智能技术，为学生提供智能测评服务，学生通过智能测评获得个性化的评估报告，了解自己的优势和不足，数字人教师根据评估结果，为学生提供精准的教学指导和建议；
3.2.4虚拟实验，数字人教师借助虚拟实验平台，为学生提供真实的实验场景和模拟操作体验，学生可以通过虚拟实验平台学习相关知识和技能，并在模拟实验中进行实践和探索，数字人教师可以通过监控学生的操作和结果，及时给予反馈和指导；
3.2.5协作式学习，数字人教师通过协作式学习平台，为学生提供多人协作的学习环境，学生在协作式学习中互相交流、合作、讨论，共同完成学习任务；数字人教师可以通过监控学生的互动和表现，及时调整学习内容和方式；
进一步的，上述个性化分析模块包括如下工作步骤：
3.3.1数据准备：收集学生和教师的数据，进行数据清洗和特征提取，包括将数据转换为数值型或二值型、处理缺失值、标准化或归一化这些预处理过程；
3.3.2特征选择：选取有区分性的特征进行决策树的构建，采用基于信息熵或基尼系数的算法，比较各个特征的区分度，选择最优的特征作为节点进行划分；
3.3.3决策树的构建：通过递归的方式对数据集进行划分，将数据集分成若干个子集，每个子集对应一个决策树节点，构建的决策树应该是具有高泛化能力和可解释性的；
3.3.4决策树的剪枝：为避免过拟合，需要对决策树进行剪枝，通常采用预剪枝或后剪枝的方法进行剪枝；预剪枝是在决策树构建过程中，设置一个阈值，当节点样本数少于该阈值时，停止划分该节点；后剪枝是在决策树构建完成后，剪掉决策树上的一些节点，以达到优化模型的目的；
3.3.5决策树的应用：使用构建好的决策树对新数据进行分类或预测，可以得出学生和教师的特点和偏好，包括性别、年龄、学习习惯、教学方法偏好。
以上所述仅为本发明的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种数字人教师个性化教学装置，其特征在于：其包括数字人教师数据采集装置和数字人教师个性化教学系统，其中，数字人教师数据采集装置用于实现数字人教师的高精度建模；数字人教师个性化教学系统用于让数字人教师与用户进行交互，数字人教师采用了高度真实的人类外貌和语音特征，并采用了先进的语义理解和自然语言处理技术，能够快速准确地理解用户的语言和意图，并根据用户的输入提供个性化的教学内容，让数字人教师将输出的教学内容转化为不同的格式，以满足不同用户的需求。
2.根据权利要求1所述的一种数字人教师个性化教学装置，其特征在于：所述数字人教师数据采集装置的采集流程如下：
2.1数字人教师表情扫描；
2.2数字人教师身体扫描；
2.3数字人模型处理及制作；
2.4AI对话训练。
3.根据权利要求2所述的一种数字人教师个性化教学装置，其特征在于：步骤2.1数字人表情扫描包括如下步骤：
数字人表情扫描是通过拍摄真实的人类演员，然后将这些真实的人类演员的形象导入软件中进行处理作为数字人教师的形象，数字人表情扫描包括演员定妆照采集和演员面部三维采集：
2.1.1演员定妆照采集
演员定妆照采集的过程是拍摄一系列照片，用于记录演员的化妆、服装和发型这些细节；
在采集定妆照时，使用高分辨率相机拍摄演员的正面、侧面和背面照片，在拍摄过程中，演员需要面对相机，以确保正面照片中的面部特征清晰可见，此外，摄影师还会要求演员转动头部，以便从不同角度记录面部和发型的细节；
通过演员定妆照采集，制作人员可以在面部三维扫描之前对演员的妆容、服装和发型进行准确的记录和分析，从而为后续的数字人教师的制作工作提供更加准确和细致的参考；
2.1.2演员面部三维采集
演员进行面部三维光场采集时，通常会使用面部光场相机阵列进行拍摄，这种相机阵列可以同时捕捉到演员面部的多个角度和不同方向的光照信息，从而生成高精度的三维面部模型。
4.根据权利要求2所述的一种数字人教师个性化教学装置，其特征在于：步骤2.2数字人身体扫描包括如下步骤：
数字人身体扫描是通过扫描真实的人类演员的身体实现，演员全身三维扫描时，使用三维扫描设备进行拍摄，该设备可以同时拍摄演员的多个角度和位置，以捕捉到演员的全身形态和细节，该三维扫描设备由摄像机阵列组成，摄像机阵列安装在特定的位置和角度，以捕捉演员全身的形态和细节，确保捕捉到演员全身的完整信息；
全身三维扫描时，采集到的照片将被导入计算机软件中进行处理，生成演员的三维模型，制作人员可以使用这个三维模型来制作演员在电影或者其他制作中的数字化版本，或者通过计算机动画来操纵这个三维模型，使其动作和姿势与演员的实际表现一致；
通过这种扫描技术，制作人员可以快速生成演员的三维数字化版本，用于后续的数字人教师的制作和处理。
5.根据权利要求2所述的一种数字人教师个性化教学装置，其特征在于：步骤2.3数字人模型处理及制作包括如下步骤：
数字人模型是通过将演员的身体形态和细节转换为数字化的形式所创建，数字人模型是一个以三维空间为基础的计算机生成的表示，它包含了演员的身体外形、拓扑结构和表面细节，这些元素共同组成了数字人模型，使其成为一个能够在计算机中呈现和操作的具体形象；
数字人扫描之后的处理流程可以分为三个步骤：数据清理和优化、纹理贴图和动作捕捉。
6.根据权利要求2所述的一种数字人教师个性化教学装置，其特征在于：步骤2.4AI对话训练包括如下步骤：
通过建立面向学科的语料库和采用大模型预训练方法，探索数字人教师教学交互内容的自动生成方法，该研究将以学科为单元，构建覆盖基础教育与高等教育的学科资源库，采用可视交互的生产方法，建立学科基础语料库，并进行大模型的训练、评估和测试；此外，该研究还将根据业务逻辑需要快速调整数字教师的知识、行为和逻辑，并使其交互行为符合真实场景的应用需求。
7.根据权利要求1-6中任一项所述的一种数字人教师个性化教学装置，其特征在于：数字人教师个性化教学系统，通过学生与数字人教师的交互，数字人教师根据学生的学习数据和教师的教学数据提供个性化教学服务，数字人教师个性化教学系统包括以下模块：
3.1数据采集模块，该模块采集学生的学习数据和教师的教学数据，并将数据用于大模型预训练数字人教师；
3.2互动学习模块，数字人教师的该模块能提供多种学习方式；
3.3个性化分析模块：该模块通过决策树技术对学生和教师的数据进行分析，得出学生和教师的特点和偏好，从而提供个性化的教育支持和辅助；
3.4评估反馈模块：该模块对学生的学习情况进行评估和反馈，帮助学生更好地了解自己的学习情况，同时也帮助教师更好地了解学生的学习情况和教学效果，以便进行进一步的个性化教学。
8.根据权利要求7所述的一种数字人教师个性化教学装置，其特征在于：上述互动学习模块提供以下几种学习方式：
3.2.1视频教学：数字人教师利用视频教学的方式，为学生呈现生动形象的课程内容，同时，学生可以在观看视频的过程中随时提出问题，数字人教师可以即时回答或者引导学生思考；
3.2.2交互式课堂，数字人教师通过互动式课堂平台与学生进行实时互动，教师发起问题或者任务，学生在互动平台上参与讨论、提交答案或者完成任务，数字人教师根据学生的回答和表现，及时调整教学内容和方式；
3.2.3智能测评，数字人教师利用自然语言处理技术和人工智能技术，为学生提供智能测评服务，学生通过智能测评获得个性化的评估报告，了解自己的优势和不足，数字人教师根据评估结果，为学生提供精准的教学指导和建议；
3.2.4虚拟实验，数字人教师借助虚拟实验平台，为学生提供真实的实验场景和模拟操作体验，学生可以通过虚拟实验平台学习相关知识和技能，并在模拟实验中进行实践和探索，数字人教师可以通过监控学生的操作和结果，及时给予反馈和指导；
3.2.5协作式学习，数字人教师通过协作式学习平台，为学生提供多人协作的学习环境，学生在协作式学习中互相交流、合作、讨论，共同完成学习任务；数字人教师可以通过监控学生的互动和表现，及时调整学习内容和方式。
9.根据权利要求7所述的一种数字人教师个性化教学装置，其特征在于：上述个性化分析模块包括如下工作步骤：
3.3.1数据准备：收集学生和教师的数据，进行数据清洗和特征提取，包括将数据转换为数值型或二值型、处理缺失值、标准化或归一化这些预处理过程；
3.3.2特征选择：选取有区分性的特征进行决策树的构建，采用基于信息熵或基尼系数的算法，比较各个特征的区分度，选择最优的特征作为节点进行划分；
3.3.3决策树的构建：通过递归的方式对数据集进行划分，将数据集分成若干个子集，每个子集对应一个决策树节点，构建的决策树应该是具有高泛化能力和可解释性的；
3.3.4决策树的剪枝：为避免过拟合，需要对决策树进行剪枝，通常采用预剪枝或后剪枝的方法进行剪枝；预剪枝是在决策树构建过程中，设置一个阈值，当节点样本数少于该阈值时，停止划分该节点；后剪枝是在决策树构建完成后，剪掉决策树上的一些节点，以达到优化模型的目的；
3.3.5决策树的应用：使用构建好的决策树对新数据进行分类或预测，可以得出学生和教师的特点和偏好，包括性别、年龄、学习习惯、教学方法偏好。
CN202310835920.4A 2023-07-10 2023-07-10 一种数字人教师个性化教学装置 Pending CN116957866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310835920.4A CN116957866A (zh) 2023-07-10 2023-07-10 一种数字人教师个性化教学装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310835920.4A CN116957866A (zh) 2023-07-10 2023-07-10 一种数字人教师个性化教学装置

Publications (1)

Publication Number Publication Date
CN116957866A true CN116957866A (zh) 2023-10-27

Family

ID=88459610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310835920.4A Pending CN116957866A (zh) 2023-07-10 2023-07-10 一种数字人教师个性化教学装置

Country Status (1)

Country Link
CN (1) CN116957866A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635383A (zh) * 2023-11-30 2024-03-01 新励成教育科技股份有限公司 一种虚拟导师与多人协作口才培训系统、方法及设备
CN117808945A (zh) * 2024-03-01 2024-04-02 北京烽火万家科技有限公司 一种基于大规模预训练语言模型的数字人生成系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635383A (zh) * 2023-11-30 2024-03-01 新励成教育科技股份有限公司 一种虚拟导师与多人协作口才培训系统、方法及设备
CN117808945A (zh) * 2024-03-01 2024-04-02 北京烽火万家科技有限公司 一种基于大规模预训练语言模型的数字人生成系统

Similar Documents

Publication Publication Date Title
CN110599573B (zh) 一种基于单目相机的人脸实时交互动画的实现方法
CN116957866A (zh) 一种数字人教师个性化教学装置
CN103473801B (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN110488975A (zh) 一种基于人工智能的数据处理方法及相关装置
CN109086664A (zh) 一种动静态融合的多态手势识别方法
CN113779289A (zh) 基于人工智能的绘画步骤还原系统
Li Research on the application of artificial intelligence in the film industry
Liu et al. A semi-supervised data augmentation approach using 3d graphical engines
CN117218300A (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN111399662B (zh) 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
US11875504B2 (en) Systems and methods for building a muscle-to-skin transformation in computer animation
US20220076409A1 (en) Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation
CN113160343A (zh) 基于深度神经网络的简笔画绘画过程生成算法
Zhang et al. Deep Learning Technology in Film and Television Post-Production
Gao The Application of Virtual Technology Based on Posture Recognition in Art Design Teaching
Hu Visual Presentation Algorithm of Dance Arrangement and CAD Based on Big Data Analysis
Liang et al. Interactive Experience Design of Traditional Dance in New Media Era Based on Action Detection
US11341702B2 (en) Systems and methods for data bundles in computer animation
CN118411453B (zh) 一种数字人全息互动方法及系统
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US20240169635A1 (en) Systems and Methods for Anatomically-Driven 3D Facial Animation
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
Liu et al. Using Deep Learning Algorithm to Analyze the Accurate Modeling of Dance Dynamics in CAD
Zhao et al. Implementation of Computer Aided Dance Teaching Integrating Human Model Reconstruction Technology
WO2022055366A1 (en) Systems and methods for building a skin-to-muscle transformation in computer animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination