CN112070865A - 课堂互动方法、装置、存储介质及电子设备 - Google Patents

课堂互动方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112070865A
CN112070865A CN202010865567.0A CN202010865567A CN112070865A CN 112070865 A CN112070865 A CN 112070865A CN 202010865567 A CN202010865567 A CN 202010865567A CN 112070865 A CN112070865 A CN 112070865A
Authority
CN
China
Prior art keywords
classroom
interaction
data
interactive
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010865567.0A
Other languages
English (en)
Inventor
时永欣
王宗旭
黎鑫
顾慧敏
商腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202010865567.0A priority Critical patent/CN112070865A/zh
Publication of CN112070865A publication Critical patent/CN112070865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请实施例公开了一种课堂互动方法、装置、存储介质及电子设备，其中，方法包括：响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。采用本申请实施例，可以提高课堂教学效果。

Description

课堂互动方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种课堂互动方法、装置、存储介质及电子设备。
背景技术
随着网络的不断发展，将有限的优质教学资源变成全社会共享的资源是一种较好的解决方法。而将教学内容网络化、数字化是首要条件。为此，人们开发了各种多媒体在线教学平台，借助网络的作用，将名师、名校、名课的教学内容通过在线教学的模式向全社会推广。
现有的1对多在线教学模式中，通常有一名教师和多名学生共同参与。为了提高教学效果，在线教学也会设置分组或团队模式，即将学生进行分组或分团队，并进行团队间的互动、配合等。而在某些情况下，会出现整个课堂上课学生人数较少，或者课堂氛围不足的情况，导致课堂教学效果不佳。
发明内容
本申请实施例提供了一种课堂互动方法、装置、存储介质及电子设备，可以提高课堂教学效果。本申请实施例的技术方案如下：
第一方面，本申请实施例提供了一种课堂互动方法，所述方法包括：
响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令；
基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作；
基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
第二方面，本申请实施例提供了一种课堂互动装置，所述装置包括：
指令获取模块，用于响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令；
操作控制模块，用于基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作；
课堂同步模块，用于基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请一个或多个实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种课堂互动方法的流程示意图；
图2是本申请实施例提供的另一种课堂互动方法的流程示意图；
图3是本申请实施例提供的另一种课堂互动方法的流程示意图；
图4是本申请实施例提供的一种课堂互动装置的结构示意图；
图5是本申请实施例提供的一种指令获取模块的结构示意图；
图6是本申请实施例提供的一种操作控制模块的结构示意图；
图7是本申请实施例提供的一种课堂同步模块的结构示意图；
图8是本申请实施例提供的一种课堂信息获取单元的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中，如图1所示，特提出了一种课堂互动方法，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的课堂互动装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
其中，所述课堂互动装置可以是提供课堂互动功能的服务平台，所述服务平台可以是单独的服务器设备，例如：机架式、刀片、塔式、或者机柜式的服务器设备，也可以采用工作站、大型计算机、等具备较强计算能力硬件设备，也可以采用多个服务器组成的服务器集群，所述服务集群中的各服务器可以是以对称方式组成的，其中每台服务器在业务链路中功能等价、地位等价，各服务器均可单独对外提供服务，所述单独提供服务可以理解为无需另外的服务器的辅助。
具体的，该课堂互动方法包括：
步骤S101：响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令。
在实际应用中，所述课堂可以是智能教育领域所涉及的在线课堂或离线课堂的场景，如以在线课堂为例，在课堂上的参与者至少可以包括教学者(如老师端)、学生端(如真实学生)、虚拟角色。其中，所述虚拟角色与真实角色相对，虚拟角色不是真实存在的角色，是服务平台安排的真实学生在课堂上共同学习的虚拟角色。该课堂上的其他真实学生(也即真实角色)可以通过课堂音/视频可感知到(如观看)该虚拟角色。虚拟角色是一种虚构人物，具有个性化特征的形象综合表达。本实施例中，服务平台为课堂安排的虚拟角色外形不受限制，可以采用机器人、卡通人物以及三维人物形象等。
所述课堂互动指令互基于课堂正在进行的教学活动和/或课堂学生(真实角色以及虚拟角色)的行为信息，确定的虚拟角色需要执行的指令。互动指令可以包括但不限于：团队活动指令、课堂答题指令、课堂发言指令、课堂抢答指令、课堂聊天指令，跟读指令等。
其中，课堂中的课堂互动指令，可以是与服务平台相关联的终端(学生端、老师端、家长端等等)基于课堂实际教学情况输入的，如，与服务平台相关联的教师端在课堂教学的过程中，教师基于当前教学环节向服务平台所输入的课堂互动指令，如用于课堂答题的课堂互动指令、用于团队活动的课堂互动指令；也可以是服务平台基于课堂实际教学情况产生的，如在课堂教学到某一时间点获教学环节时，服务平台自动触发课堂互动指令然后进行响应。
其中，互动控制指令用于对虚拟角色进行互动控制，互动控制指令可以是在教学课堂互动发生时实时生成，也可以是预先生成好的，即在课堂开课前预设生成一种对应关系，在课堂互动指令发出时可以快速获取到对应的互动控制指令，以方便对虚拟角色进行进互动控制，具体类型此处不作限定。
进一步的，当互动控制指令为教学课堂互动发生时实时生成的情况下，服务平台可以基于本次课堂所对应的历史教学数据进行获取，具体实施中服务平台可以获取相似或相同课程下真实学生的历史课堂数据的所产生的互动控制指令，如，接收到的是某个答题的课堂互动指令，服务平台则获取对应的答题控制指令，该答题控制指令由答题时间、答题步骤、答题内容等数据生成；如，接收到的是某个课堂游戏的课堂互动指令，服务平台则获取对应的游戏控制指令，该游戏控制指令由游戏互动时长、游戏互动规则、游戏互动内容、游戏互动结果等数据生成。
进一步的，互动控制指令可以是该课堂上课前预先确定的，在该课程上课前服务平台预先设置好对应各时间点所对应的互动控制指令，和/或，预先设置好对应教学环节对应各教学环节所对应的互动控制指令。也即服务平台句具体实施中，服务平台响应于课堂中的课堂互动指令，然后获取当前时间点或当前教学环节所对应的设置好的互动控制指令。
步骤S102：基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作。
服务平台在获取到所述课堂对应的至少一个互动控制指令之后，然后基于各所述互动控制指令控制相对应的虚拟角色执行互动控制指令所指示的互动操作。如：参与教学课程的虚拟角色在响应课堂互动指令时，终端将根据生成的答题控制指令控制虚拟角色进行抢答，并在抢答成功后依据历史答题内容及答题时长对抢答题目进行答复。当然，若抢答失败(也即互动控制指令响应失败)，虚拟角色则停止此次抢答互动。又如，参与教学课程的虚拟角色在响应针对教学游戏的课堂互动指令时，终端将根据生成的控制指令控制虚拟角色进行按照游戏互动规则在游戏互动时长内进行教学游戏，同时在游戏过程中可以控制虚拟角色进行游戏互动内容相关的游戏活动以及展示游戏互动结果，等等，当然，若游戏互动失败，虚拟角色则停止此次游戏互动。
在一些实施例中，所述互动操作还可以是团队配合、课堂对话、争抢上台等。
步骤S103：基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
所述多媒体互动数据为服务平台合成的虚拟角色在课堂中相关联的数据，在实际应用中，课堂互动作为课堂内容的一部分，服务平台在后端控制虚拟角色执行相应的互动操作的同时或之后，还需将互动操作对应的虚拟角色的多媒体互动数据向参与本次课堂的所有学生终端、教师终端等课堂参与者进行展示，也即需要将与虚拟角色相关联的多媒体互动数据以及互动操作进行课堂同步。
具体的，虚拟角色所在服务平台基于各所述互动控制指令，合成执行互动操作后情况下的多媒体互动数据，并将该多媒体互动数据发送给参与同一课堂的各用户终端。以课堂团队游戏为例，课堂团队游戏中，相应团队中的各个虚拟角色在执行完相应的互动操作(如游戏操作)后，可以将游戏操作结果对应的多媒体互动数据同步发送给每一个参与同一课程的各用户终端，和/或，将课堂团队游戏中虚拟角色对应的音视频数据(也即多媒体互动数据)同步发送给每一个参与同一课程的各用户终端。所述多媒体互动数据包括但不限于文本数据、音频数据、视频数据等形式。
具体的，服务平台基于互动控制指令可以确定执行互动操作时虚拟角色的互动控制信息，如面部特征、躯体特征、语音特征、姿态特征等等，可以根据互动控制信息完成对虚拟角色的控制从而输出虚拟角色对应的多媒体互动数据，在一种实施方式中，通常虚拟角色在服务平台创建时会对应相应的虚拟角色驱动模型，服务平台将，如面部特征、躯体特征、语音特征、姿态特征等等，可以根据输入至虚拟角色驱动模型进行处理的过程中可以确定虚拟角色的多媒体互动数据，进一步的，多媒体互动数据中可以包含虚拟角色执行互动操作的过程中所对应的画面，服务平台基于虚拟角色驱动模型控制虚拟角色执行互动操作的同时还可以对应生成互动操作过程中虚拟角色的多媒体互动数据，如虚拟角色回答问题时对应的音频互动数据、虚拟角色参与答题时的答题互动数据(答题内容、答题躯体动作等等)。
需要说明的是，所述虚拟角色驱动模型可以是基于TTS语音合成技术以及视频合成技术创建初始虚拟角色驱动模型，然后通过采集大量实际应用环境中的样本数据对初始虚拟角色驱动模型进行训练，得到的训练好的虚拟角色驱动模型。其中，虚拟角色驱动模型在生成多媒体互动数据时，其模型处理过程不直接基于大量样本数据(可以理解为课堂样本数据)直接截取相对应的视频或音频片段从而输出相应的多媒体互动数据，而是对样本数据提取互动特征，将互动特征输入至初始虚拟角色驱动模型进行训练得到。
可选的，服务平台上互动控制指令所对应的互动控制信息可以是预先在设置互动控制指令时设置好的，服务平台预先保存有互动控制指令与互动控制信息的对应关系，当服务平台在课堂上确定互动控制指令之后可以基于本次课程名称去匹配到互动控制指令对应的互动控制信息。
在本申请实施例中，服务平台基于各所述互动控制指令控制虚拟角色执行互动操作的执行顺序与基于各所述互动控制指令生成虚拟角色的多媒体互动数据的执行顺序不分先后，可以是同时进行的，同时在控制虚拟角色执行互动操作时可以基于多媒体互动数据进行相应互动操作的控制，如执行互动操作时会基于已生成的多媒体互动数据控制虚拟角色进行语音输出、姿态输出、面部表情输出、视频输出等等，从而实时生成虚拟角色的多媒体互动数据。
进一步的，互动控制指令与互动操作相对应，通常一个互动控制指令对应一个虚拟角色的互动操作，当互动控制指令为多个时，多个互动控制指令分别对应对个不同的虚拟角色执行不同的互动操作。另外，在一些实施例中，服务平台可以基于不同的互动控制指令针对不同的虚拟角色生成不同的多媒体互动数据，从而将各不同的多媒体互动数据以及相应的互动操作发送至不同的用户终端。
以一种小班分组课程为例，各组学员一般只能查看到本组内学员的互动，在这种场景下会对应多个互动控制指令以及各互动控制指令对应的互动操作，如第一互动操作以及第二互动操作，相应的，第一互动操作与第一多媒体互动数据相关联、第二互动操作与第二多媒体互动数据相关联；因此，需分别将所述第一互动操作对应的第一多媒体数据发送至参与所述在线课堂的至少一个第一用户终端，将所述第二互动操作对应的多媒体互动数据发送至参与所述在线课堂的至少一个第二用户终端。其中，所述第一用户终端与所述第一虚拟角色同组，所述第二用户终端与所述第二虚拟角色同组。
在本申请实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。
请参见图2，图2是本申请提出的一种课堂互动方法的另一种实施例的流程示意图。具体的：
步骤S201：响应于课堂中的课堂互动指令，获取所述课堂当前的教学信息以及所述课堂互动指令的互动类型信息。
所述教学信息可以理解为课堂对应的课程名称、课程级别、上课时间点或教学环节等教学信息，所述教学信息用于确定互动控制指令。
所述互动类型信息用于表征课堂互动指令所属的互动类型，常见的互动类型可以是小组互动、课堂抢答、团战PK等等。在一些实施方式中，服务平台可以通过课堂中的教学信息、互动类型信息获取相同或相似课程的历史教学数据，在历史教学数据中以教学信息、互动类型信息为参照，来确定并生成本次课堂的互动控制指令；在一些实施方式，服务平台预先保存有教学信息、互动类型信息与互动控制指令，终端可以基于获取到的课堂当前的教学信息以及课堂互动指令的互动类型信息从而确定相对应的互动控制指令。
步骤S202：基于所述教学信息和所述互动类型信息，从历史课堂数据中确定参考互动数据，基于所述参考互动数据，生成至少一个互动控制指令。
具体的，服务平台可以在历史课堂数据基于教学信息和互动类型信息确定参考互动数据，也即可借鉴的互动数据，如音频数据、视频数据等，从而可以从参考互动数据中获取到可参考的历史互动控制指令，可以理解的是历史互动控制指令通常为历史课堂中真实角色或虚拟角色所对应的互动过程中的控制指令，其中，优选的为历史课堂中真实角色所对应的互动过程中的控制指令，可使课堂上虚拟角色的互动更接近于真实学生，互动效果更好。
在一种具体的实施场景中，服务平台可以在大量历史课堂数据中确定与所述教学信息(如同一课程、同一课程级别、当前时间点)以及互动类型信息(如团战PK类型)相匹配的数据段，将所述数据段(如音频互动数据)作为参考互动数据。
进一步的，当参考互动数据包括多个时，服务平台可以对获取到的参考互动数据进行筛选，设置筛选标准，如筛选标准可以基于真实角色的课堂积极性、本次课堂的得分、真实角色的课堂参与度等等确定，从而筛选互动效果最佳、数据最完整、互动效果好的指定数目(如一个或多个)的参考互动数据作为数据筛选结果。以便服务平台基于指定数目(如一个或多个)的参考互动数据，来生成至少一个互动控制指令。
其中，服务平台在基于所述参考互动数据，生成至少一个互动控制指令的过程中，一种方式：服务平台可以直接提取参考互动数据相应的互动控制特征，然后生成包含所有互动控制特征的互动控制指令，其中，互动控制特征与互动控制指令强相关，以团队游戏互动为例，互动控制特征至少包括游戏互动规则、游戏互动内容、游戏互动时长、游戏互动结果等，服务平台提取出至少一个互动控制特征，对各互动控制特征进行聚合，从而生成包含各互动控制特征的互动控制指令。一种方式：服务平台可以分别提取各参考互动数据相应的互动控制特征，通常同一互动控制特征类型(如游戏互动规则类型、游戏互动内容类型)的特征包含多个，服务平台可以对同一类型下的互动控制特征进行拟合处理，如对同一类型下的互动控制特征按照课堂互动效果进行评级或评分，获取等级最高或评分最高的该类型下的最优互动控制特征；又如：对各类型下的互动控制特征进行任意组合，然后对各任意组合后的互动控制特征集合所对应的课堂互动效果进行评估，评估可以是服务平台的维护人员进行评估，也可以基于预先训练的神经网络模型进行评分，将各所述互动控制特征集合作为模型的输入，输入至神经网络模型中，从而输出最佳的互动控制特征集合，进而生成互动控制特征集合对应的互动控制指令。
步骤S203：基于所述教学信息和所述互动类型信息，确定预设的至少一个互动控制指令。
具体的，互动控制指令可以是该课堂上课前预先确定的，在该课程上课前服务平台预先设置好对应“教学信息和互动类型信息”共同对应的互动控制指令，可以是以指令数据库的形式存在，服务平台具体实施中，服务平台响应于课堂中的课堂互动指令，可以在指令数据库基于所述教学信息和所述互动类型信息去匹配，从而确定匹配度高的预设的至少一个互动控制指令。
步骤S204：基于各所述互动控制指令，控制所述至少一个虚拟角色执行互动操作。
具体可参见步骤S102，此处不再赘述。
步骤S204：确定各所述互动控制指令对应的互动控制信息，所述互动控制信息至少包括互动文本内容、互动姿态特征以及互动操作特征。
具体的，服务平台基于互动控制指令可以确定执行互动操作时虚拟角色的互动控制信息，所述互动控制信息至少包括互动文本内容、互动姿态特征以及互动操作特征。所述互动文本内容可以是虚拟角色发声的文字内容，实际应用中控制虚拟角色可以将互动文本内容转化为音频数据进行输出；可以是课堂教学环节中答题文本、问题作答文本、答题结果文本等等，实际应用中控制虚拟角色可以将互动文本内容转化为相关互动操作进行输出，如按照答题文本进行文本作答等等；所述互动姿态特征用于表征虚拟角色的躯体在课堂互动中的姿态，如面部表情特征、躯体特征(躯体弯曲、直立等)等等，所述互动操作特征表征虚拟角色在课堂互动中相关操作或动作，如虚拟角色在问题抢答时，互动操作特征可以是操作空间位置、状态、方向、向量、深度等多个独立数据。
一种可行的方式中，服务平台上互动控制指令所对应的互动控制信息可以是预先设置好的，也即在设置互动控制指令时随之设置互动控制信息好的，服务平台预先保存有互动控制指令与互动控制信息的对应关系，当服务平台在课堂上确定互动控制指令之后可以基于本次课程信息(如课程名称)和/或互动控制指令去匹配到互动控制指令对应的互动控制信息。
其中，互动控制信息主要用于合成课堂中虚拟角色的多媒体互动数据，通常在控制虚拟角色执行互动操作时，还需对虚拟角色当前相应的多媒体互动数据进行同步，在实际应用中，互动控制信息通常为指定维度的控制数据信息：其可以是基于光学运动方式和语音处理技术(如TTS语音合成技术)得到，如利用基于OptiTrack的光学运动捕获，然后生成多媒体互动数据时，主要需确定虚拟角色的相关状态，通常会预先对各场景下虚拟角色的相关状态进行特征采集，例如采用多刚体组合的方式进行空间定位，也即在虚拟角色上使用指定数量的空间捕获点(如2000维度)，其中空间捕获点包括声学上的声学空间捕获点(如200维度)，通过这种方式，每一个空间捕获点采集数据包含位置、姿态角等空间捕捉信息，作为低维控制数据信息，以及在声学捕获点采集数据包含音色、音响等声音特征作为低维控制数据信息。基于神经网络模型对低维控制信息进行模拟训练，可得到虚拟角色相关部分，如躯体对应的每个手指、手腕的信息，包含多个个关节/手的数据，单个关节内又可提取出空间位置、状态、方向、向量、深度等多个独立特征数据对低维控制数据信息进行升阶处理，得到高维度控制数据信息，所述高维度控制数据信息也即互动控制信息，其中所述维度根据实际应用环境中的采样互动信息时确定，此处不作具体限定。
上述过程也即对互动控制指令所对应的互动控制信息的预设置过程，采集并获取到上述高维度控制数据信息对应保存至数据库中，以方便服务平台实际使用过程中直接在数据库中调用。
在一种可行的实施方式中，服务平台在实时课堂中，在执行步骤S202从历史课堂数据中确定参考互动数据之后，可以对所述参考互动数据进行互动特征提取处理，从而得到互动控制信息。其中，参考互动数据通常为历史课堂数据(如历史课堂视频数据)中的某个数据段，服务平台首先对参考互动数据涉及到的图像部分以及音频部分进行预处理，所述预处理包含数字化、几何变换、归一化、平滑、复原增强等处理过程，消除参考互动数据中无关的信息(如噪音、与课堂相关度不高的画面)，然后对所述经预处理之后的参考互动数据进行特征提取，其中，对参考互动数据进行特征提取的过程与上述“对互动控制指令所对应的互动控制信息的预设置过程”类似，也即服务平台需要确定虚拟角色的相关状态，通常此处对历史课堂场景下虚拟角色的相关状态进行特征采集，例如采用多刚体组合的方式进行空间定位，也即在虚拟角色上使用指定数量的空间捕获点(如2000维度)，其中空间捕获点包括声学上的声学空间捕获点(如200维度)，通过这种方式，每一个空间捕获点采集数据包含位置、姿态角等空间捕捉信息，作为低维控制数据信息，然后通过神经网络模型对低维控制信息进行模型处理，可得到虚拟角色相关部分，如躯体对应的每个手指、手腕的信息，包含多个个关节/手的数据，单个关节内又可提取出空间位置、状态、方向、向量、深度等多个独立特征数据对低维控制数据信息进行升阶处理，得到高维度控制数据信息，所述高维度控制数据信息也即互动控制信息。经上述处理后即可得到包含互动文本内容、互动姿态特征以及互动操作特征的互动控制信息。
其中，上述对低维控制数据信息进行升阶处理的神经网络模型可以是线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法进行创建。在本申请实施例中，所述神经网络模型可以是用基于卷积神经网络的马尔可夫模型(Hidden MarkovModel，HMM)创建，则“互动文本内容、互动姿态特征以及互动操作特征”以向量形式进行表征，可以抽象为HMM的状态序列，相同状态或同一类型下的特征(如姿态特征、操作特征)由于受到外界因素的影响而造成各个方面的不同，可以把这些不同的特征向量看作是同一组状态序列，它们对应的是同一个HMM，状态的出现及其转移可以用模型中的概率矩阵描述。对于相同特征的虚拟角色状态，所对应的HMM应当是唯一的。通过已收集的低维控制数据信息来分析和建立隐Markov模型，向量特征水平方向自左向右也具有相对稳定的空间结构，因此，可将沿垂直方向划分的上中下3个状态再分别扩充为含有沿水平方向变化的HMM，我们把垂直方向的HMM称为主HMM，水平方向嵌入的多组HMM称为子HMM，因而可以将这种嵌入了水平方向状态转移的扩充了的一维HMM称嵌入式隐马尔可夫模型(Embedded HiddenMarkov Model，EHMM)。而神经网络模型的建立通过获取大量的包含虚拟角色的低维度控制数据信息的样本数据，然后对所述样本数据进行高维度特征标注，并基于已标注的样本数据对初始神经网络模型进行训练，可以得到训练好的神经网络模型。然后服务平台在实际使用中，将所述低维度控制数据信息输入至训练好的神经网络模型中，即可得到所述神经网络模型的输出结果-高维度控制数据信息也即互动控制信息。
步骤S205：将各所述互动控制指令对应的互动控制信息输入至互动数据生成模型中，输出所述至少一个虚拟角色的多媒体互动数据。
具体的，以上述互动控制信息的释义为例，服务平台基于神经网络模型对低维控制信息进行模拟训练，可得到虚拟角色相关部分，如躯体对应的每个手指、手腕的信息，包含多个个关节/手的数据，单个关节内又可提取出空间位置、状态、方向、向量、深度等多个独立特征数据对低维控制数据信息进行升阶处理，得到高维度控制数据信息，基于这些高维度控制数据信息输入至互动数据生成模型中，通过互动数据生成模型可以将虚拟角色的运动状态映射为一个虚拟角色。然后根据步态控制参数与环境约束，对虚拟角色进行运动规划。控制虚拟角色的运动，根据运动规律与高维度控制数据信息的操作需求(具体为执行某一互动操作)，优化计算角色关节力矩，合成虚拟角色全身运动的场景。其中可以通过高维度控制数据信息中不同的特征参数，如操作特征对应的步幅、步频、步长等互动操作的运动特征，能够实时控制虚拟角色运动，生成物理真实的全身运动的场景，以及合成产生高维角色关节运动数据。再根据其他约束信息(如姿态特征对应的角度、方位等特征)以及相应声学约束信息(具体可理解为对文本特征内容进行控制发生)，对部分关节、面部、躯体等部位运动数据进行二次优化，来驱动课堂中虚拟角色呈现相应的课堂互动，而对虚拟角色整个控制模拟的记录过程，也即生成得到课堂中虚拟角色的多媒体互动数据，如包含虚拟角色画面的视频数据。
其中，所述互动数据生成模型可以是以TTS语音合成技术和图像合成技术为基础，基于卷积神经网络(Convolutional Neural Network，CNN)模型，深度神经网络(DeepNeural Network，DNN)模型、循环神经网络(Recurrent Neural Networks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型、逻辑回归(Logistic Regression，LR)模型等模型中的一种或多种的拟合实现的，同时在现有神经网络模型基础上引入误差反向传播算法进行优化，可以提高基于神经网络模型的互动数据生成模型的输出准确率。
步骤S206：将所述互动操作进行课堂同步，当所述虚拟角色的互动操作在所述课堂上响应成功时，将所述多媒体互动数据进行课堂同步。
具体的，虚拟角色所在服务平台基于各所述互动控制指令，合成执行互动操作后情况下的多媒体互动数据，并将该多媒体互动数据发送给参与同一课堂的各用户终端。在一些实施例中，服务平台可以待虚拟角色互动操作在所述课堂上响应成功的情况下，再将合成执行互动操作时或之后，生成的多媒体互动数据发送给参与同一课堂的各用户终端。例如，参与教学课程的虚拟角色在响应课堂抢答指令时，服务平台将根据生成的控制指令控制虚拟角色进行互动抢答操作，并且抢答成功后此时确定互动操作在所述课堂上响应成功；又例如，所述响应成功可以理解为，互动操作在所述课堂上基于课堂交互规则响应成功，如互动操作在所述课堂上被课堂教学者(如老师端)响应成功，老师端确认虚拟角色的互动操作通过(如老师端确定虚拟角色上台答题)，则虚拟角色才会对抢答题目进行答复，服务平台此时将相关的多媒体互动数据发送给参与同一课堂的各用户终端，从而完成课堂同步。当然，若抢答失败，虚拟角色则停止此次抢答互动。
在本申请实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。以及在生成多媒体互动数据时，不直接采用历史课堂数据的对应的视频片段，而是对至少一个历史课堂数据中的相应数据进行互动特征提取，基于提取后的互动控制信息生成多媒体互动数据，可以避免直接采用历史课堂数据造成课堂效果真实感较差，虚拟角色的交互效果与当前课堂不匹配的情况，进一步提升了虚拟角色的互动性，提升课堂的教学体验。
请参见图2，图2是本申请提出的一种课堂互动方法的另一种实施例的流程示意图。具体的：
步骤S301：响应于课堂中的课堂互动指令，获取所述课堂上真实角色的课堂学习信息，基于所述课堂学习信息，计算所述真实角色的课堂综合评分。
所述课堂学习信息至少包括课堂答题特征、课堂学生排名特征、课堂小组排名特征、课堂情绪特征。
具体的，在接收并响应于课堂中的课堂互动指令，然后获取本次课堂上已产生的包含真实角色的课堂数据，所述课堂数据可以课程音/视频数据，然后基于所述课堂数据然后获取真实角色的课堂学习信息，通过这些课堂学习信息来反馈真实角色在本节课程中的课堂状态。
所述课堂答题特征可以是真实角色在本次课堂上针对课堂答题环节的相关信息，如答题正确率、答题得分、答题时长，等等，可以理解的是课堂答题信息可以作为反映真实角色在本节课程中的课堂状态的一种因素。
所述课堂学生排名特征可以是真实角色在本次课堂上的成绩排名，通常真实角色在课堂上会对应有本次课程的相关得分，基于得分的高低顺序可以表征课堂学生排名。
所述课堂小组排名特征可以理解为真实角色所在的课堂小组的综合得分，通过课堂小组排名可以一定程度上反映真实角色的上课情况或上课状态。
所述课堂情绪特征可以是结合教学心情、表情、体态动作、神态等多方面进行体现。可通过对表征课堂情绪的每方面设定一标准值以及一变化范围，从而确定每方面的分值，再可采用预设算法(如求平均值)而得到当前关键帧图像的上课情绪特征(可通过得到的某个具体值表示)。
其中，服务平台对真实角色所涉及到的上述课堂学习信息进行进一步量化评分，具体为对表征“课堂学习信息”的各方面特征参数(课堂答题特征参数、学生排名特征参数、小组排名特征参数、课堂情绪特征参数)进行综合评分，如对各方面特征参数分别设置权重值，对各方面特征参数进行加权求和，从而得到所述真实角色的课堂综合评分；又如对各方面特征参数分别设置设定一标准值以及一变化范围，从而确定每方面特征参数的分值，然后对各分值进行拟合(如求平均值、概率值等)。
步骤S302：基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
具体的，服务平台设置有课堂综合评分与互动级别的对应关系，可以理解的是不同的互动级别对应不同的评分范围，服务平台可以基于课堂综合评分判断所落入的目标评分范围，然后确定目标评分范围所对应的互动级别。进一步的，不同的互动级别对应的虚拟角色的互动效果不一样，互动级别优先级较高时，虚拟角色在所述课堂上表现越好、互动频率越高；在本申请实施例中，通过计算课堂综合评分，来量化当前课堂上真实角色的课堂状态，当真实角色的课堂状态不佳时，也即课堂综合评分较低时，服务平台可以确定课堂上虚拟角色的互动级别为优先级高的级别，从而活跃课堂气氛，提高课堂的学习效果。同理，当真实角色的课堂状态优良时，也即课堂综合评分较高时，服务平台可以确定课堂上虚拟角色的互动级别为优先级低的级别，此时可认为课堂活跃气氛好，真实角色的学习效果优，此时可认为无需确定虚拟角色的互动级别为高级别，可以将虚拟角色的互动级别为确定为优先级较低的级别，以实现基于课堂综合评分，对虚拟角色的互动级别进行智能控制，智能提升课堂互动效果。
在一种可行的实施方式中，服务平台在确定课堂综合评分的过程，还可以结合下一教学环节的教学难度进一步的量化，以根据所述教学难度值以及所述课堂学习信息，计算所述真实角色的课堂综合评分。
如，服务平台可以预先对课堂上各个教学环节进行教学难度的评估，其评估可以结合教学内容、教学知识点的难易级别、历史学生对该教学环节的课堂表现等因素综合确定一个经验值，也即教学难度值，然后服务平台可以先基于课堂学习信息计算参考课堂评分，其中参考课堂评分的计算可参见上述“基于所述课堂学习信息，计算所述真实角色的课堂综合评分”释义此处不再赘述。一种方式是，服务平台可以将参考课堂评分与教学难度值的差值作为最终真实角色的课堂综合评分；一种方式是，服务平台可以将参考课堂评分与教学难度值进行加权，也即计算参考课堂评分与教学难度值的加权值(如乘积)，将加权值作为真实角色的课堂综合评分。
在计算课堂综合评分的过程，通过将下一教学环节的教学难易程度纳入参考，并结合真实角色在当前在本节课程的课堂表现(也即通过真实角色的课堂学习信息进行表征)，通过计算课堂综合评分的方式，一方面来量化当前课堂上真实角色的课堂状态，另一方面可以结合真实角色的课堂状态和下一教学环节的教学难易程度，为真实角色匹配一个合适的虚拟角色，也即确定虚拟角色的互动级别；实际应用中，当真实角色的课堂状态不佳(如课堂作答不好、作业完成较差、课堂得分较低)时，也即课堂综合评分较低时，为了活跃课堂气氛，带动真实角色的课堂积极性，提高课堂的教学体验，服务平台可以为真实角色匹配一个互动级别较高的虚拟角色，基于高互动级别的虚拟角色可以活跃课堂气氛，提高课堂的学习效果。同理，当真实角色的课堂状态优良(如课堂作答好、作业完成较好、课堂得分较高)时，也即课堂综合评分较高时，服务平台可以为真实角色匹配一个互动级别低的虚拟角色，此时可认为课堂活跃气氛好，真实角色的学习效果优，通常无需不需要匹配高互动级别的虚拟角色；以实现在结合下一教学环节的教学难度以及真实角色当前的课堂学习信息进行课堂综合评分，从而实现对虚拟角色的互动级别智能控制，智能提升课堂互动效果。
步骤S303：基于所述互动级别获取所述课堂对应的至少一个互动控制指令。
在一种可行的实施方式中，互动控制指令可以是该课堂上课前预先确定的，在该课程上课前服务平台预先设置好对应“教学信息和互动类型信息”共同对应的互动控制指令，可以是以指令数据库的形式存在，其中，对于同一类型的互动控制指令，服务平台可以按照互动级别设置相应的互动控制指令，可以理解的是互动级别优先级越高，其对应的互动控制指令的互动效果越好；也即不同的互动级别，各互动级别分别对应不同的互动控制指令，服务平台具体实施中，服务平台响应于课堂中的课堂互动指令，可以在指令数据库基于当前时间点(或当前教学环节)以及互动级别，从而在指令数据库中确定预设的至少一个互动控制指令。
在一种可行的实施方式中互动控制指令为教学课堂互动发生时实时生成的，服务平台可以在大量历史课堂数据中确定与当前时间点(或当前教学环节)相匹配的数据段，将所述数据段(如音频互动数据)作为参考互动数据。
进一步的，通常参考互动数据为多个时，服务平台可以对获取到的参考互动数据进行筛选，设置筛选标准，如筛选标准可以基于真实角色的课堂积极性、本次课堂的得分、真实角色的课堂参与度等等确定互动评分，其中，对表征互动评分的每方面(课堂积极性、本次课堂的得分、真实角色的课堂参与度等)设定一标准值以及一变化范围，从而确定每方面的分值，再可采用预设算法(如求平均值)而得到当前参考互动数据的互动评分。
然后根据互动评分确定相对应的互动级别，从而筛选互动效果最佳、数据最完整、互动效果好的指定数目(如一个或多个)的参考互动数据作为数据筛选结果。以便服务平台基于指定数目(如一个或多个)的参考互动数据，来生成至少一个互动控制指令。
步骤S304：基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作。
具体可参考步骤S102，此处不再赘述。
步骤S305：基于各所述互动控制指令，生成所述参与所述课堂的至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
具体可参考步骤S103，此处不再赘述。
在本申请实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。以及可以基于真实角色确定当前待加入课堂虚拟角色的互动级别，在考虑到真实角色的当前课堂状态实现了对虚拟角色互动效果的精准控制，提升了课堂氛围，提高课堂教学效果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图4，其示出了本申请一个示例性实施例提供的课堂互动装置的结构示意图。该课堂互动装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括指令获取模块11、操作控制模块12和课堂同步模块13。
指令获取模块11，用于响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令；
操作控制模块12，用于基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作；
课堂同步模块13，用于基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
可选的，如图5所示，所述指令获取模块11，包括：
课堂信息获取单元111，用于响应于课堂中的课堂互动指令，获取所述课堂当前的教学信息以及所述课堂互动指令的互动类型信息；
控制指令生成单元112，用于基于所述教学信息和所述互动类型信息，从历史课堂数据中确定参考互动数据，基于所述参考互动数据，生成至少一个互动控制指令；
控制指令确定单元113，用于基于所述教学信息和所述互动类型信息，确定预设的至少一个互动控制指令。
可选的，如图6所示，所述操作控制模块12，包括：
互动控制信息确定单元121，用于确定各所述互动控制指令对应的互动控制信息，所述互动控制信息至少包括互动文本内容、互动姿态特征以及互动操作特征；
互动数据生成单元122，用于将各所述互动控制指令对应的互动控制信息输入至互动数据生成模型中，输出所述至少一个虚拟角色的多媒体互动数据。
可选的，所述互动控制信息确定单元121，具体用于
对所述参考互动数据进行互动特征提取处理，得到各所述互动控制指令对应的互动控制信息。
可选的，如图7所示，所述课堂同步模块13，包括：
操作同步单元131，用于将所述互动操作进行课堂同步；
数据同步单元132，用于当所述虚拟角色的互动操作在所述课堂上响应成功时，将所述多媒体互动数据进行课堂同步。
可选的，所述指令获取模块11，具体用于：
所述课堂信息获取单元111，还用于获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别；
所述控制指令生成单元112，还用于基于所述互动级别获取所述课堂对应的至少一个互动控制指令。
可选的，如图8所示，所述课堂信息获取单元111，包括：
综合评分计算子单元1111，用于获取所述课堂上真实角色的课堂学习信息，基于所述课堂学习信息，计算所述真实角色的课堂综合评分；
互动级别确定子单元1112，用于基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
可选的，所述课堂信息获取单元111，具体用于：
获取所述课堂下一教学环节的教学难度值以及所述课堂上真实角色的课堂学习信息；
基于所述教学难度值以及所述课堂学习信息，计算所述真实角色的课堂综合评分；
基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
需要说明的是，上述实施例提供的课堂互动装置在执行课堂互动方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的课堂互动装置与课堂互动方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。以及在生成多媒体互动数据时，不直接采用历史课堂数据的对应的视频片段，而是对至少一个历史课堂数据中的相应数据进行互动特征提取，基于提取后的互动控制信息生成多媒体互动数据，可以避免直接采用历史课堂数据造成课堂效果真实感较差，虚拟角色的交互效果与当前课堂不匹配的情况，进一步提升了虚拟角色的互动性，提升课堂的教学体验。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图3所示实施例的所述课堂互动方法，具体执行过程可以参见图1-图3所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图3所示实施例的所述课堂互动方法，具体执行过程可以参见图1-图3所示实施例的具体说明，在此不进行赘述。
请参见图9，为本申请实施例提供了一种电子设备的结构示意图。如图9所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及课堂互动应用程序。
在图9所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的数据传输控制应用程序，并具体执行以下操作：
响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令；
基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作；
基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
在一个实施例中，所述处理器1001在执行所述响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令时，具体执行以下操作：
响应于课堂中的课堂互动指令，获取所述课堂当前的教学信息以及所述课堂互动指令的互动类型信息；
基于所述教学信息和所述互动类型信息，从历史课堂数据中确定参考互动数据，基于所述参考互动数据，生成至少一个互动控制指令；或，
基于所述教学信息和所述互动类型信息，确定预设的至少一个互动控制指令。
在一个实施例中，所述处理器1001在执行所述基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据时，具体执行以下操作：
确定各所述互动控制指令对应的互动控制信息，所述互动控制信息至少包括互动文本内容、互动姿态特征以及互动操作特征；
将各所述互动控制指令对应的互动控制信息输入至互动数据生成模型中，输出所述至少一个虚拟角色的多媒体互动数据。
在一个实施例中，所述处理器1001在执行所述确定各所述互动控制指令对应的互动控制信息时，具体执行以下操作：
对所述参考互动数据进行互动特征提取处理，得到各所述互动控制指令对应的互动控制信息。
在一个实施例中，所述处理器1001在执行所述将所述多媒体互动数据以及所述互动操作进行课堂同步时，具体执行以下操作：
将所述互动操作进行课堂同步；
当所述虚拟角色的互动操作在所述课堂上响应成功时，将所述多媒体互动数据进行课堂同步。
在一个实施例中，所述处理器1001在执行所述获取所述课堂对应的至少一个互动控制指令时，具体执行以下操作：
获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别；
基于所述互动级别获取所述课堂对应的至少一个互动控制指令。
在一个实施例中，所述处理器1001在执行所述获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别时，具体执行以下操作：
获取所述课堂上真实角色的课堂学习信息，基于所述课堂学习信息，计算所述真实角色的课堂综合评分；
基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
在一个实施例中，所述处理器1001在执行所述获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别时，具体执行以下操作：
获取所述课堂下一教学环节的教学难度值以及所述课堂上真实角色的课堂学习信息；
基于所述教学难度值以及所述课堂学习信息，计算所述真实角色的课堂综合评分；
基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
在本申请实施例中，服务平台响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作，基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。通过在课堂人数不足或者课堂气氛不佳的情况下可以加入虚拟角色，并基于课堂互动指令对应的互动控制指令从而控制虚拟角色参与至课堂中，同时将基于课堂互动指令生成虚拟角色对应的多媒体互动数据进行课堂同步，可以满足课堂的一般需求，活跃课堂气氛，通过将虚拟角色的互动操作和相应的多媒体互动数据向真实角色呈现，可以激发真实学生的学习兴趣，使之更加投入到课堂中，提升课堂氛围，提高课堂教学效果。以及在生成多媒体互动数据时，不直接采用历史课堂数据的对应的视频片段，而是对至少一个历史课堂数据中的相应数据进行互动特征提取，基于提取后的互动控制信息生成多媒体互动数据，可以避免直接采用历史课堂数据造成课堂效果真实感较差，虚拟角色的交互效果与当前课堂不匹配的情况，进一步提升了虚拟角色的互动性，提升课堂的教学体验。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列(Field－ProgrammaBLE GateArray，FPGA)、集成电路(Integrated Circuit，IC)等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种课堂互动方法，其特征在于，所述方法包括：
响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令；
基于各所述互动控制指令，控制所述参与所述课堂的至少一个虚拟角色执行互动操作；
基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，并将所述多媒体互动数据以及所述互动操作进行课堂同步。
2.根据权利要求1所述的方法，其特征在于，所述响应于课堂中的课堂互动指令，获取所述课堂对应的至少一个互动控制指令，包括：
响应于课堂中的课堂互动指令，获取所述课堂当前的教学信息以及所述课堂互动指令的互动类型信息；
基于所述教学信息和所述互动类型信息，从历史课堂数据中确定参考互动数据，基于所述参考互动数据，生成至少一个互动控制指令；或，
基于所述教学信息和所述互动类型信息，确定预设的至少一个互动控制指令。
3.根据权利要求1所述的方法，其特征在于，所述基于各所述互动控制指令，生成所述至少一个虚拟角色的多媒体互动数据，包括：
确定各所述互动控制指令对应的互动控制信息，所述互动控制信息至少包括互动文本内容、互动姿态特征以及互动操作特征；
将各所述互动控制指令对应的互动控制信息输入至互动数据生成模型中，输出所述至少一个虚拟角色的多媒体互动数据。
4.根据权利要求2和3所述的方法，其特征在于，所述确定各所述互动控制指令对应的互动控制信息，包括：
对所述参考互动数据进行互动特征提取处理，得到各所述互动控制指令对应的互动控制信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述多媒体互动数据以及所述互动操作进行课堂同步，包括：
将所述互动操作进行课堂同步；
当所述虚拟角色的互动操作在所述课堂上响应成功时，将所述多媒体互动数据进行课堂同步。
6.根据权利要求1所述的方法，其特征在于，所述获取所述课堂对应的至少一个互动控制指令，包括：
获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别；
基于所述互动级别获取所述课堂对应的至少一个互动控制指令。
7.根据权利要求6所述的方法，其特征在于，所述获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别，包括：
获取所述课堂上真实角色的课堂学习信息，基于所述课堂学习信息，计算所述真实角色的课堂综合评分；
基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
8.根据权利要求6所述的方法，其特征在于，所述获取所述课堂上真实角色的课堂状态，基于所述课堂状态确定所述课堂上虚拟角色的互动级别，包括：
获取所述课堂下一教学环节的教学难度值以及所述课堂上真实角色的课堂学习信息；
基于所述教学难度值以及所述课堂学习信息，计算所述真实角色的课堂综合评分；
基于所述课堂综合评分，确定所述课堂上虚拟角色的互动级别。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
CN202010865567.0A 2020-08-25 2020-08-25 课堂互动方法、装置、存储介质及电子设备 Pending CN112070865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010865567.0A CN112070865A (zh) 2020-08-25 2020-08-25 课堂互动方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010865567.0A CN112070865A (zh) 2020-08-25 2020-08-25 课堂互动方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112070865A true CN112070865A (zh) 2020-12-11

Family

ID=73659346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010865567.0A Pending CN112070865A (zh) 2020-08-25 2020-08-25 课堂互动方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112070865A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315993A (zh) * 2021-07-28 2021-08-27 北京易真学思教育科技有限公司 用于课堂教学的录播方法、装置、电子设备及存储介质
CN113727063A (zh) * 2021-11-03 2021-11-30 瑶坤(北京)教育科技有限公司 多方视频信息交互方法及装置
CN114021580A (zh) * 2021-10-14 2022-02-08 华南师范大学 基于序列模式挖掘的课堂对话处理方法、系统和存储介质
CN115100004A (zh) * 2022-06-23 2022-09-23 北京新唐思创教育科技有限公司 在线授课系统、方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183959A1 (zh) * 2015-05-21 2016-11-24 中兴通讯股份有限公司 一种远程教育系统及其方法
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
CN110618757A (zh) * 2019-09-23 2019-12-27 北京大米科技有限公司 在线教学控制方法、装置和电子设备
CN110827595A (zh) * 2019-12-12 2020-02-21 广州三人行壹佰教育科技有限公司 虚拟教学中的互动方法、装置及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183959A1 (zh) * 2015-05-21 2016-11-24 中兴通讯股份有限公司 一种远程教育系统及其方法
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
CN110618757A (zh) * 2019-09-23 2019-12-27 北京大米科技有限公司 在线教学控制方法、装置和电子设备
CN110827595A (zh) * 2019-12-12 2020-02-21 广州三人行壹佰教育科技有限公司 虚拟教学中的互动方法、装置及计算机存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315993A (zh) * 2021-07-28 2021-08-27 北京易真学思教育科技有限公司 用于课堂教学的录播方法、装置、电子设备及存储介质
CN114021580A (zh) * 2021-10-14 2022-02-08 华南师范大学 基于序列模式挖掘的课堂对话处理方法、系统和存储介质
CN114021580B (zh) * 2021-10-14 2023-06-27 华南师范大学 基于序列模式挖掘的课堂对话处理方法、系统和存储介质
CN113727063A (zh) * 2021-11-03 2021-11-30 瑶坤(北京)教育科技有限公司 多方视频信息交互方法及装置
CN113727063B (zh) * 2021-11-03 2022-06-03 瑶坤(北京)教育科技有限公司 多方视频信息交互方法及装置
CN115100004A (zh) * 2022-06-23 2022-09-23 北京新唐思创教育科技有限公司 在线授课系统、方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN105632251B (zh) 具有语音功能的3d虚拟教师系统及其方法
US11741668B2 (en) Template based generation of 3D object meshes from 2D images
CN112070865A (zh) 课堂互动方法、装置、存储介质及电子设备
US11307667B2 (en) Systems and methods for facilitating accessible virtual education
Mutlu et al. A storytelling robot: Modeling and evaluation of human-like gaze behavior
CN111541908A (zh) 交互方法、装置、设备以及存储介质
CN111290568A (zh) 交互方法、装置及计算机设备
Kose et al. Tale of a robot: Humanoid robot assisted sign language tutoring
CN117541445B (zh) 一种虚拟环境交互的口才训练方法、系统、设备及介质
CN110992222A (zh) 教学交互方法、装置、终端设备及存储介质
Steels Grounding language through evolutionary language games
CN113377200B (zh) 基于vr技术的交互式培训方法及装置、存储介质
Economou et al. Evaluation of a dynamic role-playing platform for simulations based on Octalysis gamification framework
CN115660909B (zh) 一种数字学校平台沉浸式数字化学习方法及系统
CN112530218A (zh) 多对一陪伴智能教学系统及教学方法
CN115145434A (zh) 基于虚拟形象的互动服务方法及装置
Pan et al. Application of virtual reality in English teaching
Lee et al. Enhancing Pre‐Service Teachers' Global Englishes Awareness with Technology: A Focus on AI Chatbots in 3D Metaverse Environments
Geetha et al. AREL–Augmented Reality–based enriched learning experience
Moustakas et al. Using modality replacement to facilitate communication between visually and hearing-impaired people
Economou et al. A dynamic role-playing platform for simulations in legal and political education
Nishida et al. Synthetic evidential study as primordial soup of conversation
Pérez-Colado et al. A Tool Supported Approach for Teaching Serious Game Learning Analytics
Sabadosh et al. ANALYSIS OF THE EFFECTIVENESS OF USING VR TECHNOLOGIES IN THE PROCESS OF LEARNING ENGLISH LANGUAGE
Guo et al. [Retracted] Scene Construction and Application of Panoramic Virtual Simulation in Interactive Dance Teaching Based on Artificial Intelligence Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination