CN109377797A - 虚拟人物教学方法及装置 - Google Patents

虚拟人物教学方法及装置 Download PDF

Info

Publication number
CN109377797A
CN109377797A CN201811326706.1A CN201811326706A CN109377797A CN 109377797 A CN109377797 A CN 109377797A CN 201811326706 A CN201811326706 A CN 201811326706A CN 109377797 A CN109377797 A CN 109377797A
Authority
CN
China
Prior art keywords
teaching
model
target
client
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811326706.1A
Other languages
English (en)
Inventor
韩异凡
茹立云
王坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Grape Intelligence Technology Co Ltd
Original Assignee
Beijing Grape Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Grape Intelligence Technology Co Ltd filed Critical Beijing Grape Intelligence Technology Co Ltd
Priority to CN201811326706.1A priority Critical patent/CN109377797A/zh
Publication of CN109377797A publication Critical patent/CN109377797A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种虚拟人物教学方法及装置,该方法包括:在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;获取针对待学习目标教学课程的多个教学元素、多个教学语音、多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;根据目标虚拟人物模型,生成目标虚拟人物图像并输出;按照预设展现逻辑顺序,输出多个教学元素。本发明可以从形象和语音两个维度对虚拟人物模型和语音模型进行自由组合,从而可以提升在线教学过程中对老师的形象和声音的组合灵活性,以及老师与课程内容之间的组合灵活性。

Description

虚拟人物教学方法及装置
技术领域
本发明涉及人工智能技术领域,特别是涉及一种虚拟人物教学方法及装置。
背景技术
目前的在线教学方式主要是人工教学,即真人老师提供教学内容并控制教学内容的展现来对客户端的学生进行网络教学。
但是,真人老师的数量有限,且一个真人老师一般只可以教授一个学科,因此,人工在线教学方案不够灵活。
发明内容
本发明提供了一种虚拟人物教学方法及装置,以解决相关技术中人工在线教学方案所存在的教学方法灵活性差的问题。
为了解决上述问题,根据本发明的一个方面,本发明公开了一种虚拟人物教学方法,包括:
在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;
获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;
根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
按照所述预设展现逻辑顺序,输出所述多个教学元素;
其中,当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
根据本发明的另一方面,本发明还公开了一种虚拟人物教学装置,包括:
第一配置模块,用于在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;
第一获取模块,用于获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;
生成模块,用于根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
输出模块,用于按照所述预设展现逻辑顺序,输出所述多个教学元素;
其中,所述输出模块,还用于当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
与现有技术相比,本发明包括以下优点:
本发明实施例的虚拟人物教学方法通过从预先配置多个虚拟人物模型、多个语音模型中灵活的从形象、语音两个维度来组合出适合客户端的用户的目标虚拟人物模型和目标语音模型,从而根据目标虚拟人物模型生成目标虚拟人物图像,并在目标教学课程的课程内容中预先配置多个教学语音,以及教学语音标识与教学元素之间的关联关系,从而可以将目标虚拟人物图像所发出的语音与课程内容中的教学元素关联起来,使得课程内容的各个教学元素能够与虚拟人物图像的语言紧密联系,实现对课程内容的自动化且准确地教学;并且,由于可以从形象和语音两个维度对虚拟人物模型和语音模型进行自由组合,从而可以得到种类多样、且满足客户端用户的个性化需求的多种虚拟人物来进行教学,提升了在线教学过程中对老师的形象和声音的组合灵活性,以及提升了老师与课程内容之间的组合灵活性,使得教学方法的灵活性得到显著提高。
附图说明
图1是本发明的一种虚拟人物教学系统实施例的结构框图;
图2是本发明的一种虚拟人物教学方法实施例的步骤流程图;
图3是本发明的一种数据生成方法实施例的步骤流程图;
图4是本发明的一种虚拟人物教学装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种虚拟人物教学系统实施例的结构框图。
该教学系统包括虚拟老师模型库、教学内容库、虚拟老师教学播放器和用户行为分析器。
参照图2,示出了本发明的一种虚拟人物教学方法实施例的步骤流程图,结合图1所示的教学系统,这里对本发明实施例的教学方法做详细阐述,如图2所示,该方法具体可以包括如下步骤:
步骤101,在预先配置的多个虚拟人物模型、多个语音模型、多个肢体动作模型、多个表情模型中,对待教学的客户端配置目标虚拟人物模型、目标语音模型、目标肢体动作模型、目标表情模型;
其中,多个肢体动作模型和多个表情模型均为预先配置的可选模型。
如图1所示,虚拟老师模型库包括形象模型库、声音模型库、动作模型库和表情模型库。
其中,形象模型库包括多个虚拟人物模型,声音模型库包括多个语音模型,动作模型库包括多个肢体动作模型,表情模型库包括多个表情模型。
对于任意一个真人老师,本发明实施例的方法都可以预先对该老师的教学视频(其中,该教学视频为包括真人老师在线教学影像的视频)进行信息抽取,从而得到对应该真人老师的虚拟人物模型、语音模型、肢体动作模型和表情模型。由于不同真人老师的形象(包括面部特征、发型、穿着风格等)、声音、教学时常用的肢体动作、教学时常用的特殊表情都存在差异,因此,本发明实施例预先从这四方面进行信息抽取,从而得到能够表现该真人老师的四方面特征的四个模型(即虚拟人物模型、语音模型、肢体动作模型和表情模型)。
由于虚拟老师模型库中预先配置了多个真人老师的虚拟人物模型、语音模型、肢体动作模型和表情模型,那么为了满足待教学的客户端的用户侧对虚拟老师的个性化需求,可以在上述虚拟老师模型库的四种模型库中分别灵活地选择,供待教学的客户端使用的虚拟老师的四个模型(即目标虚拟人物模型、目标语音模型、目标肢体动作模型和目标表情模型)。
其中,步骤101的执行主体可以是图1所示的用户行为分析器,也可以是虚拟老师教学播放器。当执行主体为用户行为分析器时,则本发明实施例的虚拟老师教学播放器可以从用户行为分析器处获取到对该待教学的客户端配置的四个目标模型;而当执行主体为虚拟老师教学播放器时,则本发明实施例的虚拟老师教学播放器则可以对该待教学的客户端配置四个目标模型。
步骤102,获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系、教学元素与教学动作标识之间的关联关系、教学元素与教学表情标识之间的关联关系;
其中,由于上述多个肢体动作模型以及多个表情模型均为可选模型,因此,这里的目标教学课程的教学元素与教学动作标识之间的关联关系,以及教学元素与教学表情标识之间的关联关系,均为预先配置的可选的关联关系;
如图1所示,教学内容库包括N组课程内容,其中,教学内容库中的课程内容可以按照学科(包括但不限于,例如物理、数学、英语等)、级别(包括但不限于,例如初中一年级、初中二年级、初中三年级、小学一年级、小学二年级等)以及教学环节(即第一节课、第二节课、第三节课……第n 节课)等来进行课程内容的划分,得到N组课程内容。例如课程内容1为小学五年级数学课的第一节课的课程内容。
那么这里客户端待学习的目标教学课程的课程内容可以是图1中教学内容库中的任意一组课程内容,例如该目标教学课程为小学五年级数学课的第一节课,则该目标教学课程具有课程内容1。
上述多个真人老师之间可以教授相同或不同的课程内容,例如,真人老师A可以教授目标教学课程(例如小学五年级数学课的第一节课),该节课的教学视频为教学视频A,该教学视频A可以包括多个教学元素以及真人老师A在教授目标教学课程的过程中讲授的内容。
因此,这里教学内容库中的任意一个课程内容(例如真人老师A讲授的小学五年级数学课的第一节课的课程内容)也包括上述多个教学元素(其中,教学元素的种类可以包括但不限于文字、文档、幻灯片、多媒体内容等,不同教学元素可以属于相同种类,或不同种类),其中,该多个教学元素从教学视频A中抽取得到,以及包括虚拟老师A在教学过程中需要讲授的内容。其中,这里的虚拟老师A讲授的内容即为真人老师A在教授目标教学课程的过程中需要讲授的内容。其中,该讲授的内容在教学内容库中以语音的形式存储。
这里的虚拟老师A为对真人老师A的形象、声音、动作、表情进行虚拟后的虚拟老师。因此,虚拟老师需要讲授的内容包括多个教学语音。
可选地,由于虚拟老师的性别可以是男生也可以是女生,因此,该多个教学语音可以包括两个版本,分别为男生版的多个教学语音和女生版的多个教学语音,男生版的多个教学语音和女生版的多个教学语音的差别仅在于音色不同,不同版本的教学语音之间的语音内容是相同的,例如教学语音1的男生版和女生版说的内容都是“今天我们上数学课”。
此外,为了实现虚拟老师对课程内容的在线教学,本发明实施例还对该目标教学课程的多个教学元素定义了多个教学元素之间的预设展现逻辑顺序。也就是说,课程内容(例如图1中的课程内容1)还包括该课程内容的多个教学元素之间的预设展现逻辑顺序。
那么在在线教学过程中,可以按照该预设展现逻辑顺序来对多个教学元素依次进行输出,使得多个教学元素按照预先定义的逻辑顺序进行展现,实现自动教学。
另外,由于在人工教学过程中,真人老师可以针对教学元素进行讲解,因此,本发明实施例的方法可以预先设置所述多个教学元素中的教学元素与教学语音标识之间的关联关系。其中,教学语音是虚拟老师在教学过程中需要讲解的内容,为了控制虚拟老师在恰当的时间点进行准确的内容讲解,这里预先配置了需要讲解的教学元素以及讲解内容的标识之间的关联关系。因此,目标教学课程的课程内容还包括:教学元素与教学语音标识之间的关联关系。
其中,课程内容中的多个教学语音可以具有标识信息,即教学语音标识,用于唯一性的标识教学语音中的语音内容,当然,如果同一条教学语音具有男生版本和女生版本,则这两个版本的教学语音的教学语音标识是相同的。
其中,教学元素与教学语音标识之间的关联关系可以是一对一、多对一,多对多的映射关系。
另外,需要说明的是,虽然该目标教学课程的课程内容具有多个教学元素,但是,并不一定每个教学元素都关联有教学语音标识,因为,虚拟老师并不需要对每个教学元素均进行讲解。
此外,虚拟老师在教学时,可以针对教授的教学元素表现出肢体动作 (例如对某个公式元素进行画圈手势的动作),那么为了在在线教学过程中,使得虚拟老师可以自动的在讲授到某个教学元素时,则展现出肢体动作。本发明实施例的该目标教学课程的课程内容还可以包括所述多个教学元素中的教学元素与教学动作标识之间的关联关系。
其中,对于多个教学元素中与教学动作标识存在关联关系的教学元素而言,这些教学元素都是需要虚拟老师展现肢体动作的教学元素,并不一定是全部的教学元素。
而虚拟老师可以展现的肢体动作有很多种,例如画圈、敲打、挥手等。这里的教学动作标识则可以唯一的确定该肢体动作属于画圈、敲打、挥手中的哪一种,即教学动作标识用于唯一的标识肢体动作种类,例如教学动作标识1对应画圈动作、教学动作标识2对应敲打动作、教学动作标识 3对应挥手动作。
其中,动作模型库中的每个肢体动作模型都可以包括多种肢体动作的动作参数。例如由真人老师A上课时的习惯动作抽象出的肢体动作模型1 可以包括:教学动作标识1以及该真人老师A的画圈动作参数1,教学动作标识2以及该真人老师A的敲打动作参数1;由真人老师B上课时的习惯动作抽象出的肢体动作模型2可以包括:教学动作标识1以及该真人老师B的画圈动作参数2,教学动作标识2以及该真人老师B的敲打动作参数2。
其中,虽然不同的肢体动作模型可以包括同一种肢体动作,例如画圈,但是由于不同老师的画圈动作的动作参数不同,因此,可以对不同真人老师分别构建不同肢体动作模型。
此外,虚拟老师在教学时,可以针对教授的教学元素表现出特殊表情 (例如对某个公式元素进行鬼脸表情),那么为了在在线教学过程中,使得虚拟老师可以自动的在讲授到某个教学元素时,则展现出该真人老师实际会用到的特殊表情。本发明实施例的该目标教学课程的课程内容还可以包括所述多个教学元素中的教学元素与教学表情标识之间的关联关系。
其中,对于多个教学元素中与教学表情标识存在关联关系的教学元素而言,这些教学元素都是需要虚拟老师展现教学表情的教学元素,并不一定是全部的教学元素。
而虚拟老师可以展现的教学表情有很多种,例如鬼脸、皱眉等。这里的教学表情标识则可以唯一的确定该教学表情属于鬼脸、皱眉中的哪一种,即教学表情标识用于唯一的标识教学表情种类,例如教学表情标识1对应鬼脸表情、教学表情标识2对应皱眉表情。
其中,表情模型库中的每个表情模型都可以包括多种表情参数。例如由真人老师A上课时的习惯表情抽象出的表情模型1可以包括:教学表情标识1以及该真人老师A的鬼脸表情参数1,教学表情标识2以及该真人老师A的皱眉表情参数1;由真人老师B上课时的习惯表情抽象出的表情模型2 可以包括教学表情标识1以及该真人老师B的鬼脸表情参数2,教学表情标识2以及该真人老师B的皱眉表情参数2。
其中,虽然不同的表情模型可以包括同一种表情,例如鬼脸表情,但是不同老师的鬼脸表情的特征参数不同,因此,可以对不同老师分别构建不同的表情模型。
那么在本步骤102中,如图1所示的虚拟老师教学播放器就可以获取待教学的客户端需要学习的目标教学课程(例如小学五年级数学课第一节课) 的课程内容(例如课程内容1),该课程内容1包括:预先配置的针对该目标教学课程的多个教学元素、多个教学语音(其中,每个教学语音都可以具有唯一的教学语音标识)、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系、教学元素与教学文本之间的关联关系、教学元素与教学动作标识之间的关联关系、教学元素与教学表情标识之间的关联关系。
本发明实施例通过对多个真人老师实际教学视频进行信息提取(包括真人教学过程中的人物形象、表情、声音、动作),并建立每个真人老师的虚拟人物模型、语音模型、肢体动作模型和表情模型。建立模型后,模型和课程内容得以分离,再通过对多个老师的四种模型进行重新组合就得到了多样化的虚拟老师,而将组合得到的虚拟老师与各种课程内容组合,从而可以得到各种虚拟老师教授各种课程内容的教学效果。
例如,在真人教学过程中,老师A教授课程J,老师B教授课程K,老师C教授课程L,老师D教授课程M,老师E教授课程Q,以真人老师A 提取的四个模型为例,四个模型包括:虚拟人物模型A、语音模型A、肢体动作模型A和表情模型A,可以将该四个模型和课程内容J相互之间分离,并与其他真人老师对应的模型加以组合,例如组合成“虚拟人物模型A、表情模型B、语音模型C、肢体动作模型D、课程内容Q”的组合来执行教学,即在教授课程内容Q时,可以使用虚拟老师进行在线教学,该虚拟老师具有真人老师A的人物形象、真人老师B教学时常用的表情、真人老师C 的声音、真人老师D在教学时常用的肢体动作。
由于不同真人老师有不同的教学风格和特色,教学风格可以体现在老师的虚拟人物形象、表情、语音、肢体动作上;而学生可以对教学风格和特色有不同的偏好,而且可能喜欢A老师的形象、B老师的表情、C老师的声音、D老师的动作,那么在本发明中,则可以对虚拟老师的虚拟人物形象、表情、语音、肢体动作这四个维度进行自由组合,以使虚拟老师适合学生的听课需求。
需要说明的是,本发明实施例对于步骤101和步骤102之间的执行顺序并不限制。
可选地,在一个实施例中,在执行本发明实施例的虚拟人物教学方法之前,本发明实施例还提供了一种数据生成方法,参照图3,根据本发明实施例的数据生成方法可以包括如下步骤:
S201,对目标教学课程配置多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系、教学元素与教学动作标识之间的关联关系、教学元素与教学动作标识之间的关联关系、教学元素与教学表情标识之间的关联关系。
其中,教学元素与教学动作标识之间的关联关系、教学元素与教学表情标识之间的关联关系均为可选配置地的关联关系。
S202,生成多个虚拟人物模型、多个语音模型、多个肢体动作模型、多个表情模型;
其中,多个肢体动作模型和多个表情模型均为可选模型。
其中,本发明对于S201和S202的执行顺序不做限制。
可选地,在一个实施例中,在执行S201时,首先可以从多个真人老师的教学视频中,获取属于同一目标教学课程的多个目标教学视频;然后基于上述多个目标教学视频,来对该目标教学课程配置多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序,教学元素与教学语音标识之间的关联关系,可选地,还可以配置教学元素与教学动作标识之间的关联关系,可选地,还可以配置教学元素与教学表情标识之间的关联关系具体如S21~S25所述。
需要说明的是,由于不同真人老师可以对同一个教学课程进行在线教学,例如老师A和老师B都教授小学五年级数学课,而这两个老师都有对应的教学视频,因此,属于同一目标教学课程的教学视频可以是多个。但是该目标教学课程的教学素材(即包括的教学元素)是相同的。
S21,在对目标教学课程配置多个教学元素时,可以对所述目标教学课程的任意一个目标教学视频(因为多个目标教学视频的教学素材相同,因此,这里只需要对一个目标教学视频进行教学元素的识别即可),识别教学元素,得到所述目标教学课程的多个教学元素,将识别到的多个教学元素配置为所述目标教学课程的多个教学元素;
S22,在对目标教学课程配置所述多个教学元素之间的展现逻辑顺序 (即上述预设展现逻辑顺序)时,可以对所述目标教学课程的任意一个目标教学视频(因为不同目标教学视频的多个教学元素的展现逻辑顺序都是相同的,因此,这里只需要对一个目标教学视频进行多个教学元素的展现逻辑顺序的识别即可),识别所述多个教学元素的执行逻辑顺序,得到所述目标教学课程的所述多个教学元素之间的展现逻辑顺序。
S23,在对目标教学课程配置多个教学语音时,可以通过对所述目标教学课程的任意一个目标教学视频或教学音频,识别真人老师在教学过程中使用的多个教学语音,得到所述目标教学课程的多个教学语音。
其中,真人老师在教学时所说的话可以存储在教学视频中,此外,真人老师也可以单独录制教学音频,因此,这里为了获取到真人老师在教学该目标教学课程时所说的语音数据时,可以从该目标教学课程的任意一个目标教学视频中提取真人老师的音频数据(即多个教学语音)来实现,也可以通过对该目标教学课程的教学音频提取真人老师的音频数据(即多个教学语音)来实现。
优选地,目标教学视频的音频数据即为上述多个教学语音;
优选地,目标教学课程的教学音频即为上述多个教学语音。
可选地,S23之后,根据本发明实施例的方法还可以包括:
对所述多个教学语音生成男生版本的多个教学语音和女生版本的多个教学语音。
由于在虚拟人物教学方法中,虚拟老师的性别可以是男生也可以是女生,为了使虚拟人物图像的性别与虚拟人物发出的声音的性别一致,这里该多个教学语音可以包括两个版本,分别为男生版的多个教学语音和女生版的多个教学语音,男生版的多个教学语音和女生版的多个教学语音的差别仅在于音色不同,不同版本的教学语音之间的语音内容是相同的,例如教学语音1的男生版和女生版说的内容都是“今天我们上数学课”
S23,在对目标教学课程配置教学元素与教学语音标识之间的关联关系时,则可以学习所述目标教学课程的所述目标教学视频(即S22中得到多个教学语音的目标教学视频)中,所述多个教学语音与所述多个教学元素之间的关联关系,生成所述目标教学课程的教学元素与教学语音标识之间的关联关系。
其中,在生成S23中的关联关系时,可以对每个教学语音生成唯一的教学语音标识。
S24,在对目标教学课程配置教学元素与教学动作标识之间的关联关系时,可以通过以下方式来实现:
对所述目标教学课程的所述多个目标教学视频,识别真人老师在教学过程中使用的多个种类的教学动作;
学习所述目标教学课程的所述目标教学视频中,所述多个种类的教学动作与所述多个教学元素之间的关联关系,生成所述目标教学课程的教学元素与教学动作标识之间的关联关系。
其中,在学习S24的关联关系时,可以对每个种类的教学动作生成唯一的教学动作标识。
S25,在对目标教学课程配置教学元素与教学表情标识之间的关联关系时,可以通过以下方式来实现:
对所述目标教学课程的所述多个目标教学视频,识别真人老师在教学过程中使用的多个种类的教学表情;
学习所述目标教学课程的所述目标教学视频中,所述多个种类的教学表情与所述多个教学元素之间的关联关系,生成所述目标教学课程的教学元素与教学表情标识之间的关联关系。
其中,在学习S25的关联关系时,可以对每个种类的教学表情生成唯一的教学表情标识。
这样,本发明实施例通过对目标教学课程的多个真人老师的教学视频识别多个教学元素、多个教学语音、多个教学元素之间的展现逻辑顺序,从而对目标教学课程配置了多个教学元素,多个教学语音以及多个教学元素预设展现逻辑顺序;此外,通过对所述目标教学课程的多种真人教学视频进行多种教学动作的识别、多种教学表情的识别,以及对目标教学课程的一个真人教学视频或者教学音频进行教学语音的识别,并对识别到的教学语音、教学表情、教学动作在该多种真人教学视频中与教学元素之间的关联关系分别进行学习,从而可以得到针对该教学课程配置的教学元素与教学语音标识之间的关联关系、教学元素与教学表情标识之间的关联关系以及教学元素与教学动作标识之间的关联关系。使得教学元素与教学语音标识之间的关联关系、教学元素与教学表情标识之间的关联关系以及教学元素与教学动作标识之间的关联关系,与真人老师在讲授各个教学元素时的教学语音、教学表情、教学动作是相匹配的。
可选地,在一个实施例中,在执行S202时,可以包括生成多个虚拟人物模型(即预先配置多个虚拟人物模型)的步骤、生成多个语音模型(即预先配置多个语音模型)的步骤、生成多个肢体动作模型(即预先配置多个肢体动作模型)的步骤、生成多个表情模型(即预先配置多个表情模型)的步骤。
可选地,预先配置多个虚拟人物模型的步骤,该步骤具体包括:
S201,对多个真人老师的教学视频分别抽取人物图像信息;
S202,根据所述人物图像信息,生成分别对应所述多个真人老师形象的多个虚拟人物模型。
以一个真人老师A为例进行说明,可以获取真人老师A在人工在线教学过程中的大量教学视频,对每个教学视频提取该真人老师A所在的图像区域(即人物图像信息),然后对得到的每个图像区域进行各类人物特征信息的提取,其中,人物特征信息的类别包括但不限于面部特征、体型特征、妆容特征、发型特征、着装风格特征;接着,将提取的各类人物特征信息作为训练样本来训练预设虚拟人体模型,使得训练后的虚拟人体模型,即这里的虚拟人物模型的形象满足真人老师A的相貌、体型、妆容、发型、着装风格。
同理,可以对多个真人老师生成他们的虚拟人物模型,每个真人老师对应一个虚拟人物模型。
可选地,根据本发明实施例的方法还可以包括:
根据所述多个真人老师的性别信息,来对生成的多个虚拟人物模型进行性别信息(男性或女性)的标记,例如依据真人老师A的人物图像所生成的虚拟人物模型A则标记真人老师A的性别。
其中,对于真人老师的性别信息,也可以通过对人物图像信息进行特征识别,来确定真人老师是男性还是女性。
这样,本发明实施例利用真人老师的教学视频来抽取老师的人物图像信息,并利用人物图像信息来生成该真人老师的虚拟人物模型,这样,可以将各个真人老师的形象抽象成虚拟人物模型,从而便于为各个客户端用户配置符合其虚拟老师的形象需求的虚拟老师的形象。
可选地,在S202之后,根据本发明实施例还可以包括:
根据所述多个虚拟人物模型,分别生成多个人物图像。
其中,可以利用虚拟人物模型生成人物图像,然后,将该人物图像可以是二维图像。其中,该人物图像也是全身图像,能够代表该虚拟人物模型对应的真人老师的形象。每个虚拟人物模型生成一个人物图像。
这样,通过生成每个虚拟人物模型的人物图像,可以便于后续提供多个虚拟人物模型给客户端的用户选择时,用户可以通过查看该人物图像来选择目标虚拟人物模型。
可选地,预先配置多个语音模型的步骤,该步骤具体包括:
S301,对多个真人老师的教学视频或教学音频分别抽取教学语音信息;
S302,根据所述教学语音信息,生成分别对应所述多个真人老师语音的多个语音模型。
以一个真人老师A为例进行说明,可以获取真人老师A在人工在线教学过程中的大量教学视频,对每个教学视频提取该真人老师A在教学时发出的语音信息,即教学语音信息。或者,获取真人老师A在人工在线教学时单独录制的大量教学音频,对每个教学音频提取该真人老师A在教学时发出的语音信息,即教学语音信息。
在一种可行的实施方案一中,当该教学语音信息的样本数量较大时,可以利用教学语音样本来训练预设语音合成模型,使得训练后的语音合成模型能够输出声纹特征与真人老师A的声纹特征近似的语音,从而模拟真人老师的语音。其中,训练后的语音合成模型即为对应于真人老师A的语音模型。
其中,采用实施方案一生成的语音模型输入的数据类型为文本类型,因此,在该语音合成模型实际使用时,可以需要虚拟老师说的话,即教学语音转换为文本信息,然后将文本信息输入到该语音合成模型,该语音合成模型可以输出模拟真人老师A的声音的语音。
在另一种可行的实施方案二中,当该教学语音信息的样本数量较少时,当该真人老师A的性别为女性时,可以首先生成一个能够输出机器人女生声音的通用语音合成模型,然后,利用真人老师A的少量的教学语音样本对该通用语音合成模型进行训练,通过对该通用语音合成模型的参数进行优化,来使得训练后的通用语音合成模型可以输出模拟真人老师A的声音的语音。
在该语音合成模型实际使用时,可以输入一段女生的语音到该语音合成模型,该语音合成模型可以输出模拟真人老师A的语音。
另一方面,当该真人老师A的性别为男性时,则可以首先生成一个能够输出机器人男生声音的通用语音合成模型,然后,在采用上述类似的通用语音合成模型的训练方法进行训练,使得训练后的通用语音合成模型可以输出模拟男性的真人老师A的声音的语音。
同样的,在该语音合成模型实际使用时,可以输入一段男生的语音到该语音合成模型,该语音合成模型可以输出模拟真人老师A的语音。
上述最终训练得到的语音合成模型,即为真人老师A的语音模型。另外,需要说明的是,一个真人老师A的语音模型可以包括上述方案一而生成的语音合成模型,和/或,上述方案二而生成的语音合成模型。
同理,可以采用上述类似的方法来对多个真人老师的声音分别生成语音模型,每个真人老师可以对应一个或两个语音模型。
可选地,在S302之后,根据本发明实施例的方法还可以包括:
根据所述多个真人老师的性别信息,来对生成的各个语音模型进行性别信息(男性或女性)的标记。例如依据真人老师A的教学语音信息所生成的语音模型A则标记真人老师A的性别。
其中,对于真人老师的性别信息,也可以通过对人物图像信息进行特征识别,来确定真人老师是男性还是女性,或者,也可以通过预先经过训练的性别分类模型来对真人老师的教学语音信息进行性别识别。
这样,本发明实施例利用真人老师的教学视频或教学音频来抽取老师的教学语音信息,并利用教学语音信息来生成该真人老师的语音模型,这样,可以将各个真人老师的声音特征抽象成语音模型,从而便于为各个客户端用户配置符合其虚拟老师的声音特征需求的虚拟老师。
可选地,在S302之后,根据本发明实施例的方法还可以包括:对每个真人老师对应的语音模型标记声音类型,其中,不同真人老师的语音模型所标记的声音类型不同,即所述多个语音模型人工标记有不同的声音类型。声音类型可以包括但不限于柔和、低沉、尖锐、磁性等等。
可选地,预先配置多个肢体动作模型的步骤,该步骤具体包括:
S401,对所述多个真人老师的教学视频分别抽取肢体动作信息;
S402,根据所述肢体动作信息,生成分别对应所述多个真人老师肢体动作的多个肢体动作模型。
其中,针对任意一个真人老师的肢体动作模型包括教学动作标识与动作参数的对应关系,且在不同真人老师的肢体动作模型之间,同一种教学动作的教学动作标识相同。
以一个真人老师A为例进行说明,可以获取真人老师A在人工在线教学过程中的大量教学视频,对每个教学视频提取该真人老师A在教学时常用的肢体动作,即肢体动作信息。
其中,真人老师A常用的肢体动作可以包括很多种类,例如画圈动作、敲打动作。
对于任意种类的动作,以画圈动作为例,本发明实施例的方法可以从 S401中抽取的肢体动作信息中获取所有类似地画圈动作的动作参数,对这些类似的画圈动作的动作参数进行统计分析,从而得到该真人老师的画圈动作的唯一的动作参数,并为该唯一的动作参数分配教学动作标识,生成教学动作标识1与画圈动作参数1的对应关系。同理,还可以生成该真人老师其他常用种类的肢体动作的对应关系,例如教学动作标识2与敲打动作参数1的对应关系,这些对应关系构成该真人老师A的肢体动作模型。
另外,由于不同真人老师之间可以具有相同种类的肢体动作,例如真人老师A和真人老师B都常用画圈动作,但是两个老师的画圈动作一定存在差异,所以,在真人老师A和真人老师B的两个肢体动作模型之间,针对该画圈动作的教学动作标识是相同的(都是教学动作标识1),但是,两个肢体动作模型中针对该教学动作标识1对应的动作参数是不同的。例如在真人老师B的肢体动作模型中教学动作标识1对应的动作参数为画圈动作参数2。
同理,可以采用上述类似的方法来对多个真人老师的声音分别生成肢体动作模型,不同真人老师对应的肢体动作模型不同,且每个真人老师对应一个肢体动作模型。
这样,本发明实施例利用真人老师的教学视频来抽取老师的肢体动作信息,并利用肢体动作信息来生成该真人老师的肢体动作模型,这样,可以将各个真人老师的常用肢体动作抽象成肢体动作模型,从而便于为各个客户端用户配置符合其虚拟老师的肢体动作特征需求的虚拟老师。
可选地,在S402之后,根据本发明实施例的方法还可以包括:对每个真人老师对应的肢体动作模型标记风格类型,其中,不同真人老师的肢体动作模型所标记的风格类型不同,即所述多个肢体动作模型人工标记有不同的风格类型。风格类型可以包括但不限于夸张、搞笑、平稳等等。
可选地,预先配置多个表情模型的步骤,该步骤具体包括:
S501,对多个真人老师的教学视频分别抽取表情信息;
S502,根据所述表情信息,生成分别对应所述多个真人老师表情的多个表情模型;
其中,针对任意一个真人老师的表情模型包括教学表情标识与表情参数的对应关系,且在不同真人老师的表情模型之间,同一种教学表情的教学表情标识相同。
以一个真人老师A为例进行说明,可以获取真人老师A在人工在线教学过程中的大量教学视频,对每个教学视频提取具有该真人老师A在教学时常用表情的表情图像;然后对多个表情图像按照表情种类进行分类,得到多组表情图像。
例如,真人老师A常用的特殊表情的种类可以包括例如噘嘴、皱眉等。
对于任意种类的表情,以噘嘴表情为例,本发明实施例的方法可以从一组噘嘴表情图像中获取每个噘嘴表情图像的噘嘴特征参数(即S501的表情信息),对这些噘嘴特征参数进行统计分析,从而得到该真人老师的噘嘴表情的唯一的表情参数,并为该唯一的表情参数分配教学表情标识,生成教学表情标识1与噘嘴表情参数1的对应关系。同理,还可以生成该真人老师其他常用种类的特殊表情的该对应关系,例如教学标签标识2与皱眉表情参数1的对应关系,这些对应关系构成该真人老师A的表情模型。
另外,由于不同真人老师之间可以具有相同种类的特殊表情,例如真人老师A和真人老师B都常用噘嘴表情,但是两个老师的噘嘴表情一定存在差异,所以,在真人老师A和真人老师B的两个表情模型之间,针对该噘嘴表情的教学表情标识是相同的(都是教学表情标识1),但是,两个表情模型中针对该教学表情标识1对应的表情参数是不同的。例如在真人老师 B的表情模型中教学表情标识1对应的表情参数为噘嘴表情参数2。
同理,可以采用上述类似的方法来对多个真人老师的特殊表情分别生成表情模型,不同真人老师对应的表情模型不同,且每个真人老师对应一个表情模型。
这样,本发明实施例利用真人老师的教学视频来抽取老师的表情信息,并利用表情信息来生成该真人老师的表情模型,这样,可以将各个真人老师的常用特殊表情抽象成表情模型,从而便于为各个客户端用户配置符合其虚拟老师的表情特征需求的虚拟老师。
可选地,在S502之后,根据本发明实施例的方法还可以包括:对每个真人老师对应的表情模型标记表情类型,其中,不同真人老师的表情模型所标记的表情类型不同,即所述多个表情模型人工标记有不同的表情类型。表情类型可以包括但不限于严肃、可爱等等。
另外,需要说明的是,本发明实施例所述的表情模型的表情类型,与表情模型中各个表情参数所对应的表情种类是不同的。表情种类是对不同种类表情的区分而定义的,例如噘嘴、鬼脸、皱眉等。而表情模型的表情类型则是为了区分不同真人老师的表情模型而定义的。例如真人老师A的表情模型A的表情类型为严肃,真人老师B的表情模型B的表情类型为可爱。
需要说明的是,本发明对于预先配置虚拟人物模型、语音模型、肢体动作模型、表情模型的顺序并不做具体限制。
此外,对于上述四类模型的生成时机而言,即在生成多个虚拟人物模型、多个语音模型、多个肢体动作模型、多个表情模型中的任意一种或一个模型时,可以根据客户端用户对需要配置的四种模型(例如目标虚拟人物模型、目标语音模型、目标肢体动作模型、目标表情模型)的实际需求,来实时的生成上述四种目标模型,也可以预先生成上述四种目标模型并存储在虚拟老师模型库中,然后,根据客户端用户对需要配置的四种模型的需求,从预先生成的上述四类模型中选择客户端用户需要配置的四种目标模型。
借助于本发明实施例的数据生成方法,本发明实施例基于多个真人老师的教学视频或教学音频,构建能够描述多个真人老师形象的多个虚拟人物模型、能够模拟多个真人老师声音的多个声音模型、能够描述多个真人老师在线教学过程中常用的特殊动作的多个肢体动作模型,以及能够描述多个真人老师在线教学过程中常用的特殊表情的多个表情模型,实现了对在线教学中的虚拟人物进行形象、声音、动作、表情四个维度的模拟;并且,通过对属于同一个目标教学课程的多个目标教学视频中任意一个目标教学视频,识别多个教学元素、所述多个教学元素之间的展现逻辑顺序,以及对目标教学课程的教学音频或者任意一个目标教学视频识别真人老师在讲授该目标教学课程时所说的话,即多个教学语音,以及该目标教学课程的教学元素以及教学语音标识之间的关联关系、教学元素以及教学动作标识之间的关联关系、教学元素以及教学表情标识之间的关联关系。使得本发明还可以对真人老师教学的目标教学课程的课程内容以及真人老师在教学时针对哪些教学元素发出教学语音、展现教学动作、表现出教学表情进行虚拟。由于将用于教学的虚拟人物老师从形象、声音、动作、表情四个维度虚拟成四种模型,从而可以对属于不同真人老师的这四个维度的模型进行自由组合,从而提升在线教学过程中对老师形象、声音、动作和表情的组合灵活性;并且,由于将虚拟人物与虚拟人物在线教学的课程内容进行了拆分,使得二者相互独立,从而可以将不同的虚拟人物与不同的课程内容进行灵活组合,提升了老师与课程内容之间的组合灵活性,使得教学方法的灵活性得到显著提高。
步骤103,根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
其中,虚拟人物模型为根据真人老师的面部特征、妆容风格、着装风格而生成的虚拟老师的虚拟人物模型,因此,可以根据该目标虚拟人物模型来生成目标虚拟老师的目标人物虚拟图像(对应于真人老师A的形象),并将该目标虚拟图像输出至上述客户端,使得上述客户端的教学界面可以显示该虚拟老师的虚拟人物图像。
其中,该虚拟人物模型可以是三维人物模型,而该虚拟人物图像则可以是三维图像。
步骤104,按照所述预设展现逻辑顺序输出所述多个教学元素;
其中,本发明实施例还可以按照所述预设展现逻辑顺序来输出本次课程内容的多个教学元素,从而进行在线教学。
需要说明的是,本发明实施例对于步骤103和步骤104之间的执行顺序并不做限制。
步骤103和步骤104可以同时进行;也可以先执行步骤103,即先在客户端展示虚拟老师形象,再执行步骤104,即再在客户端按顺序展现各个教学元素;另外,也可以先在客户端按顺序展现各个教学元素,在展现各个教学元素的过程中,如果出现关联有教学语音、教学动作标识、教学表情标识中任意一种的教学元素,则在客户端展现该虚拟老师形象,即目标虚拟人物图像。
可选地,在执行步骤104时,当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出;
也就是说,在按照预设展现逻辑顺序输出各个教学元素的过程中,如果输出的教学元素(这里命名为目标教学元素)关联有教学语音标识(这里命名为教学语音标识)。即,这里输出的目标教学元素,在上述步骤102的教学元素与教学语音标识之间的关联关系中,存在与该目标教学元素关联的教学语音标识,那么可以将步骤102获取的多个教学语音中的具有该教学语音标识的第一教学语音输入至目标语音模型(例如由真人老师C的声音抽象得到的语音模型),该目标语音模型可以将输入的第一教学语音合成为真人老师C的语音,即这里的第二教学语音。因此,在输出目标教学元素时,还可以输出第二教学语音,且该第二教学语音能够模拟真人老师C的声纹特征。
可选地,当所述目标语音模型预先配置的输入数据类型为文本类型时,在将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出时,可以通过将与所述教学语音标识对应的第一教学语音转换为文本信息,并将所述文本信息输入至所述目标语音模型,得到第二教学语音并输出。
也就是说,当该目标语音模型为采用上述实施例描述的实施方案一生成的语音合成模型时,则需要将教学语音转换为文本信息,再输入到目标语音模型。
可选地,根据本发明实施例的方法还可以包括:
将所述第二教学语音输入至所述目标虚拟人物模型,使得所述目标虚拟模型控制所述目标虚拟图像的嘴唇按照所述第二教学语音的音节发生运动。
这样,客户端的教学界面中显示的虚拟老师形象的嘴唇还可以根据系统输出的第二教学语音而发生运动,从而贴合真人说话的效果。
可选地,形象模型库和声音模型库中的每个虚拟人物模型和每个语音模型均标记有性别信息(对虚拟人物模型标记的性别信息与虚拟人物模型对应的真人老师的性别一致,对语音模型标记的性别信息与对应的真人老师的性别一致),而在向客户端配置目标虚拟人物模型和目标语音模型时,这里的目标虚拟人物模型与该目标语音模型的性别信息也是相同的(男性或女性)。例如,这里的真人老师A和真人老师C的性别是相同的。
而且,如上文所述,课程内容中的任意一条教学语音可以包括两个版本,分别为男生版和女生版,其中,两个版本对应的语音内容完全一致,只不过男生版对应的教学语音是普通男生声调的声音,女生版对应的教学语音是普通女生声调的声音,所述多个教学语音包括男生版本的多个教学语音和女生版本的多个教学语音。
那么在执行上述当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出的步骤时,则可以通过以下方式来实现:
首先,获取所述目标虚拟人物模型或所述目标语音模型的目标性别信息;
然后,当输出的目标教学元素关联有教学语音标识时,在所述多个教学语音中识别与所述教学语音标识对应的两个版本的第一教学语音;
其中,多个教学语音中的每个教学语音都具有唯一的教学语音标识,因此,通过该教学语音标识可以在多个教学语音中识别出与该教学语音标识对应的两个版本的第一教学语音(分别为男生版和女生版)。
接着,在所述两个版本的第一教学语音中,获取版本信息与目标性别信息匹配的目标第一教学语音;
例如,上述真人老师A和真人老师C都是女性,则这里的目标性别信息为女性。所以,可以获取女生版本的目标第一教学语音。
最后,将所述目标第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
其中,将目标第一教学语音输入至目标语音模型(例如由真人老师C的声音抽象得到的语音模型),该目标语音模型可以将输入的目标第一教学语音合成为真人老师C的语音,即这里的第二教学语音。因此,在输出目标教学元素时,还可以输出第二教学语音,且该第二教学语音能够模拟真人老师C的声纹特征。
举例来说,当目标虚拟人物模型或目标语音模型标记的性别信息为男性时,则这里的目标第一教学语音为男生版;当目标虚拟人物模型或目标语音模型标记的性别信息为女性时,则这里的目标第一教学语音为女生版。从而使得目标语音模型可以对输入的目标第一教学语音进行声音处理,得到满足目标语音模型对应的真人老师C的声纹特征的第二教学语音。
可选地,在执行步骤104时,当输出的目标教学元素关联有目标教学动作标识时,将所述目标教学动作标识输入至所述目标肢体动作模型,得到目标动作参数,将所述目标动作参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像展现有目标动作。
也就是说,在按照预设展现逻辑顺序输出各个教学元素的过程中,如果输出的教学元素(这里命名为目标教学元素)关联有教学动作标识(这里命名为目标教学动作标识)。即,这里输出的目标教学元素,在上述步骤 102的教学元素与教学动作标识之间的关联关系中,存在与该目标教学元素关联的教学动作标识(即上述目标教学动作标识),那么可以将该目标教学动作标识输入至目标肢体动作模型(例如由真人老师D的教学时常用的肢体动作抽象得到的肢体动作模型),该目标肢体动作模型包括真人老师D各种常用的肢体动作的动作参数,数据存储形式为教学动作标识与动作参数的一一对应关系。
因此,在将所述目标教学动作标识输入至所述目标肢体动作模型后,目标肢体动作模型可以输出目标动作参数,然后,本发明实施例的方法可以将所述目标动作参数输入到所述目标虚拟人物模型(即老师A的形象模型),那么目标虚拟人物模型可以控制输出的所述目标虚拟图像(老师A的形象)展现有与所述目标动作参数对应的目标动作(老师D的某种常用教学动作,例如画圈动作)。
可选地,在执行步骤104时,当输出的目标教学元素关联有目标教学表情标识时,将所述目标教学表情标识输入至所述目标表情模型,得到目标表情参数,将所述目标表情参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像的脸部区域展现有目标表情。
也就是说,在按照预设展现逻辑顺序输出各个教学元素的过程中,如果输出的教学元素(这里命名为目标教学元素)关联有教学表情标识(这里命名为目标教学表情标识)。即,这里输出的目标教学元素,在上述步骤 102的教学元素与教学表情标识之间的关联关系中,存在与该目标教学元素关联的教学表情标识(即上述目标教学表情标识),那么可以将该目标教学表情标识输入至目标表情模型(例如由真人老师B的教学时常用的表情抽象得到的表情模型),该目标表情模型包括真人老师B各种常用的表情的参数,数据存储形式为教学表情标识与表情参数的一一对应关系。
因此,在将所述目标表情标识输入至所述目标表情模型后,目标表情模型可以输出与该目标表情标识关联的目标表情参数,然后,本发明实施例的方法可以将所述目标表情参数输入到所述目标虚拟人物模型(即老师A 的形象模型),那么目标虚拟人物模型可以控制输出的所述目标虚拟图像 (老师A的形象)展现有与所述目标表情参数对应的目标表情(老师B的某种常用教学表情,例如鬼脸表情)。
本发明实施例的虚拟人物教学方法通过从预先配置多个虚拟人物模型、多个语音模型、多个肢体动作模型、多个表情模型中灵活地从形象、语音、动作、表情四个维度来组合出适合客户端的用户的目标虚拟人物模型、目标语音模型、目标肢体动作模型、目标表情模型;并在教学课程的课程内容中预先配置多个教学语音,以及教学语音标识与教学元素之间的关联关系、教学动作标识与教学元素之间的关联关系、教学表情标识与教学元素之间的关联关系,从而可以使目标虚拟人物图像所发出的语音、展现的动作、表现的表情与课程内容中的教学元素关联起来,使得课程内容的各个教学元素能够与虚拟人物图像的语言、动作、表情紧密联系,实现对课程内容的自动化且准确地教学;并且,由于可以从形象、语音、动作、表情四个维度对虚拟人物模型、语音模型、肢体动作模型、表情模型进行自由组合,从而可以得到种类多样、且满足客户端用户的个性化需求的多种虚拟人物来进行教学,提升了在线教学过程中对老师的形象、声音、动作、表情的组合灵活性,以及提升了老师与课程内容之间的组合灵活性,使得教学方法的灵活性得到显著提高。
可选地,所述多个虚拟人物模型预先配置有不同的人物图像,所述多个语音模型预先标记有不同的声音类型,所述多个肢体动作模型预先标记有不同的风格类型,所述多个表情模型预先标记有不同的表情类型;
那么在执行步骤101时,则可以通过以下方式来实现:
S11,获取所述多个虚拟人物模型的人物图像、所述多个语音模型的声音类型、所述多个肢体动作模型的风格类型(可选地)、所述多个表情模型的表情类型(可选地)并输出,以供待教学的客户端选择;
举例而言,如上所述真人老师包括老师A、老师B、老师C、老师D和老师E,则这里预先配置有五个虚拟人物模型,且每个虚拟人物模型均预先配置有分别模拟上述五个老师形象的人物图像。因此,可以将5个老师的人物图像获取并输出,以供待教学的客户端从五个人物图像中选择一个自己喜欢的形象的虚拟老师来讲课。
同理,将上述五个老师的声音类型、肢体动作的风格类型、表情类型输出给客户端的用户选择。
其中,当待教学的客户端没有学习过该目标教学课程(小学五年级数学课第一节课)所属的学科和级别的课程的情况下,则可以采用本发明实施例的提供各种类型的模型供客户端选择。
可选地,在一个实施例中,在执行S11时,还可以将形象、声音、肢体动作和表情这四个维度的多个模型中比较受欢迎的四个维度的模型推荐给该客户端,以供该客户端选择。
具体而言,四个维度的任意一个模型在使用后,客户端用户都可以对四个维度的模型给出评分,例如客户端1在一次在线教学过程中,所使用的四个模型分别为虚拟人物模型A1、语音模型B1、肢体动作模型C1和表情模型D1,评分满分为10分,对它们的评分分别为9分、8分、7分、6分。这样,任意一个维度的多个模型中,每个模型被使用后都可以得到一个评分,一个模型的最终得分为所有客户端对其评分的平均分。那么结合多个客户端对四个维度的每个模型的评分,则可以确定出每个维度的多个模型的受欢迎度。
以形象维度为例进行说明。形象维度的多个模型即为多个虚拟人物模型,经过多次使用之后,多个虚拟人物模型按照评分从高到低的排序依次为虚拟人物模型A1、虚拟人物模型A2、虚拟人物模型A3和虚拟人物模型 A4,评分依次为9分、9分、5分、3分。此外,对于任意一个维度的模型可以预先配置有评分阈值,例如,虚拟人物模型的评分阈值为6分。
那么评分大于或等于评分阈值的虚拟人物模型即为可以推荐的虚拟人物模型,这里按照推荐顺序从前到后依次为虚拟人物模型A1、虚拟人物模型A2。
同理,也可以确定出其他维度需要推荐的一个或多个模型,这样,客户端就可以从每个维度下推荐的模型中选择本次在线教学需要使用的模型。
S12,确定所述客户端选择的目标人物图像;
其中,可以接收客户端在五个老师形象的5个人物图像中,选择的目标人物图像,例如选择的是老师A的虚拟人物模型对应的虚拟人物图像。
S13,将所述目标人物图像对应的虚拟人物模型,配置为所述客户端的目标虚拟人物模型;
这里,就可以将对老师A的形象进行抽象得到的虚拟人物模型A作为该客户端教学的虚拟老师的虚拟人物模型。
S14,确定所述客户端选择的目标声音类型;
其中,可以接收客户端在五个老师的5个声音类型中,选择的目标声音类型,例如选择的是老师C的语音模型对应的声音类型。
S15,将所述目标声音类型对应的语音模型,配置为所述客户端的目标语音模型;
这里,就可以将对老师C的语音信息进行抽象得到的语音模型C作为该客户端教学的虚拟老师的语音模型。
可选地,S16,确定所述客户端选择的目标风格类型;
其中,可以接收客户端在五个老师的肢体动作的5个风格类型中,选择的目标风格类型,例如选择的是老师D的肢体动作模型对应的风格类型。
可选地,S17,将所述目标风格类型对应的肢体动作模型,配置为所述客户端的目标肢体动作模型;
这里,就可以将对老师D的肢体动作信息进行抽象得到的肢体动作模型D作为该客户端教学的虚拟老师的肢体动作模型。
可选地,S18,确定所述客户端选择的目标表情类型;
其中,可以接收客户端在五个老师的5个表情类型中,选择的目标表情类型,例如选择的是老师B的表情模型对应的表情类型。
可选地,S19,将所述目标表情类型对应的表情模型,配置为所述客户端的目标表情模型。
这里,就可以将对老师B的表情信息进行抽象得到的表情模型B作为该客户端教学的虚拟老师的表情模型。
其中,本发明对S12、S14、S16、S18之间的执行顺序并不做限制,它们都在S11之后执行,而S13、S15、S17、S19则分别在S12、S14、S16、 S18之后执行。
这样,本发明实施例通过将多个虚拟人物模型的不同人物图像、多个语音模型的不同声音类型、多个肢体动作模型的不同风格类型,多个表情模型的不同表情类型输出给客户端的用户进行人物图像、声音类型、风格类型以及表情类型的选择,从而可以将选择的人物图像对应的虚拟人物模型配置为供该客户端进行虚拟老师教学的虚拟老师形象基础,以及将选择的声音类型对应的语音模型配置为供该客户端进行在线教学的虚拟老师的声音基础,以及将选择的风格类型对应的肢体动作模型配置为供该客户端进行在线教学的虚拟老师的肢体动作基础,以及将选择的表情类型对应的表情模型配置为供该客户端进行在线教学的虚拟老师的表情基础。使得客户端的用户可以在形象、声音、肢体动作、表情这四个维度,对基于各个真人老师抽象得到的四个维度的模型进行自主地灵活选择,让每个学生都可以找到其最喜欢的虚拟老师进行在线教学,培养学习兴趣,提高学习的效率。
上述实施例描述了给予客户端的用户进行自主选择所需要的虚拟老师的各个维度的模型的方案。
可选地,在另一个实施例中,本发明实施例的方法还可以根据客户端用户在多次虚拟人物在线教学过程中的行为表现(即下述教学反馈信息)以及上课状态信息,来为该客户端配置适合该客户端的用户的四个维度的模型,即虚拟老师的目标虚拟人物模型、目标语音模型、目标肢体动作模型和目标表情模型。
具体而言,在执行步骤104之后,根据本发明实施例的方法还可以包括:
S601,获取目标教学课程所属的目标学科和目标级别;
例如,如上文所述,目标教学课程为小学五年级数学的第一节课,而这里需要统计上过小学五年级数学课的虚拟人物教学的所有客户端的用户的教学反馈信息、上课状态信息,以及每次上课时所使用的虚拟教学模型组合。因此,这里需要获取该目标教学课程所属的学科和级别,其中,对于学科和级别的定义参见上文,这里不再赘述。那么本例中,目标学科为数学,目标级别为小学五年级。
S602,在对第一教学课程进行多次虚拟人物教学后,获取每个客户端每次上课的教学反馈信息、上课状态信息、配置的虚拟模型组合信息;
其中,所述第一教学课程为属于所述目标学科以及所述目标级别的每个教学课程;
举例来说,由于小学五年级数学有很多节课,而客户端用户每次在上小学五年级数学课时,每次上的课是不同的,即不同节课,那么这里为了清楚起见,可以将小学五年级数学课的每节课都以第一教学课程来命名,从而便于对本发明方案的理解。
其中,本步骤中的客户端均为进行过所述第一教学课程的虚拟人物在线学习过的客户端,即,上过虚拟人物在线教学的小学五年级数学课的客户端。
其中,由于在上小学五年级数学课时,每个客户端每次上课的表现都可能存在差异,且每次上课选用的虚拟模型组合也是不同的。
因此,本步骤需要针对使用本发明实施例的方法进行过小学五年级数学课的虚拟人物在线教学的每个客户端,获取每次在线教学时的教学反馈信息、每次在线教学时的上课状态信息,以及每次在线教学时配置的虚拟模型组合信息。
其中,教学反馈信息,即行为表现信息,可以包括但不限于视线看屏幕、视线未看屏幕、表情状态、反应速度快慢、答题正确率等;
而所述上课状态信息的种类可以包括但不限于注意力集中状态、愉快状态、走神状态、不耐烦状态、调皮状态,反应速度快慢,回答问题是否积极等。
上述不同种类的上课状态信息可以划分为两大类,分别为正面反馈类型和负面反馈类型。例如正面反馈类型的上课状态信息可以包括:注意力集中状态、愉快状态、反应速度快、回答问题积极等。负面反馈类型的上课状态信息可以包括:走神状态、不耐烦状态、调皮状态,反应速度慢,回答问题不积极等。
所述虚拟模型组合信息可以包括虚拟人物模型和语音模型,可选地,所述虚拟模型组合信息还可以包括肢体动作模型;可选地,所述虚拟模型组合还可以包括表情模型。
如图1所示,任意一个客户端在进行虚拟人物在线学习过程中,该客户端的语音、视频、鼠标、键盘、触屏等输入可以输入到用户行为分析器。
用户行为分析器可以将接收到的客户端输入记录到用户行为历史中;
而在本步骤中,为了给客户端推荐适合该客户端的学生特质的虚拟老师,本发明实施例的虚拟老师教学播放器可以从用户行为历史数据中,获取到上述教学反馈信息和上课状态信息,此外,还可以从虚拟老师模型库中获取每个客户端配置过的虚拟模型组合信息。
S603,根据所述每个客户端每次上课的教学反馈信息,计算所述每个客户端每次上课的分数;
其中,对于上述客户端在上小学五年级数学课的每节课后都可以有教学反馈信息,本发明实施例的用户行为分析器可以预先对每种教学反馈信息预先设置权重,并统计了一节课中每种教学反馈信息出现的次数;
例如视线看屏幕的权重为w1、视线未看屏幕的权重为w2、表情愉快的权重为w3、表情痛苦的权重为w4、反应速度快的权重为w5、反应速度慢的权重为w6,较高的答题正确率的权重为w7、较低的答题正确率的权重为 w8。其中,答题正确率高低,可以通过预设答题正确率阈值来判断,这里不再详述。
那么本发明实施例的虚拟老师教学播放器可以对一个客户端上一节课时出现的多种教学反馈信息进行加权求和,得到该客户端上该节课的分数。
例如客户端A上过小学五年级数学课的三节课,上第一节课时的教学反馈信息包括视线看屏幕3次,视线未看屏幕2次,表情愉快1次、表情痛苦3次;
那么该客户端A上该小学五年级数学课第一节课的分数为 3*w1+2*w2+w3+3*w4。
同理,可以计算该客户端A上的小学五年级数学课其他节课的分数,以及上过小学五年级数学课的其他客户端上每节课的分数。
S604,根据所述每个客户端每次上课的所述上课状态信息,将上课状态相近的客户端聚为一类,得到多个类型的客户端;
举例而言,针对小学五年级数学课有很多节课,上述每个客户端的学生都可以上过小学五年级数学课至少一节课。以客户端A为例,其每次上课选用的虚拟模型组合信息可能不同,其每次上课给出的上课状态信息也可能存在差异。
其中,上课状态信息可以包括很多种类的上课状态信息,那么可以统计该客户端A在小学五年级数学课的虚拟人物在线教学的上课状态信息。
其中,本发明实施例可以采用任意一种聚类方法,来对客户端分类,这里列举了一种聚类方法。
例如客户端A上了小学五年级数学课的虚拟人物在线教学课三节课,第一节课的上课状态信息包括:走神状态2次、不耐烦状态3次;第二节课的上课状态信息包括注意力集中状态3次、愉快状态3次;第三节课的上课状态信息包括注意力集中状态3次、愉快状态3次。
可以统计客户端A上这三次课的正面反馈类型的反馈总次数为12次(注意力集中状态6次、愉快状态6次),负面反馈类型的反馈总次数为5次(走神状态2次、不耐烦状态3次)。若正面反馈总次数大于或负面反馈总次数,因此,可以将该客户端A划分为听讲类客户端,否则将客户端A划分为不听讲类客户端。
对上过小学五年级数学课的其他客户端也进行上述上课状态信息的统计,从而将上过小学五年级数学课的客户端划分为两类,一类为听讲类客户端,另一类为不听讲类客户端。实现了将上课状态相近的客户端聚为一类。
另外,需要说明的是,本发明对于客户端聚类所得到的客户端的类型并不限于上述举例的听讲类客户端和不听讲类客户端,还可以包括更多的类型,这里不再赘述。
S605,对于目标类型的多个客户端,根据所述虚拟模型组合信息,统计所述多个客户端被配置的多种虚拟模型组合信息;
其中,所述目标类型为所述多个类型中的任意一种类型。
其中,对于属于听讲类客户端的多个客户端,可以根据S602步骤获取的这里的多个客户端中每个客户端配置的虚拟模型组合信息,来统计多个客户端被配置的多种虚拟模型组合信息。
举例来说,例如属于听讲类客户端包括客户端A、客户端B和客户端 C。客户端A上过小学五年级数学课的三节课,三节课配置的虚拟模型组合依次为虚拟模型组合1、虚拟模型组合2和虚拟模型组合3;客户端B上过小学五年级数学课的两节课,两节课配置的虚拟模型组合依次为虚拟模型组合2和虚拟模型组合3;客户端C上过小学五年级数学课的三节课,三节课配置的虚拟模型组合依次为虚拟模型组合1、虚拟模型组合2和虚拟模型组合3。
那么这里可以统计出听讲类客户端对小学五年级数学课使用过的模型组合分别为虚拟模型组合1、虚拟模型组合2和虚拟模型组合3,即S605所述的多个客户端被配置的多种虚拟模型组合信息。
同理,也可以统计出不听讲类客户端对小学五年级数学课使用过的模型组合。
S606,获取所述多个客户端在配置有目标虚拟组合信息的虚拟人物教学过程中,所得到的多个分数;
其中,所述目标虚拟模型组合信息为所述多种虚拟模型组合信息中的任意一种虚拟模型组合信息;
其中,如S603所述,计算了每个客户端上小学五年级数学课每节课的分数。那么这里继续以听讲类客户端为例进行说明,例如客户端A上的小学五年级数学课的三节课的得分依次为A1、A2和A3;客户端B上的小学五年级数学课的两节课的得分依次为B1和B2;客户端C上的小学五年级数学课的三节课的得分依次为C1、C2和C3。
而上述多种虚拟模型组合信息包括虚拟模型组合1、虚拟模型组合2和虚拟模型组合3。
这里需要对任意一种虚拟模型组合的虚拟授课的得分进行统计:
当目标虚拟组合信息为虚拟模型组合1时,则这里获取的多个得分包括:A1和C1;当目标虚拟组合信息为虚拟模型组合2时,则这里获取的多个得分包括:A2、B1和C2;当目标虚拟组合信息为虚拟模型组合3时,则这里获取的多个得分包括:A3、B2和C3。
S607,计算所述多个分数的平均分,将所述平均分作为所述目标类型的客户端在配置有所述目标虚拟模型组合信息的虚拟人物教学过程中的目标分数;
继续以上述举例为例说明,听讲类客户端在配置有虚拟模型组合1时的目标分数为M1=(A1+C1)/2;听讲类客户端在配置有虚拟模型组合2时的目标分数为M2=(A2+B1+C2)/3;听讲类客户端在配置有虚拟模型组合3 时的目标分数为M3=(A3+B2+C3)/3。
同理,也可以计算出不听讲类客户端在进行小学五年级数学课虚拟教学时,使用的不同中虚拟模型组合所分别对应的目标分数。
S608,将所述目标分数大于预设分数阈值的至少一种目标虚拟模型组合信息,作为推荐给属于所述目标类型的客户端的虚拟模型组合信息;
以上述听讲类客户端为这里的目标类型为例进行说明,例如预设分数阈值为M0,且M1>M2>M0>M3,那么这里可以确定用于推荐给小学五年级数学课听讲类客户端的虚拟模型组合包括虚拟模型组合1和虚拟模型组合 2。不对虚拟模型组合3进行推荐。
同理,也可以确定出用于推荐给小学五年级数学课不听讲类客户端的虚拟模型组合。
这样,本发明实施例可以根据各个客户端对某个学科和级别的课程的学习历史记录数据(包括教学反馈信息和上课状态信息)和每次上课配置的虚拟模型组合,来对学习该学科和级别的客户端分类,并确定每个类型的客户端适合使用的至少一种虚拟模型组合信息,从而便于对使用过本发明实施例虚拟人物教学方法的客户端个性化的推荐适合该客户端的学生特质的虚拟老师(即虚拟模型组合对应的虚拟老师)。
可选地,在执行步骤101时,还可以通过以下S701~S704的步骤来实现:
S701,在对所述待教学的客户端进行所述第一教学课程的至少一次虚拟人物教学后,获取所述待教学的客户端针对所述第一教学课程每次上课的上课状态信息;
其中,所述第一教学课程为属于所述目标学科以及所述目标级别的每个教学课程;
例如客户端D使用本发明实施例的虚拟人物在线教学方法上过小学五年级数学课的一节课,那么可以获取该客户端D在上该课程(小学五年级数学课)时的上课状态信息。
上课状态信息的种类参见上文,这里不再赘述。
S702,根据所述待教学的客户端的上课状态信息,确定所述待教学的客户端所属的第一目标类型;
其中,与S604类似,可以根据客户端D在上小学五年级数学课的每节课的上课状态信息,来对客户端D进行客户端类型的分类,使得客户端D 属于听讲类客户端,或者不听讲类客户端,这里将客户端D所属的客户端类型命名为第一目标类型,该第一目标类型可以是上述实施例的任意一种目标类型。
这里的目标类型可以为听讲类客户端,或者不听讲类客户端。
S703,获取推荐给属于所述第一目标类型的客户端的至少一种虚拟模型组合信息并推荐给所述待教学的客户端;
其中,每种所述虚拟模型组合信息包括虚拟人物模型、语音模型,可选地,还可以包括肢体动作模型、表情模型;
例如该客户端D为听讲类客户端,则可以将上述举例虚拟模型组合1 和虚拟模型组合2推荐给客户端D使用,来使客户端D中从这两种虚拟模型组合中选择一种虚拟模型组合来对小学五年级数学课的任意一节课进行虚拟人物在线教学。例如虚拟模型组合1包括虚拟人物模型A、语音模型B、肢体动作模型C和表情模型D;虚拟模型组合2包括虚拟人物模型B、语音模型B、肢体动作模型D和表情模型C。
S704,根据所述待教学的客户端从所述至少一种虚拟模型组合信息中选取的第一目标虚拟模型组合信息,将所述第一目标虚拟模型组合信息配置给所述待教学的客户端,其中,所述第一目标虚拟模型组合信息包括目标虚拟人物模型和目标语音模型。
例如客户端D选择虚拟模型组合2(即为这里的第一目标虚拟模型组合信息),则本发明实施例的方法可以从虚拟老师模型库中的形象模型库中选取虚拟人物模型B,从声音模型库中选取语音模型B,从动作模型库中选取肢体动作模型D,从表情模型库中选取表情模型C,来配置给该待教学的客户端。便于客户端D使用上述模型组合得到的虚拟老师学习小学五年级数学课中的任意一节课。
继续参加图2实施例所示的方法,本发明实施例的方法可以利用虚拟人物模型B生成对应真人老师B的虚拟人物形象,利用语音模型B来输出对应真人老师B声纹的教学语音,利用肢体动作模型D来控制上述虚拟人物形象展示对应真人老师D常用的特殊肢体动作,利用表情模型C来控制上述虚拟人物形象展示对应真人老师C常用的特殊表情,来实现对客户端D 进行小学五年级数学课的任意一节课的虚拟人物教学。具体教学方法参见上文,这里不再赘述。
这样,当待教学的客户端想要使用本发明实施例的方法进行目标学科和目标级别的课程在线教学时,本发明实施例的方法可以根据该客户端在该目标学科和目标级别的课程的上课历史数据(例如上课状态信息),来对该客户端进行分类,并向该客户端推荐适用于该客户端所属类型的虚拟模型组合(即上述四种模型组合),从而可以根据客户端用户的特点,来选择匹配该特点,且能够提升学习效率的虚拟老师。
例如该待教学的客户端属于不听讲类型客户端,则可以选择较为严厉或者风趣的虚拟老师。
需要说明的是,上述各个实施例所描述的标识可以是唯一确定所描述对象(例如教学语音标识的描述对象为教学语音)的任意一种标识信息,例如ID号、图标、图形、名称等等形式,因此,本发明对于标识的形式并不做具体限制。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
与上述本发明实施例所提供的虚拟人物教学方法以及虚拟人物教学系统相对应,参照图4,示出了本发明一种虚拟人物教学装置实施例的结构框图,具体可以包括如下模块:
第一配置模块41,用于在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;
第一获取模块42,用于获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;
生成模块43,用于根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
输出模块44,用于按照所述预设展现逻辑顺序,输出所述多个教学元素;
其中,所述输出模块44,还用于当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
可选地,所述输出模块44,还用于当所述目标语音模型预先配置的输入数据类型为文本类型时,将与所述教学语音标识对应的第一教学语音转换为文本信息,将所述文本信息输入至所述目标语音模型,得到第二教学语音并输出。
可选地,所述装置还包括:
第二配置模块,用于当预先配置的模型包括多个肢体动作模型时,在所述多个肢体动作模型中,对待教学的客户端配置目标肢体动作模型;
第二获取模块,用于获取针对待学习的目标教学课程,预先配置的教学元素与教学动作标识之间的关联关系;
其中,所述输出模块44,还用于当输出的目标教学元素关联有目标教学动作标识时,将所述目标教学动作标识输入至所述目标肢体动作模型,得到目标动作参数,将所述目标动作参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像展现有目标动作。
可选地,所述第二配置模块包括:
第一获取子模块,用于当预先配置的模型包括多个肢体动作模型时,获取所述多个肢体动作模型的风格类型并输出,以供待教学的客户端选择,其中,所述多个肢体动作模型预先标记有不同的风格类型;
第一确定子模块,用于确定所述客户端选择的目标风格类型;
第一配置子模块,用于将所述目标风格类型对应的肢体动作模型,配置为所述客户端的目标肢体动作模型。
可选地,所述装置还包括:
第三配置模块,用于当预先配置的模型包括多个表情模型时,在所述多个表情模型中,对待教学的客户端配置目标表情模型;
第三获取模块,用于获取针对待学习的目标教学课程,预先配置的教学元素与教学表情标识之间的关联关系;
其中,所述输出模块44,还用于当输出的目标教学元素关联有目标教学表情标识时,将所述目标教学表情标识输入至所述目标表情模型,得到目标表情参数,将所述目标表情参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像的脸部区域展现有目标表情。
可选地,所述第三配置模块包括:
第二获取子模块,用于当预先配置的模型包括多个表情模型时,获取所述多个表情模型的表情类型并输出,以供待教学的客户端选择,所述多个表情模型预先标记有不同的表情类型;
第二确定子模块,用于确定所述客户端选择的目标表情类型;
第二配置子模块,用于将所述目标表情类型对应的表情模型,配置为所述客户端的目标表情模型。
可选地,所述第一配置模块41包括:
第三获取子模块,用于获取所述多个虚拟人物模型的人物图像、所述多个语音模型的声音类型并输出,以供待教学的客户端选择,其中,所述多个虚拟人物模型预先配置有不同的人物图像,所述多个语音模型预先标记有不同的声音类型;
第三确定子模块,用于确定所述客户端选择的目标人物图像;
第三配置子模块,用于将所述目标人物图像对应的虚拟人物模型,配置为所述客户端的目标虚拟人物模型;
第四确定子模块,用于确定所述客户端选择的目标声音类型;
第四配置子模块,用于将所述目标声音类型对应的语音模型,配置为所述客户端的目标语音模型。
可选地,所述装置还包括:
第四获取模块,用于获取目标教学课程所属的目标学科和目标级别;
第五获取模块,用于在对第一教学课程进行多次虚拟人物教学后,获取每个客户端每次上课的教学反馈信息、上课状态信息、配置的虚拟模型组合信息,其中,所述第一教学课程为属于所述目标学科以及所述目标级别的每个教学课程,其中,所述配置的虚拟模型组合信息包括虚拟人物模型、语音模型;
第一计算模块,用于根据所述每个客户端每次上课的教学反馈信息,计算所述每个客户端每次上课的分数;
聚类模块,用于根据所述每个客户端每次上课的所述上课状态信息,将上课状态相近的客户端聚为一类,得到多个类型的客户端;
统计模块,用于对于目标类型的多个客户端,根据所述虚拟模型组合信息,统计所述多个客户端被配置的多种虚拟模型组合信息,其中,所述目标类型为所述多个类型中的任意一种类型;
第六获取模块,用于获取所述多个客户端在配置有目标虚拟组合信息的虚拟人物教学过程中,所得到的多个分数,其中,所述目标虚拟模型组合信息为所述多种虚拟模型组合信息中的任意一种虚拟模型组合信息;
第二计算模块,用于计算所述多个分数的平均分,将所述平均分作为所述目标类型的客户端在配置有所述目标虚拟模型组合信息的虚拟人物教学过程中的目标分数;
确定模块,用于将所述目标分数大于预设分数阈值的至少一种目标虚拟模型组合信息,作为推荐给属于所述目标类型的客户端的虚拟模型组合信息。
可选地,所述第一配置模块41包括:
第四获取子模块,用于在对所述待教学的客户端进行第一教学课程的至少一次虚拟人物教学后,获取所述待教学的客户端针对所述第一教学课程每次上课的上课状态信息;
其中,所述第一教学课程为属于目标学科以及目标级别的每个教学课程,所述目标学科和所述目标级别为所述目标教学课程所属的学科和级别;
第五确定子模块,用于根据所述待教学的客户端的上课状态信息,确定所述待教学的客户端所属的第一目标类型;
第五获取子模块,用于获取推荐给所述第一目标类型的客户端的至少一种虚拟模型组合信息并推荐给所述待教学的客户端,其中,每种所述虚拟模型组合信息包括虚拟人物模型、语音模型;
第五配置子模块,用于根据所述待教学的客户端从所述至少一种虚拟模型组合信息中选取的第一目标虚拟模型组合信息,将所述第一目标虚拟模型组合信息配置给所述待教学的客户端,其中,所述第一目标虚拟模型组合信息包括目标虚拟人物模型和目标语音模型。
可选地,所述输出模块44包括:
第六获取子模块,用于获取所述目标虚拟人物模型或所述目标语音模型的目标性别信息,其中,所述多个虚拟人物模型和所述多个语音模型均预先标记有性别信息,且所述目标虚拟人物模型和所述目标语音模型的性别信息相同,所述多个教学语音包括男生版本的多个教学语音和女生版本的多个教学语音;
识别子模块,用于当输出的目标教学元素关联有教学语音标识时,在所述多个教学语音中识别与所述教学语音标识对应的两个版本的第一教学语音;
第七获取子模块,用于在所述两个版本的第一教学语音中,获取版本信息与目标性别信息匹配的目标第一教学语音;
输入输出子模块,用于将所述目标第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
本发明实施例的虚拟人物教学装置可以实现上述任意一个虚拟人物教学方法实施例的功能和效果,这里不再赘述,参见上文。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种虚拟人物教学方法和一种虚拟人物教学装置,以及一种数据生成方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种虚拟人物教学方法,其特征在于,包括:
在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;
获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;
根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
按照所述预设展现逻辑顺序,输出所述多个教学元素;
其中,当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
2.根据权利要求1所述的方法,其特征在于,当所述目标语音模型预先配置的输入数据类型为文本类型时,所述将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出,包括:
将与所述教学语音标识对应的第一教学语音转换为文本信息,将所述文本信息输入至所述目标语音模型,得到第二教学语音并输出。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当预先配置的模型包括多个肢体动作模型时,在所述多个肢体动作模型中,对待教学的客户端配置目标肢体动作模型;
获取针对待学习的目标教学课程,预先配置的教学元素与教学动作标识之间的关联关系;
其中,当输出的目标教学元素关联有目标教学动作标识时,将所述目标教学动作标识输入至所述目标肢体动作模型,得到目标动作参数,将所述目标动作参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像展现有目标动作。
4.根据权利要求3所述的方法,其特征在于,所述多个肢体动作模型预先标记有不同的风格类型,所述当预先配置的模型包括多个肢体动作模型时,在所述多个肢体动作模型中,对待教学的客户端配置目标肢体动作模型,包括:
当预先配置的模型包括多个肢体动作模型时,获取所述多个肢体动作模型的风格类型并输出,以供待教学的客户端选择;
确定所述客户端选择的目标风格类型;
将所述目标风格类型对应的肢体动作模型,配置为所述客户端的目标肢体动作模型。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当预先配置的模型包括多个表情模型时,在所述多个表情模型中,对待教学的客户端配置目标表情模型;
获取针对待学习的目标教学课程,预先配置的教学元素与教学表情标识之间的关联关系;
其中,当输出的目标教学元素关联有目标教学表情标识时,将所述目标教学表情标识输入至所述目标表情模型,得到目标表情参数,将所述目标表情参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像的脸部区域展现有目标表情。
6.根据权利要求5所述的方法,其特征在于,所述多个表情模型预先标记有不同的表情类型,所述当预先配置的模型包括多个表情模型时,在所述多个表情模型中,对待教学的客户端配置目标表情模型,包括:
当预先配置的模型包括多个表情模型时,获取所述多个表情模型的表情类型并输出,以供待教学的客户端选择;
确定所述客户端选择的目标表情类型;
将所述目标表情类型对应的表情模型,配置为所述客户端的目标表情模型。
7.根据权利要求1所述的方法,其特征在于,所述多个虚拟人物模型预先配置有不同的人物图像,所述多个语音模型预先标记有不同的声音类型;
所述在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型,包括:
获取所述多个虚拟人物模型的人物图像、所述多个语音模型的声音类型并输出,以供待教学的客户端选择;
确定所述客户端选择的目标人物图像;
将所述目标人物图像对应的虚拟人物模型,配置为所述客户端的目标虚拟人物模型;
确定所述客户端选择的目标声音类型;
将所述目标声音类型对应的语音模型,配置为所述客户端的目标语音模型。
8.根据权利要求1所述的方法,其特征在于,所述按照所述预设展现逻辑顺序,输出所述多个教学元素之后,所述方法还包括:
获取目标教学课程所属的目标学科和目标级别;
在对第一教学课程进行多次虚拟人物教学后,获取每个客户端每次上课的教学反馈信息、上课状态信息、配置的虚拟模型组合信息,其中,所述第一教学课程为属于所述目标学科以及所述目标级别的每个教学课程,其中,所述配置的虚拟模型组合信息包括虚拟人物模型、语音模型;
根据所述每个客户端每次上课的教学反馈信息,计算所述每个客户端每次上课的分数;
根据所述每个客户端每次上课的所述上课状态信息,将上课状态相近的客户端聚为一类,得到多个类型的客户端;
对于目标类型的多个客户端,根据所述虚拟模型组合信息,统计所述多个客户端被配置的多种虚拟模型组合信息,其中,所述目标类型为所述多个类型中的任意一种类型;
获取所述多个客户端在配置有目标虚拟组合信息的虚拟人物教学过程中,所得到的多个分数,其中,所述目标虚拟模型组合信息为所述多种虚拟模型组合信息中的任意一种虚拟模型组合信息;
计算所述多个分数的平均分,将所述平均分作为所述目标类型的客户端在配置有所述目标虚拟模型组合信息的虚拟人物教学过程中的目标分数;
将所述目标分数大于预设分数阈值的至少一种目标虚拟模型组合信息,作为推荐给属于所述目标类型的客户端的虚拟模型组合信息。
9.根据权利要求1所述的方法,其特征在于,所述在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型,包括:
在对所述待教学的客户端进行第一教学课程的至少一次虚拟人物教学后,获取所述待教学的客户端针对所述第一教学课程每次上课的上课状态信息;
其中,所述第一教学课程为属于目标学科以及目标级别的每个教学课程,所述目标学科和所述目标级别为所述目标教学课程所属的学科和级别;
根据所述待教学的客户端的上课状态信息,确定所述待教学的客户端所属的第一目标类型;
获取推荐给所述第一目标类型的客户端的至少一种虚拟模型组合信息并推荐给所述待教学的客户端,其中,每种所述虚拟模型组合信息包括虚拟人物模型、语音模型;
根据所述待教学的客户端从所述至少一种虚拟模型组合信息中选取的第一目标虚拟模型组合信息,将所述第一目标虚拟模型组合信息配置给所述待教学的客户端,其中,所述第一目标虚拟模型组合信息包括目标虚拟人物模型和目标语音模型。
10.根据权利要求1所述的方法,其特征在于,
所述多个虚拟人物模型和所述多个语音模型均预先标记有性别信息,且所述目标虚拟人物模型和所述目标语音模型的性别信息相同,所述多个教学语音包括男生版本的多个教学语音和女生版本的多个教学语音;
所述当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出,包括:
获取所述目标虚拟人物模型或所述目标语音模型的目标性别信息;
当输出的目标教学元素关联有教学语音标识时,在所述多个教学语音中识别与所述教学语音标识对应的两个版本的第一教学语音;
在所述两个版本的第一教学语音中,获取版本信息与目标性别信息匹配的目标第一教学语音;
将所述目标第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
11.一种虚拟人物教学装置,其特征在于,包括:
第一配置模块,用于在预先配置的多个虚拟人物模型和多个语音模型中,对待教学的客户端配置目标虚拟人物模型和目标语音模型;
第一获取模块,用于获取针对待学习目标教学课程的预先配置的多个教学元素、多个教学语音、所述多个教学元素之间的预设展现逻辑顺序、教学元素与教学语音标识之间的关联关系;
生成模块,用于根据所述目标虚拟人物模型,生成目标虚拟老师的目标虚拟人物图像并输出;
输出模块,用于按照所述预设展现逻辑顺序,输出所述多个教学元素;
其中,所述输出模块,还用于当输出的目标教学元素关联有教学语音标识时,将与所述教学语音标识对应的第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
12.根据权利要求11所述的装置,其特征在于,
所述输出模块,还用于当所述目标语音模型预先配置的输入数据类型为文本类型时,将与所述教学语音标识对应的第一教学语音转换为文本信息,将所述文本信息输入至所述目标语音模型,得到第二教学语音并输出。
13.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第二配置模块,用于当预先配置的模型包括多个肢体动作模型时,在所述多个肢体动作模型中,对待教学的客户端配置目标肢体动作模型;
第二获取模块,用于获取针对待学习的目标教学课程,预先配置的教学元素与教学动作标识之间的关联关系;
其中,所述输出模块,还用于当输出的目标教学元素关联有目标教学动作标识时,将所述目标教学动作标识输入至所述目标肢体动作模型,得到目标动作参数,将所述目标动作参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像展现有目标动作。
14.根据权利要求13所述的装置,其特征在于,所述第二配置模块包括:
第一获取子模块,用于当预先配置的模型包括多个肢体动作模型时,获取所述多个肢体动作模型的风格类型并输出,以供待教学的客户端选择,其中,所述多个肢体动作模型预先标记有不同的风格类型;
第一确定子模块,用于确定所述客户端选择的目标风格类型;
第一配置子模块,用于将所述目标风格类型对应的肢体动作模型,配置为所述客户端的目标肢体动作模型。
15.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第三配置模块,用于当预先配置的模型包括多个表情模型时,在所述多个表情模型中,对待教学的客户端配置目标表情模型;
第三获取模块,用于获取针对待学习的目标教学课程,预先配置的教学元素与教学表情标识之间的关联关系;
其中,所述输出模块,还用于当输出的目标教学元素关联有目标教学表情标识时,将所述目标教学表情标识输入至所述目标表情模型,得到目标表情参数,将所述目标表情参数输入到所述目标虚拟人物模型,使得输出的所述目标虚拟图像的脸部区域展现有目标表情。
16.根据权利要求15所述的装置,其特征在于,所述第三配置模块包括:
第二获取子模块,用于当预先配置的模型包括多个表情模型时,获取所述多个表情模型的表情类型并输出,以供待教学的客户端选择,所述多个表情模型预先标记有不同的表情类型;
第二确定子模块,用于确定所述客户端选择的目标表情类型;
第二配置子模块,用于将所述目标表情类型对应的表情模型,配置为所述客户端的目标表情模型。
17.根据权利要求11所述的装置,其特征在于,
所述第一配置模块包括:
第三获取子模块,用于获取所述多个虚拟人物模型的人物图像、所述多个语音模型的声音类型并输出,以供待教学的客户端选择,其中,所述多个虚拟人物模型预先配置有不同的人物图像,所述多个语音模型预先标记有不同的声音类型;
第三确定子模块,用于确定所述客户端选择的目标人物图像;
第三配置子模块,用于将所述目标人物图像对应的虚拟人物模型,配置为所述客户端的目标虚拟人物模型;
第四确定子模块,用于确定所述客户端选择的目标声音类型;
第四配置子模块,用于将所述目标声音类型对应的语音模型,配置为所述客户端的目标语音模型。
18.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于获取目标教学课程所属的目标学科和目标级别;
第五获取模块,用于在对第一教学课程进行多次虚拟人物教学后,获取每个客户端每次上课的教学反馈信息、上课状态信息、配置的虚拟模型组合信息,其中,所述第一教学课程为属于所述目标学科以及所述目标级别的每个教学课程,其中,所述配置的虚拟模型组合信息包括虚拟人物模型、语音模型;
第一计算模块,用于根据所述每个客户端每次上课的教学反馈信息,计算所述每个客户端每次上课的分数;
聚类模块,用于根据所述每个客户端每次上课的所述上课状态信息,将上课状态相近的客户端聚为一类,得到多个类型的客户端;
统计模块,用于对于目标类型的多个客户端,根据所述虚拟模型组合信息,统计所述多个客户端被配置的多种虚拟模型组合信息,其中,所述目标类型为所述多个类型中的任意一种类型;
第六获取模块,用于获取所述多个客户端在配置有目标虚拟组合信息的虚拟人物教学过程中,所得到的多个分数,其中,所述目标虚拟模型组合信息为所述多种虚拟模型组合信息中的任意一种虚拟模型组合信息;
第二计算模块,用于计算所述多个分数的平均分,将所述平均分作为所述目标类型的客户端在配置有所述目标虚拟模型组合信息的虚拟人物教学过程中的目标分数;
确定模块,用于将所述目标分数大于预设分数阈值的至少一种目标虚拟模型组合信息,作为推荐给属于所述目标类型的客户端的虚拟模型组合信息。
19.根据权利要求11所述的装置,其特征在于,所述第一配置模块包括:
第四获取子模块,用于在对所述待教学的客户端进行第一教学课程的至少一次虚拟人物教学后,获取所述待教学的客户端针对所述第一教学课程每次上课的上课状态信息;
其中,所述第一教学课程为属于目标学科以及目标级别的每个教学课程,所述目标学科和所述目标级别为所述目标教学课程所属的学科和级别;
第五确定子模块,用于根据所述待教学的客户端的上课状态信息,确定所述待教学的客户端所属的第一目标类型;
第五获取子模块,用于获取推荐给所述第一目标类型的客户端的至少一种虚拟模型组合信息并推荐给所述待教学的客户端,其中,每种所述虚拟模型组合信息包括虚拟人物模型、语音模型;
第五配置子模块,用于根据所述待教学的客户端从所述至少一种虚拟模型组合信息中选取的第一目标虚拟模型组合信息,将所述第一目标虚拟模型组合信息配置给所述待教学的客户端,其中,所述第一目标虚拟模型组合信息包括目标虚拟人物模型和目标语音模型。
20.根据权利要求11所述的装置,其特征在于,
所述输出模块包括:
第六获取子模块,用于获取所述目标虚拟人物模型或所述目标语音模型的目标性别信息,其中,所述多个虚拟人物模型和所述多个语音模型均预先标记有性别信息,且所述目标虚拟人物模型和所述目标语音模型的性别信息相同,所述多个教学语音包括男生版本的多个教学语音和女生版本的多个教学语音;
识别子模块,用于当输出的目标教学元素关联有教学语音标识时,在所述多个教学语音中识别与所述教学语音标识对应的两个版本的第一教学语音;
第七获取子模块,用于在所述两个版本的第一教学语音中,获取版本信息与目标性别信息匹配的目标第一教学语音;
输入输出子模块,用于将所述目标第一教学语音输入至所述目标语音模型,得到第二教学语音并输出。
CN201811326706.1A 2018-11-08 2018-11-08 虚拟人物教学方法及装置 Pending CN109377797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811326706.1A CN109377797A (zh) 2018-11-08 2018-11-08 虚拟人物教学方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811326706.1A CN109377797A (zh) 2018-11-08 2018-11-08 虚拟人物教学方法及装置

Publications (1)

Publication Number Publication Date
CN109377797A true CN109377797A (zh) 2019-02-22

Family

ID=65384136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811326706.1A Pending CN109377797A (zh) 2018-11-08 2018-11-08 虚拟人物教学方法及装置

Country Status (1)

Country Link
CN (1) CN109377797A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110381266A (zh) * 2019-07-31 2019-10-25 百度在线网络技术(北京)有限公司 一种视频生成方法、装置以及终端
CN110598671A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 基于文本的虚拟形象行为控制方法、设备和介质
CN112071138A (zh) * 2020-09-05 2020-12-11 胡振刚 伴学处理方法和装置、电子装置
CN112150865A (zh) * 2019-06-26 2020-12-29 广东小天才科技有限公司 一种互动学习方法及智能装置
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置
CN113194348A (zh) * 2021-04-22 2021-07-30 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
CN113222790A (zh) * 2021-04-26 2021-08-06 深圳市方直科技股份有限公司 基于人工智能的在线课程生成系统及设备
CN113253836A (zh) * 2021-03-22 2021-08-13 联通沃悦读科技文化有限公司 一种基于人工智能与虚拟现实的教学方法及系统
CN113704550A (zh) * 2021-07-15 2021-11-26 北京墨闻教育科技有限公司 教学短片生成方法及系统
CN114187792A (zh) * 2021-12-17 2022-03-15 湖南惟楚有才教育科技有限公司 一种基于互联网课堂教学管理系统及方法
CN114870407A (zh) * 2022-04-29 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数字人体数据采集系统及方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI224759B (en) * 2003-09-12 2004-12-01 Strawberry Software Inc Apparatus and methods for English learning by multiple roles playing in a virtual classroom
CN103117057A (zh) * 2012-12-27 2013-05-22 安徽科大讯飞信息科技股份有限公司 一种特定人语音合成技术在手机漫画配音中的应用方法
US20150037771A1 (en) * 2012-10-09 2015-02-05 Bodies Done Right Personalized avatar responsive to user physical state and context
CN104778560A (zh) * 2015-04-27 2015-07-15 重庆至善信息技术有限公司 学习进度管控方法及装置
CN105373977A (zh) * 2014-08-29 2016-03-02 风腾科技(北京)有限公司 课程教学系统和课程教学系统的操作方法
KR20170055788A (ko) * 2015-11-12 2017-05-22 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템에 포함되는 저작자 단말 및 이를 이용한 가상 신체 정보 생성 및 저장 방법
CN106874472A (zh) * 2017-02-16 2017-06-20 深圳追科技有限公司 一种拟人机器人客服方法
CN107330961A (zh) * 2017-07-10 2017-11-07 湖北燿影科技有限公司 一种文字影音转换方法和系统
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
CN107562195A (zh) * 2017-08-17 2018-01-09 英华达(南京)科技有限公司 人机交互方法及系统
CN107633719A (zh) * 2017-09-15 2018-01-26 张占龙 基于多语种人机交互的拟人形象人工智能教学系统和方法
CN107705643A (zh) * 2017-11-16 2018-02-16 四川文理学院 一种机器人主持教学方法及其装置
CN107704169A (zh) * 2017-09-26 2018-02-16 北京光年无限科技有限公司 虚拟人的状态管理方法和系统
CN107909867A (zh) * 2017-12-01 2018-04-13 深圳市科迈爱康科技有限公司 英语教学方法、装置及计算机可读存储介质
CN107918821A (zh) * 2017-03-23 2018-04-17 广州思涵信息科技有限公司 基于人工智能技术的教师课堂教学过程分析方法和系统
CN107920280A (zh) * 2017-03-23 2018-04-17 广州思涵信息科技有限公司 视频、讲义ppt和语音内容精准匹配的方法和系统
CN105632251B (zh) * 2016-01-20 2018-04-20 华中师范大学 具有语音功能的3d虚拟教师系统及其方法
US20180144651A1 (en) * 2015-07-13 2018-05-24 Mardoche Abdelhak Teaching method using pupil's own likeness as a virtual teacher
CN108376198A (zh) * 2018-02-27 2018-08-07 山东师范大学 一种基于虚拟现实的人群仿真方法及系统
CN108510917A (zh) * 2017-02-27 2018-09-07 北京康得新创科技股份有限公司 基于讲解装置的事件处理方法和讲解装置
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统
CN108766071A (zh) * 2018-04-28 2018-11-06 北京猎户星空科技有限公司 一种内容推送与播放的方法、装置、存储介质及相关设备
JP6419924B1 (ja) * 2017-11-05 2018-11-07 株式会社ウーノラボ 学習支援システムおよび学習支援方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI224759B (en) * 2003-09-12 2004-12-01 Strawberry Software Inc Apparatus and methods for English learning by multiple roles playing in a virtual classroom
US20150037771A1 (en) * 2012-10-09 2015-02-05 Bodies Done Right Personalized avatar responsive to user physical state and context
CN103117057A (zh) * 2012-12-27 2013-05-22 安徽科大讯飞信息科技股份有限公司 一种特定人语音合成技术在手机漫画配音中的应用方法
CN105373977A (zh) * 2014-08-29 2016-03-02 风腾科技(北京)有限公司 课程教学系统和课程教学系统的操作方法
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
CN104778560A (zh) * 2015-04-27 2015-07-15 重庆至善信息技术有限公司 学习进度管控方法及装置
US20180144651A1 (en) * 2015-07-13 2018-05-24 Mardoche Abdelhak Teaching method using pupil's own likeness as a virtual teacher
KR20170055788A (ko) * 2015-11-12 2017-05-22 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템에 포함되는 저작자 단말 및 이를 이용한 가상 신체 정보 생성 및 저장 방법
CN105632251B (zh) * 2016-01-20 2018-04-20 华中师范大学 具有语音功能的3d虚拟教师系统及其方法
CN106874472A (zh) * 2017-02-16 2017-06-20 深圳追科技有限公司 一种拟人机器人客服方法
CN108510917A (zh) * 2017-02-27 2018-09-07 北京康得新创科技股份有限公司 基于讲解装置的事件处理方法和讲解装置
CN107920280A (zh) * 2017-03-23 2018-04-17 广州思涵信息科技有限公司 视频、讲义ppt和语音内容精准匹配的方法和系统
CN107918821A (zh) * 2017-03-23 2018-04-17 广州思涵信息科技有限公司 基于人工智能技术的教师课堂教学过程分析方法和系统
CN107330961A (zh) * 2017-07-10 2017-11-07 湖北燿影科技有限公司 一种文字影音转换方法和系统
CN107562195A (zh) * 2017-08-17 2018-01-09 英华达(南京)科技有限公司 人机交互方法及系统
CN107633719A (zh) * 2017-09-15 2018-01-26 张占龙 基于多语种人机交互的拟人形象人工智能教学系统和方法
CN107704169A (zh) * 2017-09-26 2018-02-16 北京光年无限科技有限公司 虚拟人的状态管理方法和系统
JP6419924B1 (ja) * 2017-11-05 2018-11-07 株式会社ウーノラボ 学習支援システムおよび学習支援方法
CN107705643A (zh) * 2017-11-16 2018-02-16 四川文理学院 一种机器人主持教学方法及其装置
CN107909867A (zh) * 2017-12-01 2018-04-13 深圳市科迈爱康科技有限公司 英语教学方法、装置及计算机可读存储介质
CN108376198A (zh) * 2018-02-27 2018-08-07 山东师范大学 一种基于虚拟现实的人群仿真方法及系统
CN108766071A (zh) * 2018-04-28 2018-11-06 北京猎户星空科技有限公司 一种内容推送与播放的方法、装置、存储介质及相关设备
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
REATEGUI.E.: ""Personalization in an interactive learning environment through a virtual character"", 《COMPUTERS & EDUCATION》 *
夏志鹏等: ""三维虚拟学习环境中操作指导型训教师设计与实现"", 《中国电化教育》 *
孙波等: ""三维虚拟教师的设计与应用研究"", 《电化教育研究》 *
赵慧勤等: ""教育虚拟智能体技术的具有情感支持的三维虚拟教师的研究"", 《中国电化教育》 *
雷武超等: ""结构化课件自动生成系统设计方案"", 《中国教育技术装备》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033659B (zh) * 2019-04-26 2022-01-21 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN112150865A (zh) * 2019-06-26 2020-12-29 广东小天才科技有限公司 一种互动学习方法及智能装置
CN110381266A (zh) * 2019-07-31 2019-10-25 百度在线网络技术(北京)有限公司 一种视频生成方法、装置以及终端
CN110598671A (zh) * 2019-09-23 2019-12-20 腾讯科技(深圳)有限公司 基于文本的虚拟形象行为控制方法、设备和介质
CN110598671B (zh) * 2019-09-23 2022-09-27 腾讯科技(深圳)有限公司 基于文本的虚拟形象行为控制方法、设备和介质
CN112071138A (zh) * 2020-09-05 2020-12-11 胡振刚 伴学处理方法和装置、电子装置
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置
CN112634684B (zh) * 2020-12-11 2023-05-30 深圳市木愚科技有限公司 智能教学方法和装置
CN113253836A (zh) * 2021-03-22 2021-08-13 联通沃悦读科技文化有限公司 一种基于人工智能与虚拟现实的教学方法及系统
CN113194348B (zh) * 2021-04-22 2022-07-22 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
CN113194348A (zh) * 2021-04-22 2021-07-30 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
CN113222790A (zh) * 2021-04-26 2021-08-06 深圳市方直科技股份有限公司 基于人工智能的在线课程生成系统及设备
CN113704550A (zh) * 2021-07-15 2021-11-26 北京墨闻教育科技有限公司 教学短片生成方法及系统
CN114187792A (zh) * 2021-12-17 2022-03-15 湖南惟楚有才教育科技有限公司 一种基于互联网课堂教学管理系统及方法
CN114187792B (zh) * 2021-12-17 2022-08-05 湖南惟楚有才教育科技有限公司 一种基于互联网课堂教学管理系统及方法
CN114870407A (zh) * 2022-04-29 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数字人体数据采集系统及方法

Similar Documents

Publication Publication Date Title
CN109377797A (zh) 虚拟人物教学方法及装置
CN109584648A (zh) 数据生成方法及装置
CN109801525B (zh) 一种用于网络教学的师生多维匹配方法和系统
Minneman The social construction of a technical reality: empirical studies of group engineering design practice
CN105632251B (zh) 具有语音功能的3d虚拟教师系统及其方法
Gall et al. Music composition lessons: the multimodal affordances of technology
CN109801193A (zh) 一种具有语音评价功能的跟随教学系统
CN109698920A (zh) 一种基于互联网教学平台的跟随教学系统
CN105243907B (zh) 一种基于编辑器的数字教育资源教学系统
Edwards et al. Multimedia interface design in education
CN108009954A (zh) 一种教学计划制定方法、装置、系统及电子设备
KR102035088B1 (ko) 스토리텔링 기반 멀티미디어 무인 원격 1:1 맞춤형 교육시스템
CN108763342A (zh) 学习资源分配方法和装置
CN115953521B (zh) 远程数字人渲染方法、装置及系统
Borgdorff et al. Dialogues between artistic research and science and technology studies: an introduction
CN110046290B (zh) 一种个性化自主教学课程系统
Sudu [Retracted] Design and Application of Vocal Music Teaching Management System
CN107832334A (zh) 基于编辑器的数字教育教学系统
Okamoto et al. Towards intelligent media-oriented distance learning and education environments
Tuo et al. Construction and Application of a Human‐Computer Collaborative Multimodal Practice Teaching Model for Preschool Education
Cervantes Culturally relevant performance pedagogies: Exploring the value of AfroLatina/o music performance projects at a Hispanic-serving institution
CN111461153B (zh) 人群特征深度学习方法
de Abreu Music Conducting Pedagogy and Technology: A Document Analysis on Best Practices
Spiess et al. Modeling the immune system with gestures: A choreographic view of embodiment in science
Guadalupe User-Centered Design to a Digital Cultural Heritage Installation Based on Afro-Peruvian Musical Legacy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication