CN113626622A - 互动教学中的多媒体数据展示方法及相关设备 - Google Patents

Abstract

本公开提供一种互动教学中的多媒体数据展示方法及相关设备；该方法包括：获取用户在互动教学中输入的输入信息；对所述输入信息进行关键词识别，得到关键词信息；根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；获取所述用户的个性化信息；根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。本公开还提供了与所述方法相应的装置、电子设备及存储介质。

Description

互动教学中的多媒体数据展示方法及相关设备

技术领域

本公开涉及多媒体互动教学技术领域，尤其涉及一种互动教学中的多媒体数据展示方法、装置、电子设备及存储介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着终端设备技术、云技术等新技术的快速发展和广泛推广使用，各种教学场景下的授课教学方式也逐渐多样化，授课教学方式从传统教学模式更趋向于互动自由化。目前，用户通过其个人的终端设备，结合应用本地和云端的多媒体资源实现的多媒体互动教学已经成为主流的授课教学方式。

然而，现有的多媒体互动教学过程中，向用户展示的多媒体数据往往是预先设置好且固定不变的，无法实现对于用户的个性化交互，互动教学的效率较低，也造成教学效果不佳。

发明内容

针对上述技术问题，非常需要一种改进的方案，能够实现个性化多媒体互动教学，提升互动教学的效率和教学效果。

本公开示例性实施例提供了一种互动教学中的多媒体数据展示方法，包括：

获取用户在互动教学中输入的输入信息；

对所述输入信息进行关键词识别，得到关键词信息；

根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；

获取所述用户的个性化信息；

根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

在一些示例性实施例中，所述输入信息包括：文本信息、语音信息、图像信息中的至少一个。

在一些示例性实施例中，所述输入信息包括语音信息时，所述对所述输入信息进行关键词识别，得到关键词信息，具体包括：对所述语音信息进行语义识别，得到所述语音信息对应的语义信息；对所述语义信息进行关键词识别，得到所述关键词信息。

在一些示例性实施例中，所述根据所述关键词信息以及预定的对应关系，获取所述关键词信息对应的原始多媒体数据，具体包括：根据所述关键词信息，在存储带有关键词标签的多媒体数据的数据库中进行匹配检索，将带有与所述关键词信息匹配的关键词标签的多媒体数据，作为所述原始多媒体数据；或，将所述关键词信息输入预先训练的多媒体数据输出模型，以得到所述多媒体数据输出模型输出的所述原始多媒体数据。

在一些示例性实施例中，所述个性化信息包括：所述用户的注册信息、所述用户的教学历史信息、用户的画像信息中的至少一个。

在一些示例性实施例中，所述根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，具体包括：根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

在一些示例性实施例中，所述输入信息包括语音信息时，所述根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，具体包括：对所述语音信息进行声纹提取，得到声纹特征；根据所述声纹特征，生成个性化音频数据元素；根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化音频数据元素、所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

基于同一发明构思，本公开示例性实施例还提供了一种互动教学中的多媒体数据展示装置，包括：

第一获取模块，被配置为获取用户在互动教学中输入的输入信息；

识别模块，被配置为对所述输入信息进行关键词识别，得到关键词信息；

第二获取模块，被配置为根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；

第三获取模块，被配置为获取所述用户的个性化信息；

生成模块，被配置为根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

基于同一发明构思，本公开示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。

基于同一发明构思，本公开示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任一所述方法。

从上面所述可以看出，本公开示例性实施例提供的互动教学中的多媒体数据展示方法、装置、电子设备及存储介质，通过对用户输入的输入信息进行关键词识别，以得到用于体现用户意图或关键内容的关键词信息，基于该关键词信息获取对应的原始多媒体数据；此外，还会获取能够体现用户个性化属性或特点的用户的个性化信息；基于该个性化信息与原始多媒体数据，生成并展示针对于用户的个性化多媒体数据，从而实现了互动教学中的多媒体数据的个性化展示，显著的增强了互动教学中用户的交互感和真实感，以及提升了互动教学的效率和教学效果。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开示例性实施例的应用场景示意图；

图2为本公开示例性实施例的互动教学中的多媒体数据展示方法流程示意图；

图3为本公开示例性实施例中个性化多媒体数据展示效果示意图；

图4为本公开示例性实施例的互动教学中的多媒体数据展示装置结构示意图；

图5为本公开示例性实施例的电子设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

根据本公开的实施方式，提出了一种互动教学中的多媒体数据展示方法、装置、电子设备及存储介质。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

现有的多媒体互动教学过程中，用户在使用终端设备，通过终端设备上安装的应用程序领域本地的或云端的资源进行互动教学时，虽然具有较高的互动性，但大量用户的长时间使用，仍暴露出互动教学的效率较低、教学效果不佳的问题。

本公开的发明人发现，造成上述现有技术存在的互动教学的效率较低、教学效果不佳的问题的原因在于：在现有的互动教学中，虽然会响应于用户的输入而进行多媒体数据的展示，但向用户展示的多媒体数据是预先设置好的、且对于不同的用户均是固定不变的。例如，在语音教学活动场景中，用户通过语音输入“苹果”的语音，终端设备会相应的向用户展示“苹果”的动画视频；虽然上述示例的语音教学过程，实现了教育过程中的互动性，但对于不同的用户，其语音输入“苹果”后，均会展示同样的“苹果”动画视频，效果单一，无法实现对于用户的个性化设置；此外，固定不变的多媒体数据反馈极易造成在互动教学中用户的交互感和真实感下降，影响互动教学的效率和教学效果。

为解决上述问题，本公开提供了一种互动教学中的多媒体数据展示方案，具体包括：获取用户在互动教学中输入的输入信息；对所述输入信息进行关键词识别，得到关键词信息；根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；获取所述用户的个性化信息；根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。本公开实施例的方案，通过对用户输入的输入信息进行关键词识别，以得到用于体现用户意图或关键内容的关键词信息，基于该关键词信息获取对应的原始多媒体数据；此外，还会获取能够体现用户个性化属性或特点的用户的个性化信息；基于该个性化信息与原始多媒体数据，生成并展示针对于用户的个性化多媒体数据，从而实现了互动教学中的多媒体数据的个性化展示，显著的增强了互动教学中用户的交互感和真实感，以及提升了互动教学的效率和教学效果。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

参考图1，其为本公开实施例提供的互动教学中的多媒体数据展示方法的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

服务器102用于向终端设备101的用户提供互动教学服务，终端设备101中安装有与服务器102通信的客户端，用户可通过该客户端进行互动教学活动。在互动教学过程中，客户端通过调用终端设备101输入组件(如键盘、麦克风等)来获取用户输入的输入信息，并通过预先设置的关键词识别算法对输入信息进行关键词识别，以得到关键词信息；客户端将关键词信息发送给服务器102。数据存储系统103中存储有海量多媒体数据，且存储的多媒体数据均通过预先设置的关联关系关联有相应的关键词。服务器102通过该关键词信息，在数据存储系统103中进行匹配检索，得到与该关键词信息对应的原始多媒体数据并返回至终端设备101。终端设备101进一步从本地或服务器102获取用户的个性化信息，并将该用户的个性化信息与原始多媒体数据进行组合，生成针对于该用户的个性化多媒体数据，通过输出组件(如显示屏、扬声器等)输出展示该个性化多媒体数据，从而实现了互动教学中的多媒体数据的个性化展示，增强互动教学中用户的交互感和真实感，并提升互动教学的效率和教学效果。

下面结合图1的应用场景，来描述根据本公开示例性实施方式的图像的处理方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

示例性方法

参考图2，本公开实施例提供了一种互动教学中的多媒体数据展示方法，包括以下步骤：

步骤S201、获取用户在互动教学中输入的输入信息。

具体实施时，本步骤可以由终端设备执行。用户在使用终端设备进行互动教学活动过程中，基于教学活动的内容，会通过终端设备的输入组件输入与教学活动内容相关的输入信息。例如，在进行答题环节，用户会根据题目相应的输入题目的答案；又如，在课堂提问环节，用户会输入并提交其需要解答的问题。

具体实施时，基于教学活动的具体场景，用户输入的输入信息可以为文本信息、语音信息或图像信息，或者是前述各种类型的信息中的任意种数量的组合。其中，图像信息可以是图片或视频。需要说明的是，输入信息并不限于上述例举的数据类型，凡是能够表达用户在互动教学中的意图的信息数据，均可以作为本公开实施例中的所述输入信息。

步骤S202、对所述输入信息进行关键词识别，得到关键词信息。

具体实施时，通过关键词识别技术对于输入信息进行关键词识别，以得到输入信息中包含的关键词信息。其中，关键词信息是指能够表达整个输入信息的语义、主旨含义、主要内容等关键要素的部分内容。在相关技术领域中，对于文本信息、语音信息、图像信息等各种类型的信息进行关键词识别的技术术已经较为成熟，在本公开实施例中，可以通过任意可行的关键词识别技术，实现本步骤中的对于输入信息的关键词识别处理。

具体实施时，当输入信息包括文本信息时，由于常见的关键词识别技术是以文本为基础实现的，故对于文本信息可以直接进行关键词识别处理。

具体实施时，当输入信息包括语音信息时，需要先对获取到的语音信息先进行语义识别，以得到文本形式的语义信息，再基于文本形式的语义信息进行关键词识别处理。则得到关键词信息的步骤可以表述为：对所述语音信息进行语义识别，得到所述语音信息对应的语义信息；对所述语义信息进行关键词识别，得到所述关键词信息。

具体实施时，当输入信息包括图像信息时，需要对图像中的具体对象进行识别，以将图像中的具体对象转化为关键词。则得到关键词信息的步骤可以表述为：对图像信息进行图像识别，以确定图像信息包括的目标对象；根据目标对象生成关键词信息。例如，获取到的输入信息为包含有苹果的图片，则进行图像识别后，确定图片中包括有苹果，则进一步根据苹果这个目标对象，生成内容为苹果的关键词信息。

具体实施时，本步骤可以由终端设备执行，或者由终端设备和服务器通过交互方式执行。在由终端设备执行时，终端设备安装的客户端内可以预装关键词识别算法程序，以实现关键词识别处理；在由终端设备和服务器通过交互方式执行时，终端设备可以将用户输入的输入信息发送至服务器，服务器上可以预装关键词识别算法程序，以实现关键词识别处理。

步骤S203、根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据。

具体实施时，所述的原始多媒体数据的内容与关键词信息存在对应关系，即原始多媒体数据能够用于表达关键词信息的内容或含义。例如，关键词信息为苹果，原始多媒体数据可以为主要内容为苹果或者是内容包含有苹果这个元素的动画、视频、音频等。

作为可选的，可以通过访问并检索存储带有关键词标签的多媒体数据的数据库的方式来获取原始多媒体数据。则获取原始多媒体数据的步骤可以表述为：根据所述关键词信息，在存储带有关键词标签的多媒体数据的数据库中进行匹配检索，将带有与所述关键词信息匹配的关键词标签的多媒体数据，作为所述原始多媒体数据。其中，预先设置的数据库中存储有海量的多媒体数据，该些多媒体数据均分别预先关联有关键词标签，该关键词标签记载了多媒体数据的内容与相应的关键词之间的对应关系；例如，多媒体数据具体为苹果的动画视频，则该多媒体数据关联的关键词标签为苹果。在进行匹配检索时，使用关键词信息与数据库中的多媒体数据关联的关键词标签进行匹配，得到带有与关键词信息匹配的关键词标签的多媒体数据，该多媒体数据在本公开实施例中称之为原始多媒体数据。进一步的，当匹配得到的多媒体数据的数量多于一个时，还可以根据关键词信息与数关键词标签的相似度进行选择、或者随机选择的方式，来选定一个多媒体数据作为原始多媒体数据。当然，根据具体的多媒体数据展示设置，也可以确定出多于一个的原始多媒体数据，并在后续步骤中进行同时展示。

具体实施时，通过访问并检索存储带有关键词标签的多媒体数据的数据库的方式来获取原始多媒体数据，可以由终端设备和服务器通过交互方式执行。终端设备可以将关键词信息发送至服务器，服务器使用关键词信息在数据库中检索得到原始多媒体数据后返回至终端设备。

作为可选的，还可以通过机器学习模型的方式来根据关键词信息生成原始多媒体数据。则获取原始多媒体数据的步骤可以表述为：将所述关键词信息输入预先训练的多媒体数据输出模型，以得到所述多媒体数据输出模型输出的所述原始多媒体数据。其中，多媒体数据输出模型是基于由关键词信息和对应的多媒体数据构成样本集数据进行训练后得到的。在具体实施时，可以选择任意现有的动画生成模型、视频输出模型或音频输出模型，作为原始模型；根据本公开实施例的互动教学场景，选择作为样本集数据的关键词信息和对应的多媒体数据，采用任意的模型训练方法对原始模型进行训练后，即可得到所述的多媒体数据输出模型。

具体实施时，通过机器学习模型的方式生成原始多媒体数据，可以由终端设备执行，或者由终端设备和服务器通过交互方式执行。在由终端设备执行时，终端设备安装的客户端内可以存储预先训练好的多媒体数据输出模型，并将关键词信息经过嵌入处理(例如one-hot编码)后输入多媒体数据输出模型，以得到多媒体数据输出模型输出的原始多媒体数据；在由终端设备和服务器通过交互方式执行时，终端设备可以将关键词信息发送至服务器，服务器可以存储预先训练好的多媒体数据输出模型，并将关键词信息经过嵌入处理后输入多媒体数据输出模型，以得到多媒体数据输出模型输出的原始多媒体数据，并将原始多媒体数据返回至终端设备。

步骤S204、获取所述用户的个性化信息。

具体实施时，获取用户的个性化信息，该个性化信息用于表示该用户独有的、区别于其他用户的特征，以作为本公开实施例中的个性化多媒体数据展示的基础。具体的，个性化信息可以包括：用户的注册信息、用户的教学历史信息、用户的画像信息中的至少一个。

具体实施时，用户的注册信息为用户使用终端设备上的客户端时，注册成为合法用户时所提交的信息，例如可以包括姓名、性别、年龄、生日等自然人的固有信息，也可以包括用户的头像、昵称等客户端内的相关信息。该注册信息可以保存在服务器，在执行本步骤时终端设备向服务器请求并接收服务器返回的上述用户的注册信息。

具体实施时，用户的教学历史信息可以为用户使用终端设备上的客户端进行教育活动的历史数据，该教学历史信息反映了用户使用客户端进行教育活动内容、时长、结果等数据，能够体现该用户区别于其他用户的教学历程。该教学历史信息例如可以包括用户的学习时长、已完成的课程等反映用户实际学习历史的数据。在一些客户端中，对应于用户的教学历史，还会相应的为用户设置等级、勋章等指标数据，教学历史信息也可以包括上述与用户的教学历史对应的指标数据。该教学历史信息可以保存在服务器，在执行本步骤时终端设备向服务器请求并接收服务器返回的上述用户的教学历史信息。

具体实施时，用户的画像信息可以是将用户的在互动教学过程中所涉及的各个方面的具体信息抽象成标签，利用这些标签将用户形象具体化的数据。本公开实施例中，可以通过任意现有的用户画像生成算法或模型，基于该用户在在互动教学过程中产生的数据来生成用户的画像信息。上述用户画像生成算法或模型可以预置于终端设备，在执行本步骤时终端设备可以实时的根据用户的相关数据生成用户的画像信息；上述用户画像生成算法或模型可以预置于服务器，并根据相关数据生成用户的画像信息，终端设备可以向服务器请求并接收服务器返回的上述用户的画像信息。

步骤S205、根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

具体实施时，生成并展示的个性化多媒体数据，其不仅包括有原始多媒体数据中与关键词信息对应的部分内容，同时还包括有与用户的个性化信息对应的部分内容，从而实现针对于用户的多媒体数据的个性化展示。

作为可选的，生成个性化多媒体数据的步骤可以具体包括：根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

其中，个性化多媒体数据元素为能够反映用户的个性化信息的多媒体数据。当多媒体数据为图片时，个性化多媒体数据元素可以为根据用户的个性化信息生成的虚拟人物形象和虚拟标识对象。例如，根据用户的个性化信息，可以确定用户的性别、年龄，确定用户的学习时长为100小时，以及确定用户在客户端内的学习等级为三级。则可以生成的个性化多媒体数据元素为一相应性别、年龄虚拟人物形象，该虚拟人物形象进一步带有表示学习时长100小时(100hours)和等级三级的虚拟标识对象(LV.3)。例如，用户通过语音方式输入的输入信息为苹果，则根据前述步骤得到的原始多媒体数据为苹果虚拟形象。基于该得到的虚拟人物形象、虚拟标识对象以及苹果虚拟形象，将其进行组合，即得到个性化多媒体数据，具体场景示意和展示效果可参考图3所示。该个性化多媒体数据中，即包括有用户的输入数据对应的苹果的内容，也包括体现该用户自身的个性化的虚拟人物和标识。类似的，当多媒体数据为视频时，个性化多媒体数据元素即为视频中的动态化队形。此外，个性化多媒体数据还可以包括音频，例如在上述示例中，除展示包括有虚拟人物形象、虚拟标识对象以及苹果虚拟形象的图片之外，还会同时输出苹果的音频。

作为可选的，在前述个性化多媒体数据包括有音频数据的实施方式的基础上，还可以进一步使用用户的声音来输出该音频数据。具体的，在用户通过语音方式输入所述的输入信息时，可以对于该输入信息进行进行声纹提取，得到用户的声纹特征。相应的，在生成个性化多媒体数据的步骤中，还会基于该用户的声纹特征来生成个性化音频数据元素，该个性化音频数据元素即为通过用户的声音输出的关键词信息对应的内容，后续在基于该个性化音频数据元素、个性化多媒体数据元素和原始多媒体数据进行组合得到个性化多媒体数据；例如在前述示例中，即通过用户的声音输出苹果的语音。上述过程可以表述为：对于用户输入的所述语音信息进行声纹提取，得到声纹特征；根据所述声纹特征，生成个性化音频数据元素；根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化音频数据元素、所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。在该实施方式下，个性化多媒体数据进一步包括用户自身语音的内容，能够进一步的提升个性化展示的效果。

由上述本公开示例性实施例可见，本公开通过对用户输入的输入信息进行关键词识别，以得到用于体现用户意图或关键内容的关键词信息，基于该关键词信息获取对应的原始多媒体数据；此外，还会获取能够体现用户个性化属性或特点的用户的个性化信息；基于该个性化信息与原始多媒体数据，生成并展示针对于用户的个性化多媒体数据，从而实现了互动教学中的多媒体数据的个性化展示，显著的增强了互动教学中用户的交互感和真实感，以及提升了互动教学的效率和教学效果。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

示例性设备

基于同一发明构思，与上述任意示例性实施例方法相对应的，本公开还提供了一种互动教学中的多媒体数据展示装置。

参考图4，该互动教学中的多媒体数据展示装置，包括：

第一获取模块401，被配置为获取用户在互动教学中输入的输入信息；

识别模块402，被配置为对所述输入信息进行关键词识别，得到关键词信息；

第二获取模块403，被配置为根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；

第三获取模块404，被配置为获取所述用户的个性化信息；

生成模块405，被配置为根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

在一些示例性实施例中，所述输入信息包括：文本信息、语音信息、图像信息中的至少一个。

在一些示例性实施例中，识别模块402，具体被配置为对所述语音信息进行语义识别，得到所述语音信息对应的语义信息；对所述语义信息进行关键词识别，得到所述关键词信息。

在一些示例性实施例中，第二获取模块403，具体被配置为根据所述关键词信息，在存储带有关键词标签的多媒体数据的数据库中进行匹配检索，将带有与所述关键词信息匹配的关键词标签的多媒体数据，作为所述原始多媒体数据；或，将所述关键词信息输入预先训练的多媒体数据输出模型，以得到所述多媒体数据输出模型输出的所述原始多媒体数据。

在一些示例性实施例中，所述个性化信息包括：所述用户的注册信息、所述用户的教学历史信息、用户的画像信息中的至少一个。

在一些示例性实施例中，生成模块405，具体被配置为根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

在一些示例性实施例中，生成模块405，具体被配置为对所述语音信息进行声纹提取，得到声纹特征；根据所述声纹特征，生成个性化音频数据元素；根据所述个性化信息，生成个性化多媒体数据元素；将所述个性化音频数据元素、所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

上述实施例的装置用于实现前述任一实施例中相应的互动教学中的多媒体数据展示方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意示例性实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的互动教学中的多媒体数据展示方法。

图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的互动教学中的多媒体数据展示方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

示例性程序产品

基于同一发明构思，与上述任意示例性实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的互动教学中的多媒体数据展示方法。

上述非暂态计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上示例性方法部分中任一实施例所述的互动教学中的多媒体数据展示方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (10)

1.一种互动教学中的多媒体数据展示方法，包括：

获取用户在互动教学中输入的输入信息；

对所述输入信息进行关键词识别，得到关键词信息；

根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；

获取所述用户的个性化信息；

根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

2.根据权利要求1所述的方法，其中，所述输入信息包括：文本信息、语音信息、图像信息中的至少一个。

3.根据权利要求2所述的方法，其中，所述输入信息包括语音信息时，所述对所述输入信息进行关键词识别，得到关键词信息，具体包括：

对所述语音信息进行语义识别，得到所述语音信息对应的语义信息；

对所述语义信息进行关键词识别，得到所述关键词信息。

4.根据权利要求1所述的方法，其中，所述根据所述关键词信息以及预定的对应关系，获取所述关键词信息对应的原始多媒体数据，具体包括：

根据所述关键词信息，在存储带有关键词标签的多媒体数据的数据库中进行匹配检索，将带有与所述关键词信息匹配的关键词标签的多媒体数据，作为所述原始多媒体数据；

或，

将所述关键词信息输入预先训练的多媒体数据输出模型，以得到所述多媒体数据输出模型输出的所述原始多媒体数据。

5.根据权利要求1所述的方法，其中，所述个性化信息包括：所述用户的注册信息、所述用户的教学历史信息、用户的画像信息中的至少一个。

6.根据权利要求1所述的方法，其中，所述根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，具体包括：

根据所述个性化信息，生成个性化多媒体数据元素；

将所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

7.根据权利要求2所述的方法，其中，所述输入信息包括语音信息时，所述根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，具体包括：

对所述语音信息进行声纹提取，得到声纹特征；

根据所述声纹特征，生成个性化音频数据元素；

根据所述个性化信息，生成个性化多媒体数据元素；

将所述个性化音频数据元素、所述个性化多媒体数据元素与所述原始多媒体数据进行组合，以得到所述个性化多媒体数据。

8.一种互动教学中的多媒体数据展示装置，包括：

第一获取模块，被配置为获取用户在互动教学中输入的输入信息；

识别模块，被配置为对所述输入信息进行关键词识别，得到关键词信息；

第二获取模块，被配置为根据所述关键词信息，获取所述关键词信息对应的原始多媒体数据；

第三获取模块，被配置为获取所述用户的个性化信息；

生成模块，被配置为根据所述个性化信息与所述原始多媒体数据，生成个性化多媒体数据，并展示所述个性化多媒体数据。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。

10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。

Images