CN115220608B - 互动小说中多媒体数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种互动小说中多媒体数据的处理方法及装置，该方法包括：调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动；在小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容。通过在目标用户阅读互动小说时向终端设备发送小说正文内容关联的多媒体数据，进而通过终端设备播放给目标用户，增强用户阅读互动小说时的沉浸感，提高目标用户的阅读体验。

Description

互动小说中多媒体数据的处理方法及装置

技术领域

本发明涉及一般数据处理领域，尤其涉及一种互动小说中多媒体数据的处理方法及装置。

背景技术

随着现代人的生活节奏越来越快，人们已经很少有时间坐下来认真读书了，不少现代人选择通过有声读物在通勤途中通过听的方式阅读书籍。有声读物是传统书的一种衍生形式，它是随着声磁技术的发展而开发出的一种以磁化物为载体并带有播放功能的书。人们最为常见的有声读物种类是有声小说。但有声小说通过朗读程序朗读的小说情节往往过于机械和晦涩，用户不能快速沉浸到作者描述的小说场景中，使得用户在阅读小说时对部分情节的理解不够直观，难以达到沉浸式阅读的状态，用户体验有待改善。

发明内容

针对上述问题，本申请实例提供了一种互动小说中多媒体数据的处理方法及装置，使得用户能够通过语音控制小说情节跳转，并根据情节对应的文本文字获得对应的多媒体数据，提升小说感染力，进而提升用户的沉浸式阅读体验。

为实现上述目的，第一方面，本申请实施例提供了一种互动小说中多媒体数据的处理方法，应用于互动小说营销系统的服务器，互动小说营销系统包括服务器和供用户使用互动小说的终端设备，其中，服务器包括根据互动小说对应人机对话引擎，所述人机对话引擎的人机对话逻辑通过人机对话剧本赋予，人机对话剧本包括多个人机对话剧情节点，单个人机对话剧情节点包括机器对话内容和预期用户对话内容；该方法包括：调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动；在小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容。

可以看出在本申请实施例中，通过在目标用户阅读互动小说时向终端设备发送小说正文内容关联的多媒体数据，进而通过终端设备播放给目标用户，增强用户阅读互动小说时的沉浸感，提高目标用户的阅读体验。

结合第一方面，在一种可能的实施例中，向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容之前，方法还包括：

向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据；

接收到来自终端设备的指示用户同意打开的响应消息。

结合第一方面，在一种可能的实施例中，在向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据之后，该方法还包括：若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容。

可以看出在本申请实施例中，通过发送询问消息以询问用户是否需要打开关联的多媒体数据，若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容，根据目标用户需求，对有沉浸式体验需求的用户开启多媒体互动模式，提升互动小说的沉浸体验，对无沉浸式体验需求的用户则仅发送小说正文以向用户展示对应内容满足目标用户的多样需求，进而提高了了目标用户阅读时的阅读体验和沉浸感。

结合第一方面，在一种可能的实施例中，小说正文内容的显示时间和关联的多媒体数据的播放时间相同。

结合第一方面，在一种可能的实施例中，关联的多媒体数据的输出方式包括以下任意一种：弹幕方式、浮窗方式、背景方式。

结合第一方面，在一种可能的实施例中，关联的多媒体数据的创建方式包括开发者创建或者用户创建。

结合第一方面，在一种可能的实施例中，若关联的多媒体数据的创建方式为用户创建，则关联的多媒体数据包括不同用户上传的多个可选多媒体数据，人机对话引擎能够响应用户针对多个可选多媒体数据中的一个多媒体数据的选取操作，向终端设备发送被选取的多媒体数据以向用户展示。

结合第一方面，在一种可能的实施例中，该方法还包括：接收来自终端设备的媒体数据更新请求消息，媒体数据更新请求消息用于指示候选多媒体数据，候选多媒体数据为用户针对当前处理的人机对话剧情节点的原始多媒体数据指示更新的多媒体数据；响应媒体数据更新请求消息，建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系。

可以看出在本申请实施例中，目标用户可以根据理解判断自行调整互动小说中的多媒体数据的播放内容，播放时机等。并建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系，用户可以将自己编辑调整的多媒体数据版本用于互相阅读分享，提高了目标用户在多媒体互动下的自由度，还进一步提高了多媒体数据的与小说文本文字数据的匹配精准度。

结合第一方面，在一种可能的实施例中，原始多媒体数据为包含原始背景音乐的多媒体数据，候选多媒体数据为将原始背景音乐更换为目标背景音乐的多媒体数据；方法还包括：为完成多媒体数据更新的互动小说的人机对话剧本创建目标版本链接；向其他用户的其他终端设备发送携带互动小说的版本链接集合的更新消息，版本链接集合包括原始版本链接和目标版本链接，原始版本链接对应包含原始多媒体数据的人机对话剧本，更新消息用于指示在其他终端设备的互动小说的版本选择界面中显示的原始版本链接和目标版本链接；接收来自其他终端设备发送的指示使用目标版本链接的请求消息；向其他终端设备调用人机对话引擎在其他终端设备的互动小说界面上按照更新后的人机对话剧本与其他用户进行小说互动以实现候选多媒体数据的播放。

第二方面本申请实施例提供了一种互动小说中多媒体数据的处理装置，所述装置用于执行互动小说中多媒体数据的处理方法，其特征在于包括：

调用单元：用于调用所述人机对话引擎在所述终端设备的互动小说界面上按照所述人机对话剧本与所述用户进行小说互动；

判断单元：用于在所述小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：

发送单元：用于向所述终端设备发送所述小说正文内容和所述关联的多媒体数据以向所述用户展示对应内容。

第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由处理器执行，所述一条或多条指令适于由所述处理器加载并执行如第一方面的方法的部分或者全部。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，计算机程序使得计算机执行如第一方面的方法的部分或者全部。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种互动小说中多媒体数据的处理系统的结构示意图；

图2为本申请实施例提供的一种互动小说中多媒体数据的处理方法的流程示意图；

图3为本申请实施例提供的一种三元组结构示意图；

图4为本申请实施例提供的一种小说正文的推理联想方法示意图；

图5为本申请实施例提供的一种多媒体数据的浮窗播放方式示意图；

图6为本申请实施例提供的一种多媒体数据的背景播放方式示意图；

图7为本申请实施例提供的一种候选多媒体数据更新的界面示意图；

图8为本申请实施例提供的一种终端设备提供的多媒体数据版本选择示意图；

图9为本申请实施例提供的一种互动小说中多媒体数据的处理装置的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面结合附图对本申请的实施例进行描述。

目前，结合人工智能技术的发展，读者可以通过语音与有声小说进行互动，包括扮演文中的角色与小说互动，或者通过语音控制情节发展，使得有声小说跳转到读者感兴趣的情节等。但在互动小说描述的内容过于丰富或晦涩时，用户不能快速沉浸到作者描述的场景中，使得用户对小说的部分情节理解不够直观。

针对上述问题，本申请提出一种互动小说中多媒体数据的处理方法及装置，下面结合附图进行说明。

请参见图1，图1为本申请实施例提供的互动小说中多媒体数据的处理系统100的结构示意图,如图1所示该小说多媒体互动系统包括终端设备101和服务器102，终端设备101是指用户操作的，用于阅读互动小说，并且可以向服务器102发送用户的语音指令，控制指令等指令，或者接收服务器102发送的多媒体数据，也可以称为终端、终端设备、移动台、移动终端等。具体可以是手机、平板电脑、带无线收发功能的电脑、可穿戴设备、车载设备、机器人、智能家居设备等。服务器102包括人机对话引擎用于接收用户终端101发送的指令，为用户终端101发送人机对话剧情节点对应的多媒体数据。

请参见图2，图2为本申请实施例提供的一种互动小说中多媒体数据的处理方法的流程示意图，如图2所示，包括步骤S201-S202。

S201:调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动。

具体地，这里的人机对话引擎为本申请实施例提供的一种基于AI语音技术的智能人机语音对话引擎，具体用于目标用户扮演固定角色，人机对话引擎扮演其他角色，目标用户与人机对话引擎进行语音交流，人机对话引擎接收目标用户到的语音信息，通过语音算法得知目标用户的语义，根据目标用户的语义影响小说剧情的发展走向。

在一种可能的实施例中，调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动之前，该方法还包括：对互动小说文本文字数据进行文本解析，获得文本文字数据对应的至少一个三元组，至少一个三元组中每个三元组包括两个知识节点，以及两个知识节点之间的连接关系；将文本文字数据对应的至少一个三元组与模板三元组进行匹配，确定目标模板三元组，模板三元组为根据小说模板生成的；获取与目标模板三元组对应的多媒体数据作为与文本文字数据对应的多媒体数据。

具体地，请参见图3，图3为本申请实施例提供的一种三元组结构示意图，如图所示，一个三元组包括两个知识节点和知识节点之间的连接关系，这里的知识节点可以是本文本字数据的两个词语，他们的连接关系可以是词语之间的语义关系，语法关系等关联关系。在目标文本文字数据中可以通过文本解析得到至少一个三元组，三元组分别与模板三元组进行匹配。模板三元组为与三元组结构类似同样为两个知识节点和知识节点之间的连接关系构成，但这里的知识节点为词语集合，词语集合包括若干具有共同属性的词语，如天气包括刮风、下雨、打雷等。这里的连接关系同样包括语义关系、语法关系及其他类型的关联关系。也即是说模板三元组是三元组的上位抽象概念，多个不同的三元组可以对应同一个模板三元组。模板三元组对应唯一一个多媒体数据，当单个三元组与一个模板三元组匹配成功后即标识该三元组与模板三元组对应的唯一一个多媒体数据匹配成功。

示例性地，用户可以根据语音指令或者终端设备上的多媒体互动案件开启多媒体互动模式，多媒体互动模式开启后，开始接收终端设备上的语音信息和对应的文本文字数据。若一段文本文字数据为“小明在一个雨夜回到了自己的家”，将该文本文字数据进行文本解析，可以得到“小明-雨夜”和“雨夜-回家”两个三元组。将上诉两个三元组与模板三元与进行匹配，“小明-雨夜”可以匹配到“人物-下雨天气”的模板三元组，“雨夜-回家”可以匹配到“下雨天气-地点”的模板三元组，上诉两个模板三元组对应的多媒体数据均为“雨声”，则将“雨声”作为上诉文本文字数据的多媒体数据。进一步地，模板三元组可以的采用抽象程度更低的词语集合，如“小明-雨夜”三元组可以匹配到“人物-下雨天气（普通）”模板三元组，“雨夜-回家”三元组可以匹配到“下雨天气（普通）-地点（住宅）”模板三元组，因此根据上诉三元组可以分别匹配到“雨声”和“开关门声”两个多媒体数据做为文本文字数据的多媒体数据。

在一种可能的实施例中，将文本文字数据对应的至少一个三元组与模板三元组进行匹配，确定目标模板三元组，模板三元组为根据小说模板生成的，包括：根据小说模板中的至少一个情节生成至少一个模板三元组，至少一个模板三元组分别对应至少一个多媒体数据；若任意一个模板三元组分别对应两个以上多媒体数据，则获取两个以上多媒体数据小说模板情节的匹配度，匹配度根据多媒体数据在小说高潮情节的出现的频率确定，出现频率越高匹配度越高；将两个以上多媒体数据中匹配度最高的多媒体数据作为对应的模板三元组对应的多媒体数据。

具体地，根据语义分析可以在一段文本文字数据中得到数个具体词语，可以为闪电、雷鸣、黎明、日落、小明、小王等。根据对应的具体词语闪电、雷鸣、黎明、日落、小明、小王抽象得到上位词语如天气，时间，人物等。也即是说一个模板三元组可以同时对应多个不同的三元组，示例性地“小明-雨夜”和“小王-雨中”是根据不同文本文字数据得到的两个三元组，但这两个三元组上位的模板三元组都是“人物-下雨天气”的模板三元组，而模板三元组“人物-下雨天气”对应的多媒体数据为雨声，因此“小明-雨夜”和“小王-雨中”对应的多媒体数据也为雨声。一个模板三元组只能对应一个多媒体数据，因此当一个模板三元组同时对应多个多媒体数据时，需要获取模板三元组对应的多个多媒体数据在小说的高潮情节的出现的频率，将该频率作为多媒体数据与模板三元组的匹配度，频率越高匹配度越高。当多媒体数据在小说的高潮情节的出现的频率越高，说明该多媒体数据比出现的频率更低的多媒体数据更符合小说的主旋律。因此将匹配度最高的多媒体数据作为对应的模板三元组对应的多媒体数据。

在一种可能的实施例中，在获取与目标模板三元组对应的多媒体数据作为与文本文字数据对应的多媒体数据之后，方法还包括：获取目标模板三元组对应的第一知识节点和第二知识节点；获取第一模板三元组和/或第二模板三元组，其中，第一模板三元组为模板三元组中除目标模板三元组之外，包括第一知识节点的三元组，第二目标三元组为模板三元组中除目标模板三元组之外，包括第二知识节点的三元组；获取与第一模板三元组和/或第二模板三元组对应的其他多媒体数据作为与文本文字数据对应的多媒体数据。

具体地，请参见图4，图4为本申请实施例提供的一种根据三元组的推理联想方法示意图，如图所示除了目标模板三元组的第一知识节点bu1和第二知识节点bu2外，还包括与bu1有连接关系的bu3与bu2有连接关系的bu4，其中bu3和bu4是在本小说剧情中与出现的其他模板三元组中与bu1和bu2存在联系关系的知识节点，其中不包括bu3和bu2，bu4和bu1互相排斥的情形，示例性地，如果bu1和bu2中有一个知识节点是“天气（晴天）”，另一个知识节点是“地点（城市）”则bu3和bu4就不得出现“天气（下雨）”和“地点（乡村）”这样的与“天气（晴天）”和“地点（城市）”矛盾互斥的知识节点，在本实例中原知识节点“天气（晴天）”和“地点（城市）”是无法匹配到对应的多媒体数据的，但根据“地点（城市）”可以得到新的知识节点“交通拥挤”，“交通拥挤”并不与“天气（晴天）”矛盾互斥，因此“天气（晴天）”和“地点（城市）”可以匹配到“交通拥挤”对应的多媒体数据“汽车喇叭声”。第一模板三元组和第二模板三元组是根据目标模板三元组的两个知识节点模仿人类思为模式中的联想推理而延伸出的模板三元组。可以看出根据目标模板三元组推理出第一模板三元组和第二模板三元组符合逻辑的，因此当目标模板三元组无法对应到多媒体数据时，则可以通过三元组推理的方式获得更多的知识节点来匹配多媒体数据。

在一种可能的实施例中，对文本文字数据进行文本解析，获得文本文字数据对应的至少一个三元组，包括：将所述文本文字数据输入关键词识别算法中进行文本解析；得到所述文本文字数据中的关键词语，任意两个有连接关系的关键词语的组合为一个三元组，所述关键词语为删除后会改变文本文字数据的词语。

具体地，这里的关键词识别算法可以根据系统科学法，首先对目标文本文字数据进行语义识别得到完整的目标文本文字数据的语义。然后将目标文本文字数据中的任意一个词语删除得到删除一个词语后的目标文本文字，得到删除一个词语后的目标文本文字语义，将删除一个词语后的目标文本文字语义与完整的目标文本文字数据的语义进行比对得到，删除一个词语后的目标文本文字语义的完整度，根据任意一个词语对应的完整度，觉得该词语是否可以作为三元组中的一个知识节点。示例性地，若删去任意一个词语后的目标文本文字的语义仅包括80%完整的目标文本文字的语义，则说明删去的词语是目标文本文字中关键词。若删去任意一个词语后的目标文本文字的语义包括含99%完整的目标文本文字的语义，则说明删去的词语是目标文本文字中非关键词。将目标文本文字中的关键词按原文本文字顺序进行排序，按顺序相邻的两个关键词和两个关键词之间的连接关系为一个三元组。

可以看出在本申请实施例中，对文本文字数据进行文本解析，得到文本文字数据对应的三元组，三元组中包括两个知识节点和两知识节点间的连接关系。通过三元组匹配对应的模板三元组，进而匹配模板三元组对应的多媒体数据。在模板三元组生成的过程中无法匹配到对应的多媒体数据时，生成第一模板三元组和/或第二模板三元组，提高了模板三元组的匹配范围，保证了多媒体数据的丰富多样性，提高了在阅读过程中文本文字数据匹配多媒体数据的匹配效率，进而增强用户阅读互动小说时的沉浸感，提高用户的阅读体验。

在一种可能的实施例中，在文本文字数据对应的页面播放多媒体数据，包括：若获得的文本文字数据对应的至少一个三元组为一个三元组，则在阅读进度距离多媒体数据对应的文本文字数据的第一预设范围内，播放多媒体数据；若获得的文本文字数据对应的至少一个三元组为多个三元组，则在阅读进度距离多媒体数据对应的文本文字数据的第二预设范围内，播放多媒体数据，其中，第一预设范围大于第二预设范围。

可以看出在本申请实施例中，在同一段文本文字数据中的与多媒体数据匹配成功的三元组数量，动态调整多媒体数据的播放间隔，解决了在需要连续播放多个多媒体数据时无法播放完整的多媒体数据的问题，提高了连续播放多个多媒体数据的播放效果。对图像多媒体数据和音频对媒体数据分别进行预处理，在提高读者阅读沉浸感的同时不影响读者的其他阅读体验。

具体地，在文本文字数据对应的页面播放多媒体数据，可以根据在对应页面中三元组的数量调整多媒体数据的播放间隔，若在对应页面中只有唯一三元组，则当目标用户的阅读进度到达距离唯一三元组对应的文本文字数据的预设范围内则可以开始播放该三元组对应的多媒体数据。若在对应页面中存在多个三元组，则需要将预设范围缩短，在到达距离各个三元组对应的文本文字数据的更短预设范围内开始播放对应的多媒体数据。其中用于播放的多媒体数据可以是图像多媒体数据或者音频多媒体数据。

在一种可能的实施例中，若文本文字数据对应的至少一个三元组为多个三元组，且多个三元组之间的连续播放间隔小于第二预设范围，则播放多媒体数据包括：确定多个三元组分别对应的多个多媒体数据是否为互斥多媒体数据；若多个多媒体数据为互斥多媒体数据，则播放排序在前的三元组对应的多媒体数据；若多个多媒体数据不为互斥多媒体数据，则重叠播放多个三元组对应的多媒体数据，并将重叠播放的多媒体数据更新为多个三元组共同对应的多媒体数据。

具体地，当多个三元组之间的连续播放间隔小于一定范围时，连续播放多个不同多媒体数据时，可能会存在上一个多媒体数据未播放完毕就需要播放下一个多媒体数据的情况，若连续播放的多个多媒体数据为不同类型的多媒体数据（如同时出现音频型多媒体数据和图像型多媒体数据），则可能会因为前后多媒体数据互斥，导致的背景矛盾破坏互动小说的沉浸氛围。这里的互斥指多媒体数据代表的内容互斥，如在播放间隔小于一定范围时，前一个多媒体数据还在播放狂风暴雨的音频，下一个多媒体数据已经在播放晴空万里的图像则说明这两个多媒体数据是互斥的。若连续播放的多个多媒体数据为同一类型的多媒体数据（如都为音频型多媒体数据），则会造成多媒体数据播放的割裂感，也会破坏互动小说的沉浸氛围。因此需要检测多个多媒体数据的排斥情况，若多个多媒体数据为互斥的多媒体数据，则根据播放顺序优先播放排序在前的三元组对应的多媒体数据；若多个多媒体数据不为互斥的多媒体数据，可以同时播放多个多媒体数据，并将重叠播放的多媒体数据更新为多个三元组共同对应的多媒体数据。

示例性地，在一段文本文字中可能会在预设的间隔内同时出现“打雷”，“下雨”和“放晴”三个多媒体数据，其中“打雷”和“下雨”是不排斥的两个音频类型的多媒体数据，因此，“打雷”和“下雨”的音频多媒体数据可以根据对应的三元组在文本文字中的先后顺序重叠播放。而“打雷”，“下雨”分别和“放晴”都是互相排斥的多媒体数据，这里的“放晴”是显示在文本文字显示层之下，或者通过浮窗的形式显示在文本文字显示层之上的图像多媒体数据，此时则可以播放排序在前的三元组对应的多媒体数据。进一步地，对于在前的“打雷”和“下雨”的音频多媒体数据可以在结尾处进行“减弱”的音频处理，当“打雷”和“下雨”的音频多媒体数据的音量在结尾处逐渐变小时也可以达到“放晴”的效果。

可以看出在本申请实施例中，在需要连续播放多个多媒体数据时，获取多个多媒体数据的互斥情况，仅播放互斥的多媒体数据中对应的三元组排序在前的多媒体数据，将不互斥的多媒体数据重叠播放，避免了因为多媒体数据内容互斥破坏目标用户的沉浸感。

S202: 在小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容。

具体地，这里的小说正文内容和关联的多媒体数据为在本故事节点中，需要呈现小说的正文内容。示例性地，为了烘托范围和背景，在互动过程中需要向用户朗读“在一个风雨交加的夜晚”这句小说正文，目标用户不需要对这句话进行回复互动，人机对话引擎会自动向前朗读直到出现需要用户回复互动的剧情节点。而在朗读“一个风雨交加的夜晚”时为了营造沉浸式的氛围可以在朗读这句小说正文的同时播放对应的对媒体数据。示例性地，“在一个风雨交加的夜晚”可能包括风雨声，夜间下雨的背景图像等多媒体数据，在朗读“一个风雨交加的夜晚”的同时可以播放该多媒体数据。

可以看出在本申请实施例中，通过在目标用户阅读互动小说时向终端设备发送小说正文内容关联的多媒体数据，进而通过终端设备播放给目标用户，增强用户阅读互动小说时的沉浸感，提高目标用户的阅读体验。

在一种可能的实施例中，向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容之前，方法还包括：向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据；接收到来自终端设备的指示用户同意打开的响应消息。

具体地，目标用户可以通过回复服务器向终端设备发送的询问消息来选择是否开启多媒体数据展示模式，开启后当当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据时，终端设备在进行小说互动和阅读的同时还会向目标用户展示对应的多媒体数据。示例性地，询问消息还可以通过设置在终端设备上多媒体展示模式虚拟开关来实现，目标用户通过开启或者关闭终端用户上的多媒体展示模式虚拟开关来主动发送上述同意打开的响应消息或者关闭的响应消息，来开启或者关闭多媒体展示模式。

在一种可能的实施例中，向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据之后，该方法还包括：若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容。

具体地，目标用户可以通过终端设备向服务器发送不同意打开的响应消息，接收到目标用户发送的不同意打开的响应消息后，则禁用多媒体数据展示功能，仅朗读小说的正文内容，朗读非用户扮演的角色语音等。

可以看出在本申请实施例中，通过发送询问消息以询问用户是否需要打开关联的多媒体数据，若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容，根据目标用户需求，对有沉浸式体验需求的用户开启多媒体互动模式，提升互动小说的沉浸体验，对无沉浸式体验需求的用户则仅发送小说正文以向用户展示对应内容满足目标用户的多样需求，进而提高了了目标用户阅读时的阅读体验和沉浸感。

在一种可能的实施例中，小说正文内容的显示时间和关联的多媒体数据的播放时间相同。

具体地，小说正文内容的显示时间和对媒体数据的播放时间相同，示例性地，这里的小说正文的显示以是直接将小说正文显示在终端设备上，也可以是通过终端设备朗读小说正文。在小说正文显示在终端设备上的示例中，小说正文显示的同时播放对应的多媒体数据，当多媒体数据结束显示后则同时结束小说正文的显示。在通过终端设备朗读小说正文的示例中，多媒体数据同时显示，在小说正文朗读完毕后多媒体数据同时结束显示，进一步地，这里的结束显示还可以通过减弱音频和渐隐图像的方式缓慢结束音频多媒体数据和图像多媒体数据的显示。

可以看出在本申请实施例中，小说正文内容的显示时间和关联的多媒体数据的播放时间相同保证了多媒体数据和对应的原文同步播放，进而提高了目标用户的阅读体验和互动小说的沉浸感。

在一种可能的实施例中，关联的多媒体数据的输出方式包括以下任意一种：弹幕方式、浮窗方式、背景方式。

具体地，多媒体数据可以通过弹幕方式、浮窗方式、背景方式等多种方式在终端设备上展示，也可以播放音频数据，进一步地播放音频数据时还可以根据音频数据的音量大小，将音频数据的音量小于预设阈值的部分剪辑删去，播放音量较大的部分。

示例性地，这里的弹幕方式中的弹幕本是在网络上观看视频时弹出的评论性字幕。在本申请实施例中的弹幕可以是文本文字也可以是图像数据，通过在屏幕上横向或者纵向平移来显示多媒体数据，或者显示其他用户在本剧情节点留下的文字评论。

示例性地，请参见图5，图5为本申请实施例提供的一种多媒体数据的浮窗播放方式示意图。请参见图5中的A，屏幕左侧为终端设备上人机语音互动引擎朗读和呈现出的互动小说正文，或者互动语音。这里的旁白即为互动小说的正文内容，这里的旁白对应的多媒体数据为下雨的图像数据，因此旁白对应的图像数据通过浮窗的形式显示在屏幕中的预设位置，进一步的这里的浮窗还可以设置透明度，以显示可能被浮窗图像遮挡的部分文字内容。仅参见图5中的B，旁白朗读或者显示完毕后，人机语音互动引擎开始朗读互动小说中的非目标用户扮演的人物相关的内容，此时下雨的多媒体数据也同时随着旁白的结束而结束展示，目标用户通过语音或者键入文字信息回复人机语音互动引擎扮演人物读出的内容后，互动小说继续进行。新的互动内容或者旁白内容显示在旧的内容之下，目标用户可以通过指令查看已显示小说内容，但此时不再播放已显示的多媒体数据。

示例性地，请参见图6，图6为本申请实施例提供的一种多媒体数据的背景播放方式示意图。在示例中，目标用户可以关闭语音互动模式，人机语音互动引擎仅朗读小说原始文本。可以看出图中的文本文字数据对应至少两个多媒体数据，其中第一文本数据对应第一多媒体数据，第二本文数据对应第二多媒体数据，第一文本数据在第二文本数据之前。请参见图6的A当阅读进度到达第一文本数据时，第一文本数据对应的第一多媒体数据即乌云的图像数据在文本文字显示层之下显示出来，而当阅读进度到达第二文本数据后，请参见图6中的B，闪电的图像数据也在文本文字显示层之下显示，关于闪电的多媒体数据还可以包括闪电的音频多媒体数据，但图片无法反映出音频多媒体数据的播放方式，此处则不展示如何播放闪电的音频多媒体数据，闪电的音频多媒体数据可以和雷电的图像对媒体数据同时开始播放。

在一种可能的实施例中，关联的多媒体数据的创建方式包括开发者创建或者用户创建。

具体地，互动小说的多媒体数据除了可以通过上述实施例的方法生成外，还可以通过目标用户制作上传。目标用户可以在阅读一本互动小说时，自己主动根据不同的情节上传对应的多媒体数据，然后以此生成该用户对应的特定互动小说。此时该用户可以将该特定互动小说进行发布，其他用户可以在阅读该小说时选择由目标用户制作的多媒体数据版本。

可以看出在本申请实施例中，目标用户可以根据自身的需求、数据或者其他用户的推荐等，选择由官方创建的多媒体数据或者其他用户创建的多媒体数据，保证了每个目标用户都可以获得该用户认为最符合小说正文内容的多媒体数据，进而增加的用户的选择，提高了多媒体数据的匹配精确度，提高了目标用户的阅读体验和沉浸感。

在一种可能的实施例中若关联的多媒体数据的创建方式为用户创建，则关联的多媒体数据包括不同用户上传的多个可选多媒体数据，人机对话引擎能够响应用户针对多个可选多媒体数据中的一个多媒体数据的选取操作，向终端设备发送被选取的多媒体数据以向用户展示。

具体地，每个用户都可以根据自己的想法和理解上传可选的多媒体数据并将该多媒体数据与小说正文对应，设置播放的位置，时间，顺序等。当目标用户在阅读互动小说，并选择了用户创建的多媒体数据时，人机对话引擎则响应用户针对多个可选多媒体数据中的一个多媒体数据的选取操作，向终端设备发送被选取的多媒体数据以向用户展示，进一步地，多个可选多媒体数据还可以包括创作者的名称，该可选多媒体数据的使用率和好评率等数据以供目标用户参考。

在一种可能的实施例中，该方法还包括：接收来自终端设备的媒体数据更新请求消息，媒体数据更新请求消息用于指示候选多媒体数据，候选多媒体数据为用户针对当前处理的人机对话剧情节点的原始多媒体数据指示更新的多媒体数据；响应媒体数据更新请求消息，建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系。

具体地，目标用户在阅读互动小说时，如认为当前的小说正文内容与多媒体数据对应不上，或者认为当前的小说正文播放其他多媒体数据更为合适，则可以通过终端设备向服务器发送媒体数据更新请求消息，服务器接收后则开始接收目标用户更新的候选多媒体数据以及候选多媒体数据与小说正文的对应关系，当目标用户结束更新后，将候选多媒体数据保存为一个与目标用户身份对应的版本，目标用户可以为该候选多媒体数据编辑版本名称和创作者名称等。

在一种可能的实施例中，在文本文字数据对应的页面播放多媒体数据之后，方法还包括：接收与文本文字数据对应的用户上传多媒体数据；根据文本文字数据获得与文本文字数据匹配的多媒体数据包括：获得用户上传多媒体数据作为可选多媒体数据，并统计可选多媒体数据的使用率；当可选多媒体数据的使用率大于预设阈值时，将与文本文字数据匹配的多媒体数据更新为用户上传多媒体数据。

具体地，可以获取每本互动小说的用户制作的多媒体播放数据在其他用户中的使用率，若该使用率超过预设阈值，例如当某一目标用户制作的多媒体互动版本在用户中的使用率达到了70%则将与文本文字数据匹配的多媒体数据更新为用户上传多媒体数据，有新的用户来阅读该互动小说时，优先使用目标用户制作的多媒体互动版本。

示例性地，目标用户在阅读互动小说时，可能会认为在某一个文本文字数据对应的情节中使用新的背景音乐比自动匹配的背景音乐多媒体数据更符合故事情节，则可以根据自己的理解和想法用新的背景音乐替换自动匹配的背景音乐。或者在阅读中某一文本文字数据对应的多媒体数据的播放时间与阅读进度存在延迟，目标用户也可以调整该多媒体数据在阅读进度中的播放时间，这里的阅读进度可以是目标用户的翻页指令或者终端用户的朗读语音信息。

可以看出在本申请实施例中，目标用户可以根据理解判断自行调整互动小说中的多媒体数据的播放内容，播放时机等。并建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系，用户可以将自己编辑调整的多媒体数据版本用于互相阅读分享。还可以收集由目标用户调整的多媒体数据版本在目标用户群体中的使用率，当该使用率超过预设阈值后，将目标用户调整的多媒体数据版本作为默认版本提高了目标用户在多媒体互动下的自由度，还进一步提高了多媒体数据的与小说文本文字数据的匹配精准度。

在一种可能的实施例中，原始多媒体数据为包含原始背景音乐的多媒体数据，候选多媒体数据为将原始背景音乐更换为目标背景音乐的多媒体数据；方法还包括：为完成多媒体数据更新的互动小说的人机对话剧本创建目标版本链接；向其他用户的其他终端设备发送携带互动小说的版本链接集合的更新消息，版本链接集合包括原始版本链接和目标版本链接，原始版本链接对应包含原始多媒体数据的人机对话剧本，更新消息用于指示在其他终端设备的互动小说的版本选择界面中显示的原始版本链接和目标版本链接；接收来自其他终端设备发送的指示使用目标版本链接的请求消息；向其他终端设备调用人机对话引擎在其他终端设备的互动小说界面上按照更新后的人机对话剧本与其他用户进行小说互动以实现候选多媒体数据的播放。

具体地，目标用户通过终端设备向服务器传送候选多媒体数据，候选多媒体数据可以将原始背景音乐的多媒体数据替换为目标背景音乐，进一步地，这里的候选多媒体数据还可以是用户自定义的任意音频、图像和视频等。用户停止多媒体更新后，服务器保存该用户传送的所有候选多媒体数据和对应的小说正文，以及该多媒体数据的播放方式，顺序等。并根据用户的身份与候选多媒体数据之间的对应关系目标版本链接，服务器每得到一个新的目标版本链接后则向终端设备发送携带互动小说的版本链接集合的更新消息，版本链接集合包括原始版本链接和目标用户通过终端设备上传候选多媒体数据得到的目标版本链接。进一步地该目标版本链接还包括创作者的名称，该可选多媒体数据的使用率和好评率等数据。目标用户可以通过语音指令和访问指令等方式通过版本链接连接来阅读对应版本的互动小说和关联的多媒体数据。

示例性地，请参见图7，图7为本申请实施例提供的一种候选多媒体数据更新的界面示意图，如图所示开启编辑模式后，用户可以在终端设备上选择互动小说的任意一处可编辑多媒体数据的内容自定义编辑多媒体数据，用户可以使用终端设备自带的候选多媒体数据或者上传其他候选多媒体数据到终端设备中，这里的多媒体数据可以是音频、图像和视频中的任意一种。从图中可以看出，目标用户在旁白的小说正文时间轴上添加了音频文件A，音频文件B和图像文件C，其中音频文件A贯穿该旁白的小说正文全时间轴，音频文件B和图像文件C仅包括部分时间轴。当目标用户结束编辑后，音频文件A，音频文件B和图像文件C在这一句旁白的播放规则将存储在服务器中，并生成目标版本链接。若其他用户根据该目标版本链接阅读这本互动小说则当阅读到图7所示的旁白时，该旁白的多媒体数据将按照图7所示的播放逻辑依次播放音频文件A，音频文件B和图像文件C。

示例性地，请参见图8，图8为本申请实施例提供的一种终端设备提供的多媒体数据版本选择示意图。如图所示一篇互动小说对应的多媒体数据除系统自动生成外还可以通过用户手动设置，用户在设置完成一篇互动小说的对媒体数据后，生成该用户设置的多媒体数据的目标版本链接，如图所示在选择多媒体数据版本界面，目标用户除了可以选择系统默认版本外，用户根据喜好或者其他用户的推荐以及自身的实际体验等选择其他用户设置的多媒体版本链接，通过点击，语音指令等方式进入其他用户设置多媒体数据的互动小说中，各个互动小说版本的内容文本相同，但多媒体数据的种类、数量、显示时间等细节则分别取决于版本的创建者设置。

可以看出在本申请实施例中，目标用户可以通过编辑模式编辑自己对互动小说的多媒体数据进行二创得到自定义编辑的多媒体数据版本的互动小说，并生成唯一的访问连接，其他用户可以根据访问连接阅读其他用户编辑的多媒体数据版本的互动小说，增加了多媒体互动模式的自由度，进而提高了小说匹配多媒体数据的精准度，增强用户阅读互动小说时的沉浸感，提高了用户的阅读体验。

通过实施本申请实施例中的方法，通过在目标用户阅读互动小说时向终端设备发送小说正文内容关联的多媒体数据，进而通过终端设备播放给目标用户，小说正文内容对应的多媒体数据不会遮挡、影响原互动小说正文的阅读，且不会播放互斥的多媒体数据。多媒体数据可以根据目标用户的理解和需要自行调整，用户可以得到一个与用户身份对应的连接，来互相分享用户自行编辑的多媒体互动版本，增加了多媒体互动模式的自由度，增强用户阅读互动小说时的沉浸感，提高用户的阅读体验。

基于上述配置方法实施例的描述，本申请还提供一种互动小说中多媒体数据的处理装置900，该互动小说中多媒体数据的处理装置900可以是运行于终端中的一个计算机程序（包括程序代码）。该互动小说中多媒体数据的处理装置900可以执行图1、图2、所示的方法。请参见图9，该装置包括：

调用单元901：用于调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动；

发送单元902：用于在小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：

向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容。

在一种可能的实施例中，在向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容之前，发送单元902还用于：向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据；接收到来自终端设备的指示用户同意打开的响应消息。

在一种可能的实施例中，在向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据之后，调用单元901还用于：若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容。

在展示多媒体数据方面，调用单元901还用于：小说正文内容的显示时间和关联的多媒体数据的播放时间相同。

在展示多媒体数据方面，调用单元901还用于：关联的多媒体数据的输出方式包括以下任意一种：弹幕方式、浮窗方式、背景方式。

在展示多媒体数据方面，调用单元901还用于：关联的多媒体数据的创建方式包括开发者创建或者用户创建。

在展示多媒体数据方面，调用单元901还用于：若关联的多媒体数据的创建方式为用户创建，则关联的多媒体数据包括不同用户上传的多个可选多媒体数据，人机对话引擎能够响应用户针对多个可选多媒体数据中的一个多媒体数据的选取操作，向终端设备发送被选取的多媒体数据以向用户展示。

在展示多媒体数据方面，调用单元901还用于：接收来自终端设备的媒体数据更新请求消息，媒体数据更新请求消息用于指示候选多媒体数据，候选多媒体数据为用户针对当前处理的人机对话剧情节点的原始多媒体数据指示更新的多媒体数据；响应媒体数据更新请求消息，建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系。

在展示多媒体数据方面，在原始多媒体数据为包含原始背景音乐的多媒体数据，候选多媒体数据为将原始背景音乐更换为目标背景音乐的多媒体数据之后；调用单元901还用于：为完成多媒体数据更新的互动小说的人机对话剧本创建目标版本链接；向其他用户的其他终端设备发送携带互动小说的版本链接集合的更新消息，版本链接集合包括原始版本链接和目标版本链接，原始版本链接对应包含原始多媒体数据的人机对话剧本，更新消息用于指示在其他终端设备的互动小说的版本选择界面中显示的原始版本链接和目标版本链接；接收来自其他终端设备发送的指示使用目标版本链接的请求消息；向其他终端设备调用人机对话引擎在其他终端设备的互动小说界面上按照更新后的人机对话剧本与其他用户进行小说互动以实现候选多媒体数据的播放。

需要说明的是，上述各模块（调用单元901和发送单元902）用于执行上述方法的相关步骤。比如调用单元901用于执行步骤S201的相关内容，发送单元902用于执行S202的相关内容。

基于上述方法实施例和装置实施例的描述，请参见图10，图10为本申请实施例提供的一种电子设备的结构示意图，本实施例中所描述的电子设备1000，如图10所示，该电子设备1000包括处理器1001、存储器1002、通信接口1003以及一个或多个程序，处理器1001可以是通用中央处理器（CPU），微处理器，特定应用集成电路（application-specificintegrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。存储器1002可以是只读存储器（read-Only Memory，ROM) 或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM) 或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory，EEPROM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1002可以是独立存在，通过总线与处理器1001相连接。存储器1002也可以和处理器1001集成在一起。通信接口1003，用于与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(Wireless Local Area Networks，WLAN)等。上述一个或多个程序通过程序代码的形式被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：

调用人机对话引擎在终端设备的互动小说界面上按照人机对话剧本与用户进行小说互动；在小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容。

在一种可能的实施例中，向终端设备发送小说正文内容和关联的多媒体数据以向用户展示对应内容之前，方法还包括：

向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据；

接收到来自终端设备的指示用户同意打开的响应消息。

在一种可能的实施例中，在向终端设备发送询问消息以询问用户是否需要打开关联的多媒体数据之后，该方法还包括：若接收到来自终端设备的指示用户不同意打开的响应消息，则向终端设备发送小说正文内容以向用户展示对应内容。

在一种可能的实施例中，小说正文内容的显示时间和关联的多媒体数据的播放时间相同。

在一种可能的实施例中，关联的多媒体数据的输出方式包括以下任意一种：弹幕方式、浮窗方式、背景方式。

在一种可能的实施例中，关联的多媒体数据的创建方式包括开发者创建或者用户创建。

在一种可能的实施例中，若关联的多媒体数据的创建方式为用户创建，则关联的多媒体数据包括不同用户上传的多个可选多媒体数据，人机对话引擎能够响应用户针对多个可选多媒体数据中的一个多媒体数据的选取操作，向终端设备发送被选取的多媒体数据以向用户展示。

在一种可能的实施例中，该方法还包括：接收来自终端设备的媒体数据更新请求消息，媒体数据更新请求消息用于指示候选多媒体数据，候选多媒体数据为用户针对当前处理的人机对话剧情节点的原始多媒体数据指示更新的多媒体数据；响应媒体数据更新请求消息，建立用户的身份与候选多媒体数据之间的对应关系，以及在当前处理的人机对话剧情节点的机器对话内容中添加对应关系。

在一种可能的实施例中，原始多媒体数据为包含原始背景音乐的多媒体数据，候选多媒体数据为将原始背景音乐更换为目标背景音乐的多媒体数据；方法还包括：为完成多媒体数据更新的互动小说的人机对话剧本创建目标版本链接；向其他用户的其他终端设备发送携带互动小说的版本链接集合的更新消息，版本链接集合包括原始版本链接和目标版本链接，原始版本链接对应包含原始多媒体数据的人机对话剧本，更新消息用于指示在其他终端设备的互动小说的版本选择界面中显示的原始版本链接和目标版本链接；接收来自其他终端设备发送的指示使用目标版本链接的请求消息；向其他终端设备调用人机对话引擎在其他终端设备的互动小说界面上按照更新后的人机对话剧本与其他用户进行小说互动以实现候选多媒体数据的播放。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种互动小说中多媒体数据的处理方法，其特征在于，应用于互动小说营销系统的服务器，所述互动小说营销系统包括所述服务器和供用户使用所述互动小说的终端设备，其中，所述服务器包括根据所述互动小说对应的人机对话引擎，所述人机对话引擎的人机对话逻辑通过人机对话剧本赋予，所述人机对话剧本包括多个人机对话剧情节点，单个人机对话剧情节点包括机器对话内容和预期用户对话内容；所述方法包括：

调用所述人机对话引擎在所述终端设备的互动小说界面上按照所述人机对话剧本与所述用户进行小说互动，所述人机对话引擎为基于AI语音技术的智能人机语音对话引擎，所述用户在所述小说互动过程中扮演所述互动小说中的固定角色，所述人机对话引擎扮演所述互动小说中除所述固定角色之外的其他角色，所述人机对话引擎用于输出所述互动小说中非目标用户扮演的人物相关的内容和旁白，所述目标用户为所述用户，所述旁白是指所述互动小说的正文内容中除所述非目标用户扮演的人物相关的内容和预期用户对话内容之外的内容，所述旁白包括第一文本数据对应的第一多媒体数据和第二文本数据对应的第二多媒体数据，所述第一多媒体数据为下雨的图像数据且以浮窗播放方式输出，所述第二多媒体数据为闪电的图像数据和所述闪电的音频多媒体数据，所述闪电的图像数据以背景播放方式输出，所述背景播放方式是指在所述第二文本数据的文本文字显示层之下显示所述闪电的图像数据，所述闪电的图像数据和所述闪电的音频多媒体数据同时开始播放，且所述第一文本数据与所述下雨的图像数据的播放时间相同，所述第二文本数据与所述闪电的图像数据及音频多媒体数据的播放时间相同；

在所述小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：

向所述终端设备发送询问消息以询问所述用户是否需要打开所述关联的多媒体数据；

若接收到来自所述终端设备的指示所述用户同意打开的响应消息，则向所述终端设备发送所述小说正文内容和所述关联的多媒体数据以向所述用户展示对应内容，具体包括：

对所述小说正文内容的文本数据进行文本解析，获得所述文本数据对应的至少一个三元组，至少一个三元组中每个三元组包括两个知识节点，以及两个知识节点之间的连接关系；

将所述文本数据对应的至少一个三元组与模板三元组进行匹配，确定目标模板三元组，模板三元组为根据小说模板生成的；

获取与所述目标模板三元组对应的多媒体数据作为与所述小说正文内容对应的多媒体数据；

获取所述目标模板三元组对应的第一知识节点和第二知识节点；

获取第一模板三元组和/或第二模板三元组，其中，所述第一模板三元组为所述模板三元组中除所述目标模板三元组之外，包括所述第一知识节点的三元组，所述第二模板三元组为所述模板三元组中除所述目标模板三元组之外，包括所述第二知识节点的三元组；

获取与所述第一模板三元组和/或所述第二模板三元组对应的其他多媒体数据作为与所述小说正文内容对应的多媒体数据；

若接收到来自所述终端设备的指示所述用户不同意打开的响应消息，则向所述终端设备发送所述小说正文内容以向所述用户展示对应内容。

2.根据权利要求1所述的方法，其特征在于，所述关联的多媒体数据的创建方式包括开发者创建或者用户创建。

3.根据权利要求2所述的方法，其特征在于，若所述关联的多媒体数据的创建方式为用户创建，则所述关联的多媒体数据包括不同用户上传的多个可选多媒体数据，所述人机对话引擎能够响应用户针对所述多个可选多媒体数据中的一个多媒体数据的选取操作，向所述终端设备发送被选取的多媒体数据以向所述用户展示。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收来自所述终端设备的媒体数据更新请求消息，所述媒体数据更新请求消息用于指示候选多媒体数据，所述候选多媒体数据为用户针对所述当前处理的人机对话剧情节点的原始多媒体数据指示更新的多媒体数据；

响应所述媒体数据更新请求消息，建立所述用户的身份与所述候选多媒体数据之间的对应关系，以及在所述当前处理的人机对话剧情节点的机器对话内容中添加所述对应关系。

5.根据权利要求1所述的方法，其特征在于，所述将所述文本数据对应的至少一个三元组与模板三元组进行匹配，确定目标模板三元组，模板三元组为根据小说模板生成的，包括：

根据所述小说模板生成至少一个模板三元组；

所述至少一个模板三元组分别对应至少一个多媒体数据；

若所述至少一个模板三元组分别对应两个以上多媒体数据，则获取所述两个以上多媒体数据小说模板高潮情节的匹配优先度，所述匹配优先度根据所述多媒体数据在小说模板高潮情节的出现的频率确定，所述出现频率越高所述匹配优先度高；

将所述两个以上多媒体数据中匹配优先度最高的多媒体数据作为对应的所述模板三元组对应的多媒体数据。

6.根据权利要求1所述的方法，其特征在于，所述在所述小说正文内容对应的页面播放所述多媒体数据，包括：

若获得的所述小说正文内容对应的至少一个三元组为一个三元组，则在阅读进度距离所述多媒体数据对应的小说正文内容的第一预设范围内，播放所述多媒体数据；

若获得的所述小说正文内容对应的至少一个三元组为多个三元组，则在阅读进度距离所述多媒体数据对应的小说正文内容的第二预设范围内，播放所述多媒体数据，其中，所述第一预设范围大于所述第二预设范围；

所述多媒体数据包括图像数据和/或音频数据，所述图像数据的播放方式包括将所述图像数据显示在所述文本文字显示层之下，和/或通过浮窗的形式将透明度不低于第一预设阈值的所述图像数据显示在所述文本文字显示层之上；所述音频数据的播放方式包括播放音量高于第二预设阈值的部分。

7.根据权利要求1所述的方法，其特征在于，若所述小说正文内容对应的至少一个三元组为多个三元组，且所述多个三元组之间的连续播放间隔小于一定预设范围，则所述播放所述多媒体数据包括：

确定所述多个三元组分别对应的多个多媒体数据是否为互斥多媒体数据；

若所述多个多媒体数据为互斥多媒体数据，则播放排序在前的三元组对应的多媒体数据；

若所述多个多媒体数据不为互斥多媒体数据，则重叠播放所述多个三元组对应的多媒体数据，并将重叠播放的多媒体数据更新为所述多个三元组共同对应的多媒体数据。

8.一种互动小说中多媒体数据的处理装置，其特征在于，应用于互动小说营销系统的服务器，所述互动小说营销系统包括所述服务器和供用户使用所述互动小说的终端设备，其中，所述服务器包括根据所述互动小说对应的人机对话引擎，所述人机对话引擎的人机对话逻辑通过人机对话剧本赋予，所述人机对话剧本包括多个人机对话剧情节点，单个人机对话剧情节点包括机器对话内容和预期用户对话内容；所述装置包括：

调用单元：用于调用所述人机对话引擎在所述终端设备的互动小说界面上按照所述人机对话剧本与所述用户进行小说互动，所述人机对话引擎为基于AI语音技术的智能人机语音对话引擎，所述用户在所述小说互动过程中扮演所述互动小说中的固定角色，所述人机对话引擎扮演所述互动小说中除所述固定角色之外的其他角色，所述人机对话引擎用于输出所述互动小说中非目标用户扮演的人物相关的内容和旁白，所述目标用户为所述用户，所述旁白是指所述互动小说的正文内容中除所述非目标用户扮演的人物相关的内容和预期用户对话内容之外的内容，所述旁白包括第一文本数据对应的第一多媒体数据和第二文本数据对应的第二多媒体数据，所述第一多媒体数据为下雨的图像数据且以浮窗播放方式输出，所述第二多媒体数据为闪电的图像数据和所述闪电的音频多媒体数据，所述闪电的图像数据以背景播放方式输出，所述背景播放方式是指在所述第二文本数据的文本文字显示层之下显示所述闪电的图像数据，所述闪电的图像数据和所述闪电的音频多媒体数据同时开始播放，且所述第一文本数据与所述下雨的图像数据的播放时间相同，所述第二文本数据与所述闪电的图像数据及音频多媒体数据的播放时间相同；

发送单元：用于在所述小说互动的过程中，若当前处理的人机对话剧情节点的机器对话内容包括小说正文内容和关联的多媒体数据，则执行如下操作：

向所述终端设备发送询问消息以询问所述用户是否需要打开所述关联的多媒体数据；

若接收到来自所述终端设备的指示所述用户同意打开的响应消息，则向所述终端设备发送所述小说正文内容和所述关联的多媒体数据以向所述用户展示对应内容，具体包括：

对所述小说正文内容的文本数据进行文本解析，获得所述文本数据对应的至少一个三元组，至少一个三元组中每个三元组包括两个知识节点，以及两个知识节点之间的连接关系；

将所述文本数据对应的至少一个三元组与模板三元组进行匹配，确定目标模板三元组，模板三元组为根据小说模板生成的；

获取与所述目标模板三元组对应的多媒体数据作为与所述小说正文内容对应的多媒体数据；

获取所述目标模板三元组对应的第一知识节点和第二知识节点；

获取第一模板三元组和/或第二模板三元组，其中，所述第一模板三元组为所述模板三元组中除所述目标模板三元组之外，包括所述第一知识节点的三元组，所述第二模板三元组为所述模板三元组中除所述目标模板三元组之外，包括所述第二知识节点的三元组；

获取与所述第一模板三元组和/或所述第二模板三元组对应的其他多媒体数据作为与所述小说正文内容对应的多媒体数据；

若接收到来自所述终端设备的指示所述用户不同意打开的响应消息，则向所述终端设备发送所述小说正文内容以向所述用户展示对应内容。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7中任一项所述的方法。

Images