CN116009748A - 儿童互动故事中图片信息交互方法及装置 - Google Patents

Abstract

本申请实施例提供儿童互动故事中图片信息交互方法及装置。通过本实施例能够脱离已有的儿童线上绘本的简单交互形式的限制，提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性，且提高了用户在阅读互动故事时的沉浸感和用户的逻辑思维能力和想象力；通过互动故事中的互动内容和图片的关联度比较和确认，提高了设备侧在互动故事生成中的图片选择准确度和速度，更进一步的在展示互动故事的环节将现有互动故事中的简单互动替换为更具有针对性的提问和展示与内容更相关的图片，提高了服务器侧针对线上绘本中的互动环节的全面性和灵活性，以及设备侧在内容展示上的多样性，且提高了用户的语言表达能力。

Description

儿童互动故事中图片信息交互方法及装置

技术领域

本申请属于互联网产业的一般数据处理技术领域，尤其涉及儿童互动故事中图片信息交互方法及装置。

背景技术

在当前学龄前的儿童教育启蒙阶段，非常多的家长会通过绘本故事等图文并茂的书籍来对儿童进行娱乐或科普，具体是由于绘本中既有简单的故事又有丰富的图案，能够使儿童对植物有更清楚的认知。

但是通过绘本来对儿童进行教育启蒙时，家长需要在旁边解读、说明和引导，这对家长的要求较高，若是没有家长的配合，书籍对于儿童的吸引力不足，很难有较长时间的学习，这导致了若无家长配合，学习效果不佳的情况出现。

针对这种情况，市面上出现了线上绘本，用户通过下载完整的绘本故事给儿童进行播放，但这仅是单方面的向儿童输出，虽然能在一定程度上代替家长带领儿童进行绘本阅读，但是交互形式单一。

发明内容

本申请实施例提供一种儿童互动故事中图片信息交互方法及装置，能够脱离已有的儿童线上或线下的绘本的交互形式的限制，提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性，且提高了用户在阅读互动故事时的沉浸感和用户的语言表达能力、逻辑思维能力、想象力；并且在用户提供了基础的方向后根据用户的输入的语音/文本/图片快速选择匹配的互动儿童故事剧本，提供了更多纬度的信息输入渠道；通过互动内容和图片的关联度比较，从而确定关联图片的过程，提高了设备侧在互动故事生成中的图片选择准确度和速度，更进一步的在展示互动故事的环节将现有互动故事中的简单互动替换为更具有针对性的提问和展示与科普内容更相关的图片，提高了服务器侧针对线上绘本中的互动环节的全面性和灵活性，以及设备侧在内容展示上的多样性，进一步提高了用户的语言表达能力和领导力。

第一方面，本申请实施例提供了一种儿童互动故事中图片信息交互方法，所述方法应用于信息交互系统中的服务器，所述信息交互系统包括所述服务器和终端设备，方法包括：

获取所述终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

本实施例通过对用户输入的第一数据信息和符合用户需要的第二数据信息进行结合，对预设的互动儿童故事剧本进行补全，所述互动儿童故事剧本中剧情节点或所讲述的故事中含有用户输入的多个第一数据信息；这样做的优势在于，可根据用户的需求针对性地生成互动剧本，使用户能够在互动地过程中享受故事或学习知识，脱离已有的儿童线上或线下的绘本的交互形式的限制，提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性。

本实施例通过设置不同类型的互动答复话术，供用户进行选择，所述答复类型包括剧情类答复和科普类答复，增加阅读和互动时的趣味性，提高了服务器侧针对绘本生成场景中的全面性，最大程度地满足不同需求的客户。

本实施例通过在互动儿童故事剧本中设置剧情节点，通过在剧情节点设置回复用户或向用户提问的机器语句增加用户的代入感，并设置与所述机器语句对应的植物图片；若是剧情类的剧本故事，可通过该图片提高用户的阅读体验，增加阅读沉浸感；若是科普类的剧本故事，可通过该图片多方位地展示植物，增强科普的准确性和丰富性，且提高了服务器侧针对绘本中的互动环节的全面性和灵活性。

在第一方面的又一种可能的实施方式中，所述目标类型为剧情类答复；所述根据所述目标类型和所述第一数据信息确定第二数据信息，包括：

根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；

确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据。

本实施方式通过在剧情类的互动儿童故事剧本中的与用户互动的交互语句中设置图片，提高故事对儿童的吸引度。

进一步的，将图片的确定工作放置在服务器上进行，避免过量的图片数据在下行的过程中堵塞网络通道，致使设备卡顿的情况出现。

在第一方面的又一种可能的实施方式中，所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据，包括：

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。

本实施方式通过设置筛选条件，以得到符合剧情类的互动儿童故事剧本中的文字和语音所对应的场景的图片，增加儿童对于该互动故事的代入感，进而使儿童沉浸在故事中时对图片中的植物有所认知。

进一步的，在服务器中对所需要的图片进行筛选，减少载入到服务器的图片数量，避免大批量无用的图片被存储在终端设备中。

在第一方面的又一种可能的实施方式中，所述目标类型为科普类答复；所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据，包括：

根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；

确定与所述第二文字数据或所述第二语音数据对应的科普内容类型；

确定与所述科普内容类型对应的图片数据集；

按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点。

本实施方式主要应用于科普类的互动儿童故事剧本，通过与所述科普类答复对应的第二文字数据和第二语音数据进行解析，确定所需要的图片数据集，将所述图片数据集与第二文字数据或第二语音数据一一对应，使每一个与科普相关的内容均有对应的图片，增加科普的准确性和丰富性。

本实施方式通过对所述多个剧情节点中的第一节点的机器语句对应的图片数据集进行细分，得到每一科普内容类型下属的多个图片数据子集，使与机器语句对应的图片更具有针对性。

进一步的，在服务器中对所需要的图片进行筛选，减少载入到终端设备的图片数量，避免大批量无用的图片被存储在终端设备中。

在第一方面的又一种可能的实施方式中，在所述按照预设算法对所述图片数据集中的第一图片数据集进行细分之后，所述方法还包括：

对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点；

根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句，其中， 所述第一节点为所述多个剧情节点中的任一剧情节点，所述机器语句包括语音和文本；

根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集，所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集；

将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片；

确定所述第一节点的机器语句对应的图片显示数量；

根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片。

本实施方式利用了上述的多个图片数据子集中的标签与机器语句进行比对，重合度超过预设第二阈值的图片数据子集确定为目标子集，即为最符合机器语句对应场景的图片子集，提高科普的准确性和剧情故事的全面性。

通过将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片，增强科普的丰富性。

通过上述过程，在寻找到最符合当前需求的图片之余，避免无用的算法运转，增强本实施方式在实际运行中的便捷程度。

在第一方面的又一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量，包括：

确定所述目标子集中的所有图片之间的相似度；

若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；

若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

本实施方式根据目标子集中的所有图片之间的相似度，对所述第一节点的机器语句对应的图片显示数量进行适应性地增加或减少，使展示给用户的图片更有针对性，提高用户的满意度。

在第一方面的又一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量，包括：

确定所述机器语句对应的初始图片显示数量；

获取历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量；

根据所述初始图片显示数量和所述历史图片显示数量，确定所述机器语句对应的图片显示数量。

本实施方式将历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量作为所述第一节点的机器语句对应的图片显示数量的衡量标准，使展示给用户的图片更有针对性和独特性。

在第一方面的又一种可能的实施方式中，所述根据与所述科普类答复对应的文字数据和语音数据，确定与所述文字数据或所述语音数据对应的科普内容类型，包括：

通过切词工具，将与所述科普类答复对应的文字数据进行切分，以得到词集合；

根据科普关键词库，对所述词集合进行筛选，以确定与所述文字数据相关的科普内容类型，所述科普关键词库中包括多个与科普内容类型相关的关键词。

本实施方式应用于科普类的互动儿童故事剧本，通过与所述科普类答复对应的机器语句中的科普内容进行区分，得到与所述机器语句对应的多个科普内容类型，以便于在附着图片时，能够针对性地选择契合的图片。

第二方面，本申请实施例提供一种儿童互动故事中图片信息交互装置，所述装置至少包括获取单元、输出单元、接收单元、确定单元、发送单元。该儿童互动故事中图片信息交互装置用于实现第一方面任一项实施方式所描述方法，其中获取单元、输出单元、接收单元、确定单元、发送单元的介绍如下：

获取单元，用于获取终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

输出单元，用于向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收单元，用于接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

确定单元，用于根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据，所述图片数据包括与所述文字数据或所述语音数据对应的植物的图片；

发送单元，用于向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

本实施例通过对用户输入的第一数据信息和符合用户需要的第二数据信息进行结合，对预设的互动儿童故事剧本进行补全，所述互动儿童故事剧本中剧情节点或所讲述的故事中含有用户输入的多个第一数据信息；这样做的优势在于，可根据用户的需求针对性地生成互动剧本，使用户能够在互动地过程中享受故事或学习知识，脱离已有的儿童线上或线下的绘本的交互形式的限制，提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性。

本实施例通过设置不同类型的互动答复话术，供用户进行选择，所述答复类型包括剧情类答复和科普类答复，增加阅读和互动时的趣味性，提高了服务器侧针对绘本互动场景中的全面性，最大程度地满足不同需求的客户。

本实施例通过在互动儿童故事剧本中设置剧情节点，通过在剧情节点设置回复用户或向用户提问的机器语句增加用户的代入感，并设置与所述机器语句对应的图片，尤其是植物图片；若是剧情类的剧本故事，可通过该图片提高用户的阅读体验，增加阅读沉浸感；若是科普类的剧本故事，可通过该图片多方位地展示科普内容，例如多角度的展示需科普的植物，增强科普的准确性和丰富性，且提高了服务器侧针对绘本中的互动环节的全面性和灵活性。

在第二方面的又一种可能的实施方式中，所述目标类型为剧情类答复，所述确定单元具体用于：

根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；

确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据。

本实施方式通过在剧情类的互动儿童故事剧本中的与用户互动的交互语句中设置图片，提高故事对儿童的吸引度。

进一步的，将图片的确定工作放置在服务器上进行，避免过量的图片数据在下行的过程中堵塞网络通道，致使设备卡顿的情况出现。

在第二方面的又一种可能的实施方式中，在所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据方面，所述确定单元具体用于：

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。

本实施方式通过设置筛选条件，以得到符合剧情类的互动儿童故事剧本中的文字和语音所对应的场景的图片，增加儿童对于该互动故事的代入感，进而使儿童沉浸在故事中时对图片中的植物有所认知。

进一步的，在服务器中对所需要的图片进行筛选，减少载入到服务器的图片数量，避免大批量无用的图片被存储在终端设备中。

在第二方面的又一种可能的实施方式中，所述目标类型为科普类答复，所述确定单元用于：

根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；

确定与所述第二文字数据或所述第二语音数据对应的科普内容类型；

确定与所述科普内容类型对应的图片数据集；

按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点。

本实施方式主要应用于科普类的互动儿童故事剧本，通过与所述科普类答复对应的第二文字数据和第二语音数据进行解析，确定所需要的图片数据集，将所述图片数据集与第二文字数据或第二语音数据一一对应，使每一个与科普相关的内容均有对应的图片，增加科普的准确性和丰富性。

本实施方式通过对所述多个剧情节点中的第一节点的机器语句对应的图片数据集进行细分，得到每一科普内容类型下属的多个图片数据子集，使与机器语句对应的图片更具有针对性。

进一步的，在服务器中对所需要的图片进行筛选，减少载入到终端设备的图片数量，避免大批量无用的图片被存储在终端设备中。

在第二方面的又一种可能的实施方式中，在所述目标类型为科普类答复方面，所述确定单元还用于：

对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点；

根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句，其中， 所述第一节点为所述多个剧情节点中的任一剧情节点，所述机器语句包括语音和文本；

根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集，所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集；

将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片；

确定所述第一节点的机器语句对应的图片显示数量；

根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片。

本实施方式利用了上述的多个图片数据子集中的标签与机器语句进行比对，重合度超过预设第二阈值的图片数据子集确定为目标子集，即为最符合机器语句对应场景的图片子集，提高科普的准确性和剧情故事的全面性。

通过将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片，增强科普的丰富性。

通过上述过程，在寻找到最符合当前需求的图片之余，避免无用的算法运转，增强本实施方式在实际运行中的便捷程度。

在第二方面的又一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述生成单元具体用于：

确定所述目标子集中的所有图片之间的相似度；

若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；

若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

本实施方式根据目标子集中的所有图片之间的相似度，对所述第一节点的机器语句对应的图片显示数量进行适应性地增加或减少，使展示给用户的图片更有针对性，提高用户的满意度。

在第二方面的又一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述生成单元具体用于：

确定所述机器语句对应的初始图片显示数量；

获取历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量；

根据所述初始图片显示数量和所述历史图片显示数量，确定所述机器语句对应的图片显示数量。

本实施方式将历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量作为所述第一节点的机器语句对应的图片显示数量的衡量标准，使展示给用户的图片更有针对性和独特性。

第三方面，本申请实施例提供一种儿童互动故事中图片信息交互设备，该儿童互动故事中图片信息交互设备包括处理器、存储器和通信接口；存储器中存储有计算机程序；处理器执行计算机程序时，所述通信接口用于发送和/或接收数据，该儿童互动故事中图片信息交互设备可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。

需要说明的是，上述第三方面所描述的儿童互动故事中图片信息交互设备所包含的处理器，可以是专门用于执行这些方法的处理器（便于区别称为专用处理器），也可以是通过调用计算机程序来执行这些方法的处理器，例如通用处理器。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。

可选的，上述计算机程序可以存在存储器中。示例性的，存储器可以为非瞬时性（non-transitory）存储器，例如只读存储器（Read Only Memory，ROM），其可以与处理器集成在同一块器件上，也可以分别设置在不同的器件上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

在一种可能的实施方式中，上述至少一个存储器位于上述儿童互动故事中图片信息交互设备之外。

在又一种可能的实施方式中，上述至少一个存储器位于上述儿童互动故事中图片信息交互设备之内。

在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于上述儿童互动故事中图片信息交互设备之内，另一部分存储器位于上述儿童互动故事中图片信息交互设备之外。

本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，当所述指令在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，当所述程序在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。

可选的，该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

本申请第三至第五方面所提供的技术方案，其有益效果可以参考第一方面和第二方面的技术方案的有益效果，此处不再赘述。

附图说明

下面将对实施例描述中所需要使用的附图作简单的介绍。

图1是本申请实施例提供的一种信息交互系统的架构示意图；

图2是本申请实施例提供的一种儿童互动故事中图片信息交互方法的流程示意图；

图3是本申请实施例提供的一种选择关联图片的方法的流程示意图；

图4是本申请实施例提供的一种第一关联图片的显示的场景示意图；

图5是本申请实施例提供的另一种第一关联图片的显示的场景示意图；

图6是本申请实施例提供的一种互动儿童故事剧本中的剧情节点的示意图；

图7是本申请实施例提供的另一种互动儿童故事剧本中的剧情节点的示意图；

图8是本申请实施例提供的一种儿童互动故事中图片信息显示方法的流程示意图；

图9是本申请实施例提供的一种儿童互动故事中图片信息交互装置的结构示意图；

图10是本申请实施例提供的一种儿童互动故事中图片信息交互设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细介绍。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例应用的系统架构进行介绍。需要说明的是，本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

请参见图1，图1是本申请实施例提供的一种信息交互系统的架构示意图，该系统包括服务器101和终端设备102，服务器101和终端设备102进行通信连接，其中：

服务器101，该服务器101可以为一个服务器或多个服务器组成的服务器集群。

所述服务器101中设有内置的或外接的文字数据库、语音数据库和图片数据库，所述文字数据库中包括大量基础对话、科普知识、寓言故事、童话故事等文本信息，可选的，上述的基础对话是基于互动故事情节向用户提问或回答用户问题的，所述科普知识包括植物科普知识；所述语音数据库包括不同口音和声线的与上述文字数据库中的文本对应的语音数据；所述图片数据库中包括有故事插图、绘本故事图案、与植物相关的图片，可选的，所述终端设备102中设置有基本人工智能AI的图片构建模型，例如Magic3D、AIGC，用于生成符合故事剧情或科普内容的图片。

所述文字数据库和所述语音数据库既可用于根据用户输出的第一数据信息确定预设的互动儿童故事剧本，也用于填补所述互动故事的剧情节点中的机器对话。

终端设备102，可以是一个物理实体构成，也可以是由两个或多个物理实体构成。例如所述终端设备102可以是手机、电话手表、会议平板、电子平板电脑、工业控制计算机等具有屏幕或显示器的设备，用于实现对人机交互过程中的内容显示和交互响应。

在本实施例中终端设备102通过与用户的交互，获取第一数据信息和所述用户输入的针对所述答复类型选项中的目标类型的选择操作，以此作为构建完整互动儿童故事剧本中的剧情节点的基础，进一步的，服务器101通过与终端设备102的通信连接，获取第二数据信息，从而确定初始互动儿童故事剧本中的剧情节点中的互动内容，进而在剧情节点中增加与用户交互的环节，并在剧情节点中通过文字、语音和图片的形式向用户展示故事剧情或科普知识。

请参见图2，图2是本申请实施例提供的一种儿童互动故事中图片信息交互方法的流程示意图，该儿童互动故事中图片信息交互方法可以基于图1所示的系统架构示意图中的服务器实现，也可以基于其他架构实现，该方法包括但不限于如下步骤：

步骤S201：获取所述终端设备发送的用户输入的多个第一数据信息。

其中，所述服务器与所述终端设备建立通信连接，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；需要说明的是，在本实施例中，所述终端设备为所述服务器获取用户输入的接收端，所述终端设备将获取到的用户输入转发至所述服务器进行处理。

所述第一数据信息可以是用户输入的与故事/科普相关的文字或语音，可选的，所述服务器会基于现有的意图识别模型对用户输入的语音或文本的意图进行预测，那么所述第一数据信息即为所述用户的意图，例如用户向终端设备输入或讲述“我想听故事”，那么第一数据信息即为“听”“故事”；再例如用户向终端设备输入或讲述“苹果”，那么第一数据信息即为“苹果”。

所述第一数据信息也可以是与科普相关的绘本图片，上述的绘本图片可以是用户在网络上下载保存的，也可以是真实的绘本照片，相较于以往的线上绘本，提供了多维度的输入渠道。例如，用户通过拍照并上传所拍摄的照片的方式输入与植物相关的图片：“苹果”的图片，那么所述第一数据信息即为该图片，以及与该图片对应的文字说明“一个红色的苹果”/“一个红色的挂在苹果树上的苹果”。

在本实施例中，所述第一数据信息可用于作为选择预设的互动儿童故事剧本的条件，例如，用户输入文本“苹果”，那么后续选择的所述互动儿童故事剧本即为包含了“苹果”或以“苹果”为主题的故事，例如用户输入苹果，与“苹果”对应的预设互动儿童故事剧本为“白雪公主”。

步骤S202：向用户输出答复类型选项。

其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复。

所述答复类型选项用于确定所述互动儿童故事剧本的互动环节的答复倾向，若是选择剧情类答复，则在所述互动儿童故事剧本的与用户互动的剧情节点的互动话术则主要与剧情相关，例如“请问这是你掉的金斧头么”、“你喜欢吃这种苹果么”等，若是科普类答复，则在所述互动儿童故事剧本的与用户互动的剧情节点的互动话术则主要与科普相关，例如“你知道这是什么苹果么”“这种花在什么时候开呢，是在春天，还是秋天”等。

可选的，所述答复类型用于作为构建互动儿童故事剧本的剧情节点的基础。

步骤S203：接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作。

所述选择操作可以是基于语音输入确定的，也可以是基于文本确定的，还可以是基于触碰所述终端设备上展示给用户的选项来确定的，但均是所述终端设备转发给所述服务器的。

所述目标类型即为用户确定的答复类型。

步骤S204：根据所述目标类型和所述第一数据信息确定第二数据信息。

其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据，所述图片数据包括与所述文字数据或所述语音数据对应的植物的图片。

在本实施例中，所述目标类型有两种可能，分别为剧情类答复和科普类答复，下面分别以目标类型为剧情类答复/科普类答复为例对本步骤进行说明，具体如下：

案例一，所述目标类型为剧情类答复，获取第二数据信息的过程如下所述：

首先，根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；可选的，上述本地存储的与所述剧情类答复对应的文字数据和语音数据是基于与所述服务器连接的；在获取所述第一数据信息和目标类型之后，所述服务器根据所述第一数据信息确定数据库中预设的初始状态的互动儿童故事剧本，进一步的，基于所述初始状态的互动儿童故事剧本，根据所述目标类型确定与所述初始状态的互动儿童故事剧本更匹配的文字数据和语音数据，以使最终得到的互动儿童故事剧本中的互动环节更有针对性，提升用户的使用体验。需要说明的是，与所述剧情类答复对应的所述文字数据和所述语音数据是匹配的，可选的，所述语音数据为所述文字数据的语音版本。

可选的，在构建完初始的互动儿童故事剧本和剧情节点后，将所述初始的互动儿童故事剧本和剧情节点打包发送至终端设备，以使所述终端设备优先下载文字数据和语音数据，可以理解的是，完整的互动儿童故事剧本中的图片信息可以根据用户在所述终端设备上的操作进行单独下载。

进一步的，确定与所述剧情类答复对应的所述文字数据或所述语音数据中是否存在与剧情相关的内容；虽然所述文字数据或所述语音数据是与所述剧情类答复对应的，但是所述文字数据或所述语音数据中可能包含与不剧情相关的内容的情况，例如故事中的衔接话术、过度语句。

更进一步的，确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据；所述图片数据用于增加用户的故事沉浸感，一般为与所述文字数据或所述语音数据对应的，在剧情类答复中的所述图片数据包括植物图片，通过图片的展示来使儿童增加对剧情的投入度，以及提高儿童的想象力。

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；所述图片前景内容包括植物形态和植物生成姿态。所述植物形态用于显示植物的种类，所述植物生成姿态用于显示对应植物的状态。

可选的，所述筛选条件用于筛选与故事背景最相关的植物的图片，所述关联性用于说明上述的图片与所述第一文字数据/第一语音数据中的内容的匹配度，例如，所述关联性用于说明植物图片与所述第一文字数据/第一语音数据中的植物名称的匹配度。

可选的，某一植物图片的关联性超过预设第一阈值，这代表着该植物图片与与所述初始状态的互动儿童故事剧本的文字数据和语音数据匹配度高，所述植物图片越符合所述第一文字数据/第一语音数据的描述。例如上述的与剧情相关的内容为“蘑菇”，根据上下文确定的故事背景为在森林里，则关联的图片为“在森林中的该蘑菇”的图片，而若故事背景为乡村，则关联的图片就是“长在乡村里的蘑菇”的图片。示例性的，下面举例说明关联性的应用过程，例如，所述服务器中的植物图片上附着有多个与图片对应的具有针对性的特点标签，如“夜晚”、“早餐”、“森林”、“乡村”、“城市”、“果树”、“玉米”、“农田”等，以用于描述该植物图片，所述关联性的量化标准可根据所述文字数据/语音数据的某些词汇与所述特点标签的重合度进行打分，可选的，所述预设第一阈值为4分，某个植物图片上的特点标签与所述文字数据/语音数据重合一次得1分，这代表着，关联度超过预设第一阈值的植物图片上的特点标签与所述文字数据/语音数据中的词汇有至少4处重合，这也代表着该植物图片与所述文字数据或所述语音数据更对应的。通过符合需求的图片来多方位地展示与剧情相关的内容，增强用户的代入感。

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。进一步的，将图片的确定工作放置在服务器上进行，避免过量的图片数据在下行的过程中堵塞网络通道，致使设备卡顿的情况出现。

可选的，所述服务器中设置有图片构建工具，例如Magic3D、AIGC，以此根据所述第一文字数据或所述第一语音数据生成对应的图片数据。

最终，将与所述第一文字数据或所述第一语音数据对应的且与所述答复类型相匹配的图片数据与对应的所述第一文字数据或所述第一语音数据相关联，例如点击对应的文字数据可显示对应的植物图片。

本实施方式通过设置筛选条件，以得到符合剧情类的互动儿童故事剧本中的文字和语音所对应的场景的图片，增加儿童对于该互动故事的代入感。

案例二，所述目标类型为科普类答复，获取第二数据信息的过程如下所述：

首先，根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；可选的，与上述案例相同，在获取所述第一数据信息和目标类型之后，所述服务器根据所述第一数据信息在数据库中选择对应的初始互动儿童故事剧本，因此，基于所述初始互动儿童故事剧本，确定与所述初始互动儿童故事剧本中的剧情节点中与科普相关的文字数据和语音数据，以使最终得到的互动儿童故事剧本中的互动环节更有针对性，提升用户的使用体验、提高科普的精准型和全面性，且提高了用户在阅读互动故事时的沉浸感和用户的语言表达能力、逻辑思维能力、想象力。

进一步的，确定与所述第二文字数据或所述第二语音数据对应的科普内容类型，可选的，所述科普内容类型包括植物生长环境科普、植物形态科普、植物所属科目科普和植物作用科普中的一项或多项；以第二文字数据为例，所述第二文字数据中包含多项科普内容，因此与所述第二文字数据对应的科普内容类型为多个。

在一种可选的实施方式中，确定与所述第二文字数据或所述第二语音数据对应的科普内容类型可如下所述：首先，通过切词工具，将与所述科普类答复对应的文字数据进行切分，以得到词集合；最后，根据科普关键词库，对所述词集合进行筛选，以确定与所述文字数据相关的科普内容类型，所述科普关键词库中包括多个与科普内容类型相关的关键词，可选的，所述科普关键词库为预先构建的，其中包括了多个科普内容关键词和与所述科普内容关键词对应的科普内容类型，例如第二文字数据为“这种梅花在冬季盛开”，通过切词工具得到词集合为【“这种”、“梅花”、“在”、“冬季”、“盛开”】，通过科普关键词库可知其中的科普内容关键词为“梅花”、“冬季”、“盛开”，因此，与“梅花”关联性强的科普内容类型为“植物形态科普”/“植物所属科目科普”，“冬季”、“盛开”关联性强的科普内容类型为“植物形态科普”/“植物生长环境科普”。

本实施方式应用于科普类的互动儿童故事剧本，通过与所述科普类答复对应的机器语句中的科普内容进行区分，得到与所述机器语句对应的多个科普内容类型，以便于在附着图片时，能够针对性地选择契合的图片，使每一个与科普相关的内容均有对应的图片，增加科普的准确性和丰富性，其中，所述机器语句为在互动环节向用户输出的用于提问、用于回答或用于过度的文本或语音。

更进一步的，确定与所述科普内容类型对应的图片数据集；可选的，植物生长环境科普对应的图片内容为环境图片、植物形态科普对应的图片内容为植物的图片、植物所属科目科普对应的图片内容为与该图片属于相同属或科的图片、植物作用科普对应的图片内容为该植物应用后的图片。

可以理解的是，每一科普内容对应的科普内容类型均有相应的图片数据集，例如一段话中包含了五个科普知识点的内容，那么这个五个科普知识点均有对应的科普内容类型，在确定每一科普内容对应的科普内容类型均有相应的图片数据集时，会确定与这五个科普内容类型分别对应的图片数据集。

最终，按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点，例如“开放”、“松树”等，可以理解的是，细分子集的过程可以是根据科普内容将所述图片数据集中关于该植物的图片划分为不同的集合，然后针对同一个集合中的图片再次分类，得到多个子集，每个子集中的图片属于相同类型的图片。例如当前的集合中包括的图片均是与植物A的形态科普相关的，根据要展示的形态的不同将该集合中的图片划分为不同的子集，例如一个子集中包括的图片均是该植物开花的图片，另一个子集中包括的图片均是该植物的俯视图等；这个过程的具体实现可以基于上述的，所述终端设备中的图片数据库中每张图片上附着有与图片对应的特点标签，因此基于所述特点标签即可将所述图片数据集划分为多个图片数据子集，相应的，所述图片数据子集上会附着有子集内的图片的相同的标签。

进一步的，对图片数据集进行筛选，选择合适的图片对互动环节中的科普内容进行说明，在一种可选的实施方式中，通过上述的图片数据子集与上述的文字数据或语音数据的重合度，确定与科普内容对应的关联图片，下面以图3对该过程进行说明，图3为本申请实施例提供的一种选择关联图片的方法的流程示意图，具体如下所示：

步骤S301：对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点。

在本实施例中，所述初始互动儿童故事剧本为包括了开头、故事情节和结尾的故事剧本，并不存在互动环节设计。而所述初始互动儿童故事剧本的实际生成过程通过如下例子进行说明，例如，用户在所述终端设备输入与植物相关的图片：“苹果”的图片，那么所述第一数据信息即为该图片，所述服务器相应的生成与该图片对应的文字说明“一个红色的苹果”/“一个红色的挂在苹果树上的苹果”，因此根据“一个红色的苹果”/“一个红色的挂在苹果树上的苹果”，选择包含了“苹果”或以“苹果”为主题的故事初始互动儿童故事剧本。

由于本实施方式是基于科普内容作为互动环节去对预设的互动儿童故事剧本进行补全，因此，针对所述初始互动儿童故事剧本中需要进行科普的文字或语音，设置相应的剧情节点。可选的，考虑学龄前儿童的接受能力和可深入学习的时长，所述剧情节点的数量不宜过多，一般为三个，所述剧情节点的对话轮次一般为一轮或两轮；若是基于剧情来设置相应的剧情节点，那么对应的剧情节点的数量可相较于同类型的科普故事增多，但每个剧情节点的对话频次减少为一轮，以保证用户的全程参与性。

步骤S302：根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句。

其中， 所述第一节点为所述多个剧情节点中的任一剧情节点；所述第二数据信息在本实施例中用于进行互动环节即剧情节点的构建，一般通过语音和文字的共同进行的形式进行展示。

具体的，在所述初始互动儿童故事剧本中的科普内容之后，设置针对于科普内容的提问或讲解环节，以使用户能够立即对科普内容进行深入学习。

可选的，所述剧情节点具体是通过提问进行互动还是通过讲解，用户点击的方式进行互动，可参考用户预先选择的培养方式选项，例如“主动型”、“内向型”、“被动型”，针对具有主动型倾向的用户，通过提问或者询问是否有问题等方式开展互动环节；针对具有内向型倾向的用户，通过提问或讲解的方式开展互动环节；针对具有被动型倾向的用户，通过提问的方式开展互动环节。

步骤S303：根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集。

所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集。

所述重合度用于说明所述机器语句与标签的重复程度；具体过程以所述机器语句为语音数据为例，首先将所述语音数据转化为文本，其次根据所述文本中的词汇与某一图片数据子集的标签的语义重合次数来计算所述第一节点的机器语句与所述图片数据子集的标签的重合度；以重合一次计1分，机器语句为“这种梅花在冬季盛开”为例，首先通过切词工具得到词集合为【“这种”、“梅花”、“在”、“冬季”、“盛开”】，某一图片数据子集的标签为“梅花”、“冬季”，那么该机器语句与上述标签的重合度为2分，另一图片数据子集的标签为“梅花”、“冬季”、“开放”，那么该机器语句与上述标签的重合度为3分，预设第二阈值为2分，那么选择上述标签为“梅花”、“冬季”、“开放”的图片数据子集作为目标子集。

步骤S304：将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片。

所述第一关联图片用于在用户点击查看该机器语句的关联图片，则首先输出第一关联图片。所述第一关联图片一般为一张图片。例如所述机器语句为“这杯茶中包括有植物A，植物A有平心静气的功效”，因此可以确定目标子集关联的内容是植物作用科普，且第一关联图片为标签为“泡茶”这个目标子集中的图片。可选的，将所述目标子集中的多张图片作为所述第一节点的机器语句的第一关联图片。可选的，所述第一关联图片可直接显示在剧情节点交互时的界面上，如图4、图5所示，图4为本申请实施例提供的一种第一关联图片的显示的场景示意图，图中的机器语句中的“高高的松树”对应的第一关联图片为图中右侧框中的图片，为无需用户触控点击，直接显示的图片，图5为本申请实施例提供的另一种第一关联图片的显示的场景示意图，图5中的“公交车”为与图中的语音相对应的第一关联图片。

步骤S305：确定所述第一节点的机器语句对应的图片显示数量。

在一种可选的实施方式中，所述图片显示数量可以根据目标子集来确定，具体如下：

确定所述目标子集中的所有图片之间的相似度；若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。上述过程中的图片相似度可基于图片相似度计算方法来实现，例如余弦相似度算法、图片结构相似度度量方法、深度学习方法，相应的不同的图片相似度计算方法所对应的预设第三阈值和预设第四阈值一般不同，需根据实际情况来设置。

进一步的，上述图片相似度计算方法一般应用于两张图片之间的相似度比较，由于本实施例中的目标子集中的图片数量存在可能超过两张的情况，因此，在本实施例中应用上述的图片相似度计算方法的实际过程一般为：首先针对目标子集中的图片进行随机两两分组，以在包含两张图片的小组内进行图片相似度计算，若图片相似度超过预设第三阈值，则代表所述包含两张图片的小组内的图片相似，若图片低于预设第四阈值，则代表所述包含两张图片的小组内的图片不相似；其次，删除相似度超过预设第三阈值的包含两张图片的小组中的任一图片，并将小组拆分进行重新分组，两两比较，直至剩余目标子集的图片相互之间的相似度均低于预设第四阈值；若目标子集中的剩余的图片仅有一张，代表目标子集中的所有图片均相似，满足相似度超过预设第三阈值的条件，减少预先设定的初始图片显示数量以达到新的图片显示数量；若目标子集中的剩余的图片超过一张，代表目标子集中的所有图片中存在不相似的情况，满足相似度低于预设第四阈值的条件，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

上述实施方式的思想在于，若目标子集中的图片较为相似，则无需对用户展示全部的目标子集中的图片，节省设备内存。

在一种可选的实施方式中，所述图片显示数量可以根据历史图片显示数量来确定，具体如下：

确定所述机器语句对应的初始图片显示数量；获取历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量；根据所述初始图片显示数量和所述历史图片显示数量，确定所述机器语句对应的图片显示数量。

步骤S306：根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片。

在所述图片显示数量超过所述第一关联图片的数量时，将超出部分用于目标子集中的其他图片，展示第二关联图片。在实际应用中，在输出预设张目标子集中的图片后，或者获取到用于查看其他关联图片的语音信息后，再输出第二关联图片。且在输出第二关联图片后，用户也可以选择返回继续查看目标子集中的其他图片。

进一步的，根据所述第一关联图片、所述第二关联图片、所述第二数据信息中的文字数据和语音数据生成互动环节，进而对预设的互动儿童故事剧本进行补全。

在所述初始互动儿童故事剧本中的剧情节点中增加对应的互动环节，所述互动环节由文字数据、语音数据和图片数据组成。本实施方式以科普类的互动儿童故事剧本为例，因此设置的互动环节首先以提问或讲述作为开头，在接收到用户的响应操作后，针对性的对该响应操作进行回复。

可选的，对用户的响应操作的回复是基于对话式AI技术实现的，一般来说，回答问题的步骤如下：将用户语音转换为文本，理解文本含义，搜索符合上下文的适当应答，最后使用文本转语音工具提供应答。而对话式 AI 流程通常由三个阶段组成：自动语音识别(ASR)、自然语言处理 (NLP) 或自然语言理解 (NLU)、带有语音合成的文本转语音 (TTS)；其中每一步都需要运行多个 AI 模型。

具体的，自动语音识别 (ASR) 会收录人类语音，然后将其转换为可读文本。深度学习在识别音素时具有更高的准确性，已经取代了传统的统计方法，如隐马尔可夫模型和高斯混合模型；自然语言理解 (NLU) 会录入文本，理解上下文和意图，然后生成智能回复。深度学习模型能对众多上下文和语言准确进行泛化处理，因此应用于 NLU。例如，Transformer 深度学习模型，如 BERT（Transformer 双向编码器表征模型），是时间递归神经网络的一个替代方案，它应用了一种注意力技术—通过将注意力集中在前后最相关的词上来解析一个句子；再例如BERT 通过在问答 (QA)、实体识别、意图识别、情感分析等基准上提供与人类基准相媲美的准确性，在本实施例中应用的对话式AI即主要根据BERT 模型来实现人机对话。

对话式 AI 流程的最后一个阶段是将 NLU 阶段生成的文本响应改为自然发音的语音。声清晰度是通过使用深度神经网络实现的，生成类似人类的语调和清晰的单词发音。此步骤是通过两个网络完成的：一个根据文本生成频谱图的合成网络，一个从频谱图生成波形的声码器网络。

可选的，在所述互动儿童故事剧本运行至剧情节点环节时，所述服务器接收来自所述终端设备发送的用户输入的与所述剧情节点相关的内容，并对基于AI技术对所述相关内容进行识别以及针对性的回复，使用户在剧情节点中的人机交互场景中勇于表达自己的想法，进而提高语音表达能力和逻辑思维能力；

一般来说，在剧情节点仅进行单轮或两轮对话，若剧情节点进行至结尾则以服务器输出的封闭式的机器语句作为结尾，例如“讲的不错”、“正确！”。

最终，将所述第一关联图片、所述第二关联图片、所述第二数据信息中的文字数据和语音数据嵌入至所述初始互动儿童故事剧本。

需要说明的是，预设的初始互动儿童故事剧本在终端设备中已有下载，故将所述第二数据信息发送至终端设备进行处理，即可得到完整的互动儿童故事剧本。

在完整的互动儿童故事剧本中，剧本中的旁白所讲述的故事一般为单方面讲述，这部分内容是基于第一数据信息得到，在讲述至预设的每一剧情节点时，基于第二数据信息中的文字数据和语音数据与用户进行互动，所述第一关联图片在用户触碰与图片相关联的关键词后显示，或在屏幕空白处直接显示，所述第二关联图片在所述第一关联图片显示完毕后，经用户语音要求或触控输入来显示。

可选的，播放互动儿童故事剧本的方式，供用户选择采用默认的音频播放互动儿童故事剧本或者基于录播的音频播放互动儿童故事剧本。其中，录播的音频可以是基于终端设备中存储的文本数据录制的音频，也可以是基于终端设备中存储的语音数据。可选的，播放时的声线通过默认的童声播放互动儿童故事剧本，使得绘本阅读更具有趣味性。通过录播的音频播放互动儿童故事剧本，使得绘本阅读更具有亲和力，幼儿或儿童可以听到父母或亲人熟悉的声音。

步骤S205：向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

其中，所述儿童互动故事即互动儿童故事剧本包括多个剧情节点，在本实施例中，所述剧情节点用于进行与用户互动的环节； 可选的，所述剧情节点为通过向用户提问的机器语句作为开头，以答复用户的提问或回答的机器语句作为结尾的互动环节。

所述终端设备通过运行所述互动儿童故事剧本来与用户进行绘本阅读和互动，互动环节的所述剧情节点基于所述第二数据信息实现。

在与用户进行绘本阅读和互动的过程中，所述服务器接收所述用户在所述剧情节点的输入操作；

其中，所述输入操作包括语音信息；在完整的互动儿童故事剧本的应用过程中，在剧情节点，所述服务器会基于提前设计的机器语句向用户提问或讲述相关的内容，若是机器语句是提问，则会对应生成与提问相关的选项，所述选项的选择可以是基于用户触摸屏幕实现的，也可以是基于用户语音输入实现的，以图6、图7为例，图6为本申请实施例提供的一种互动儿童故事剧本中的剧情节点的示意图，图7为本申请实施例提供的另一种互动儿童故事剧本中的剧情节点的示意图，图6、图7中场景展示的主体为儿童电话手表，图6中的“是谁呀”是用户语音输入“是谁呀”得到的，图7中的“这时他停下了车，看向了什么”为在剧情节点，机器侧向用户输出的机器语句。

对应的，输出所述互动儿童故事剧本中与所述输入操作对应的机器语句和/或植物图片；所述终端设备接收到用户的输入后将所述输入转发至服务器，所述服务器对所述用户的输入进行意图识别，并根据意图识别结果选择所述终端设备已下载的所述第二数据信息中与所述意图识别结果对应的机器语句进行答复。其中，所述机器语句为文字或语音。

在本实施例中，在面对一些需要主动显示与所述输入操作对应的植物图片，例如播放剧情类的互动儿童故事剧本，会主动弹出对应的植物图片。在实际应用中，在播放科普类的互动儿童故事剧本时，用户针对所述剧情节点的输入操作包括触摸文本来显示对应的图片。

本实施例通过与用户的交互，获取第一数据信息和所述用户输入的针对所述答复类型选项中的目标类型的选择操作，以此作为构建初始互动儿童故事剧本的基础，进一步的通过与终端设备的通信连接，获取第二数据信息，从而确定初始互动儿童故事剧本中的剧情节点，进而在剧情节点中增加与用户交互的环节，并在剧情节点中通过文字、语音和图片的形式向用户展示故事剧情或科普知识，能够提高用户的阅读兴趣和通过图片的方式可以增强科普的准确性和丰富性；进一步的，针对图片展示故事剧情或科普知识设置对应的图片筛选和确定环节，以提高图片选择的速度，进而提高互动儿童故事剧本的生成速度和在使用过程中的反应速度。

请参见图8，图8是本申请实施例提供的一种儿童互动故事中图片信息显示方法的流程示意图，该儿童互动故事中图片信息显示方法可以基于图1所示的系统架构示意图中的终端设备实现，也可以基于其他架构实现，该方法包括但不限于如下步骤：

步骤S801：向所述服务器发送用户输入的多个第一数据信息。

其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项。

步骤S802：向用户输出所述服务器发送的答复类型选项。

其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复。

步骤S803：接收用户输入的针对所述答复类型选项中的目标类型的选择操作。

步骤S804：向所述服务器发送用户输入的针对所述答复类型选项中的目标类型的选择操作。

步骤S805：接收所述服务器发送的第二数据信息。

其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据。

步骤S806：根据所述第二数据信息实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

其中，所述机器侧内容包括图片。

在剧情节点向用户的输出分为两种，一种为预设的输出内容，另一种为根据用户的输入，对应输出想用的内容，在第一种情况中，所述终端设备根据所述服务器发送的第二数据信息在剧情节点向用户输出对应的机器语句和/或图片，在另一种情况中，所述终端设备根据所述服务器确定的针对用户输入的机器语句进行输出，并根据所述机器语句输出对应的图片。

在本实施例中，终端设备在向用户显示互动故事内容时在原有的语音和文字的基础上，新增了图片显示功能，提高了设备侧在互动故事显示中的多样性和全面性。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参见图9，图9是本申请实施例提供一种儿童互动故事中图片信息交互装置90的结构示意图，该儿童互动故事中图片信息交互装置90可以为前面提及的服务器或者服务器中的器件，该儿童互动故事中图片信息交互装置90可以包括获取单元901、输出单元902、接收单元903、确定单元904、发送单元905，其中，各个单元的详细描述如下。

获取单元901，用于获取终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

输出单元902，用于向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收单元903，用于接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

确定单元904，用于根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

发送单元905，用于向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

在一种可能的实施方式中，所述目标类型为剧情类答复，所述确定单元904用于：

根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；

确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据。

在一种可能的实施方式中，在所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据方面，所述确定单元904具体用于：

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。

在一种可能的实施方式中，所述目标类型为科普类答复，所述确定单元904用于：

根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；

确定与所述第二文字数据或所述第二语音数据对应的科普内容类型；

确定与所述科普内容类型对应的图片数据集；

按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点。

在一种可能的实施方式中，所述确定单元904还用于：

对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点；

根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句，其中， 所述第一节点为所述多个剧情节点中的任一剧情节点，所述机器语句包括语音和文本；

根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集，所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集；

将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片；

确定所述第一节点的机器语句对应的图片显示数量；

根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片在一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述确定单元904具体用于：

确定所述目标子集中的所有图片之间的相似度；

若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；

若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

在一种可能的实施方式中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述确定单元904具体用于：

确定所述机器语句对应的初始图片显示数量；

获取历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量；

根据所述初始图片显示数量和所述历史图片显示数量，确定所述机器语句对应的图片显示数量。

请参见图10，图10是本申请实施例提供的一种儿童互动故事中图片信息交互设备100的结构示意图，所述儿童互动故事中图片信息交互设备100可以是上述的服务器，也可以是上述的服务器中的器件，所述儿童互动故事中图片信息交互设备100包括：处理器1001、通信接口1002及存储器1003。其中，处理器1001、通信接口1002及存储器1003可通过总线或其他方式连接，本申请实施例以通过总线连接为例。

其中，处理器1001是儿童互动故事中图片信息交互设备100的计算核心以及控制核心，其可以解析儿童互动故事中图片信息交互设备100内的各类指令以及儿童互动故事中图片信息交互设备100的各类数据，例如：该处理器1001可为中央处理器（CentralProcessing Unit，CPU），可以在儿童互动故事中图片信息交互设备100内部结构之间传输各类交互数据，等等。通信接口1002可选的可以包括标准的有线接口、无线接口（如WI-FI、移动通信接口等），受处理器1001的控制可以用于收发数据；通信接口1002还可以用于所述儿童互动故事中图片信息交互设备100内部信令或者指令的传输以及交互。存储器1003（Memory）是所述儿童互动故事中图片信息交互设备100中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器1003既可以包括所述儿童互动故事中图片信息交互设备100的内置存储器，当然也可以包括所述儿童互动故事中图片信息交互设备100所支持的扩展存储器。存储器1003提供存储空间，该存储空间存储了所述儿童互动故事中图片信息交互设备100的操作系统，该存储空间还存储了处理器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。

在本申请实施例中，处理器1001运行存储器1003中的可执行程序代码，用于执行如下操作：

获取所述终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

在一种可选方案中，所述目标类型为剧情类答复；所述根据所述目标类型和所述第一数据信息确定第二数据信息方面，所述处理器1001具体用于：

根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；

确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据。

在一种可选方案中，所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据方面，所述处理器1001具体用于：

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。

在一种可选方案中，所述目标类型为科普类答复；所述根据所述目标类型和所述第一数据信息确定第二数据信息方面，所述处理器1001具体用于：

根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；

确定与所述第二文字数据或所述第二语音数据对应的科普内容类型；

确定与所述科普内容类型对应的图片数据集；

按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点。

在一种可选方案中，所述根据所述第一数据信息和所述第二数据信息确定互动儿童故事剧本方面，所述处理器1001还用于：

对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点；

根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句，其中， 所述第一节点为所述多个剧情节点中的任一剧情节点，所述机器语句包括语音和文本；

根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集，所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集；

将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片；

确定所述第一节点的机器语句对应的图片显示数量；

根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片。

在一种可选方案中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述处理器1001具体用于：

确定所述目标子集中的所有图片之间的相似度；

若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；

若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

在一种可选方案中，所述确定所述第一节点的机器语句对应的图片显示数量方面，所述处理器1001具体用于：

确定所述机器语句对应的初始图片显示数量；

获取历史状态下用户在使用历史的互动儿童故事剧本时的历史图片显示数量；

根据所述初始图片显示数量和所述历史图片显示数量，确定所述机器语句对应的图片显示数量。

需要说明的是，各个操作的实现还可以对应参照图2和图3中服务器一侧所示的方法实施例的相应描述。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述计算机程序当被处理器执行时使所述处理器实现图2和图3所述实施例中服务器所执行的操作，或图8所述实施例中终端设备所执行的操作。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，实现图2和图3所述实施例中服务器所执行的操作，或图8所述实施例中终端设备所执行的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种儿童互动故事中图片信息交互方法，其特征在于，所述方法应用于信息交互系统中的服务器，所述信息交互系统包括所述服务器和终端设备，所述服务器与所述终端设备进行通信连接，所述方法包括：

获取所述终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

2.根据权利要求1所述的方法，其特征在于，所述目标类型为剧情类答复；所述根据所述目标类型和所述第一数据信息确定第二数据信息，包括：

根据所述第一数据信息确定本地存储的与所述剧情类答复对应的文字数据和语音数据；

确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据。

3.根据权利要求2所述的方法，其特征在于，所述确定与所述文字数据或所述语音数据对应的且与所述答复类型相匹配的图片数据，包括：

根据所述文字数据和所述语音数据，确定所述图片数据的筛选条件，所述筛选条件至少包括图片背景和图片前景内容中的一项或多项，所述筛选条件用于筛选与第一文字数据和第一语音数据中的内容的关联性超过预设第一阈值的图片，所述第一语音数据为本地存储的与所述剧情类答复对应的语音数据，所述第一文字数据为本地存储的与所述剧情类答复对应的文字数据；

根据所述筛选条件，确定符合筛选条件的，且与所述第一文字数据或所述第一语音数据对应的图片数据。

4.根据权利要求1所述的方法，其特征在于，所述目标类型为科普类答复；所述根据所述目标类型和所述第一数据信息确定第二数据信息，包括：

根据所述第一数据信息确定本地存储的与所述科普类答复对应的第二文字数据和第二语音数据；

确定与所述第二文字数据或所述第二语音数据对应的科普内容类型；

确定与所述科普内容类型对应的图片数据集；

按照预设算法对所述图片数据集中的第一图片数据集进行细分，以得到多个图片数据子集，并在所述多个图片数据子集上附着对应标签，其中，所述第一图片数据集为所述图片数据集中的任一图片数据集，所述标签用于描述图片中与所述科普内容类型对应的特点。

5.根据权利要求4所述的方法，其特征在于，在所述按照预设算法对所述图片数据集中的第一图片数据集进行细分之后，所述方法还包括：

对预设的初始互动儿童故事剧本进行解析，设置多个剧情节点；

根据所述第二数据信息确定在所述多个剧情节点中的第一节点的机器语句，其中， 所述第一节点为所述多个剧情节点中的任一剧情节点，所述机器语句包括语音和文本；

根据所述第一节点的机器语句与所述图片数据子集的标签的重合度，确定目标子集，所述目标子集为对应标签与所述机器语句的重合度超过预设第二阈值的图片数据子集；

将所述目标子集中的任一图片作为所述第一节点的机器语句的第一关联图片；

确定所述第一节点的机器语句对应的图片显示数量；

根据所述图片显示数量，将与所述第一节点的机器语句对应的多个图片数据子集中，除目标子集之外其他图片数据子集中的任一图片作为所述第一节点的机器语句的第二关联图片。

6.根据权利要求5所述的方法，其特征在于，所述确定所述第一节点的机器语句对应的图片显示数量，包括：

确定所述目标子集中的所有图片之间的相似度；

若所述相似度超过预设第三阈值，则减少预先设定的初始图片显示数量以达到新的图片显示数量；

若所述相似度低于预设第四阈值，则增加预先设定的初始图片显示数量以达到新的图片显示数量。

7.一种儿童互动故事中图片信息显示方法，其特征在于，所述方法应用于信息交互系统中的终端设备，所述信息交互系统包括服务器和所述终端设备，所述服务器与所述终端设备进行通信连接，所述方法包括：

向所述服务器发送用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

向用户输出所述服务器发送的答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收用户输入的针对所述答复类型选项中的目标类型的选择操作；

向所述服务器发送用户输入的针对所述答复类型选项中的目标类型的选择操作；

接收所述服务器发送的第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

根据所述第二数据信息实现所述儿童互动故事当前的剧情节点的机器侧内容的输出，其中，所述机器侧内容包括图片。

8.一种儿童互动故事中图片信息交互装置，其特征在于，所述装置包括：

获取单元，用于获取终端设备发送的用户输入的多个第一数据信息，其中，所述第一数据信息包括语音数据、文字数据或图片数据中的一项或多项；

输出单元，用于向用户输出答复类型选项，其中，所述答复类型选项用于确定用户需要的答复类型，所述答复类型包括剧情类答复和科普类答复；

接收单元，用于接收所述终端设备发送的用户输入的针对所述答复类型选项中的目标类型的选择操作；

确定单元，用于根据所述目标类型和所述第一数据信息确定第二数据信息，其中，所述第二数据信息包括与所述目标类型对应的文字数据、语音数据和图片数据；

发送单元，用于向所述终端设备发送所述第二数据信息以实现所述儿童互动故事当前的剧情节点的机器侧内容的输出。

9.一种儿童互动故事中图片信息交互设备，其特征在于，所述儿童互动故事中图片信息交互设备包括至少一个处理器、通信接口和存储器，所述通信接口用于发送和/或接收数据，所述存储器用于存储计算机程序，所述至少一个处理器用于调用至少一个存储器中存储的计算机程序，以实现如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，以实现如权利要求1-6任一项所述的方法。

Images