CN112115283A - 绘本数据的处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种绘本数据的处理方法、装置及设备，涉及数据处理技术领域，可以提供多种绘本数据的编辑功能，保证了绘本播放过程中音频时间轴与绘本资源数据的一致性，提高绘本信息的呈现效果。其中方法包括：创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本字块；确定所述绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

Description

绘本数据的处理方法、装置及设备

技术领域

本申请涉及数据处理技术领域，尤其是涉及到一种绘本数据的处理方法、装置及设备。

背景技术

随着自媒体行业的兴起，电子绘本已成为幼儿阅读的一种新媒介，作为技术与艺术巧妙结合的幼儿阅读产品，深受幼儿所喜爱，并以电子设备为载体，由绘图、动画、文字和音频组成的有声绘本，相比于传统纸质绘本，更富有趣味性，能承载更多得信息。

因教学的需要，传统电子绘本基础上，可以将插画、文字和音频等绘本数据进行电子化，在电子设备上阅读，并在阅读过程伴随亮点音频和文字联动的效果，随着文字在音频中内容的播放，呈现出类似卡拉ok中歌词的联动效果，并且，时间轴上显示的绘本信息，需要关联各种教学的绘本数据。

相关技术中，可以使用市面上比较成熟的歌词编辑软件，实现对时间轴上的绘本数据进行编辑。然而，由于电子绘本在显示绘本信息的过程中需要关联大量的绘本数据，现有的绘本数据往往只针对单一形式的文本信息进行编辑，使得绘本数据的可操作空间受限，影响绘本信息的呈现效果。

发明内容

有鉴于此，本申请提供了一种绘本数据的处理方法、装置及设备，主要目的在于解决现有技术中绘本数据的可操作空间受限，影响绘本信息的呈现效果的问题。

根据本申请的第一个方面，提供了一种绘本数据的处理方法，包括：

创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；

响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块；

查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

在另一个实施例中，所述创建绘本以及与其对应的音频时间轴，具体包括：

获取预先编辑的绘本对白，根据绘本类型，配置绘本对白所需要的绘本资源数据；

利用对白编辑工具添加所述绘本对白所需要的绘本资源数据，创建绘本；

利用对白编辑工具从所述绘本对白所需要的绘本资源数据中提取出音频信息，根据所述音频信息对应的时间信息创建绘本对应的音频时间轴。

在另一个实施例中，在所述创建绘本以及与其对应的音频时间轴之后，所述方法还包括：

通过解析绘本对白中文字对应的场景信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在另一个实施例中，所述通过解析绘本对白中文字对应的元素信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系，具体包括：

通过解析绘本对白中文字对应的场景信息，获取所述场景信息涉及的实体元素；

提取包含所述实体元素的绘本资源数据，将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在另一个实施例中，所述将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，具体包括：

获取所述场景信息中实体元素对应的效果特征；

按照所述实体元素对应的效果特征，对所述绘本资源数据所包含的实体元素进行相应效果特征的处理，得到贴合各个场景信息的绘本资源数据。

在另一个实施例中，所述将所述绘本对白拆分为绘本句块和/或绘本字块，具体包括：

针对所述绘本对白中文本句子，将每个文本句子生成绘本句块，所述绘本句块支持对其进行编辑的功能选项；

根据对所述绘本句块进行拆分的功能选项，将所述绘本句块进行拆分为绘本字块。

在另一个实施例中，在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，所述方法还包括：

根据对所述绘本句块和/或绘本字块进行播放时刻调整的功能选项，查询所述绘本句块和/或绘本字块对应音频时间轴上的起止时间点，对所述起止时间点进行调整。

在另一个实施例中，在所述将所述绘本对白拆分为绘本字块之后，所述方法还包括：

根据对所述绘本句块和/或绘本字块进行拖动的功能选项，对所述绘本句块和/或绘本字块在音频时间轴上的时间区间信息进行调整。

在另一个实施例中，在所述查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据之后，所述方法还包括：

响应于绘本播放指令，按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据。

在另一个实施例中，所述按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据，具体包括：

在播放所述绘本资源数据的过程中，检测所述绘本资源数据相映射的绘本句块和/或绘本字块是否存在效果特征；

若存在，则当所述音频时间轴播放至绘本句块和/或绘本字块时，展示带有效果特征的绘本句块和/或绘本字块。

根据本申请的第二个方面，提供了一种绘本数据的处理装置，包括：

创建单元，用于创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；

拆分单元，用于响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块；

查询单元，用于查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

在另一个实施例中，所述创建单元包括：

配置模块，用于获取预先编辑的绘本对白，根据绘本类型，配置绘本对白所需要的绘本资源数据；

第一创建模块，用于利用对白编辑工具添加所述绘本对白所需要的绘本资源数据，创建绘本；

第二创建模块，用于利用对白编辑工具从所述绘本对白所需要的绘本资源数据中提取出音频信息，根据所述音频信息对应的时间信息创建绘本对应的音频时间轴。

在另一个实施例中，所述装置还包括：

提取单元，用于在所述创建绘本以及与其对应的音频时间轴之后，通过解析绘本对白中文字对应的场景信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在另一个实施例中，所述提取单元包括：

获取模块，用于通过解析绘本对白中文字对应的场景信息，获取所述场景信息涉及的实体元素；

处理模块，用于提取包含所述实体元素的绘本资源数据，将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在另一个实施例中，所述处理模块包括：

获取子模块，用于获取所述场景信息中实体元素对应的效果特征；

处理子模块，用于按照所述实体元素对应的效果特征，对所述绘本资源数据所包含的实体元素进行相应效果特征的处理，得到贴合各个场景信息的绘本资源数据。

在另一个实施例中，所述拆分单元包括：

生成模块，用于针对所述绘本对白中文本句子，将每个文本句子生成绘本句块，所述绘本句块支持对其进行编辑的功能选项；

拆分模块，用于根据对所述绘本句块进行拆分的功能选项，将所述绘本句块进行拆分为绘本字块。

在另一个实施例中，所述装置还包括：

调整单元，用于在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，根据对所述绘本句块和/或绘本字块进行播放时刻调整的功能选项，查询所述绘本句块和/或绘本字块对应音频时间轴上的起止时间点，对所述起止时间点进行调整。

在另一个实施例中，所述装置还包括：

拖动单元，用于在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，根据对所述绘本句块和/或绘本字块进行拖动的功能选项，对所述绘本句块和/或绘本字块在音频时间轴上的时间区间信息进行调整。

在另一个实施例中，所述装置还包括：

播放单元，用于在所述查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据之后，响应于绘本播放指令，按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据。

在另一个实施例中，所述播放单元包括：

检测模块，用于在播放所述绘本资源数据的过程中，检测所述绘本资源数据相映射的绘本句块和/或绘本字块是否存在效果特征；

展示模块，用于若存在，则当所述音频时间轴播放至绘本句块和/或绘本字块时，展示带有效果特征的绘本句块和/或绘本字块。

根据本申请的第三个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

根据本申请的第四个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

借由上述技术方案，本申请提供的一种绘本数据的处理方法、装置及设备，与目前现有方式中针对单一形式的文本信息进行编辑来对绘本数据进行处理的方式相比，本申请通过创建绘本以及与其对应的音频时间轴，该绘本承载有绘本对白所需要的绘本资源数据，可同时承载更丰富的资源信息，并且绘本对白与绘本资源数据形成映射关系，响应于绘本对白和/或音频时间轴的编辑操作，将绘本对白拆分为绘本句块和/或绘本字块，并提供有对绘本句块和/或绘本字块得多种编辑功能，以提升绘本数据的可操作空间，进一步通过查询绘本绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域，利用映射关系在时间区域内添加相应的绘本资源数据，保证了绘本播放过程中音频时间轴与绘本资源数据的一致性，提高绘本信息的呈现效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种绘本数据的处理方法的流程示意图；

图2示出了本申请实施例提供的另一种绘本数据的处理方法的流程示意图；

图3示出了本申请实施例提供的创建绘本过程的示意图；

图4a示出了本申请实施例提供的配置绘本对白过程的示意图；

图4b示出了本申请实施例提供的配置绘本对白过程的示意图；

图5a示出了本申请实施例提供的绘本句块打散过程的示意图；

图5b示出了本申请实施例提供的绘本句块打散过程的示意图；

图6a示出了本申请实施例提供的绘本内容的播放时刻进行调整过程的示意图；

图6b示出了本申请实施例提供的绘本的时间区域信息进行调整过程的示意图；

图6c示出了本申请实施例提供的绘本的文本信息进行个性化配置过程的示意图；

图7示出了本申请实施例提供的绘本句块和/绘本字块进行编辑过程的示意图；

图8a示出了本申请实施例提供的绘本编辑的可视化效果示意图；

图8b示出了本申请实施例提供的绘本编辑的可视化效果示意图；

图9示出了本申请实施例提供的一种绘本数据的处理装置的结构示意图；

图10示出了本申请实施例提供的另一种绘本数据的处理装置的结构示意图；

图11示出了本发明实施例提供的一种计算机设备的装置结构示意图。

具体实施方式

现在将参照若干示例性实施例来论述本发明的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。

如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。

在电子绘本编辑场景中，利用市面上比较成熟的歌词编辑软件，可以实现对时间轴上的绘本数据进行编辑，具体用户可以将插画、文字和音频等绘本数据电子化，在电子设备上播放，并在播放过程中伴随点亮音频与文字联动效果，文字随着音频中内容的播放，呈现歌词浮动的效果。然而，歌词编辑软件仅可以对歌词进行编辑，承载内容单一，不具备可扩展性，并且在播放过程中出现音频与文本不对应等情况，使得电子绘本所呈现的文本信息效果不理想，无法满足用户对电子绘本的需求。

为了解决该问题，本实施例提供了一种绘本数据的处理方法，如图1所示，该方法应用于绘本编辑工具的客户端，包括如下步骤：

101、创建绘本以及与其对应的音频时间轴。

绘本承载有绘本对白所需要的绘本资源数据，例如，文本、音频、图片、视频等，绘本在创建时需要预先设计绘本对白，绘本对白是指绘本内容中的每一句对话，每一句对话都对应有一个单独的绘本资源，可以由音频语音设计人员进行准备，还可以基于现有绘本进行调整设计，这里不进行限定。

通常情况下，绘本对白由多个文本句子组成，并在播放绘本对白中文本句子的同时嵌入绘本资源数据。为了便于对绘本对白进行编辑，绘本对白与绘本资源数据形成映射关系，例如，在播放文本句子1的时候，同步播放图片a，在播放文本句子2的时候，同步播放音频片段b。为了便于同步文本对白与文本资源数据的播放时间，可以创建绘本对应的音频时间轴，该音频时间轴用于记录绘本对白以及绘本资源数据进行播放的时间信息，以使得绘本对白以及绘本资源数据中的内容分别与音频时间轴上的时刻相关联。

本申请实施例中，绘本资源数据中包含了丰富的可扩展信息，能够满足不同用户对绘本信息的需求，不仅可以设置更多种文本类型的绘本信息，例如，汉字对应的拼音、英文单词的中文翻译，还可以预先设置绘本中的关键词和关键句，还可以在绘本信息中添加相应的图片、音频、视频等绘本资源，以使得绘本呈现出更直观的播放效果。

对于本实施例的执行主体可以为绘本数据的处理装置或设备，可以配置在绘本编辑工具的客户端，用户创建绘本以及绘本对应的音频时间轴后，以音频时间轴作为关联绘本对白与绘本资源数据的载体，将绘本对白与绘本资源数据形成映射关系，通过映射关系来对绘本对白以及绘本资源数据进行编辑，降低绘本制作的难度，提高绘本数据的处理效率。

102、响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块。

可以理解的是，在呈现绘本的时候，绘本承载有绘本对白所需要的绘本资源数据，绘本资源数据并非是同时展示，而是伴随着音频时间轴上时间节点的移动而有序展示。为了能够在合适得时间节点精准展示出绘本资源数据，需要对绘本对白以及绘本资源数据进行同步编辑，这里可以通过对绘本对白和/或音频时间轴的编辑操作，调整绘本对白中文本句子在音频时间轴上的时间区间信息，以使得绘本播放过程中绘本对白的文字可以随着音频里的内容播放，并可以添加不同的文字效果。

通常情况下，为了保证绘本内容的丰富性，用户在编辑绘本对白和/或音频时间轴时，可以针对绘本对白中的一个文本句子添加多种类型的绘本资源数据，例如，添加文本、添加图片、添加动画等，并设置文本句子与多种类型的绘本资源数据进行同步。

在本申请实施例中，由于用户在绘本编辑之前都会自拟绘本主题，为绘本自定义故事脉络，故事脉络中会布置多个阅读线索，以便于对绘本内容进行梳理，例如，针对“好饿毛毛虫”的故事脉络，可以布置阅读线索1，认识颜色，对故事中出现实体的颜色进行识别，阅读线索2，认识食物和水果，对故事中的水果和食物进行分类，阅读线索3，对故事中英文单词进行学习等，针对每一个阅读线索都需要相应的绘本资源数据进行支撑，进一步为文本对白中每个阅读线索配置绘本资源数据，例如，针对识别颜色的阅读线索，可添加颜色丰富的图片，针对识别水果和食物的阅读线索，可以添加水果和食物的图片或者视频，针对学习英文单词的阅读线索，可以在文本下方同步显示英文或者拼音等。

具体对绘本对白的编辑操作可以为对绘本对白进行拆分，对绘本对白中文本进行调整，对绘本对白中文本添加效果等；对音频时间轴的编辑操作可以为对绘本对白中文本播放的时间间隔进行设置，对绘本对白的播放速度进行调整，对绘本对白的播放定时等，这里不进行限定。

可以理解的是，为了提高编辑的操作效率，可以对绘本对白中完整的文本句块进行校正，在保证文本句块在音频时间轴上的准确性后，还可以对文本句块进行打散，对打散后的每个文本字块进行微调。

实际应用场景中，在将绘本对白导入至绘本编辑工具后，为了便于对绘本对白个性化操作，绘本编辑工具利用编辑功能，可以将绘本对白拆分为绘本句块和/或绘本字块，绘本句块作为绘本对白的拆分，以文本句子为单位，针对每个文本句子进行编辑，绘本字块作为绘本句块的进一步拆分，以文本分词为单位，针对每个文本分词进行编辑。

103、查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

在本申请实施例中，对于已经拆分的绘本句块和/或绘本字块，绘本资源数据中通常会有伴随播绘本对白播放的绘本音频，具体可以将本音频的时长作为音频时间轴的时长，查询绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域，例如，绘本音频时长为1分40秒，查询绘本句块A，在音频时间轴上覆盖的时间区域0-30秒，查询绘本句块B在音频时间轴上覆盖的时间区域为1分1秒-1分14秒。

本申请实施例提供的绘本数据的处理方法，与目前现有方式中针对单一形式的文本信息进行编辑来对绘本数据进行处理的方式相比，本申请通过创建绘本以及与其对应的音频时间轴，该绘本承载有绘本对白所需要的绘本资源数据，可同时承载更丰富的资源信息，并且绘本对白与绘本资源数据形成映射关系，响应于绘本对白和/或音频时间轴的编辑操作，将绘本对白拆分为绘本句块和/或绘本字块，并提供有对绘本句块和/或绘本字块得多种编辑功能，以提升绘本数据的可操作空间，进一步通过查询绘本绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域，利用映射关系在时间区域内添加相应的绘本资源数据，保证了绘本播放过程中音频时间轴与绘本资源数据的一致性，提高绘本信息的呈现效果。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，本实施例提供了另一种绘本数据的处理方法，如图2所示，该方法包括：

201、获取预先编辑的绘本对白，根据绘本类型，配置绘本对白所需要的绘本资源数据。

绘本类型通常具有多种，可以是绘本故事、英语儿歌、绘本跟读、拼音绘本等，对于相同的绘本对白，不同绘本类型的绘本对白所需要的绘本资源数据也不相同，所需要的配置的绘本功能也不相同，例如，绘本故事类型的绘本对白需要在绘本中加入中文相关的文本或者图片等，英语儿歌类型的绘本对白需要在绘本中加入英文相关的文本或图片等，绘本跟读类型的绘本对白会在播完每一段绘本句块后预留出跟读时间后在执行下一段绘本句块的播放，以使得用户可以跟着每一段绘本句块进行诵读。

考虑到绘本类型的多样性，针对每一个绘本类型都需要配置绘本对白所需要的绘本资源数据，以使得绘本可以呈现出不同绘本类型所需要的功能，提高绘本的可读性。

202、利用对白编辑工具添加所述绘本对白所需要的绘本资源数据，创建绘本。

对白编辑工具作为一种绘本编辑工具，可以实现对白文本的各种编辑功能，例如，从绘本对白中提取有用信息，将绘本对白进行拆分或者合并等，支持编辑人员的各种操作。

具体在创建绘本过程中，如图3所示，可以首先获取文本撰写人员、音频设计人员预先准备好的绘本对白，然后利用对白编辑工具新建绘本，弹出框提供多种绘本类型，从多种绘本类型中选择绘本类型，创建绘本。

203、利用对白编辑工具从所述绘本对白所需要的绘本资源数据中提取出音频信息，根据所述音频信息对应的时间信息创建绘本对应的音频时间轴。

由于绘本对白所需要的绘本资源数据需要与绘本对白进行同步播放，绘本对白播放的时间取决于绘本音频，而绘本音频通常嵌入在绘本资源数据中，可以利用对白编辑工具从绘本资源数据中提取出音频信息，以音频信息对应的时间信息创建绘本对应的音频时间轴。

音频时间轴相当于在时间轴上加入音频素材，形成一个加入音频素材的时间轴，音频素材的时长即为音频时间轴的长度，通过拖拽时间轴上的时间信息可以定位到音频素材中相应的时刻点。在实际应用中，音频时间轴还可以汇总具有衔接顺序的音频素材，并将具有衔接顺序的音频素材的音频时长累加后形成音频时间轴的长度。

204、通过解析绘本对白中文字对应的场景信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

由于绘本对白中文本记录有大量的场景信息，而不同场景信息需要配置具有相应场景效果的绘本资源数据，例如，场景中涉及的实物信息需要展示在绘本中，场景中涉及到的颜色信息需要展示在绘本中，进而提高绘本的呈现效果。

具体可通过解析绘本对白中文字对应的场景信息，获取场景信息涉及的实体元素，这里场景信息可以为建筑场景、室内场景、天空场景等，针对建筑场景信息可以涉及房屋、桥、教堂等实体元素，针对室内场景可以涉及布置在房屋内的家具、日用品、电器等实体元素，针对天空场景可以涉及飞机、小鸟、云朵等实体元素，进一步提取包含实体元素的绘本资源数据，将包含实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

可以理解的是，为了使得绘本资源数据能够更贴近场景信息，在对绘本资源数据进行处理的过程中，可以获取场景信息中实体元素对应的效果特征；按照实体元素对应的效果特征，这里效果特征可以包括但不局限于颜色、形状、动画等，进一步对绘本资源数据所包含的实体元素进行相应效果特征的处理，得到贴合各个场景信息的绘本资源数据，例如，将绘本中的文本关键字和关键句呈现特殊颜色或者变色效果，将绘本中的图片呈现动画效果等。

具体在配置绘本对白过程中，如图4a所示，绘本对白可能会包含多个章节和对话，可以自动按照目录顺序将绘本对白中的章节和对话加载至绘本编辑工具中，具体在将绘本对白导入的过程中，如图4b所示，绘本编辑工具可以为每个绘本创建角色，并记录音频素材时长以及音频素材的路径等信息，并将绘本对白文本输入至对话文本中，进一步由绘本编辑工具对绘本对白进行个性化配置。

205、响应于绘本对白和/或音频时间轴的编辑操作，针对所述绘本对白中文本句子，将每个文本句子生成绘本句块。

为了便于对绘本对白进行编辑，可以打散绘本对白，将绘本对白拆分为文本句子，并将绘本对白中每个文本句子生成绘本句块，通过绘本句块进行编辑以实现对绘本对白中文本句子的精准编辑。

进一步地，绘本句块支持对其进行编辑的功能选项，例如，对绘本句块进行拆分或者组合，对绘本句块播放的起止时间进行调节，对绘本句块中文字进行拼音数据的编辑，对绘本句块中文字进行英文编辑等。

206、根据对所述绘本句块进行拆分的功能选项，将所述绘本句块进行拆分为绘本字块。

在本实施例中，根据对所述绘本句块进行拆分的功能选项，可以将绘本句块拆分为绘本字块，每个字块支持单个汉字或者单词打散为多个字块，同时支持多个绘本字块的合并。

具体绘本句块打散的过程，如图5a和5b所示，对于图5a中绘本句块“玉皇大帝为了更好地管理人间”打散后，如图5b所示，每个汉字作为一个绘本字块，并且还提供有音频时间轴，以便于记录绘本句块和/或绘本字块的播放时间。

进一步地，为了方便编辑人员对绘本内容的播放时刻进行调整，绘本句块和/或绘本字块还支持对播放时刻进行调整的功能选项，可以根据绘本句块和/或绘本字块进行播放时刻调整的功能选项，查询绘本句块和/或绘本字块对应音频时间轴上的起止时间点，对起止时间点进行调整。具体如图6a所示，以蓝色竖线代表当前音频播放的时刻，利用蓝色竖线方便编辑人员对绘本字块的起止时间点进行调节，应说明的是，对于绘本句块的起止时间进行调节的过程同样可以参照图6a中的方式实现。

进一步地，为了方便编辑人员对绘本的时间区域信息进行调整，绘本句块和/或绘本字块还支持时间区间信息进行调整的功能选项，可以根据对绘本句块和/或绘本字块进行拖动的功能选项，对绘本句块和/或绘本字块在音频时间轴上的时间区间信息进行调整。具体如图6b所示，以框线代表绘本句块进行播放的时间信息，通过按住绘本句块的左右边缘，可以进行拖动，方便编辑人员对绘本句块播放的时间信息进行调节，同样的，对绘本字块播放的时间信息进行调节的过程同样可以参照图6b所示的方式实现。

进一步地，为了方便编辑人员对绘本的文本信息进行个性化配置，绘本句块和/或绘本字块还支持拼音数据编辑的功能选项，可以根据对绘本句块和/或绘本字块进行拼音数据编辑的功能选项，在绘本句块和/或绘本字块的下方编辑拼音数据。具体如图6c所示，编辑人员可以在绘本字块下方显示每个汉字对应的拼音数据。

可以理解的是，绘本句块和/或绘本字块还支持绘本对白的关键词与关键句进行编辑的功能选项，可以针对每个绘本句块和/或绘本字块添加关键句id和关键词id，并设置关键词的联动效果，并在播放至关键句或关键词时，展示相应的联动效果。

具体在编辑绘本的应用场景中，如图7所示，可以根据预先定义的关键词表，如图7中KeyWords列表里的数据，每个关键词对应有id(唯一索引)，EN(英文)，CN(中文)等数据，绘本字块左下角的数字，代表关键词的id，如左起第5个绘本字块，英文是mom，中文是妈妈，左上角的数字为1，代表它是id为1的关键词，在KeyWords列表里对应id为1的单词，关键句的id显示在右上角，与KeySentences列表对应。通过点击音频时间轴左侧的“关键词”按钮，可以根据KeyWords列表自动生成关键词的配置。

207、查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

作为一种查询绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域的应用场景，可以按照绘本句块在绘本对白中的位置顺序以及绘本字块在绘本句子中的位置顺序，分别绘本句块和绘本字块进行标记，形成具有标号顺序的绘本句块和绘本字块，进一步按照具有标号顺序的绘本句块和绘本字块查询在音频时间轴上覆盖的时间区域，通常会优先查询绘本句块在音频时间轴上覆盖的时间区域，进一步基于绘本句块在音频时间轴上的时间区域查询绘本字块在音频时间轴上覆盖的时间区域。可以理解的是，绘本句块的标号顺序靠前，在音频时间轴上的时间区域靠前，而绘本字块在绘本句块内标号顺序靠前，在绘本句块的时间区域内的时间区域越靠前。

例如，绘本对白中包括3个绘本句块，第一个绘本句块包括5个绘本字块，第二个绘本句块包括8个绘本字块，第三个绘本句块包括4个绘本字块，将3个绘本句块标记为绘本句块A、绘本句块B和绘本句块C，进一步对绘本句块A中5个绘本字块分别标记为A1-A5，绘本句块B中的8个绘本字块标记为B1-B8，绘本句块C中的4个绘本字块标记为C1-C4，如果要查询绘本字块B4在音频时间轴上的时间区域，需优先查询绘本句块B在音频时间轴上的时间区域。

208、响应于绘本播放指令，按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据。

可以理解的是，为了查看绘本编辑的效果，可以在绘本编辑工具中设置播放按钮，通过播放按钮来查看绘本呈现的效果，如果绘本播放资源与绘本对白同步效果不理想，还可以重新对绘本对白在音频时间轴上覆盖的时间区域进行适应性调整，如果绘本资源数据并未呈现相应的效果特征，还可以重新设置绘本资源数据的效果特征或者调整展示效果特征对应的时间节点，以保证绘本中的内容能呈现预期效果。

具体可以在播放绘本资源数据的过程中，检测绘本资源数据相映射的绘本句块和/或绘本字块是否存在效果特征，若存在，则说明绘本句块和/或绘本字块需要呈现特殊的展示效果，进而当音频时间轴播放至绘本句块和/或绘本字块时，展示带有效果特征的绘本句块和/或绘本字块，若不存在，则说明绘本句块和/或绘本字块可以直接展示。

具体应用场景中，绘本数据中绘本句块和/或绘本字块的可视化效果，可以如图8a和图8b所示，图8a中，绘本中文字可以随着音频时间轴播放，并在播放到相应文字的时候出现变色效果，图8b中，绘本中文字可以随着音频时间轴播放，并在播放到关键词和关键句的时候出现特殊颜色。

进一步的，作为图1和图2方法的具体实现，本申请实施例提供了一种绘本数据的处理装置，如图9所示，该装置包括：创建单元31、拆分单元32、查询单元33。

创建单元31，可以用于创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；

拆分单元32，可以用于响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块；

查询单元33，可以用于查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

本发明实施例提供的绘本数据的处理装置，与目前现有方式中针对单一形式的文本信息进行编辑来对绘本数据进行处理的方式相比，本申请通过创建绘本以及与其对应的音频时间轴，该绘本承载有绘本对白所需要的绘本资源数据，可同时承载更丰富的资源信息，并且绘本对白与绘本资源数据形成映射关系，响应于绘本对白和/或音频时间轴的编辑操作，将绘本对白拆分为绘本句块和/或绘本字块，并提供有对绘本句块和/或绘本字块得多种编辑功能，以提升绘本数据的可操作空间，进一步通过查询绘本绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域，利用映射关系在时间区域内添加相应的绘本资源数据，保证了绘本播放过程中音频时间轴与绘本资源数据的一致性，提高绘本信息的呈现效果。

在具体的应用场景中，如图10所示，所述创建单元31包括：

配置模块311，可以用于获取预先编辑的绘本对白，根据绘本类型，配置绘本对白所需要的绘本资源数据；

第一创建模块312，可以用于利用对白编辑工具添加所述绘本对白所需要的绘本资源数据，创建绘本；

第二创建模块313，可以用于利用对白编辑工具从所述绘本对白所需要的绘本资源数据中提取出音频信息，根据所述音频信息对应的时间信息创建绘本对应的音频时间轴。

在具体的应用场景中，如图10所示，所述装置还包括：

提取单元34，可以用于在所述创建绘本以及与其对应的音频时间轴之后，通过解析绘本对白中文字对应的场景信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在具体的应用场景中，如图10所示，所述提取单元34包括：

获取模块341，可以用于通过解析绘本对白中文字对应的场景信息，获取所述场景信息涉及的实体元素；

处理模块342，可以用于提取包含所述实体元素的绘本资源数据，将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

在具体的应用场景中，如图10所示，所述处理模块342包括：

获取子模块3421，可以用于获取所述场景信息中实体元素对应的效果特征；

处理子模块3422，可以用于按照所述实体元素对应的效果特征，对所述绘本资源数据所包含的实体元素进行相应效果特征的处理，得到贴合各个场景信息的绘本资源数据。

在具体的应用场景中，如图10所示，所述拆分单元32包括：

生成模块321，可以用于针对所述绘本对白中文本句子，将每个文本句子生成绘本句块，所述绘本句块支持对其进行编辑的功能选项；

拆分模块322，可以用于根据对所述绘本句块进行拆分的功能选项，将所述绘本句块进行拆分为绘本字块。

在具体的应用场景中，如图10所示，所述装置还包括：

调整单元35，可以用于在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，根据对所述绘本句块和/或绘本字块进行播放时刻调整的功能选项，查询所述绘本句块和/或绘本字块对应音频时间轴上的起止时间点，对所述起止时间点进行调整。

在具体的应用场景中，如图10所示，所述装置还包括：

拖动单元36，可以用于在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，根据对所述绘本句块和/或绘本字块进行拖动的功能选项，对所述绘本句块和/或绘本字块在音频时间轴上的时间区间信息进行调整。

在具体的应用场景中，如图10所示，所述装置还包括：

播放单元37，可以用于在所述查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据之后，响应于绘本播放指令，按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据。

在具体的应用场景中，如图10所示，所述播放单元37包括：

检测模块371，可以用于在播放所述绘本资源数据的过程中，检测所述绘本资源数据相映射的绘本句块和/或绘本字块是否存在效果特征；

展示模块372，可以用于若存在，则当所述音频时间轴播放至绘本句块和/或绘本字块时，展示带有效果特征的绘本句块和/或绘本字块。

需要说明的是，本实施例提供的一种绘本数据的处理装置所涉及各功能单元的其它相应描述，可以参考图1-图2中的对应描述，在此不再赘述。

基于上述如图1-图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-图2所示的绘本数据的处理方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1-图2所示的方法，以及图9-图10所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种绘本数据的处理的实体设备，具体可以为计算机，智能手机，平板电脑，智能手表，服务器，或者网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1-图2所示的绘本数据的处理方法。

可选的，该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。

在示例性实施例中，参见图11，上述实体设备400包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的画作挂载方法。

本领域技术人员可以理解，本实施例提供的一种绘本数据的处理的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述店铺搜索信息处理的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有方式相比，本申请中通过将绘本对白拆分为绘本句块和/或绘本字块，并提供有对绘本句块和/或绘本字块得多种编辑功能，以提升绘本数据的可操作空间，进一步通过查询绘本绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域，利用映射关系在时间区域内添加相应的绘本资源数据，保证了绘本播放过程中音频时间轴与绘本资源数据的一致性，提高绘本信息的呈现效果。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (13)

1.一种绘本数据的处理方法，其特征在于，包括：

创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；

响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块；

查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

2.根据权利要求1所述的方法，其特征在于，所述创建绘本以及与其对应的音频时间轴，具体包括：

获取预先编辑的绘本对白，根据绘本类型，配置绘本对白所需要的绘本资源数据；

利用对白编辑工具添加所述绘本对白所需要的绘本资源数据，创建绘本；

利用对白编辑工具从所述绘本对白所需要的绘本资源数据中提取出音频信息，根据所述音频信息对应的时间信息创建绘本对应的音频时间轴。

3.根据权利要求2所述的方法，其特征在于，在所述创建绘本以及与其对应的音频时间轴之后，所述方法还包括：

通过解析绘本对白中文字对应的场景信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

4.根据权利要求3所述的方法，其特征在于，所述通过解析绘本对白中文字对应的元素信息，提取与所述场景信息相匹配的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系，具体包括：

通过解析绘本对白中文字对应的场景信息，获取所述场景信息涉及的实体元素；

提取包含所述实体元素的绘本资源数据，将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，得到绘本对白与绘本资源数据在不同场景信息上形成的映射关系。

5.根据权利要求4所述的方法，其特征在于，所述将所述包含所述实体元素的绘本资源数据处理为贴合各个场景信息的绘本资源数据，具体包括：

获取所述场景信息中实体元素对应的效果特征；

按照所述实体元素对应的效果特征，对所述绘本资源数据所包含的实体元素进行相应效果特征的处理，得到贴合各个场景信息的绘本资源数据。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述将所述绘本对白拆分为绘本句块和/或绘本字块，具体包括：

针对所述绘本对白中文本句子，将每个文本句子生成绘本句块，所述绘本句块支持对其进行编辑的功能选项；

根据对所述绘本句块进行拆分的功能选项，将所述绘本句块进行拆分为绘本字块。

7.根据权利要求6所述的方法，其特征在于，在所述将所述绘本对白拆分为绘本句块和/或绘本字块之后，所述方法还包括：

根据对所述绘本句块和/或绘本字块进行播放时刻调整的功能选项，查询所述绘本句块和/或绘本字块对应音频时间轴上的起止时间点，对所述起止时间点进行调整。

8.根据权利要求6所述的方法，其特征在于，在所述将所述绘本对白拆分为绘本字块之后，所述方法还包括：

根据对所述绘本句块和/或绘本字块进行拖动的功能选项，对所述绘本句块和/或绘本字块在音频时间轴上的时间区间信息进行调整。

9.根据权利要求1-5中任一项所述的方法，其特征在于，在所述查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据之后，所述方法还包括：

响应于绘本播放指令，按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据。

10.根据权利要求9所述的方法，其特征在于，所述按照所述绘本句块和/或绘本字块在音频时间轴上覆盖的时间区域依次播放相应的绘本资源数据，具体包括：

在播放所述绘本资源数据的过程中，检测所述绘本资源数据相映射的绘本句块和/或绘本字块是否存在效果特征；

若存在，则当所述音频时间轴播放至绘本句块和/或绘本字块时，展示带有效果特征的绘本句块和/或绘本字块。

11.一种绘本数据的处理装置，其特征在于，包括：

创建单元，用于创建绘本以及与其对应的音频时间轴，所述绘本承载有绘本对白所需要的绘本资源数据，所述绘本对白与所述绘本资源数据具有映射关系；

拆分单元，用于响应于绘本对白和/或音频时间轴的编辑操作，将所述绘本对白拆分为绘本句块和/或绘本字块；

查询单元，用于查询所述绘本句块和/或绘本字块在所述音频时间轴上覆盖的时间区域，并利用所述映射关系在所述时间区域内添加相应的绘本资源数据。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述绘本数据的处理方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述绘本数据的处理方法的步骤。

Images