CN114693844A - 一种电子绘本生成方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种电子绘本生成方法、装置及电子设备，涉及人工智能技术领域，尤其涉及文本处理领域。具体实现方案为：获取纸质绘本中每页的页面信息；利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；获取所述页面信息中的文本，生成针对所述文本的语音信息；基于所述动画效果和所述语音信息制作电子绘本。

Description

一种电子绘本生成方法、装置及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及图像处理和语音技术领域。具体涉及一种电子绘本生成方法、装置及电子设备。

背景技术

教育对社会的发展起着至关重要的作用，越来越多的人通过绘本对幼儿和儿童进行启蒙教育。但是，阅读纸质绘本存在众多弊端，如枯燥、对阅读者的文化水平和阅读水平都有要求。因此，将纸质绘本转换为内容丰富、能够生动播放的电子绘本是绘本处理领域一直追求的目标。

发明内容

本公开提供了一种电子绘本生成方法、装置及电子设备。

根据本公开的第一方面，提供了一种电子绘本生成方法，所述方法包括：

获取纸质绘本中每页的页面信息；

利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；

获取所述页面信息中的文本，生成针对所述文本的语音信息；

基于所述动画效果和所述语音信息制作电子绘本。

根据本公开第二方面，提供了一种电子绘本生成装置，所述电子绘本生成装置包括：

第一获取模块，用于获取纸质绘本中每页的页面信息；

生成模块，用于利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；

第二获取模块，用于获取所述页面信息中的文本，生成针对所述文本的语音信息；

制作模块，用于基于所述动画效果和所述语音信息制作电子绘本。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的电子绘本生成方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的电子绘本生成方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的电子绘本生成方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的电子绘本生成方法的一种可选处理流程示意图；

图2是本公开实施例提供的利用绘本制作模型确定页面信息中的对象的一种可选处理流程示意图；

图3是本公开实施例提供的生成针对对象的动画效果的处理流程示意图；

图4是本公开实施例提供的扩展信息的一种呈现形式示意图；

图5是本公开实施例提供的绘本播放方法的一种可选处理流程示意图；

图6位本公开实施例提供的扫描或采集第一纸质绘本的封面信息的示意图；

图7是本公开实施例提供的显示匹配结果并提示启动绘本阅读的界面示意图；

图8是本公开实施例提供的文本片段的一种可选显示示意图；

图9是本公开实施例提供的电子绘本生成装置的组成结构示意图；

图10是用来实现本公开实施例的电子绘本生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。

在对本公开实施例进行详细描述之前，对本公开涉及的相关名词进行说明。

绘本：是一类以绘画为主，并附有少量文字的书籍。绘本不仅是讲故事，学知识，而且可以全面帮助孩子建构精神世界，培养多元智能。

三维动画：能够不受时间、空间、地点、条件、对象的限制，运用各种表现形式把复杂、抽象的内容、科学原理、抽象概念等用集中、简化、形象、生动的形式表现出来。

增强现实技术(Augmented Reality，AR)：是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

虚拟现实技术(Virtual Reality，VR)，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的及其模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。机器学习(Machine Learning，ML)是人工智能的核心，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

现有技术中，通过绘本对幼儿和儿童进行启蒙教育时，阅读绘本的操作通常由老人执行，受文化水平和阅读水平的限制，存在不能阅读英文绘本、或者不能完全识别中文绘本中的文字、或者不能用普通话交流、或者阅读绘本不够生动流畅等问题。

针对纸质绘本阅读可能存在的问题，可购买绘本阅读机器，通过绘本阅读机器阅读绘本。但是，绘本阅读机器能够覆盖的绘本有限，使用的拓展性差、经济成本高普及率低。

图1是本公开提供的电子绘本生成方法的一种可选处理流程示意图，至少可以包括以下步骤：

步骤S101，获取纸质绘本中每页的页面信息。

在一些可选实施例中，可通过电子设备上的摄像装置采集纸质绘本中每页的页面图像，检测页面图像中包括的页面信息。

在一些可选实施例中，检测页面中包括的页面信息至少可以包括检测页面中的对象和文本；其中，页面中的对象可以包括页面中的物体，如人物、动物、植物、建筑、物品以及风景等。

步骤S102，利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果。

在一些可选实施例中，确定页面信息中的对象的过程可以是将页面中的对象从页面对应的图像中分离或分割的过程。

在一些可选实施例中，利用绘本制作模型确定页面信息中的对象的一种可选处理流程，如图2所示，至少可以包括：

步骤S102a，绘本制作模型检测所述页面信息中包括的对象。

在一些实施例中，绘本制作模型检测页面对应的图像上的前景和背景；其中，前景对应页面信息中包括的对象。

步骤S102b，绘本制作模型确定所述对象对应的页面区域。

在一些实施例中，绘本制作模型确定步骤S102a中检测到的前景对应的页面区域，确定前景对应的页面区域为对象对应的页面区域。

在具体实施时，可以对页面中的前景进行定位，确定前景在页面中的位置，前景在页面中的位置构成的区域为对象对应的页面区域。其中，前景的定位信息可以通过对象对应的二维包围框对应的中心点坐标和宽高表示。

步骤S102c，绘本制作模型基于页面区域确定对象在页面信息中的图像。

在一些实施例中，绘本制作模型将前景对应的页面区域从页面对应的图像中分割，得到对象在页面信息中的图像。

在一些实施例中，生成针对对象的动画效果的处理流程，如图3所示，至少可以包括：

步骤S102d，绘本制作模型确定对象的属性。

在一些实施例中，对象的属性可以是指对象固有的特点。作为示例，若对象是云，则对象的属性是飘动。若对象是鸟，则对象的属性是鸟儿飞翔。若对象是眼睛，则对象的属性是眨眼。

步骤S102e，绘本制作模型基于对象的属性和图像生成对象的动画效果。

在一些实施例中，绘本制作模型根据对象的属性，利用步骤S102c中所确定的对象在页面信息中的图像生成对象的动画效果。

其中，对象的动画效果可以是三维动画效果。如叶子飘落、云朵飘动、眨眼睛等。

在一些实施例中，若电子设备播放该页面对应的文本时，可以在播放界面呈现对象的动画效果，使得绘本的播放更加生动，提高绘本的吸引力。

本公开实施例中，通过鲜艳的绘本制作模型确定页面中的对象以及生成针对对象的动画效果，能够以较低成本和较简单的流程实现动画和互动效果。

步骤S103，获取页面信息中的文本，生成针对文本的语音信息。

在一些实施例中，可以通过光学字符识别(Optical Character Recognition,OCR)技术识别页面上的文本，如识别绘本封面和底面上的名称、作者、出版时间以及发行时间等，识别除绘本封面和底面以外的页面上的文本。

在一些实施例中，若页面上的文本为除中文以外的语言，还可以将页面上的文本转换为中文文本。

在一些实施例中，生成针对文本的语音信息可以通过从文本到语音的转换技术将页面上的文本转换为语音信息。在页面上的文本为除中文以外的语言时，还可以将页面上的文本、以及页面上的文本对应的中文文本均转换为语音信息。

在一些实施例中，由于音频信息是基于文本转换得到的，因此，音频信息与文本具有对应关系，可以建立音频信息中的音频片段与文本中的文本片段的对应关系。

在一些实施例中，语音信息可以是童声语音信息。

步骤S104，基于动画效果和语音信息制作电子绘本。

在一些实施例中，基于动画效果和语音信息制作电子绘本的过程可以包括：通过语音播放的形式播放电子绘本中的语音信息，通过动画效果的方式呈现电子绘本中的对象。

通过本申请提供的电子绘本生成方法，能够利用任意具有图像采集功能的电子设备通过AI技术将纸质绘本转换为电子绘本。用户可通过电子设备播放电子绘本能够生动地播放绘本中的内容。通过AI技术将纸质绘本转换为电子绘本，相比较通过数字化的方式将纸质绘本转换为电子绘本，能够进一步的降低成本，缩减处理流程。

在一些可选实施例中，针对步骤S102中绘本制作模型所确定的对象，所述电子绘本生成方法还可以包括：

步骤S102-1，绘本制作模型获取对象的扩展信息。

在一些实施例中，对象的扩展信息可以是指绘本的页面中未呈现的信息。

在具体实施时，扩展信息可以由绘本制作模型基于对象进行词条搜索和索引关键点的方式获取。

作为示例，扩展信息可以是指对象对应的科普知识或生活常识。举例来说，若对象为水果，则扩展信息至少可以包括：水果的英文名称、水果的图片、产地、营养价值等信息。若对象为动物，则扩展信息至少可以包括：动物的英文名称、动物的图片、动物的习性、动物的栖息地等信息。

步骤S102-2，绘本制作模型生成扩展信息中至少一个扩展信息的增强现实效果，和/或至少一个扩展信息的虚拟现实效果。

在一些实施例中，扩展信息的一种呈现形式，如图4所示，可以在独立于当前页面的子页面上呈现；其中，图4中的“公鸡”和“母鸡”以及公鸡和母鸡分别对应的图片为扩展信息。

在一些实施例中，绘本制作模型可以生成扩展信息对应的增强显示效果和/或虚拟显示效果，结合扩展信息对应的增强显示效果和/或虚拟显示效果对实体进行介绍和讲解，增加了绘本播放的趣味性。

在一些实施例中，可以生成页面中的每个实体的扩展信息，也可以选择生成页面中部分实体的扩展信息；在生成页面中每个实体的扩展信息时，可根据用户的选择呈现部分实体的扩展信息，以及根据用户的选择生成部分实体对应的增强显示效果和/或虚拟显示效果。

需要说明的是，本公开实施例中的绘本制作模型是基于历史绘本数据生成的先验的机器学习模型，通过先验的机器学习模型能够将纸质绘本转换为具有动画效果、AR效果和VR效果的电子绘本。

在一些可选实施例中，可利用上述图1至图4所述的方法生成多个纸质绘本对应的电子绘本，进而构建电子绘本库。

基于已构建完成的电子绘本库，本公开实施例提供的绘本播放方法的一种可选处理流程示意图，如图5所示，至少包括以下步骤：

步骤S201，获取第一纸质绘本的封面信息。

在一些实施例中，可通过电子设备上的摄像装置扫描或采集第一纸质绘本的封面信息；也可以通过独立的摄像装置扫描或采集第一纸质绘本的封面信息，独立的摄像装置将第一纸质绘本的封面信息发送至电子设备。

在一些实施例中，扫描或采集第一纸质绘本的封面信息的示意图，可以如图6所示。

步骤S202，基于封面信息在电子绘本库中匹配与第一纸质绘本对应的第一电子绘本。

在一些实施例中，电子设备可以通过OCR技术识别第一纸质绘本的封面信息中的文本，通过绘本制作模型获取第一知识绘本的封面信息中的图像。在电子绘本库中查找与封面信息中的文本和封面信息中的图像匹配的第一电子绘本。

在查找匹配的第一电子绘本的过程中，可通过计算封面信息中的图像与电子绘本库中各电子绘本的封面信息中的图像的相似度的方式查找第一电子绘本；也可以通过比较封面信息中的文本与电子绘本库中各电子绘本的封面信息中的文本的一致性的方式查找第一电子绘本；还可以通过计算封面信息中的图像与电子绘本库中各电子绘本的封面信息中的图像的相似度的方式、与比较封面信息中的文本与电子绘本库中各电子绘本的封面信息中的文本的一致性的方式结合的方式查找第一电子绘本。

在一些实施例中，若在电子绘本库中未能匹配到与第一纸质绘本对应的第一电子绘本，则可以采用如图1所示的电子绘本生成方法将第一纸质绘本转换为第一电子绘本，并将第一电子绘本存储至电子绘本库。如此，若用户再次扫描第一纸质绘本，则可以直接播放电子绘本库中存储的第一电子绘本。如此，可以通过扫描任意纸质绘本，生成对应的电子本，提高电子绘本库的覆盖范围。

在一些实施例中，在查找到匹配的第一电子绘本之后，可以在如图7所示的界面显示匹配结果并提示启动绘本阅读。

步骤S203，播放第一电子绘本。

在一些实施例中，可以通过默认的音频播放第一电子绘本，其中，默认的音频可以指通过童声播放第一电子绘本中的内容。

在一些实施例中，也可以响应于用户对播放音频的选择，基于录播的音频播放所述第一电子绘本。

在具体实施时，若用户触发电子设备播放第一电子绘本，则可以在电子设备的界面提示用户播放第一电子绘本的方式，供用户选择采用默认的音频播放第一电子绘本或者基于录播的音频播放第一电子绘本。其中，录播的音频可以是用户根据第一纸质绘本中的文本信息录制的阅读第一电子绘本的音频。

通过默认的童声播放第一电子绘本，使得绘本阅读更具有趣味性。通过录播的音频播放第一电子绘本，使得绘本阅读更具有亲和力，幼儿或儿童可以听到父母或亲人熟悉的声音。

在一些实施例中，若第一纸质绘本中的文本为中文，则可以直接以中文播放第一电子绘本。若第一纸质绘本中的文本为中文以外的其他语言，则可以将其他语言翻译为中文；在播放第一电子绘本时，可以采用中文以外的其他语言播放第一电子绘本，也可以采用翻译后的中文播放第一电子绘本。

在一些实施例中，在播放第一电子绘本时，可以基于第一电子绘本的音频与第一电子绘本的文本之间的对应关系，以第一样式显示当前播放的音频对应的文本。

在具体实施时，由于第一电子绘本的音频与第一电子绘本的文本之间存在对应关系，因此，第一电子绘本的音频中的每个音频片段与第一电子绘本的文本中均存在对应的文本片段。在播放第一电子绘本的音频片段时，在电子设备的界面上将当前播放的音频片段对应的文本片段以第一样式显示。其中，以第一样式显示可以是高亮显示，以第一样式显示也可以加粗显示，以第一样式显示还可以是改变文本片段的字体颜色、字号等。当前未播放的音频片段对应的文本片段以第二样式显示，其中，第二样式可以是文本默认的显示样式。

本公开实施例中，文本片段的一种可选显示示意图，如图8所示，通过将当前播放的音频片段对应的文本片段以第一样式显示，能够提高文本的辨识度，便于用户追踪第一电子绘本的阅读或播放进度。

在一些实施例中，在播放第一电子绘本时，本公开实施例提供的绘本播放方法还可以包括：

步骤S103a，显示当前播放的音频对应的页面中至少一个对象的动画效果。

在一些实施例中，可以显示当前播放的音频对应的页面中部分对象的三维动画效果，也可以显示当前播放的音频对应的页面中部分对象的三维动画效果。如此，能够增加知识的趣味性，提高幼儿或儿童的阅读兴趣。

步骤S103b，在独立于对象所属的页面的子页面显示对象的扩展信息。在一些实施例中，可以在独立于对象所属的页面子页面，以AR或VR的方式显示对象的扩展信息。如此，能够对绘本中呈现的内容以外的知识进行拓展，扩展了幼儿或儿童学习的知识面。通过AR或VR的方式呈现扩展信息，能够增加知识的趣味性，提高阅读体验，丰富交互形式。

本公开实施例还提供一种电子绘本生成装置，所述电子绘本生成装置的组成结构示意图，如图9所示，包括：

第一获取模块301，用于获取纸质绘本中每页的页面信息；

生成模块302，用于利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；

第二获取模块303，用于获取所述页面信息中的文本，生成针对所述文本的语音信息；

制作模块304，用于基于所述动画效果和所述语音信息制作电子绘本。

在一些可选实施例中，生成模块302，用于利用所述绘本制作模型检测所述页面信息中包括的对象；确定所述对象对应的页面区域；基于所述页面区域确定所述对象在所述页面信息中的图像。

在一些可选实施例中，所述生成模块302，用于利用所述绘本制作模型确定所述对象的属性；基于所述对象的属性和所述图像生成所述对象的动画效果。

在一些可选实施例中，所述电子绘本生成装置还包括：处理模块305，用于利用所述绘本制作模型获取所述对象的扩展信息，所述扩展信息未在所述绘本中呈现。

在一些可选实施例中，所述处理模块305，用于利用所述绘本制作模型生成所述扩展信息中至少一个扩展信息的增强现实效果，和/或所述至少一个扩展信息的虚拟现实效果。

在一些可选实施例中，所述第二获取模块303，用于利用所述绘本制作模型检测所述页面信息中包括的文本；将所述文本转换为所述音频信息。

在一些可选实施例中，所述第二获取模块303，还用于建立所述音频信息中的音频片段与所述文本中的文本片段的对应关系。

在一些可选实施例中，所述电子绘本生成装置还包括：构建模块306，用于构建电子绘本库，所述绘本库中包括至少一个电子绘本。

在一些可选实施例中，所述电子绘本生成装置还包括：播放模块307，用于获取第一纸质绘本的封面信息；

基于所述封面信息在所述电子绘本库中匹配与所述第一纸质绘本对应的第一电子绘本。

在一些可选实施例中，所述播放模块307，还用于基于默认的音频播放所述第一电子绘本；或者，响应于用户对播放音频的选择，基于录播的音频播放所述第一电子绘本。

在一些可选实施例中，所述播放模块307，还用于基于所述第一电子绘本的音频与所述第一电子绘本的文本之间的对应关系，以第一样式显示当前播放的音频对应的文本；

其中，所述当前播放的音频对应的文本以外的文本以第二样式显示。

在一些可选实施例中，所述播放模块307，还用于显示当前播放的音频对应的页面中至少一个对象的动画效果；和/或，在独立于所述对象所属的页面的子页面显示所述对象的扩展信息。

应理解，在本申请的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。在一些可选实施例中，电子设备800可以是终端设备，也可以是服务器在一些可选实施例中，电子设备800可以通过运行计算机程序来实现本申请实施例提供的电子绘本生成方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(Application，APP)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

在实际应用中，与电子设备800交互的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。服务器也可以是刀片式服务器。电子设备800可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。

电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如电子绘本生成方法。例如，在一些可选实施例中，电子绘本生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些可选实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的电子绘本生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为电子绘本生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的电子绘本生成方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种电子绘本生成方法，包括：

获取纸质绘本中每页的页面信息；

利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；

获取所述页面信息中的文本，生成针对所述文本的语音信息；

基于所述动画效果和所述语音信息制作电子绘本。

2.根据权利要求1所述的方法，其中，所述利用绘本制作模型确定所述页面信息中的对象，包括：

所述绘本制作模型检测所述页面信息中包括的对象；

所述绘本制作模型确定所述对象对应的页面区域；

所述绘本制作模型基于所述页面区域确定所述对象在所述页面信息中的图像。

3.根据权利要求2所述的方法，其中，所述生成针对所述对象的动画效果，包括：

所述绘本制作模型确定所述对象的属性；

所述绘本制作模型基于所述对象的属性和所述图像生成所述对象的动画效果。

4.根据权利要求1所述的方法，其中，所述方法还包括：

所述绘本制作模型获取所述对象的扩展信息，所述扩展信息未在所述绘本中呈现。

5.根据权利要求4所述的方法，其中，所述方法还包括：

所述绘本制作模型生成所述扩展信息中至少一个扩展信息的增强现实效果，和/或所述至少一个扩展信息的虚拟现实效果。

6.权利要求1所述的方法，其中，所述获取所述页面信息中的文本，生成针对所述文本的语音信息包括：

所述绘本制作模型检测所述页面信息中包括的文本；

所述绘本制作模型将所述文本转换为所述音频信息。

7.根据权利要求6所述的方法，其中，所述方法还包括：

建立所述音频信息中的音频片段与所述文本中的文本片段的对应关系。

8.根据权利要求1至7任一项所述的方法，其中，所述方法还包括：

构建电子绘本库，所述绘本库中包括至少一个电子绘本。

9.根据权利要求8所述的方法，其中，所述方法包括：

获取第一纸质绘本的封面信息；

基于所述封面信息在所述电子绘本库中匹配与所述第一纸质绘本对应的第一电子绘本。

10.根据权利要求9所述的方法，其中，所述方法还包括：

基于默认的音频播放所述第一电子绘本；

或者，响应于用户对播放音频的选择，基于录播的音频播放所述第一电子绘本。

11.根据权利要求10所述的方法，其中，所述方法还包括：

基于所述第一电子绘本的音频与所述第一电子绘本的文本之间的对应关系，以第一样式显示当前播放的音频对应的文本；

其中，所述当前播放的音频对应的文本以外的文本以第二样式显示。

12.根据权利要求10所述的方法，其中，所述方法还包括下述中的至少一项：

显示当前播放的音频对应的页面中至少一个对象的动画效果；

在独立于所述对象所属的页面的子页面显示所述对象的扩展信息。

13.一种电子绘本生成装置，所述电子绘本生成装置包括：

第一获取模块，用于获取纸质绘本中每页的页面信息；

生成模块，用于利用绘本制作模型确定所述页面信息中的对象，生成针对所述对象的动画效果；

第二获取模块，用于获取所述页面信息中的文本，生成针对所述文本的语音信息；

制作模块，用于基于所述动画效果和所述语音信息制作电子绘本。

14.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至12中任一项所述的电子绘本生成方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至12中任一项所述的电子绘本生成方法。

16.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至12中任一项所述的电子绘本生成方法。

Images