CN117765779B - 基于孪生神经网络的儿童绘本智能化导读方法及系统 - Google Patents

Abstract

本发明提供了基于孪生神经网络的儿童绘本智能化导读方法及系统，涉及绘本导读技术领域，该方法包括：将绘本信息同步至目标用户的个人设备存储卡；定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据；进行特征向量提取校对与绘本信息匹配，确定导读音频信息；接收导读约束要素；生成预导读音频；进行目标绘本的同步阅读导读；激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读，通过本发明可以解决现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题，实现提高儿童绘本导读的效率的目标，达到提高为儿童提供更加精准、个性化的阅读指导效率的技术效果。

Description

基于孪生神经网络的儿童绘本智能化导读方法及系统

技术领域

本发明涉及绘本导读技术领域，具体涉及基于孪生神经网络的儿童绘本智能化导读方法及系统。

背景技术

儿童绘本导读可以帮助儿童发现适合自己的绘本读物，也有助于儿童阅读多个种类的绘本读物，提高阅读兴趣和能力，同时通过导读提高儿童阅读的效率和效果。目前，现有的儿童绘本导读在交互设计和用户体验方面还有待提升，如缺乏互动元素。另一方面，现有的儿童绘本导读大多采用基于规则或模板的导读方式，对儿童个性化需求的分析程度较低，难以满足儿童的多样化需求。因此，现需要一种方法解决上述问题。

综上所述，现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题。

发明内容

本发明提供了基于孪生神经网络的儿童绘本智能化导读方法及系统，用以解决现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题。

根据本发明的第一方面，提供了基于孪生神经网络的儿童绘本智能化导读方法，包括：将绘本信息同步至目标用户的个人设备存储卡；随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；结合所述预导读音频，进行目标绘本的同步阅读导读；待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

根据本发明的第二方面，提供了基于孪生神经网络的儿童绘本智能化导读系统，包括：绘本信息同步模块，所述绘本信息同步模块用于将绘本信息同步至目标用户的个人设备存储卡；绘本图像数据获得模块，所述绘本图像数据获得模块用于随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；导读音频信息获得模块，所述导读音频信息获得模块用于将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；导读约束要素接收模块，所述导读约束要素接收模块用于接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；预导读音频获得模块，所述预导读音频获得模块用于基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；同步阅读导读模块，所述同步阅读导读模块用于结合所述预导读音频，进行目标绘本的同步阅读导读；迭代分析导读模块，所述迭代分析导读模块用于待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：根据本发明采用的通过将绘本信息同步至目标用户的个人设备存储卡；随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；结合所述预导读音频，进行目标绘本的同步阅读导读；待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读，解决了现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题，实现提高儿童绘本导读的效率的目标，达到提高为儿童提供更加精准、个性化的阅读指导效率的技术效果。

应当理解，本部分所描述的内容并非旨在标示本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于孪生神经网络的儿童绘本智能化导读方法的流程示意图；

图2为本发明实施例提供的基于孪生神经网络的儿童绘本智能化导读系统的结构示意图。

附图标记说明：绘本信息同步模块11，绘本图像数据获得模块12，导读音频信息获得模块13，导读约束要素接收模块14，预导读音频获得模块15，同步阅读导读模块16，迭代分析导读模块17。

具体实施方式

以下结合附图对本发明的示范性实施例作出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例

本发明实施例提供的基于孪生神经网络的儿童绘本智能化导读方法，兹参照图1作说明，所述方法包括：

将绘本信息同步至目标用户的个人设备存储卡；

具体地，目标用户为待进行绘本阅读的或持有绘本的用户，如目标用户为儿童或父母。进一步地，通过复制或扫描等方法，将绘本信息同步至目标用户的个人设备存储卡。例如，绘本信息可以包括绘本名称、绘本内容、绘本图片和绘本音频等信息。个人设备存储卡为内存卡和移动设备等存储数据的介质，用于进行绘本信息调取。

随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；

具体地，获取阅读开始的请求，例如，检测获取翻开绘本或拿取等移动绘本等的执行动作，获取阅读开始的请求。进一步地，随着阅读开始，激活目标识别模型。其中，目标识别模型为识别绘本的模型。进一步地，定位绘本阅读区域，通过控制图像采集装置扫描绘本阅读区域，确定绘本图像数据。其中，绘本阅读区域根据绘本页面显示的绘本图像或投影区域展示的绘本图像确定。

将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；

具体地，建立孪生网络模型，其中，孪生网络模型包括第一耦合通道和第二耦合通道。进一步地，将绘本图像数据回传至后端服务器，通过孪生网络模型进行绘本图像数据中特征向量的提取，如特征向量包括绘本图像的颜色等。对提取的绘本图像特征向量进行校对和绘本信息匹配，获得相似度较高的绘本图像页。根据获取的绘本图像页确定导读音频信息。

接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；

具体地，通过识别解析用户语音数据生成导读约束要素，并进行导读约束要素的接收，例如，导读约束要素包括声音类型、语速等。

基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；

具体地，按照导读约束要素，对导读音频信息进行补偿调整，生成预导读音频。例如，对导读音频信息进行补偿调整可以为对导读音频信息进行语速减慢的调整，进而生成预导读音频。

结合所述预导读音频，进行目标绘本的同步阅读导读；

具体地，目标绘本为待导读绘本。按照预导读音频，执行对目标绘本的同步阅读导读。其中，同步阅读导读指根据翻页的页面同步进行绘本页面的导读。

待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

具体地，待导读结束后，激活程序翻页模式，用于进行绘本自动化翻页控制与迭代分析导读，即进行绘本翻页，自动切换下一页播放。

其中，通过本实施例可以解决现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题，实现提高儿童绘本导读的效率的目标，达到提高为儿童提供更加精准、个性化的阅读指导效率的技术效果。

本发明实施例提供的方法中还包括：

其中，翻页模式包括程序翻页模式与主观翻页模式，所述程序翻页模式基于预定阅读节点激活，所述主观翻页模式基于识别用户肢体动作随机激活；

若所述主观翻页模式激活，生成导读暂停指令，并执行绘本自动化翻页控制与迭代分析导读。

具体地，翻页模式包括程序翻页模式与主观翻页模式，其中，程序翻页模式指待导读完成上一页面后自动翻页执行下一页面的导读，主观翻页模式指，通过手势识别，进行挥手翻到下一页。进一步地，基于预定阅读节点激活程序翻页模式，即通过绘本页面的页面导读完成作为阅读节点激活程序翻页模式。基于识别用户肢体动作随机激活主观翻页模式，即通过识别随机的挥手手势激活主观翻页模式。

进一步地，若主观翻页模式激活，生成当前导读页面的导读暂停指令，并通过识别随机的挥手手势执行绘本自动化翻页控制，进行下一绘本页面的迭代分析导读。

其中，根据翻页模式可以提高儿童绘本智能化导读的效率，也可以使用户主动参与导读。

本发明实施例提供的方法中还包括：

设定默认阅读模式，其中，阅读模式包括绘本阅读模式与投影阅读模式；

读取用户语音数据，结合音频处理模型进行语音解析，判定是否存在阅读模式切换指令；

若存在，进行阅读模式自动化切换控制，确定目标阅读模式；

基于所述目标阅读模式，进行所述绘本阅读区域的模糊定位。

具体地，默认阅读模式指初始化阅读模式。其中，阅读模式包括绘本阅读模式与投影阅读模式。绘本阅读模式指纸质绘本阅读模式。投影阅读模式指通过投影展示绘本进行阅读的模式。进一步地，设定默认阅读模式，即初始化阅读模式的设置。

进一步地，构建音频处理模型，通过历史绘本阅读记录，获取用户语音数据记录，提取阅读模式切换的多个种类的指令，训练音频处理模型。当音频处理模型的输出结果趋于稳定时，获得输出结果的识别准确率，将输出结果的识别准确率与解析准确率阈值进行比对，当输出结果的识别准确率大于或等于解析准确率阈值时，获得音频处理模型。进一步地，读取用户语音数据，通过音频处理模型进行用户语音数据的语音解析，判定用户语音数据中是否存在阅读模式切换指令。

进一步地，若用户语音数据中存在阅读模式切换指令，进行阅读模式自动化切换控制，进而确定目标阅读模式。其中，目标阅读模式为待切换获得的阅读模式。

进一步地，按照目标阅读模式，进行绘本阅读区域的模糊定位，即进行初步定位，定位获得待进行阅读的绘本图像等。

其中，通过音频处理模型进行阅读模式的切换可以提高绘本智能导读的效率。

本发明实施例提供的方法中还包括：

其中，所述第一耦合通道与所述第二耦合通道建立有侧向连接通道，并建立同步绘本信息与所述第二耦合通道的连接；

将所述绘本图像数据传输至所述第一耦合通道，进行卷积特征识别与筛选，确定一组图像特征向量；

基于所述一组图像特征向量，提取模糊特征向量；

基于所述模糊特征向量，执行基于所述第二耦合通道的卷积特征识别与相似度分析，匹配确定所述导读音频信息。

具体地，孪生网络模型的第一耦合通道与第二耦合通道之间建立有侧向连接通道。其中，通过侧向连接通道对第一耦合通道与第二耦合通道进行数据共享，进而减少第一耦合通道与第二耦合通道中参数数据的数量，降低计算量，减少孪生网络模型的复杂度，提高孪生网络模型的泛化能力。其次，通过侧向连接通道共享参数可以帮助孪生网络模型更好地理解和提取数据特征，提高孪生网络模型的性能。此外，还可以帮助孪生网络模型更好地适应不同的数据分布，提高模型的鲁棒性。例如，通过侧向连接通道，将第一耦合通道的数据输出至第二耦合通道，作为第二耦合通道的输入进行数据获取。将同步绘本信息与第二耦合通道进行连接，用于将同步绘本信息传输至第二耦合通道。其中，同步绘本信息为绘本信息的同步数据，例如，同步绘本信息为绘本信息中图像数据。

进一步地，将绘本图像数据传输至第一耦合通道。通过第一耦合通道对绘本图像数据进行卷积特征识别与筛选，其中，卷积神经网络通过卷积运算从原始图像中提取特征，包括颜色、纹理、形状等。通过将输入特征图与可学习的卷积核进行卷积运算，可以得到新的特征图，即输出特征图。其中，将输出特征图作为一组图像特征向量。

进一步地，提取一组图像特征向量，提取模糊特征向量。例如，提取图像的颜色和纹理等特征，生成模糊图像，用于根据图像进行对应绘本的匹配。

进一步地，根据模糊特征向量，通过与第二耦合通道中同步绘本信息进行匹配和识别，并进行相似度计算，获得绘本信息匹配结果，并根据绘本信息匹配结果确定待进行导读的页面，即确定导读音频信息。

其中，结合孪生网络模型进行特征向量提取校对与绘本信息匹配可以提高绘本智能导读的精确度和效率。

本发明实施例提供的方法中还包括：

基于所述侧向连接通道，将所述模糊特征向量传输至所述第二耦合通道，进行同步绘本信息的匹配，确定模糊定位信息；

基于所述第二耦合通道，对所述模糊定位信息进行卷积特征识别与筛选，确定二组图像特征向量；

结合相似度函数，进行基于所述一组图像特征向量与所述二组图像特征向量的相似度计算，择取最高相似度映射的二组图像特征向量，确定绘本信息匹配结果；

识别所述绘本信息匹配结果，确定所述导读音频信息。

具体地，通过第一耦合通道与第二耦合通道之间的侧向连接通道，将模糊特征向量从第一耦合通道传输至第二耦合通道。进行模糊特征向量与第二耦合通道中同步绘本信息的匹配，确定模糊定位信息。例如，根据生成的绘本图像与已知的绘本中绘本图像进行匹配，用于进行比对获得绘本图像在绘本中的定位信息，即获得绘本的所在页。

进一步地，根据第二耦合通道，对模糊定位信息进行卷积特征识别与筛选，确定二组图像特征向量。例如，对多页模糊匹配，获得类似的图像特征向量，在其中匹配相似度最高的一页，作为二组图像特征向量。

进一步地，相似度函数为进行图像相似度计算的函数，由本领域技术人员根据实际情况进行自定义设置获得，例如，当相似度函数的输出结果相似度越高时，表示输入图像的相似程度越高，反之，则越低。进一步地，将一组图像特征向量与二组图像特征向量输入相似度函数，对输入图像进行相似度计算，获得多个相似度。对多个相似度按照相似度大小进行序列化处理，择取与一组图像特征向量相似度最高的二组图像特征向量，进而确定绘本信息匹配结果。

进一步地，根据绘本信息匹配结果对应的绘本图像，确定导读音频信息。其中，导读音频信息包括对绘本信息进行音频导读的音频数据信息。

其中，进一步验证绘本图像可以提高绘本智能化导读的精确程度。

本发明实施例提供的方法中还包括：

搭建要素数据库，所述要素数据库内置于所述后端服务器；

识别用户语音数据，结合所述音频处理模型，解析确定用户音频特征；

遍历所述要素数据库，对所述用户音频特征进行匹配，确定目标匹配结果；

若所述目标匹配结果非空，组合确定总成约束特征，作为所述导读约束要素。

具体地，搭建要素数据库，将要素数据库内置于后端服务器，例如，要素数据库包括声音类型约束和语速约束等，便于为儿童理解绘本。

进一步地，识别用户语音数据，通过音频处理模型解析用户语音数据，进而确定待进行要素约束的用户音频特征。例如，识别用户语音数据中是否包括用户需求的声音类型或需求的语速，进而根据用户需求确定用户需求的音频特征。

进一步地，依次访问要素数据库中所有要素，将用户音频特征在要素数据库中进行匹配，获得用户需求的要素，进而确定为目标匹配结果。

进一步地，若目标匹配结果非空，即存在用户需求的要素，将多个用户需求的要素，如声音类型和语速等，进行组合确定为总成约束特征，进而作为导读约束要素。其中，接收导读约束要素可以使儿童提高绘本导读的接收程度。

本发明实施例提供的方法中还包括：

设定预定时间周期，读取周期性时区内的用户语音记录；

基于所述用户语音记录，提取基于用户音频特征的用户阅读习惯；

基于所述用户阅读习惯，进行默认阅读设置的调试，其中，所述默认阅读设置周期性更新。

具体地，设定预定时间周期，预定时间周期用于读取周期性时区内的用户语音记录。其中，预定时间周期和周期性时区由本领域技术人员根据实际情况进行自定义设置获得，例如，预定时间周期为一周，则周期性时区可以设置为一天。其中，用户语音记录为历史时间内的用户语音数据。

进一步地，从用户语音记录中提取用户音频特征的用户阅读习惯。例如，用户的阅读习惯为用户习惯的语速和用户习惯的声音类型，如用户习惯的声音类型可以为男声或女声。

进一步地，将用户阅读习惯的用户音频特征设置为默认阅读设置，其中，默认阅读设置进行周期性更新，当下一周期时，用户阅读习惯发生变化，可以相应调整默认阅读设置。

其中，进行默认阅读设置可以提高儿童绘本智能化导读的效率，读取绘本的速度更快。

实施例

基于与前述实施例一中基于孪生神经网络的儿童绘本智能化导读方法同样的发明构思，如图2所示，本发明还提供了基于孪生神经网络的儿童绘本智能化导读系统，所述系统包括：

绘本信息同步模块11，所述绘本信息同步模块11用于将绘本信息同步至目标用户的个人设备存储卡；

绘本图像数据获得模块12，所述绘本图像数据获得模块12用于随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；

导读音频信息获得模块13，所述导读音频信息获得模块13用于将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；

导读约束要素接收模块14，所述导读约束要素接收模块14用于接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；

预导读音频获得模块15，所述预导读音频获得模块15用于基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；

同步阅读导读模块16，所述同步阅读导读模块16用于结合所述预导读音频，进行目标绘本的同步阅读导读；

迭代分析导读模块17，所述迭代分析导读模块17用于待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

进一步地，所述系统还包括：

翻页模式获得模块，所述翻页模式获得模块用于其中，翻页模式包括程序翻页模式与主观翻页模式，所述程序翻页模式基于预定阅读节点激活，所述主观翻页模式基于识别用户肢体动作随机激活；

自动化翻页控制模块，所述自动化翻页控制模块用于若所述主观翻页模式激活，生成导读暂停指令，并执行绘本自动化翻页控制与迭代分析导读。

进一步地，所述系统还包括：

默认阅读模式获得模块，所述默认阅读模式获得模块用于设定默认阅读模式，其中，阅读模式包括绘本阅读模式与投影阅读模式；

阅读模式切换指令获得模块，所述阅读模式切换指令获得模块用于读取用户语音数据，结合音频处理模型进行语音解析，判定是否存在阅读模式切换指令；

目标阅读模式获得模块，所述目标阅读模式获得模块用于若存在，进行阅读模式自动化切换控制，确定目标阅读模式；

模糊定位模块，所述模糊定位模块用于基于所述目标阅读模式，进行所述绘本阅读区域的模糊定位。

进一步地，所述系统还包括：

侧向连接通道获得模块，所述侧向连接通道获得模块用于其中，所述第一耦合通道与所述第二耦合通道建立有侧向连接通道，并建立同步绘本信息与所述第二耦合通道的连接；

一组图像特征向量获得模块，所述一组图像特征向量获得模块用于将所述绘本图像数据传输至所述第一耦合通道，进行卷积特征识别与筛选，确定一组图像特征向量；

模糊特征向量获得模块，所述模糊特征向量获得模块用于基于所述一组图像特征向量，提取模糊特征向量；

导读音频信息获得模块，所述导读音频信息获得模块用于基于所述模糊特征向量，执行基于所述第二耦合通道的卷积特征识别与相似度分析，匹配确定所述导读音频信息。

进一步地，所述系统还包括：

模糊定位信息获得模块，所述模糊定位信息获得模块用于基于所述侧向连接通道，将所述模糊特征向量传输至所述第二耦合通道，进行同步绘本信息的匹配，确定模糊定位信息；

二组图像特征向量获得模块，所述二组图像特征向量获得模块用于基于所述第二耦合通道，对所述模糊定位信息进行卷积特征识别与筛选，确定二组图像特征向量；

绘本信息匹配结果获得模块，所述绘本信息匹配结果获得模块用于结合相似度函数，进行基于所述一组图像特征向量与所述二组图像特征向量的相似度计算，择取最高相似度映射的二组图像特征向量，确定绘本信息匹配结果；

导读音频信息确定模块，所述导读音频信息确定模块用于识别所述绘本信息匹配结果，确定所述导读音频信息。

进一步地，所述系统还包括：

要素数据库获得模块，所述要素数据库获得模块用于搭建要素数据库，所述要素数据库内置于所述后端服务器；

用户音频特征获得模块，所述用户音频特征获得模块用于识别用户语音数据，结合所述音频处理模型，解析确定用户音频特征；

目标匹配结果获得模块，所述目标匹配结果获得模块用于遍历所述要素数据库，对所述用户音频特征进行匹配，确定目标匹配结果；

总成约束特征获得模块，所述总成约束特征获得模块用于若所述目标匹配结果非空，组合确定总成约束特征，作为所述导读约束要素。

进一步地，所述系统还包括：

用户语音记录获得模块，所述用户语音记录获得模块用于设定预定时间周期，读取周期性时区内的用户语音记录；

用户阅读习惯获得模块，所述用户阅读习惯获得模块用于基于所述用户语音记录，提取基于用户音频特征的用户阅读习惯；

默认阅读设置调试模块，所述默认阅读设置调试模块用于基于所述用户阅读习惯，进行默认阅读设置的调试，其中，所述默认阅读设置周期性更新。

前述实施例一中的基于孪生神经网络的儿童绘本智能化导读方法具体实例同样适用于本实施例二的基于孪生神经网络的儿童绘本智能化导读系统，通过前述对基于孪生神经网络的儿童绘本智能化导读方法的详细描述，本领域技术人员可以清楚地知道本实施例二中基于孪生神经网络的儿童绘本智能化导读系统，所以为了说明书的简洁，在此不再详述。对于实施例二公开的系统而言，由于其与实施例一公开的方法相对应，所以描述得比较简单，相关之处参见方法部分说明即可。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合和替代。任何在本发明的精神和原则之内所做的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (5)

1.基于孪生神经网络的儿童绘本智能化导读方法，其特征在于，所述方法包括：

将绘本信息同步至目标用户的个人设备存储卡；

随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；

将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；

其中，所述结合孪生网络模型进行特征向量提取校对与绘本信息匹配，包括：

所述第一耦合通道与所述第二耦合通道建立有侧向连接通道，并建立同步绘本信息与所述第二耦合通道的连接；

将所述绘本图像数据传输至所述第一耦合通道，进行卷积特征识别与筛选，确定一组图像特征向量；

基于所述一组图像特征向量，提取模糊特征向量；

基于所述模糊特征向量，执行基于所述第二耦合通道的卷积特征识别与相似度分析，匹配确定所述导读音频信息；

其中，基于所述模糊特征向量，执行基于所述第二耦合通道的卷积特征识别与相似度分析，包括：

基于所述侧向连接通道，将所述模糊特征向量传输至所述第二耦合通道，进行同步绘本信息的匹配，确定模糊定位信息；

基于所述第二耦合通道，对所述模糊定位信息进行卷积特征识别与筛选，确定二组图像特征向量；

结合相似度函数，进行基于所述一组图像特征向量与所述二组图像特征向量的相似度计算，择取最高相似度映射的二组图像特征向量，确定绘本信息匹配结果；

识别所述绘本信息匹配结果，确定所述导读音频信息；

接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；

基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；

结合所述预导读音频，进行目标绘本的同步阅读导读；

待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读；

所述接收导读约束要素，包括：

搭建要素数据库，所述要素数据库内置于所述后端服务器；

识别用户语音数据，结合音频处理模型，解析确定用户音频特征；

遍历所述要素数据库，对所述用户音频特征进行匹配，确定目标匹配结果；

若所述目标匹配结果非空，组合确定总成约束特征，作为所述导读约束要素。

2.如权利要求1所述的方法，其特征在于，该方法包括：

其中，翻页模式包括程序翻页模式与主观翻页模式，所述程序翻页模式基于预定阅读节点激活，所述主观翻页模式基于识别用户肢体动作随机激活；

若所述主观翻页模式激活，生成导读暂停指令，并执行绘本自动化翻页控制与迭代分析导读。

3.如权利要求1所述的方法，其特征在于，定位绘本阅读区域之前，该方法包括：

设定默认阅读模式，其中，阅读模式包括绘本阅读模式与投影阅读模式；

读取用户语音数据，结合音频处理模型进行语音解析，判定是否存在阅读模式切换指令；

若存在，进行阅读模式自动化切换控制，确定目标阅读模式；

基于所述目标阅读模式，进行所述绘本阅读区域的模糊定位。

4.如权利要求1所述的方法，其特征在于，该方法包括：

设定预定时间周期，读取周期性时区内的用户语音记录；

基于所述用户语音记录，提取基于用户音频特征的用户阅读习惯；

基于所述用户阅读习惯，进行默认阅读设置的调试，其中，所述默认阅读设置周期性更新。

5.基于孪生神经网络的儿童绘本智能化导读系统，其特征在于，用于实施权利要求1-4中任意一项所述的基于孪生神经网络的儿童绘本智能化导读方法，所述系统包括：

绘本信息同步模块，所述绘本信息同步模块用于将绘本信息同步至目标用户的个人设备存储卡；

绘本图像数据获得模块，所述绘本图像数据获得模块用于随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；

导读音频信息获得模块，所述导读音频信息获得模块用于将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；

其中，所述导读音频信息获得模块还包括：

侧向连接通道获得模块，所述侧向连接通道获得模块用于其中，所述第一耦合通道与所述第二耦合通道建立有侧向连接通道，并建立同步绘本信息与所述第二耦合通道的连接；

一组图像特征向量获得模块，所述一组图像特征向量获得模块用于将所述绘本图像数据传输至所述第一耦合通道，进行卷积特征识别与筛选，确定一组图像特征向量；

模糊特征向量获得模块，所述模糊特征向量获得模块用于基于所述一组图像特征向量，提取模糊特征向量；

导读音频信息匹配确定模块，所述导读音频信息匹配确定模块用于基于所述模糊特征向量，执行基于所述第二耦合通道的卷积特征识别与相似度分析，匹配确定所述导读音频信息；

其中，所述导读音频信息匹配确定模块还包括：

模糊定位信息确定模块，所述模糊定位信息确定模块用于基于所述侧向连接通道，将所述模糊特征向量传输至所述第二耦合通道，进行同步绘本信息的匹配，确定模糊定位信息；

二组图像特征向量确定模块，所述二组图像特征向量确定模块用于基于所述第二耦合通道，对所述模糊定位信息进行卷积特征识别与筛选，确定二组图像特征向量；

绘本信息匹配结果确定模块，所述绘本信息匹配结果确定模块用于结合相似度函数，进行基于所述一组图像特征向量与所述二组图像特征向量的相似度计算，择取最高相似度映射的二组图像特征向量，确定绘本信息匹配结果；

绘本信息匹配结果识别模块，所述绘本信息匹配结果识别模块用于识别所述绘本信息匹配结果，确定所述导读音频信息；

导读约束要素接收模块，所述导读约束要素接收模块用于接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；

预导读音频获得模块，所述预导读音频获得模块用于基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；

同步阅读导读模块，所述同步阅读导读模块用于结合所述预导读音频，进行目标绘本的同步阅读导读；

迭代分析导读模块，所述迭代分析导读模块用于待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读；

要素数据库获得模块，所述要素数据库获得模块用于搭建要素数据库，所述要素数据库内置于所述后端服务器；

用户音频特征获得模块，所述用户音频特征获得模块用于识别用户语音数据，结合音频处理模型，解析确定用户音频特征；

目标匹配结果获得模块，所述目标匹配结果获得模块用于遍历所述要素数据库，对所述用户音频特征进行匹配，确定目标匹配结果；

总成约束特征获得模块，所述总成约束特征获得模块用于若所述目标匹配结果非空，组合确定总成约束特征，作为所述导读约束要素。