CN107977394A - 绘本识别方法及电子设备 - Google Patents

Abstract

本发明公开了一种绘本识别方法，包括：按照预设采集频率，通过摄像头采集绘本照片；识别所述绘本照片，得到识别结果和与所述识别结果相应的得分；获取得分高于得分阈值的识别结果所对应的第一音频访问地址；若所述绘本照片为绘本封面照片，获取与所述绘本封面照片对应的绘本ID；根据所述第一音频访问地址，播放相应的音频文件。本发明还公开了一种电子设备。本发明提供的绘本识别方法及电子设备，能够较为的准确地识别绘本并得到相应的识别结果。

Description

绘本识别方法及电子设备

技术领域

本发明涉及数据处理技术领域，特别是指一种绘本识别方法及电子设备。

背景技术

绘本，英文称Picture Book，指一类以绘画为主，并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。

传统的绘本识别方法有两种：一种是点读笔通过笔尖的光电识别器，将绘本上印制的肉眼不可见的二维码信息扫描，由笔内CPU处理识别成功后，从点读笔内存中挑出对应的音频由喇叭播放。另一种点读机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”，使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。

除了上述的传统的绘本识别方法外，现有技术中还有一种通过图像识别来进行绘本识别的方法。但是，现有的图片识别领域，专攻绘本识别的数据非常稀少。同时，由于不同的环境、光照原因，图片之间的差异较大，需要大量的图片训练，现有技术所采用的图像识别方法，在绘本识别上有着识别错误率高的问题。

发明内容

有鉴于此，本发明的目的在于提出一种绘本识别方法及电子设备，解决了现有技术中绘本识别的错误率高的问题。

基于上述目的本发明提供的绘本识别方法，包括：

按照预设采集频率，通过摄像头采集绘本照片；

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分；

获取得分高于得分阈值的识别结果所对应的第一音频访问地址；若所述绘本照片为绘本封面照片，获取与所述绘本封面照片对应的绘本ID；

根据所述第一音频访问地址，播放相应的音频文件。

可选的，识别所述绘本照片的步骤，包括：

将所述绘本照片与本地存储的绘本封面图片进行比对；

若所述绘本照片与本地存储的任一绘本封面图片匹配，则所述绘本照片被识别为绘本封面照片；

若所述绘本照片不与本地存储的任何绘本封面图片匹配，则确定所述绘本照片是否携带绘本ID；

若所述绘本照片携带绘本ID，根据所述绘本ID确定相应的绘本，并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。

可选的，所述方法还包括：

若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配，则所述绘本照片被识别为绘本内页照片；

若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配，则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。

可选的，所述绘本照片为连续采集的两张以上绘本照片；

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分的步骤，包括：

识别每张绘本照片；

若每张绘本照片的识别结果相同，则将该识别结果和与所述识别结果相应的得分输出。

可选的，所述方法还包括：

持续采集绘本照片；

识别所述绘本照片，并得到识别结果；

若所述识别结果与在先的识别结果不同，则判定为绘本被翻页。

可选的，判定为绘本被翻页的步骤之后还包括：

按照预设采集频率，通过摄像头采集新的绘本照片；

识别所述新的绘本照片，得到识别结果和与所述识别结果相应的得分；

获取得分高于得分阈值的识别结果所对应的第二音频访问地址；

根据所述第二音频访问地址，播放相应的音频文件。

可选的，所述绘本照片为连续采集的两张以上绘本照片；所述方法还包括：

将所述识别结果存储为识别结果队列，所述识别结果队列中保存有多个识别结果；

将多个识别结果分为至少两个集合；

为不同集合赋予不同权重；其中，按每个集合中识别结果的接收时间先后顺序，权重的大小依次递减；

确定最新的识别结果占各自集合中的比例；

根据所述权重和所述比例，计算所述最新的识别结果在整个识别结果队列中的有效值；

若所述有效值大于预设有效值阈值，则判定为翻页。

可选的，若所述有效值小于或等于所述预设有效值阈值，则保留当前绘本页对应的识别结果。

可选的，所述识别结果队列中的识别结果的个数为n个，且所述识别结果队列被平均分为三个集合；所述三个集合中，接收时间在先的前n/3个识别结果为第一集合，接收时间处于中间的中间n/3个识别结果为第二集合，接收时间在后的最后n/3个识别结果为第三集合，并且，第一集合对应的第一权重为a，第二集合对应的第二权重为b，第三集合对应的第三权重为c，且a＞b＞c；

所述第一集合对应的最新的识别结果的第一比例为A，所述第二集合对应的最新的识别结果的第二比例为B，所述第三集合对应的最新的识别结果的第三比例为C；

所述有效值的计算方式为：

有效值＝a*A+b*B+c*C。

可选的，所述绘本照片为连续采集的两张以上绘本照片；所述方法还包括：

将所述识别结果存储为识别结果队列；

比对所述识别结果队列中的识别结果；

若所述识别结果队列中在后的识别结果与在先的识别结果不同，且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的，则判定为翻页。

可选的，所述方法还包括：

若所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果不完全相同，则保留在先的识别结果。

可选的，所述保留在先的识别结果的步骤之后，还包括：删除所述在后的识别结果。

本发明实施例的第二个方面，还提供了一种电子设备，包括：

用于采集照片的摄像头；

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的方法。

从上面所述可以看出，本发明实施例提供的绘本识别方法及电子设备，通过摄像头自动采集绘本照片并对其进行识别，当绘本照片被识别为绘本封面照片时，获取对应的绘本ID，使得在后续采集绘本照片时携带所述绘本ID，从而直接根据所述绘本ID确定新采集的绘本照片来自于哪一个绘本，在确定绘本后，能够将绘本的特征检索库进一步限定在相应绘本的绘本内页图片的集合中，降低了绘本照片的检索时间，排除大量的相似度较高的错误的绘本页，在关键特征点检索时会更快更准确。

附图说明

图1为本发明提供的绘本识别方法的第一个实施例的流程示意图；

图1a为本发明提供的绘本识别方法的第一个实施例中步骤102的一种实施方式的具体流程示意图；

图2为本发明提供的绘本识别方法的第二个实施例的流程示意图；

图3为本发明提供的绘本识别装置的一个实施例的结构示意图；

图4为本发明提供的电子设备的一个实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提供了一种能够提高绘本识别正确率的绘本识别方法。如图1所示，为本发明提供的绘本识别方法的第一个实施例的流程示意图。

所述绘本识别方法，可选的，应用于绘本识别终端设备(例如家用智能机器人等)，包括以下步骤：

步骤101：按照预设采集频率，通过摄像头采集绘本照片；所述预设采集频率可以是默认值也可以根据用户的需求进行自定义，可选的，可设置为200ms/次；所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头，也可以是基于本发明而专门设计的采集装置中安装的摄像头；所述绘本照片是指通过摄像头拍摄绘本而得到的照片，可以是绘本封面照片，也可以是绘本内页照片，可因为用户目前将绘本翻到不同页数而不同。

步骤102：识别所述绘本照片，得到识别结果和与所述识别结果相应的得分；可选的，在识别所述绘本照片之前，还可先对绘本照片进行处理，例如，压缩图片、过滤动态模糊图片、图像二值化、灰度图处理、SIFT特征提取、交点特征提取等，处理方法包含但不仅限于这几种方法。可选的，通过图片识别模型来识别绘本照片，同时，所述图片识别模型在得出识别结果时，能够得出该识别结果相应的得分，所述得分可以结合各种参数来确定，其中的参数之一可以是绘本照片与识别结果对应的绘本图片之间的相似度。

步骤103：获取得分高于得分阈值的识别结果所对应的第一音频访问地址；可选的，所述第一音频访问地址，可以是所述识别结果对应的音频文件在本地的访问地址；所述得分阈值，可以是系统默认设定的，也可以根据用户或服务提供商的需求而进行自定义设定或随时进行修正；较佳的，具体的得分阈值的选定，以能够使识别结果具有较高的准确性为前提。

步骤104：若所述绘本照片为绘本封面照片，则可确定用户当前正在阅读与所述绘本封面照片对应的绘本，此时，获取与所述绘本封面照片对应的绘本ID(亦即与所述绘本封面照片对应的绘本的绘本ID)，所述绘本ID用于后续采集绘本照片时作为携带信息，从而作为判断绘本的依据。

步骤105：根据所述第一音频访问地址，播放相应的音频文件；这里播放的音频文件则为与所述绘本照片相对应的绘本页所匹配的音频文件，该音频文件可以是读出了绘本页中全部文字的音频文件，在某些情况下，也可以是读出了绘本页中部分文字的音频文件，还可以额外读出绘本页中不包含的文字的音频文件；可选的，所述音频文件作为读出绘本页中全部文字的音频文件时，朗读方式可以是从上到下、从左往右的朗读方式。

从上述实施例可以看出，本发明实施例提供的绘本识别方法，通过摄像头自动采集绘本照片并对其进行识别，当绘本照片被识别为绘本封面照片时，获取对应的绘本ID，使得在后续采集绘本照片时携带所述绘本ID，从而直接根据所述绘本ID确定新采集的绘本照片来自于哪一个绘本，在确定绘本后，能够将绘本的特征检索库进一步限定在相应绘本的绘本内页图片的集合中，降低了绘本照片的检索时间，排除大量的相似度较高的错误的绘本页，在关键特征点检索时会更快更准确。

在一些可选实施方式中，参照附图1a，识别所述绘本照片，得到识别结果和与所述识别结果相应的得分的步骤102，可通过关键特征匹配算法对绘本照片进行识别，并且还可具体包括以下步骤：

步骤1021：对绘本照片的关键特征进行提取；

步骤1022：将提取特征点与训练集特征点进行匹配；

步骤1023：求得匹配得分较高的训练样本类别(可选的，所述训练样本类别为相应的绘本封面图片或绘本内页图片)。可选的，当匹配得分超过一定阈值时，该训练样本类别作为对应的识别结果；当匹配得分超过一定阈值的训练样本类别为两个以上时，将匹配得分最高的训练样本类别作为对应的识别结果。

通过上述关键特征匹配算法来进行绘本照片的识别，能够提高运算效率，节约本地资源。

在一些可选实施方式中，所述识别所述绘本照片的步骤102，还可具体包括以下步骤：

将所述绘本照片与本地存储的绘本封面图片进行比对；

若所述绘本照片与本地存储的任一绘本封面图片匹配，则所述绘本照片被识别为绘本封面照片；

若所述绘本照片不与本地存储的任何绘本封面图片匹配，则确定所述绘本照片是否携带绘本ID；这个绘本ID是在先识别得出绘本封面照片时获取的绘本ID，当所述绘本照片携带所述绘本ID且所述绘本照片不与数据库中存储的任何绘本封面图片匹配时，说明此时需要判定所述绘本照片是不是与所述绘本ID对应的绘本的绘本内页照片；

若所述绘本照片携带绘本ID，根据所述绘本ID确定相应的绘本，并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对；

若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配，则所述绘本照片被识别为绘本内页照片；

若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配，则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。

通过上述实施例，设计了识别绘本照片的具体顺序，采用先确定绘本照片是否是绘本封面照片的方式，在识别的第一步将数据库约束在绘本封面图片数据库中，识别会更快更准确；若该绘本照片不是绘本封面照片，则确定是否携带绘本ID，并当确定携带有绘本ID时，利用该绘本ID进行绘本内页图片的识别，从而将数据库约束在与绘本ID对应的绘本内页图片数据库中，识别同样会更快更准确。

较佳的，在一些可选实施方式中，在利用所述绘本ID进行绘本内页图片的识别时，除了直接将其与所述绘本ID对应的绘本内页图片中进行比对外，还可采用以下步骤来实现：

将所述绘本照片在包含所以绘本内页图片的数据库中进行比对；

对与绘本ID相关联的绘本内页图片增加置信度权重；

得到识别结果和与所述识别结果相应的得分；这里，与绘本ID相关联的绘本内页图片由于被增加了置信度权重，其得分会相对高一些，但若所述绘本照片并不是与绘本ID相关联的绘本内页图片，通过这种方式还是可以识别出正确的结果。

在一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分的步骤，包括：

识别每张绘本照片；

若每张绘本照片的识别结果相同，则将该识别结果和与所述识别结果相应的得分输出。在多张连续的绘本照片的识别结果相同时，说明识别结果连续，可以假定为绘本的书页处于稳定的阅读中，此时的结果相比未做处理的识别方法更加准确。

在一些可选实施方式中，所述绘本识别方法，还可包括以下步骤：

持续采集绘本照片；

识别所述绘本照片，并得到识别结果；

若所述识别结果与在先的识别结果不同，则判定为绘本被翻页。可选的，通过提取绘本照片中的关键交点信息，作为绘本照片的指纹，当前后绘本照片的指纹不一致时，可认为发生了翻页。

通过上述实施例，实现了翻页的自动识别，而无需用户进行额外操作。

在一些可选实施方式中，所述绘本识别方法，还可包括以下步骤：

按照预设采集频率，通过摄像头采集新的绘本照片；

识别所述新的绘本照片，得到识别结果和与所述识别结果相应的得分；在所述新的绘本照片携带绘本ID时，根据所述绘本ID识别所述新的绘本照片，即，根据绘本ID确定相应的绘本，并将所述新的绘本照片在相应绘本的绘本内页图片中进行比对，从而能够得出更准确的识别结果；

获取得分高于得分阈值的识别结果所对应的第二音频访问地址；

根据所述第二音频访问地址，播放相应的音频文件。

通过上述实施例，完成了对于携带有绘本ID的绘本照片的识别，得到新的第二音频访问地址，从而能够进行新的一页绘本页的相关音频文件的播放。

本发明实施例还提供了一种能够提高绘本识别正确率的绘本识别方法的第二个实施例。如图2所示，为本发明提供的绘本识别方法的第二个实施例的流程示意图。

所述绘本识别方法，可选的，应用于绘本识别终端设备(例如家用智能机器人等)，包括以下步骤：

步骤201：接收启动信号，发出提示音和/或提示信息；

步骤202：按照预设采集频率，通过摄像头采集绘本照片；所述绘本照片为连续采集的两张以上绘本照片；

步骤203：将每张所述绘本照片与本地存储的绘本封面图片进行比对；

步骤204：若所述绘本照片与本地存储的任一绘本封面图片匹配，则所述绘本照片被识别为绘本封面照片；

步骤205：若所述绘本照片不与本地存储的任何绘本封面图片匹配，则确定所述绘本照片是否携带绘本ID；这个绘本ID是在先识别得出绘本封面照片时服务器返回的绘本ID，当服务器接收到这个绘本ID且所述绘本照片不与数据库中存储的任何绘本封面图片匹配时，说明此时需要判定所述绘本照片是不是与所述绘本ID对应的绘本的绘本内页照片；

步骤206：若所述绘本照片不携带绘本ID，将所述绘本照片与本地存储的所有绘本内页图片进行比对，得到识别结果和与所述识别结果相应的得分；

步骤207：若所述绘本照片携带绘本ID，根据所述绘本ID确定相应的绘本，并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片(即，仅包括与绘本ID关联的绘本内页图片的数据集)进行比对；

步骤208：若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配，则所述绘本照片被识别为绘本内页照片；

步骤209：若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配，则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片；

步骤210：获取得分高于得分阈值的识别结果所对应的第一音频访问地址；

步骤211：若所述绘本照片为绘本封面照片，获取与所述绘本封面照片对应的绘本ID；

步骤212：根据所述第一音频访问地址，播放相应的音频文件；

步骤213：持续采集绘本照片；

步骤214：识别所述绘本照片，并得到识别结果；可选的，这里的识别所述绘本照片的步骤，具体的可参照前述步骤203-步骤209记载的方式来进行，在此不再赘述；

步骤215：若所述识别结果与在先的识别结果不同，则判定为绘本被翻页；

步骤216：按照预设采集频率，通过摄像头采集新的绘本照片；所述新的绘本照片携带有绘本ID；

步骤217：根据所述绘本ID，识别所述新的绘本照片，得到识别结果和与所述识别结果相应的得分；这样，可以根据绘本ID确定相应的绘本，并将所述新的绘本照片在相应绘本的绘本内页图片中进行比对，从而能够得出更准确的识别结果；可选的，这里的识别所述绘本照片的步骤，具体的可参照前述步骤203-步骤209记载的方式来进行，在此不再赘述；

步骤218：获取得分高于得分阈值的识别结果所对应的第二音频访问地址；

步骤219：根据所述第二音频访问地址，播放相应的音频文件。

从上述实施例可以看出，本发明实施例提供了一种绘本识别方法，通过图像识别技术判断是绘本照片是否为绘本封面照片，在识别为绘本封面照片时获取对应的第一音频访问地址和绘本ID，并根据第一音频访问地址播放相应的音频文件；并且，在确定绘本翻页后，在后续采集绘本照片时携带所述绘本ID，约束了内页的特征检索库，降低了检索时间，排除了大量的相似度较高的错误书页，进而达到增加识别准确率，减少识别时间的目的。

在一些可选实施方式中，所述绘本识别方法，还可包括以下步骤：

比对采集得到的绘本照片；

当相同的绘本照片的数量超过预设数量阈值时，删除超过所述预设数量阈值的绘本照片；例如，连续得到的8张绘本照片都是相同的，若所述预设数量阈值为5，则删除所述8张相同的绘本照片中的3张。可选的，所述预设数量阈值，可以是系统默认设定的，也可以根据用户或服务提供商的需求而进行自定义设定；较佳的，具体的预设数量阈值的选定，以能够满足结果连续的有效判断为前提。

在一些可选实施方式中，所述绘本识别方法，还可包括以下步骤：

接收启动信号，发出提示音和/或提示信息。可选的，所述启动信号，可以是设备的开机信号；也可以是在使用手机APP实现所述绘本识别方法时，因为打开了相应的APP而产生的启动信号；所述提示音可以是任意的可以起到提示作用的声音；所述提示信息可以是显示在设备屏幕上的一段文字，例如，“您已开始使用绘本识别工具，请拍摄绘本的封面。”所述提示音和提示信息可以分开使用也可以结合使用，二者的主要目的在于提示用户首先进行绘本封面的拍摄，使得首先识别出绘本封面并确定绘本ID，从而便于后续的绘本内页识别时约束特征数据库。

除了前述实施例中的判定翻页的方法外，还可以采用其他方式来判定是否翻页；在一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；所述绘本识别方法，还可包括以下步骤：

持续采集绘本照片；

识别所述绘本照片并得到与每张绘本照片一一对应的识别结果；这里的与绘本照片对应的识别结果分为以下几种情况：第一种，识别结果与绘本照片是一一对应的；第二种，在得到每张绘本照片的识别结果时，还同时得出识别结果的相应得分，仅当识别结果的得分高于预设得分阈值时，才输出该识别结果；第三种，在得到每张绘本照片的识别结果时，还同时比对多张绘本照片的识别结果是否相同，仅当相同时，才返回相应的识别结果；第四种，在得到每张绘本照片的识别结果时，还同时得出识别结果的相应得分，并提取出得分高于预设得分阈值的识别结果，之后，还比对这些得分高于预设得分阈值的识别结果是否相同，仅当相同时，才返回相应的识别结果；可以知道，以上任何一种方式都是可以应用到本发明中的，不同的选择会有不同的效果，例如第一种方式的反应速度最快，而第四种方式则能更好地使结果更加准确；实际上，根据不同的需求可以对上述四种方式进行不同的选择；

将所述识别结果存储为识别结果队列，所述识别结果队列中保存有至少两个识别结果；可选的，所述识别结果队列中保存有至少4个识别结果，且所述识别结果队列中的识别结果是按接收时间顺序依次排列的；较佳的，所述识别结果队列中仅存储以当前时刻为基准，向前推移预设时间间隔的时间段内接收的识别结果，例如所述预设时间间隔为30秒，则所述识别结果队列中仅存储从当前时刻向前推移30秒这个时间段内接收到的识别结果，而再往前推移的相对较为陈旧的识别结果，则可进行删除，以节约本地资源；

比对所述识别结果队列中的识别结果；通常地，这种比对是相邻的两两识别结果之间的；这里，相邻的两两识别结果，可以是相同的，也可以是不同的；可选的，可以根据时间记录，把相同的识别结果区分开；具体可采用对每个识别结果产生时间戳，通过比对时间戳即可来判断两个识别结果的独立性；

若所述识别结果队列中在后的识别结果与在先的识别结果不同，且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的，则判定为翻页；这里，所述在先的识别结果和在后的识别结果是一种相对概念，即被比对的两两识别结果之间，接收时间在先的即为在先的识别结果，接收时间在后的即为在后的识别结果；当相邻的两个识别结果被比对为不相同时，则继续比对在后的识别结果之后的至少2个识别结果，若这至少2个识别结果与所述在后的识别结果相同，则说明在后的识别结果是连续且稳定的，此时可以确信绘本被翻页，从而避免对于绘本翻页进行误判；判断在后的识别结果是否连续时，在保证结果准确的情况下，为了提高处理速度，可以只将在后的识别结果之后的2个识别结果与在后的识别结果进行比对。

通过上述实施例，将绘本识别图像的过程队列化，可以有效的提高识别准确率，并且，在GPU服务器运算能力下，可以快速的处理连续任务；在绘本阅读场景中，当识别结果一直连续时，可以假定为绘本页正处于稳定的阅读中，此时的识别结果相比未做处理的识别方法更加准确。

在一些可选实施方式中，所述绘本识别方法还可包括以下步骤：

若所述识别结果队列中在后的识别结果与在先的识别结果相同，或者，所述识别结果队列中在后的识别结果与在先的识别结果不同，但所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果不完全相同(例如，假设在后的识别结果为A，其后的两个识别结果分别为B、C，识别结果不完全相同的情况可包括：A与B、C都不同；或者，A与B相同，而A与C不同；或者，A与C相同，而A与B不同)，说明，此时在后的识别结果是不稳定的，则保留在先的识别结果。并且，可选的，还继续包括步骤：删除在后的识别结果，从而能够节约设备端的存储空间。

较佳的，在一些可选实施方式中，所述识别结果队列中保存有多个连续的识别结果；

所述比对所述识别结果队列中的识别结果的步骤之后，还可具体包括以下步骤：

若所述识别结果队列中在后的识别结果与在先的识别结果不同，且连续3次的在后的识别结果是相同的，则判定为翻页，否则保留在先的识别结果；并且，可选的，删除在后的识别结果，从而能够节约设备端的存储空间。

通过上述实施例，当在后的识别结果连续的时，才确定为翻页，从而保证了判定翻页的准确性，并排除了一些不确定因素(例如，因绘本照片拍摄不清楚而产生的错误识别，或者因用户的来回翻页而导致的不确定性等等)。

除了前述的判断翻页的实施例外，在另一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；所述绘本识别方法，还可包括以下用于判断是否翻页的步骤：

持续采集绘本照片；

识别所述绘本照片并得到与每张绘本照片一一对应的识别结果；这里的与绘本照片对应的识别结果分为以下几种情况：第一种，识别结果与绘本照片是一一对应的；第二种，在得到每张绘本照片的识别结果时，还同时得出识别结果的相应得分，仅当识别结果的得分高于预设得分阈值时，才输出该识别结果；第三种，在得到每张绘本照片的识别结果时，还同时比对多张绘本照片的识别结果是否相同，仅当相同时，才返回相应的识别结果；第四种，在得到每张绘本照片的识别结果时，还同时得出识别结果的相应得分，并提取出得分高于预设得分阈值的识别结果，之后，还比对这些得分高于预设得分阈值的识别结果是否相同，仅当相同时，才返回相应的识别结果；可以知道，以上任何一种方式都是可以应用到本发明中的，不同的选择会有不同的效果，例如第一种方式的反应速度最快，而第四种方式则能更好地使结果更加准确；实际上，根据不同的需求可以对上述四种方式进行不同的选择；

将所述识别结果存储为识别结果队列，所述识别结果队列中保存有多个识别结果；可选的，所述识别结果队列中的识别结果是按接收时间顺序依次排列的；较佳的，所述识别结果队列中仅存储以当前时刻为基准，向前推移预设时间间隔的时间段内接收的识别结果，例如所述预设时间间隔为30秒，则所述识别结果队列中仅存储从当前时刻向前推移30秒这个时间段内接收到的识别结果，而再往前推移的相对较为陈旧的识别结果，则可进行删除，以节约本地资源；较佳的，所述识别结果队列中的识别结果的个数为15个；

将多个识别结果分为至少两个集合；这里得到的至少两个集合中，识别结果的数量可以是不同的，也可以是相同的，具体的分隔方式可以根据实际需要进行调整；可选的，可以是分为三个集合；

为不同集合赋予不同权重；其中，按每个集合中识别结果的接收时间先后顺序，权重的大小依次递减；可选的，可采用对每个识别结果产生时间戳，通过比对时间戳即可来判断两个识别结果的独立性及二者的先后顺序；可选的，在分为三个集合时，第一集合(识别结果接收时间最早的)的第一权重为0.6，第二集合的第二权重为0.3，第三集合(识别结果接收时间最晚的)的第三权重为0.1；

确定最新的识别结果(例如，识别结果队列中有15个识别结果，其中前面5个识别结果均为A，中间5个识别结果均为B，最后5个识别结果均为C，那么最新的识别结果即为C)占各自集合中的比例(例如，一个集合中识别结果的个数为5个，5个识别结果中具有的最新的识别结果有2个，那么所述比例就为2/5)；假设，第一集合对应的最新的识别结果的比例为第一比例，第二集合对应的最新的识别结果的比例为第二比例，第三集合对应的最新的识别结果的比例为第三比例；可选的，识别结果是否为最新的识别结果，可以通过识别结果携带的时间戳来判断；

根据所述权重和所述比例，计算所述最新的识别结果在整个识别结果队列中的有效值；较佳的，所述有效值的计算方式为：

识别结果有效值＝第一权重*第一比例+第二权重*第二比例+第三权重*第三比例；

若所述有效值大于预设有效值阈值，则判定为翻页；否则保留在先的识别结果；并且，可选的，删除在后的识别结果，从而能够节约设备端的存储空间。可选的，所述预设有效值阈值，可以是系统默认设定的，也可以根据用户或服务提供商的需求而进行自定义设定；具体的预设有效值阈值的选定，以能够满足翻页的有效判定为前提。

通过上述实施例，当最新的识别结果的有效值达到一定程度时，才确定为翻页，从而保证了判定翻页的准确性；通过上述实施例，将绘本识别图像的过程队列化，可以有效的提高识别准确率，并且，在GPU服务器运算能力下，可以快速的处理连续任务；在绘本阅读场景中，当识别结果稳定时，可以假定为绘本页正处于稳定的阅读中，此时的识别结果相比未做处理的识别方法更加准确。

在一些可选实施方式中，所述识别结果队列中的识别结果的个数为n个，且所述识别结果队列被平均分为三个集合；所述三个集合中，接收时间在先的前n/3个识别结果为第一集合，接收时间处于中间的中间n/3个识别结果为第二集合，接收时间在后的最后n/3个识别结果为第三集合，并且，第一集合对应的第一权重为a，第二集合对应的第二权重为b，第三集合对应的第三权重为c，且a＞b＞c；

所述第一集合对应的最新的识别结果的第一比例为A，所述第二集合对应的最新的识别结果的第二比例为B，所述第三集合对应的最新的识别结果的第三比例为C；

所述有效值的计算方式为：

有效值＝a*A+b*B+c*C。

通过上述实施例，采用了更加科学的识别结果有效值的计算方式，能够较好地保证识别结果的准确性。

较佳的，在一些可选实施方式中，n取值为15，a取值为0.6，b取值为0.3，c取值为0.1；采用此实施例的取值，能够更好地保证识别结果的准确性。

需要说明的是，上述绘本识别方法的任意实施例都可直接应用于绘本识别终端设备(例如家用智能机器人等)，从而可以直接在本地实现绘本识别，识别过程无需与服务器进行交互，从而精简了识别步骤，提高了识别效率，同时还因为所有识别步骤都在本地实现，从而实现了更加快速的识别过程。

基于上述目的，本发明实施例的第二个方面，提供了一种能够提高绘本识别正确率的绘本识别装置。如图3所示，为本发明提供的绘本识别装置的一个实施例的结构示意图。

所述绘本识别装置，包括：

采集模块301，用于按照预设采集频率，通过摄像头采集绘本照片；

识别模块302，用于识别所述绘本照片，得到识别结果和与所述识别结果相应的得分；获取得分高于得分阈值的识别结果所对应的第一音频访问地址；以及，若所述绘本照片为绘本封面照片，还用于获取与所述绘本封面照片对应的绘本ID；

播放模块303，用于根据所述第一音频访问地址，播放相应的音频文件。

从上述实施例可以看出，本发明实施例提供的绘本识别装置，通过摄像头自动采集绘本照片并对其进行识别，当绘本照片被识别为绘本封面照片时，获取对应的绘本ID，使得在后续采集绘本照片时携带所述绘本ID，从而直接根据所述绘本ID确定新采集的绘本照片来自于哪一个绘本，在确定绘本后，能够将绘本的特征检索库进一步限定在相应绘本的绘本内页图片的集合中，降低了绘本照片的检索时间，排除大量的相似度较高的错误的绘本页，在关键特征点检索时会更快更准确。

在一些可选实施方式中，所述识别模块302，具体用于：

将所述绘本照片与本地存储的绘本封面图片进行比对；

若所述绘本照片与本地存储的任一绘本封面图片匹配，则所述绘本照片被识别为绘本封面照片；

若所述绘本照片不与本地存储的任何绘本封面图片匹配，则确定所述绘本照片是否携带绘本ID；

若所述绘本照片携带绘本ID，根据所述绘本ID确定相应的绘本，并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。

在一些可选实施方式中，所述识别模块302，还具体用于：

若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配，则所述绘本照片被识别为绘本内页照片；

若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配，则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。

在一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；所述识别模块302，还具体用于：

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分的步骤，包括：

识别每张绘本照片；

若每张绘本照片的识别结果相同，则将该识别结果和与所述识别结果相应的得分输出。

在一些可选实施方式中，所述采集模块301还用于持续采集绘本照片；

所述识别模块302，还具体用于：

识别所述绘本照片，并得到识别结果；

若所述识别结果与在先的识别结果不同，则判定为绘本被翻页。

在一些可选实施方式中，所述采集模块301还用于按照预设采集频率，通过摄像头采集新的绘本照片；

所述识别模块302，还具体用于：识别所述新的绘本照片，得到识别结果和与所述识别结果相应的得分；获取得分高于得分阈值的识别结果所对应的第二音频访问地址；

所述播放模块303，还用于根据所述第二音频访问地址，播放相应的音频文件。

在一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；所述识别模块302，还具体用于：

将所述识别结果存储为识别结果队列，所述识别结果队列中保存有多个识别结果；

将多个识别结果分为至少两个集合；

为不同集合赋予不同权重；其中，按每个集合中识别结果的接收时间先后顺序，权重的大小依次递减；

确定最新的识别结果占各自集合中的比例；

根据所述权重和所述比例，计算所述最新的识别结果在整个识别结果队列中的有效值；

若所述有效值大于预设有效值阈值，则判定为翻页。

在一些可选实施方式中，所述识别模块302，还具体用于：

若所述有效值小于或等于所述预设有效值阈值，则保留当前绘本页对应的识别结果。

在一些可选实施方式中，所述识别结果队列中的识别结果的个数为n个，且所述识别结果队列被平均分为三个集合；所述三个集合中，接收时间在先的前n/3个识别结果为第一集合，接收时间处于中间的中间n/3个识别结果为第二集合，接收时间在后的最后n/3个识别结果为第三集合，并且，第一集合对应的第一权重为a，第二集合对应的第二权重为b，第三集合对应的第三权重为c，且a＞b＞c；

所述第一集合对应的最新的识别结果的第一比例为A，所述第二集合对应的最新的识别结果的第二比例为B，所述第三集合对应的最新的识别结果的第三比例为C；

所述有效值的计算方式为：

有效值＝a*A+b*B+c*C。

在一些可选实施方式中，所述绘本照片为连续采集的两张以上绘本照片；所述识别模块302，还具体用于：

将所述识别结果存储为识别结果队列；

比对所述识别结果队列中的识别结果；

若所述识别结果队列中在后的识别结果与在先的识别结果不同，且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的，则判定为翻页。

在一些可选实施方式中，所述识别模块302，还具体用于：

若所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果不完全相同，则保留在先的识别结果。

在一些可选实施方式中，所述识别模块302，还具体用于：

删除所述在后的识别结果。

基于上述目的，本发明实施例的第三个方面，提供了一种能够提高绘本识别正确率的电子设备。如图4所示，为本发明提供的电子设备的一个实施例的结构示意图。

如图4所示，所述电子设备包括：

用于采集照片的摄像头；

一个或多个处理器401以及存储器402，图4中以一个处理器401为例。

所述执行所述绘本识别方法的电子设备还可以包括：输入装置403和输出装置404。

处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述绘本识别方法对应的程序指令/模块(例如，附图3所示的采集模块301、识别模块302和播放模块303)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的绘本识别方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据推荐装置的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置403可接收输入的数字或字符信息，以及产生与绘本识别装置的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器402中，当被所述一个或者多个处理器401执行时，执行上述任意方法实施例中的绘本识别方法。所述执行所述绘本识别方法的电子设备的实施例，其技术效果与前述任意方法实施例相同或者类似。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种绘本识别方法，其特征在于，包括：

按照预设采集频率，通过摄像头采集绘本照片；

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分；

获取得分高于得分阈值的识别结果所对应的第一音频访问地址；若所述绘本照片为绘本封面照片，获取与所述绘本封面照片对应的绘本ID；

根据所述第一音频访问地址，播放相应的音频文件。

2.根据权利要求1所述的方法，其特征在于，识别所述绘本照片的步骤，包括：

将所述绘本照片与本地存储的绘本封面图片进行比对；

若所述绘本照片与本地存储的任一绘本封面图片匹配，则所述绘本照片被识别为绘本封面照片；

若所述绘本照片不与本地存储的任何绘本封面图片匹配，则确定所述绘本照片是否携带绘本ID；

若所述绘本照片携带绘本ID，根据所述绘本ID确定相应的绘本，并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配，则所述绘本照片被识别为绘本内页照片；

若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配，则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。

4.根据权利要求1所述的方法，其特征在于，所述绘本照片为连续采集的两张以上绘本照片；

识别所述绘本照片，得到识别结果和与所述识别结果相应的得分的步骤，包括：

识别每张绘本照片；

若每张绘本照片的识别结果相同，则将该识别结果和与所述识别结果相应的得分输出。

5.根据权利要求1所述的方法，其特征在于，还包括：

持续采集绘本照片；

识别所述绘本照片，并得到识别结果；

若所述识别结果与在先的识别结果不同，则判定为绘本被翻页。

6.根据权利要求5所述的方法，其特征在于，判定为绘本被翻页的步骤之后还包括：

按照预设采集频率，通过摄像头采集新的绘本照片；

识别所述新的绘本照片，得到识别结果和与所述识别结果相应的得分；

获取得分高于得分阈值的识别结果所对应的第二音频访问地址；

根据所述第二音频访问地址，播放相应的音频文件。

7.根据权利要求1所述的方法，其特征在于，所述绘本照片为连续采集的两张以上绘本照片；所述方法还包括：

将所述识别结果存储为识别结果队列，所述识别结果队列中保存有多个识别结果；

将多个识别结果分为至少两个集合；

为不同集合赋予不同权重；其中，按每个集合中识别结果的接收时间先后顺序，权重的大小依次递减；

确定最新的识别结果占各自集合中的比例；

根据所述权重和所述比例，计算所述最新的识别结果在整个识别结果队列中的有效值；

若所述有效值大于预设有效值阈值，则判定为翻页。

8.根据权利要求7所述的方法，其特征在于，若所述有效值小于或等于所述预设有效值阈值，则保留当前绘本页对应的识别结果。

9.根据权利要求7所述的方法，其特征在于，

所述识别结果队列中的识别结果的个数为n个，且所述识别结果队列被平均分为三个集合；所述三个集合中，接收时间在先的前n/3个识别结果为第一集合，接收时间处于中间的中间n/3个识别结果为第二集合，接收时间在后的最后n/3个识别结果为第三集合，并且，第一集合对应的第一权重为a，第二集合对应的第二权重为b，第三集合对应的第三权重为c，且a＞b＞c；

所述第一集合对应的最新的识别结果的第一比例为A，所述第二集合对应的最新的识别结果的第二比例为B，所述第三集合对应的最新的识别结果的第三比例为C；

所述有效值的计算方式为：

有效值＝a*A+b*B+c*C。

10.根据权利要求1所述的方法，其特征在于，所述绘本照片为连续采集的两张以上绘本照片；所述方法还包括：

将所述识别结果存储为识别结果队列；

比对所述识别结果队列中的识别结果；

若所述识别结果队列中在后的识别结果与在先的识别结果不同，且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的，则判定为翻页。

11.根据权利要求10所述的方法，其特征在于，还包括：

若所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果不完全相同，则保留在先的识别结果。

12.根据权利要求11所述的方法，其特征在于，所述保留在先的识别结果的步骤之后，还包括：删除所述在后的识别结果。

13.一种电子设备，其特征在于，包括：

用于采集照片的摄像头；

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-12任一项所述的方法。