CN107977599A - 绘本识别方法及电子设备 - Google Patents

绘本识别方法及电子设备 Download PDF

Info

Publication number
CN107977599A
CN107977599A CN201710533645.5A CN201710533645A CN107977599A CN 107977599 A CN107977599 A CN 107977599A CN 201710533645 A CN201710533645 A CN 201710533645A CN 107977599 A CN107977599 A CN 107977599A
Authority
CN
China
Prior art keywords
paint
recognition result
photo
painting
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710533645.5A
Other languages
English (en)
Inventor
王西
何嘉斌
顾嘉唯
闫振雷
程璞
徐乐
朱志东
青海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Genius Intelligent Technology Co Ltd
Original Assignee
Beijing Genius Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Genius Intelligent Technology Co Ltd filed Critical Beijing Genius Intelligent Technology Co Ltd
Priority to CN201710533645.5A priority Critical patent/CN107977599A/zh
Publication of CN107977599A publication Critical patent/CN107977599A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种绘本识别方法,包括:按照预设采集频率,通过摄像头采集绘本照片;识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;上传所述与所述第一绘本ID对应的本地资源版本号;若接收到第一更新指令,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件;并且,获取与所述第一绘本ID对应的更新文件下载地址,并下载更新文件。本发明还提供了一种电子设备。本发明提出的绘本识别方法及电子设备,能够在不影响识别功能流程的前提下静默完成数据更新。

Description

绘本识别方法及电子设备
技术领域
本发明涉及数据处理技术领域,特别是指一种绘本识别方法及电子设备。
背景技术
绘本,英文称Picture Book,指一类以绘画为主,并附有少量文字的书籍。绘本不仅可用于讲故事、学知识,而且可以全面帮助孩子建构精神,培养多元智能。
现有技术中的绘本识别方法中的用于进行绘本识别的数据资源有两种存储方式,一种是存储于绘本识别终端设备的本地,另一种是存储于绘本识别服务器的数据库中。由于在绘本识别终端设备本地存储这些用于进行绘本识别的数据资源,当服务器中的资源更新后,需要将更新数据与绘本识别终端设备本地存储的数据进行同步更新。
但是,本发明的发明人在实现本发明的过程中,发现现有技术存在以下问题:
在现有技术中,对于存储于绘本识别终端设备本地的绘本识别方法,本地存储的数据资源通常采用文件整体更新的方法来实现数据更新,因此更新速度较慢,导致用户在开机后需要等待数据更新结束后才能正式进入绘本识别;此外,由于更新通常需要与服务器同步,当在绘本识别运行时发现需要更新数据时,若根据下载完成更新数据对本地数据进行更新,将会打断正在进行的识别进程,影响用户对绘本的阅读。
发明内容
有鉴于此,本发明的目的在于提出一种绘本识别方法及电子设备,能够在不影响识别功能流程的前提下静默完成数据更新。
基于上述目的,本发明实施例第一个方面,提供了一种绘本识别方法,包括:
按照预设采集频率,通过摄像头采集绘本照片;
识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;
获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;
上传所述与所述第一绘本ID对应的本地资源版本号;
若接收到第一更新指令,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件;并且,获取与所述第一绘本ID对应的更新文件下载地址,并下载更新文件。
可选的,所述方法还包括:
若接收到第一读绘本指令,获取得分高于得分阈值的识别结果所对应的第一音频访问地址;根据所述第一音频访问地址,播放相应的音频文件。
可选的,所述下载最新资源的步骤之后,还包括:
若所述更新文件下载成功,检测所述更新文件是否完整;
若所述更新文件是完整的,判断读绘本功能是否正在运行;
若读绘本功能正在运行,不进行更新,并在第一预设时间间隔后再次判断是否正在播放与所述第一绘本ID对应的音频文件;
若读绘本功能没有运行,利用所述更新文件完成更新。
可选的,所述判断读绘本功能是否正在运行的步骤,包括:
判断当前是否正在播放与所述第一绘本ID对应的音频文件;
若当前正在播放与所述第一绘本ID对应的音频文件,判定为读绘本功能正在运行;
若当前没有播放与所述第一绘本ID对应的音频文件,或者,结束播放与所述第一绘本ID对应的音频文件后已经过第二预设时间间隔,判定为读绘本功能没有运行。
可选的,所述方法还包括:
当本地存在所述音频文件时,所述第一音频访问地址为本地存储地址;
当本地不存在所述音频文件时,所述第一音频访问地址为服务器存储所述音频文件的网页链接。
可选的,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件的步骤之前,还包括:
判断本地是否存在所述音频文件;
若本地不存在所述音频文件,向服务器发送音频文件下载请求;其中,所述音频文件下载请求中携带所述第一绘本ID;
接收服务器返回的音频文件并存储在本地。
可选的,识别所述绘本照片的步骤,包括:
将所述绘本照片与本地存储的绘本封面图片进行比对;
若所述绘本照片与本地存储的任一绘本封面图片匹配,则所述绘本照片被识别为绘本封面照片;
若所述绘本照片不与本地存储的任何绘本封面图片匹配,则确定所述绘本照片是否携带第一绘本ID;
若所述绘本照片携带第一绘本ID,根据所述第一绘本ID确定相应的绘本,并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。
可选的,所述方法还包括:
若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配,则所述绘本照片被识别为绘本内页照片;
若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配,则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。
可选的,所述方法还包括:
持续采集绘本照片;
识别所述绘本照片,并得到识别结果;
若所述识别结果与在先的识别结果不同,则判定为绘本被翻页。
可选的,所述绘本照片为连续采集的两张以上绘本照片;所述方法还包括:
将所述识别结果存储为识别结果队列,所述识别结果队列中保存有多个识别结果;
将多个识别结果分为至少两个集合;
为不同集合赋予不同权重;其中,按每个集合中识别结果的接收时间先后顺序,权重的大小依次递减;
确定最新的识别结果占各自集合中的比例;
根据所述权重和所述比例,计算所述最新的识别结果在整个识别结果队列中的有效值;
若所述有效值大于预设有效值阈值,则判定为翻页。
可选的,所述绘本照片为连续采集的两张以上绘本照片;所述方法还包括:
将所述识别结果存储为识别结果队列;
比对所述识别结果队列中的识别结果;
若所述识别结果队列中在后的识别结果与在先的识别结果不同,且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的,则判定为翻页。
可选的,判定为绘本被翻页的步骤之后还包括:
按照预设采集频率,通过摄像头采集新的绘本照片;
识别所述新的绘本照片,得到识别结果和与所述识别结果相应的得分;
获取与所述新的绘本照片对应的第二绘本ID以及与所述第二绘本ID对应的本地文件版本号;
上传所述与所述第二绘本ID对应的本地资源版本号;
若接收到第二读绘本指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址;根据所述第二音频访问地址,播放相应的音频文件;
若接收到第二更新指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址,根据所述第二音频访问地址,播放相应的音频文件;并且,获取与所述第二绘本ID对应的更新文件下载地址,并下载更新文件。
本发明实施例的第二个方面,还提供了一种电子设备,包括:
用于采集照片的摄像头;
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-12任一项所述的方法。
从上面所述可以看出,本发明实施例提供的绘本识别方法及电子设备,通过摄像头自动采集绘本照片并对其进行识别,在得到识别结果后获取相应的第一绘本ID和本地资源版本号并上传至服务器,服务器将所述本地资源版本号与其数据库中存储的相应的最新文件版本号进行比对,若版本号不一致则返回第一更新指令,从而令终端设备在进行绘本阅读的同时在后台启动下载更新文件的进程,而不是直接被更新过程打断绘本阅读过程,从而使得绘本识读的过程更加流畅。
附图说明
图1为本发明提供的绘本识别方法的第一个实施例的流程示意图;
图1a为本发明提供的绘本识别方法的第一个实施例中步骤102的一种实施方式的具体流程示意图;
图2为本发明提供的绘本识别方法的第二个实施例的流程示意图;
图2a为本发明提供的绘本识别方法的第二个实施例中步骤212的一种实施方式的具体流程示意图;
图3为本发明提供的绘本识别装置的一个实施例的结构示意图;
图4为本发明提供的电子设备的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明实施例的第一个方面,提出了一种绘本识别方法的第一个实施例,能够在不影响识别功能流程的前提下静默完成数据更新。如图1所示,为本发明提供的绘本识别方法的第一个实施例的流程示意图。
所述绘本识别方法,可选的,应用于绘本识别终端设备(例如家用智能机器人等),包括以下步骤:
步骤101:按照预设采集频率,通过摄像头采集绘本照片;所述预设采集频率可以是默认值也可以根据用户的需求进行自定义,可选的,可设置为200ms/次;所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头,也可以是基于本发明而专门设计的采集装置中安装的摄像头;所述绘本照片是指通过摄像头拍摄绘本而得到的照片,可以是绘本封面照片,也可以是绘本内页照片,可因为用户目前将绘本翻到不同页数而不同。
步骤102:识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;可选的,在识别所述绘本照片之前,还可先对绘本照片进行处理,例如,压缩图片、过滤动态模糊图片、图像二值化、灰度图处理、SIFT特征提取、交点特征提取等,处理方法包含但不仅限于这几种方法。可选的,通过图片识别模型来识别绘本照片,同时,所述图片识别模型在得出识别结果时,能够得出该识别结果相应的得分,所述得分可以结合各种参数来确定,其中的参数之一可以是绘本照片与识别结果对应的绘本图片之间的相似度。
步骤103:获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;这里,所述第一绘本ID可以通过得到识别结果并知道识别结果对应于哪个绘本时,而获取得到该绘本所具有的绘本ID;所述本地文件版本号为所述第一绘本ID对应的本地文件的版本号,根据所述版本号,可确定该版本的本地文件与服务器中存储的所述第一绘本ID对应的最新文件是否一致。
可选的,当所述识别结果为所述绘本照片为绘本封面照片时,可获取该绘本封面照片对应的绘本ID作为所述第一绘本ID,同时,所述第一绘本ID用于后续采集绘本照片时作为携带信息,从而作为确定绘本的依据;或者,当所述识别结果为所述绘本内页照片时,也可根据所述绘本内页照片对应的绘本找到相应的绘本ID作为所述第一绘本ID;或者,若所述绘本照片本身携带有绘本ID,可将该绘本ID直接作为所述第一绘本ID。
步骤104:上传所述与所述第一绘本ID对应的本地资源版本号(可选的,其中携带有所述第一绘本ID)到服务器;服务器在接收到所述本地资源版本号后,将该本地资源版本号与服务器的数据库中存储的相应的文件的版本号进行比对;若比对结果一致,则说明本地存储的文件为最新文件,服务器向终端设备返回第一读绘本指令,令其直接调用本地文件进行绘本阅读;若比对结果不一致,则说明服务器中存储的文件为最新文件,服务器向终端设备返回第一更新指令,令终端设备在调用本地文件进行绘本阅读的同时,从服务器下载更新文件,以为后续的数据更新做准备。
步骤105:若接收到第一更新指令,说明本地存储的文件不是最新文件,为了不打断识读进程,首先获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件;并且,与此同时,为了对本地文件进行更新,同时获取与所述第一绘本ID对应的更新文件下载地址,并下载相应的更新文件,以为后续的数据更新做准备;可选的,所述第一音频访问地址,可以是所述识别结果对应的音频文件在本地的访问地址;所述得分阈值,可以是系统默认设定的,也可以根据用户或服务提供商的需求而进行自定义设定或随时进行修正;较佳的,具体的得分阈值的选定,以能够使识别结果具有较高的准确性为前提;这里播放的音频文件则为与所述绘本照片相对应的绘本页所匹配的音频文件,该音频文件可以是读出了绘本页中全部文字的音频文件,在某些情况下,也可以是读出了绘本页中部分文字的音频文件,还可以额外读出绘本页中不包含的文字的音频文件;可选的,所述音频文件作为读出绘本页中全部文字的音频文件时,朗读方式可以是从上到下、从左往右的朗读方式。
可选的,还包括:步骤106:若接收到第一读绘本指令,说明此时本地存储的文件是最新文件,因此直接获取得分高于得分阈值的识别结果所对应的第一音频访问地址;根据所述第一音频访问地址,播放相应的音频文件。
从上述实施例可以看出,本发明实施例提供的绘本识别方法,通过摄像头自动采集绘本照片并对其进行识别,在得到识别结果后获取相应的第一绘本ID和本地资源版本号并上传至服务器,服务器将所述本地资源版本号与其数据库中存储的相应的最新文件版本号进行比对,若版本号不一致则返回第一更新指令,从而令终端设备在进行绘本阅读的同时在后台启动下载更新文件的进程,而不是直接被更新过程打断绘本阅读过程,从而使得绘本识读的过程更加流畅。
在一些可选实施方式中,参照附图1a,识别所述绘本照片,得到识别结果和与所述识别结果相应的得分的步骤102,可通过关键特征匹配算法对绘本照片进行识别,并且还可具体包括以下步骤:
步骤1021:对绘本照片的关键特征进行提取;
步骤1022:将提取特征点与训练集特征点进行匹配;
步骤1023:求得匹配得分较高的训练样本类别(可选的,所述训练样本类别为相应的绘本封面图片或绘本内页图片)。可选的,当匹配得分超过一定阈值时,该训练样本类别作为对应的识别结果;当匹配得分超过一定阈值的训练样本类别为两个以上时,将匹配得分最高的训练样本类别作为对应的识别结果。
通过上述关键特征匹配算法来进行绘本照片的识别,能够提高运算效率,节约本地资源。
在一些可选实施方式中,所述绘本识别方法,还可包括以下步骤:
当本地存在所述音频文件时,所述第一音频访问地址为本地存储地址;
当出现本地不存在所述音频文件的情况时,所述第一音频访问地址可以为服务器存储所述音频文件的网页链接,从而终端设备可通过与服务器建立连接来直接播放;此外,若不采用直接连接服务器进行音频播放的方式,还可以将相应的文件下载到本地后再进行相应的音频播放;优选地,采用直接与服务器建立连接来播放音频文件的方式,可以使绘本阅读的过程更加流畅。
在一些可选实施方式中,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件的步骤之前,还可包括以下步骤:
判断本地是否存在所述音频文件;
若本地不存在所述音频文件,向服务器发送音频文件下载请求;其中,所述音频文件下载请求中携带所述第一绘本ID;
接收服务器返回的音频文件并存储在本地,此时,所述第一音频访问地址即为所述音频文件在本地的存储地址。
通过上述实施例,将本地不存在的音频文件下载到本地后进行播放,能够使得在下次阅读相应绘本时可直接调用本地存储的音频文件进行阅读,无需再向服务器请求相应资源。
当然,除了上述实施方式外,在本地不存在相应的音频文件时,还可以一方面连接到服务器后直接播放服务器存储的相应音频数据,另一方面同时下载相应的文件到本地,当文件下载完成后,可在后续过程中直接调用下载完成的文件来进行绘本识读。
本发明实施例还提出了一种绘本识别方法的第二个实施例,能够在不影响识别功能流程的前提下静默完成数据更新。如图2所示,为本发明提供的绘本识别方法的第二个实施例的流程示意图。
所述绘本识别方法,可选的,应用于绘本识别终端设备(例如家用智能机器人等),包括以下步骤:
步骤201:接收启动信号,发出提示音和/或提示信息;可选的,所述启动信号,可以是设备的开机信号;也可以是在使用手机APP实现所述绘本识别方法时,因为打开了相应的APP而产生的启动信号;所述提示音可以是任意的可以起到提示作用的声音;所述提示信息可以是显示在设备屏幕上的一段文字,例如,“您已开始使用绘本识别工具,请拍摄绘本的封面。”所述提示音和提示信息可以分开使用也可以结合使用,二者的主要目的在于提示用户首先进行绘本封面的拍摄,使得首先识别出绘本封面并确定绘本ID,从而便于后续的绘本内页识别时约束特征数据库。
步骤202:按照预设采集频率,通过摄像头采集绘本照片;所述预设采集频率可以是默认值也可以根据用户的需求进行自定义,可选的,可设置为200ms/次;所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头,也可以是基于本发明而专门设计的采集装置中安装的摄像头;所述绘本照片是指通过摄像头拍摄绘本而得到的照片,可以是绘本封面照片,也可以是绘本内页照片,可因为用户目前将绘本翻到不同页数而不同。
步骤203:识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;可选的,在识别所述绘本照片之前,还可先对绘本照片进行处理,例如,压缩图片、过滤动态模糊图片、图像二值化、灰度图处理、SIFT特征提取、交点特征提取等,处理方法包含但不仅限于这几种方法。可选的,通过图片识别模型来识别绘本照片,同时,所述图片识别模型在得出识别结果时,能够得出该识别结果相应的得分,所述得分可以结合各种参数来确定,其中的参数之一可以是绘本照片与识别结果对应的绘本图片之间的相似度。
步骤204:获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;这里,所述第一绘本ID可以通过得到识别结果并知道识别结果对应于哪个绘本时,而获取得到该绘本所具有的绘本ID;所述本地文件版本号为所述第一绘本ID对应的本地文件的版本号,根据所述版本号,可确定该版本的本地文件与服务器中存储的所述第一绘本ID对应的最新文件是否一致。
可选的,当所述识别结果为所述绘本照片为绘本封面照片时,可获取该绘本封面照片对应的绘本ID作为所述第一绘本ID,同时,所述第一绘本ID用于后续采集绘本照片时作为携带信息,从而作为确定绘本的依据;或者,当所述识别结果为所述绘本内页照片时,也可根据所述绘本内页照片对应的绘本找到相应的绘本ID作为所述第一绘本ID;或者,若所述绘本照片本身携带有绘本ID,可将该绘本ID直接作为所述第一绘本ID。
步骤205:上传所述与所述第一绘本ID对应的本地资源版本号(可选的,其中携带有所述第一绘本ID)到服务器;服务器在接收到所述本地资源版本号后,将该本地资源版本号与服务器的数据库中存储的相应的文件的版本号进行比对;若比对结果一致,则说明本地存储的文件为最新文件,服务器向终端设备返回第一读绘本指令,令其直接调用本地文件进行绘本阅读;若比对结果不一致,则说明服务器中存储的文件为最新文件,服务器向终端设备返回第一更新指令,令终端设备在调用本地文件进行绘本阅读的同时,从服务器下载更新文件,以为后续的数据更新做准备。
步骤206:若接收到第一读绘本指令,说明此时本地存储的文件是最新文件,因此直接获取得分高于得分阈值的识别结果所对应的第一音频访问地址;根据所述第一音频访问地址,播放相应的音频文件。
步骤207:若接收到第一更新指令,说明本地存储的文件不是最新文件,为了不打断识读进程,首先获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件;并且,与此同时,为了对本地文件进行更新,同时获取与所述第一绘本ID对应的更新文件下载地址,并下载相应的更新文件,以为后续的数据更新做准备;可选的,所述第一音频访问地址,可以是所述识别结果对应的音频文件在本地的访问地址;所述得分阈值,可以是系统默认设定的,也可以根据用户或服务提供商的需求而进行自定义设定或随时进行修正;较佳的,具体的得分阈值的选定,以能够使识别结果具有较高的准确性为前提;这里播放的音频文件则为与所述绘本照片相对应的绘本页所匹配的音频文件,该音频文件可以是读出了绘本页中全部文字的音频文件,在某些情况下,也可以是读出了绘本页中部分文字的音频文件,还可以额外读出绘本页中不包含的文字的音频文件;可选的,所述音频文件作为读出绘本页中全部文字的音频文件时,朗读方式可以是从上到下、从左往右的朗读方式。
步骤208:判断所述更新文件是否下载成功;这里,判断所述更新文件是否下载成功的方法,可以是通过判断所述第一绘本ID对应的数据存储文件夹中是否存在所述更新文件来实现。
步骤209:若所述更新文件没有下载成功,重新下载所述更新文件。
步骤210:若所述更新文件下载成功,检测所述更新文件是否完整。
步骤211:若所述更新文件不完整,重新下载所述更新文件。
步骤212:若所述更新文件是完整的,判断读绘本功能是否正在运行。
可选的,参考附图2a,所述判断读绘本功能是否正在运行的步骤212,还可进一步具体包括以下步骤:
步骤2121:判断当前是否正在播放与所述第一绘本ID对应的音频文件;
步骤2122:若当前正在播放与所述第一绘本ID对应的音频文件,判定为读绘本功能正在运行;
步骤2123:若当前没有播放与所述第一绘本ID对应的音频文件,或者,结束播放与所述第一绘本ID对应的音频文件后已经过第二预设时间间隔,判定为读绘本功能没有运行;这里,为了保证更新过程和绘本功能运行过程之间不出现交叉,可增加设置所述第二预设时间间隔为缓冲时段,即当与所述第一绘本ID对应的任意音频文件结束播放后,开始计时,仅当计时超过第二预设时间间隔且没有与所述第一绘本ID对应的任意音频文件进入播放状态时,确定当前进行数据更新不会影响绘本功能运行过程,从而确定为读绘本功能没有运行;可选的,所述第二预设时间间隔可设定为10s,当然这个设定值是可以根据实际需要进行调整的,在此不再赘述;
这样,当相应的待更新文件所处文件夹中的音频文件正在被调用时,则说明绘本功能正在运行,为了不打断识读进程,因此在绘本功能正在运行过程中不能进行数据更新。
步骤213:若读绘本功能正在运行,不进行更新,并在第一预设时间间隔后返回步骤212:再次判断是否正在播放与所述第一绘本ID对应的音频文件;可选的,所述第一预设时间间隔可设定为5min,当然这个设定值是可以根据实际需要进行调整的,在此不再赘述。
步骤214:若读绘本功能没有运行,利用所述更新文件完成更新;可选的,所述更新文件为更新压缩包,其根据所述第一绘本ID存储于相应的文件夹中,更新时,解压所述更新压缩包,文件夹完成合并,将旧音频文件替换为新音频文件;可选的,在更新完成后,删除所述更新压缩包以节约本地资源。
从上述实施例可以看出,本发明实施例提供的绘本识别方法,通过摄像头自动采集绘本照片并对其进行识别,在得到识别结果后获取相应的第一绘本ID和本地资源版本号并上传至服务器,服务器将所述本地资源版本号与其数据库中存储的相应的最新文件版本号进行比对,若版本号不一致则返回第一更新指令,从而令终端设备在进行绘本阅读的同时在后台启动下载更新文件的进程,而不是直接被更新过程打断绘本阅读过程,从而使得绘本识读的过程更加流畅;同时,在下载完成更新文件后,当绘本识读过程正在运行时,将不会马上对本地文件进行更新,而是等到绘本识读过程没有运行时才在后台进行更新,从而令使用绘本识读的用户在使用过程中感受不到文件更新过程,阅读绘本的过程更加流畅。
在一些可选实施方式中,所述绘本识别方法,还可包括以下步骤:
当本地存在所述音频文件时,所述第一音频访问地址为本地存储地址;
当出现本地不存在所述音频文件的情况时,所述第一音频访问地址可以为服务器存储所述音频文件的网页链接,从而终端设备可通过与服务器建立连接来直接播放;此外,若不采用直接连接服务器进行音频播放的方式,还可以将相应的文件下载到本地后再进行相应的音频播放;优选地,采用直接与服务器建立连接来播放音频文件的方式,可以使绘本阅读的过程更加流畅。
在一些可选实施方式中,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件的步骤之前,还可包括以下步骤:
判断本地是否存在所述音频文件;
若本地不存在所述音频文件,向服务器发送音频文件下载请求;其中,所述音频文件下载请求中携带所述第一绘本ID;
接收服务器返回的音频文件并存储在本地,此时,所述第一音频访问地址即为所述音频文件在本地的存储地址。
通过上述实施例,将本地不存在的音频文件下载到本地后进行播放,能够使得在下次阅读相应绘本时可直接调用本地存储的音频文件进行阅读,无需再向服务器请求相应资源。
当然,除了上述实施方式外,在本地不存在相应的音频文件时,还可以一方面连接到服务器后直接播放服务器存储的相应音频数据,另一方面同时下载相应的文件到本地,当文件下载完成后,可在后续过程中直接调用下载完成的文件来进行绘本识读。
在一些可选实施方式中,识别所述绘本照片的步骤203,还可具体包括以下步骤:
将所述绘本照片与本地存储的绘本封面图片进行比对;
若所述绘本照片与本地存储的任一绘本封面图片匹配,则所述绘本照片被识别为绘本封面照片;
若所述绘本照片不与本地存储的任何绘本封面图片匹配,则确定所述绘本照片是否携带第一绘本ID;这个第一绘本ID是在先识别得出绘本封面照片时获取的第一绘本ID,当所述绘本照片携带所述第一绘本ID且所述绘本照片不与数据库中存储的任何绘本封面图片匹配时,说明此时需要判定所述绘本照片是不是与所述绘本ID对应的绘本的绘本内页照片;
若所述绘本照片携带第一绘本ID,根据所述第一绘本ID确定相应的绘本,并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对;
若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配,则所述绘本照片被识别为绘本内页照片;
若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配,则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。
通过上述实施例,设计了识别绘本照片的具体顺序,采用先确定绘本照片是否是绘本封面照片的方式,在识别的第一步将数据库约束在绘本封面图片数据库中,识别会更快更准确;若该绘本照片不是绘本封面照片,则确定是否携带绘本ID,并当确定携带有绘本ID时,利用该绘本ID进行绘本内页图片的识别,从而将数据库约束在与绘本ID对应的绘本内页图片数据库中,识别同样会更快更准确。
较佳的,在一些可选实施方式中,在利用所述第一绘本ID进行绘本内页图片的识别时,除了直接将其与所述第一绘本ID对应的绘本内页图片中进行比对外,还可采用以下步骤来实现:
将所述绘本照片在包含所以绘本内页图片的数据库中进行比对;
对与第一绘本ID相关联的绘本内页图片增加置信度权重;
得到识别结果和与所述识别结果相应的得分;这里,与第一绘本ID相关联的绘本内页图片由于被增加了置信度权重,其得分会相对高一些,但若所述绘本照片并不是与第一绘本ID相关联的绘本内页图片,通过这种方式还是可以识别出正确的结果。
在一些可选实施方式中,所述绘本照片为连续采集的两张以上绘本照片;
识别所述绘本照片,得到识别结果和与所述识别结果相应的得分的步骤,包括:
识别每张绘本照片;
若每张绘本照片的识别结果相同,则将该识别结果和与所述识别结果相应的得分输出。在多张连续的绘本照片的识别结果相同时,说明识别结果连续,可以假定为绘本的书页处于稳定的阅读中,此时的结果相比未做处理的识别方法更加准确。
在一些可选实施方式中,所述绘本识别方法,还可进一步用于判定所述绘本是否被翻页的方法,具体可包括以下步骤:
持续采集绘本照片;
识别所述绘本照片,并得到识别结果;
若所述识别结果与在先的识别结果不同,则判定为绘本被翻页。可选的,通过提取绘本照片中的关键交点信息,作为绘本照片的指纹,当前后绘本照片的指纹不一致时,可认为发生了翻页。
通过上述实施例,实现了翻页的自动识别,而无需用户进行额外操作。
除了前述实施例中的判定翻页的方法外,还可以采用其他方式来判定是否翻页;在一些可选实施方式中,所述绘本照片为连续采集的两张以上绘本照片;所述绘本识别方法还可包括以下步骤:
持续采集绘本照片;
识别所述绘本照片并得到与每张绘本照片一一对应的识别结果;这里的与绘本照片对应的识别结果分为以下几种情况:第一种,识别结果与绘本照片是一一对应的;第二种,在得到每张绘本照片的识别结果时,还同时得出识别结果的相应得分,仅当识别结果的得分高于预设得分阈值时,才输出该识别结果;第三种,在得到每张绘本照片的识别结果时,还同时比对多张绘本照片的识别结果是否相同,仅当相同时,才返回相应的识别结果;第四种,在得到每张绘本照片的识别结果时,还同时得出识别结果的相应得分,并提取出得分高于预设得分阈值的识别结果,之后,还比对这些得分高于预设得分阈值的识别结果是否相同,仅当相同时,才返回相应的识别结果;可以知道,以上任何一种方式都是可以应用到本发明中的,不同的选择会有不同的效果,例如第一种方式的反应速度最快,而第四种方式则能更好地使结果更加准确;实际上,根据不同的需求可以对上述四种方式进行不同的选择;
将所述识别结果存储为识别结果队列,所述识别结果队列中保存有多个识别结果;可选的,所述识别结果队列中的识别结果是按接收时间顺序依次排列的;较佳的,所述识别结果队列中仅存储以当前时刻为基准,向前推移预设时间间隔的时间段内接收的识别结果,例如所述预设时间间隔为30秒,则所述识别结果队列中仅存储从当前时刻向前推移30秒这个时间段内接收到的识别结果,而再往前推移的相对较为陈旧的识别结果,则可进行删除,以节约本地资源;较佳的,所述识别结果队列中的识别结果的个数为15个;
将多个识别结果分为至少两个集合;这里得到的至少两个集合中,识别结果的数量可以是不同的,也可以是相同的,具体的分隔方式可以根据实际需要进行调整;可选的,可以是分为三个集合;
为不同集合赋予不同权重;其中,按每个集合中识别结果的接收时间先后顺序,权重的大小依次递减;可选的,可采用对每个识别结果产生时间戳,通过比对时间戳即可来判断两个识别结果的独立性及二者的先后顺序;可选的,在分为三个集合时,第一集合(识别结果接收时间最早的)的第一权重为0.6,第二集合的第二权重为0.3,第三集合(识别结果接收时间最晚的)的第三权重为0.1;
确定最新的识别结果(例如,识别结果队列中有15个识别结果,其中前面5个识别结果均为A,中间5个识别结果均为B,最后5个识别结果均为C,那么最新的识别结果即为C)占各自集合中的比例(例如,一个集合中识别结果的个数为5个,5个识别结果中具有的最新的识别结果有2个,那么所述比例就为2/5);假设,第一集合对应的最新的识别结果的比例为第一比例,第二集合对应的最新的识别结果的比例为第二比例,第三集合对应的最新的识别结果的比例为第三比例;可选的,识别结果是否为最新的识别结果,可以通过识别结果携带的时间戳来判断;
根据所述权重和所述比例,计算所述最新的识别结果在整个识别结果队列中的有效值;较佳的,所述有效值的计算方式为:
识别结果有效值=第一权重*第一比例+第二权重*第二比例+第三权重*第三比例;
若所述有效值大于预设有效值阈值,则判定为翻页;否则保留在先的识别结果;并且,可选的,删除在后的识别结果,从而能够节约设备端的存储空间。可选的,所述预设有效值阈值,可以是系统默认设定的,也可以根据用户或服务提供商的需求而进行自定义设定;具体的预设有效值阈值的选定,以能够满足翻页的有效判定为前提。
通过上述实施例,当最新的识别结果的有效值达到一定程度时,才确定为翻页,从而保证了判定翻页的准确性;通过上述实施例,将绘本识别图像的过程队列化,可以有效的提高识别准确率,并且,在GPU服务器运算能力下,可以快速的处理连续任务;在绘本阅读场景中,当识别结果稳定时,可以假定为绘本页正处于稳定的阅读中,此时的识别结果相比未做处理的识别方法更加准确。
在一些可选实施方式中,所述识别结果队列中的识别结果的个数为n个,且所述识别结果队列被平均分为三个集合;所述三个集合中,接收时间在先的前n/3个识别结果为第一集合,接收时间处于中间的中间n/3个识别结果为第二集合,接收时间在后的最后n/3个识别结果为第三集合,并且,第一集合对应的第一权重为a,第二集合对应的第二权重为b,第三集合对应的第三权重为c,且a>b>c;
所述第一集合对应的最新的识别结果的第一比例为A,所述第二集合对应的最新的识别结果的第二比例为B,所述第三集合对应的最新的识别结果的第三比例为C;
所述有效值的计算方式为:
有效值=a*A+b*B+c*C。
通过上述实施例,采用了更加科学的识别结果有效值的计算方式,能够较好地保证识别结果的准确性。
较佳的,在一些可选实施方式中,n取值为15,a取值为0.6,b取值为0.3,c取值为0.1;采用此实施例的取值,能够更好地保证识别结果的准确性。
除了前述实施例中的判定翻页的方法外,还可以采用其他方式来判定是否翻页;在另一些可选实施方式中,所述绘本照片为连续采集的两张以上绘本照片;所述绘本识别方法,还可包括以下步骤:
持续采集绘本照片;
识别所述绘本照片并得到与每张绘本照片一一对应的识别结果;这里的与绘本照片对应的识别结果分为以下几种情况:第一种,识别结果与绘本照片是一一对应的;第二种,在得到每张绘本照片的识别结果时,还同时得出识别结果的相应得分,仅当识别结果的得分高于预设得分阈值时,才输出该识别结果;第三种,在得到每张绘本照片的识别结果时,还同时比对多张绘本照片的识别结果是否相同,仅当相同时,才返回相应的识别结果;第四种,在得到每张绘本照片的识别结果时,还同时得出识别结果的相应得分,并提取出得分高于预设得分阈值的识别结果,之后,还比对这些得分高于预设得分阈值的识别结果是否相同,仅当相同时,才返回相应的识别结果;可以知道,以上任何一种方式都是可以应用到本发明中的,不同的选择会有不同的效果,例如第一种方式的反应速度最快,而第四种方式则能更好地使结果更加准确;实际上,根据不同的需求可以对上述四种方式进行不同的选择;
将所述识别结果存储为识别结果队列,所述识别结果队列中保存有至少两个识别结果;可选的,所述识别结果队列中保存有至少4个识别结果,且所述识别结果队列中的识别结果是按接收时间顺序依次排列的;较佳的,所述识别结果队列中仅存储以当前时刻为基准,向前推移预设时间间隔的时间段内接收的识别结果,例如所述预设时间间隔为30秒,则所述识别结果队列中仅存储从当前时刻向前推移30秒这个时间段内接收到的识别结果,而再往前推移的相对较为陈旧的识别结果,则可进行删除,以节约本地资源;
比对所述识别结果队列中的识别结果;通常地,这种比对是相邻的两两识别结果之间的;这里,相邻的两两识别结果,可以是相同的,也可以是不同的;可选的,可以根据时间记录,把相同的识别结果区分开;具体可采用对每个识别结果产生时间戳,通过比对时间戳即可来判断两个识别结果的独立性;
若所述识别结果队列中在后的识别结果与在先的识别结果不同,且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的,则判定为翻页;这里,所述在先的识别结果和在后的识别结果是一种相对概念,即被比对的两两识别结果之间,接收时间在先的即为在先的识别结果,接收时间在后的即为在后的识别结果;当相邻的两个识别结果被比对为不相同时,则继续比对在后的识别结果之后的至少2个识别结果,若这至少2个识别结果与所述在后的识别结果相同,则说明在后的识别结果是连续且稳定的,此时可以确信绘本被翻页,从而避免对于绘本翻页进行误判;判断在后的识别结果是否连续时,在保证结果准确的情况下,为了提高处理速度,可以只将在后的识别结果之后的2个识别结果与在后的识别结果进行比对。
通过上述实施例,将绘本识别图像的过程队列化,可以有效的提高识别准确率,并且,在GPU服务器运算能力下,可以快速的处理连续任务;在绘本阅读场景中,当识别结果一直连续时,可以假定为绘本页正处于稳定的阅读中,此时的识别结果相比未做处理的识别方法更加准确。
在一些可选实施方式中,所述绘本识别方法还可包括以下步骤:
若所述识别结果队列中在后的识别结果与在先的识别结果相同,或者,所述识别结果队列中在后的识别结果与在先的识别结果不同,但所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果不完全相同(例如,假设在后的识别结果为A,其后的两个识别结果分别为B、C,识别结果不完全相同的情况可包括:A与B、C都不同;或者,A与B相同,而A与C不同;或者,A与C相同,而A与B不同),说明,此时在后的识别结果是不稳定的,则保留在先的识别结果。并且,可选的,还继续包括步骤:删除在后的识别结果,从而能够节约设备端的存储空间。
较佳的,在一些可选实施方式中,所述识别结果队列中保存有多个连续的识别结果;
所述比对所述识别结果队列中的识别结果的步骤之后,还可具体包括以下步骤:
若所述识别结果队列中在后的识别结果与在先的识别结果不同,且连续3次的在后的识别结果是相同的,则判定为翻页,否则保留在先的识别结果;并且,可选的,删除在后的识别结果,从而能够节约设备端的存储空间。
通过上述实施例,当在后的识别结果连续的时,才确定为翻页,从而保证了判定翻页的准确性,并排除了一些不确定因素(例如,因绘本照片拍摄不清楚而产生的错误识别,或者因用户的来回翻页而导致的不确定性等等)。
在一些可选实施方式中,所述绘本识别方法还包括对新一页的绘本页进行识别处理的过程,具体可包括以下步骤:
按照预设采集频率,通过摄像头采集新的绘本照片;
识别所述新的绘本照片,得到识别结果和与所述识别结果相应的得分;
获取与所述新的绘本照片对应的第二绘本ID以及与所述第二绘本ID对应的本地文件版本号;这里,所述第二绘本ID可以是和所述第一绘本ID是相同的;当二者不同时,说明用户更换了绘本;当二者相同时,说明用户进行了翻页(判定翻页的方法可采用前述的任意一种,在此不再赘述),此时采集得到的绘本照片携带有所述第一绘本ID,在识别所述绘本照片时,可根据所述第一绘本ID识别所述新的绘本照片,即,根据第一绘本ID确定相应的绘本,并将所述新的绘本照片在相应绘本的绘本内页图片中进行比对,从而能够得出更准确的识别结果;
上传所述与所述第二绘本ID对应的本地资源版本号;
若接收到第二读绘本指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址;根据所述第二音频访问地址,播放相应的音频文件;
若接收到第二更新指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址,根据所述第二音频访问地址,播放相应的音频文件;并且,获取与所述第二绘本ID对应的更新文件下载地址,并下载更新文件。
通过上述实施例,完成了对于新的绘本照片的识别,得到新的第二音频访问地址,从而能够进行新的一页绘本页的相关音频文件的播放。
需要说明的是,前述任意实施例中的更新文件的过程,不仅仅是应用于一开始识别的第一页绘本页上,而是可以发生于任意一本绘本的任意一页绘本页的识读过程中,当任意绘本页的对应音频文件处于播放过程中时,均不对本地文件进行更新,而是仅在后台下载更新文件,在下载完成更新文件后,也需要等待每一页绘本页的交替过程中或其他空闲时间段内才能进行本地文件更新,从而不让用户感觉到更新过程的存在,体验更加流畅。
此外,还需要说明的是,上述绘本识别方法的任意实施例都可直接应用于绘本识别终端设备(例如家用智能机器人等),从而可以直接在本地实现绘本识别,识别过程无需与服务器进行交互,从而精简了识别步骤,提高了识别效率,同时还因为所有识别步骤都在本地实现,从而实现了更加快速的识别过程。
基于上述目的,本发明实施例的第二个方面,提供了一种能够提高绘本识别正确率的绘本识别装置。如图3所示,为本发明提供的绘本识别装置的一个实施例的结构示意图。
所述绘本识别装置,包括:
采集模块301,用于按照预设采集频率,通过摄像头采集绘本照片;
识别模块302,用于识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;以及,获取得分高于得分阈值的识别结果所对应的第一音频访问地址;
上传模块303,用于获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;以及,上传所述与所述第一绘本ID对应的本地资源版本号;
接收模块304,用于接收到第一更新指令和/或第一读绘本指令;
播放模块305,用于根据所述第一音频访问地址,播放相应的音频文件;
更新模块306,用于获取与所述第一绘本ID对应的更新文件下载地址,并下载更新文件。
从上述实施例可以看出,本发明实施例提供的绘本识别装置,通过摄像头自动采集绘本照片并对其进行识别,在得到识别结果后获取相应的第一绘本ID和本地资源版本号并上传至服务器,服务器将所述本地资源版本号与其数据库中存储的相应的最新文件版本号进行比对,若版本号不一致则返回第一更新指令,从而令终端设备在进行绘本阅读的同时在后台启动下载更新文件的进程,而不是直接被更新过程打断绘本阅读过程,从而使得绘本识读的过程更加流畅。
在一些可选实施方式中,所述更新模块306,具体用于:
若所述更新文件下载成功,检测所述更新文件是否完整;
若所述更新文件是完整的,判断读绘本功能是否正在运行;
若读绘本功能正在运行,不进行更新,并在第一预设时间间隔后再次判断是否正在播放与所述第一绘本ID对应的音频文件;
若读绘本功能没有运行,利用所述更新文件完成更新。
在一些可选实施方式中,所述更新模块306,具体用于:
判断当前是否正在播放与所述第一绘本ID对应的音频文件;
若当前正在播放与所述第一绘本ID对应的音频文件,判定为读绘本功能正在运行;
若当前没有播放与所述第一绘本ID对应的音频文件,或者,结束播放与所述第一绘本ID对应的音频文件后已经过第二预设时间间隔,判定为读绘本功能没有运行。
在一些可选实施方式中,还包括:
当本地存在所述音频文件时,所述第一音频访问地址为本地存储地址;
当本地不存在所述音频文件时,所述第一音频访问地址为服务器存储所述音频文件的网页链接。
在一些可选实施方式中,所述上传模块303,具体用于:
判断本地是否存在所述音频文件;
若本地不存在所述音频文件,向服务器发送音频文件下载请求;其中,所述音频文件下载请求中携带所述第一绘本ID;
所述接收模块304,还用于接收服务器返回的音频文件并存储在本地。
在一些可选实施方式中,所述识别模块302,具体用于:
将所述绘本照片与本地存储的绘本封面图片进行比对;
若所述绘本照片与本地存储的任一绘本封面图片匹配,则所述绘本照片被识别为绘本封面照片;
若所述绘本照片不与本地存储的任何绘本封面图片匹配,则确定所述绘本照片是否携带第一绘本ID;
若所述绘本照片携带第一绘本ID,根据所述第一绘本ID确定相应的绘本,并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。
在一些可选实施方式中,所述识别模块302,具体用于:
若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配,则所述绘本照片被识别为绘本内页照片;
若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配,则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。
在一些可选实施方式中,所述采集模块301,还用于持续采集绘本照片;
所述识别模块302,还用于识别所述绘本照片,并得到识别结果;以及,若所述识别结果与在先的识别结果不同,则判定为绘本被翻页。
在一些可选实施方式中,所述绘本照片为连续采集的两张以上绘本照片;所述识别模块302,还用于:
将所述识别结果存储为识别结果队列,所述识别结果队列中保存有多个识别结果;
将多个识别结果分为至少两个集合;
为不同集合赋予不同权重;其中,按每个集合中识别结果的接收时间先后顺序,权重的大小依次递减;
确定最新的识别结果占各自集合中的比例;
根据所述权重和所述比例,计算所述最新的识别结果在整个识别结果队列中的有效值;
若所述有效值大于预设有效值阈值,则判定为翻页。
在一些可选实施方式中,所述绘本照片为连续采集的两张以上绘本照片;所述识别模块302,还用于:
将所述识别结果存储为识别结果队列;
比对所述识别结果队列中的识别结果;
若所述识别结果队列中在后的识别结果与在先的识别结果不同,且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的,则判定为翻页。
在一些可选实施方式中,所述采集模块301,还用于按照预设采集频率,通过摄像头采集新的绘本照片;
所述识别模块302,还用于识别所述新的绘本照片,得到识别结果和与所述识别结果相应的得分;以及,获取与所述新的绘本照片对应的第二绘本ID以及与所述第二绘本ID对应的本地文件版本号;
所述上传模块303,还用于上传所述与所述第二绘本ID对应的本地资源版本号;
所述播放模块305,若接收到第二读绘本指令或第二更新指令,还用于获取得分高于得分阈值的识别结果所对应的第二音频访问地址;根据所述第二音频访问地址,播放相应的音频文件;
所述更新模块306,还用于获取与所述第二绘本ID对应的更新文件下载地址,并下载更新文件。
基于上述目的,本发明实施例的第三个方面,提供了一种能够提高绘本识别正确率的电子设备。如图4所示,为本发明提供的电子设备的一个实施例的结构示意图。
如图4所示,所述电子设备包括:
用于采集照片的摄像头;
一个或多个处理器401以及存储器402,图4中以一个处理器401为例。
所述执行所述绘本识别方法的电子设备还可以包括:输入装置403和输出装置404。
处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图4中以通过总线连接为例。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的所述绘本识别方法对应的程序指令/模块(例如,附图3所示的采集模块301、识别模块302、上传模块303、接收模块304、播放模块305和更新模块306)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的绘本识别方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据数据推荐装置的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可接收输入的数字或字符信息,以及产生与绘本识别装置的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器402中,当被所述一个或者多个处理器401执行时,执行上述任意方法实施例中的绘本识别方法。所述执行所述绘本识别方法的电子设备的实施例,其技术效果与前述任意方法实施例相同或者类似。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种绘本识别方法,其特征在于,包括:
按照预设采集频率,通过摄像头采集绘本照片;
识别所述绘本照片,得到识别结果和与所述识别结果相应的得分;
获取与所述绘本照片对应的第一绘本ID以及与所述第一绘本ID对应的本地文件版本号;
上传所述与所述第一绘本ID对应的本地资源版本号;
若接收到第一更新指令,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件;并且,获取与所述第一绘本ID对应的更新文件下载地址,并下载更新文件。
2.根据权利要求1所述的方法,其特征在于,还包括:
若接收到第一读绘本指令,获取得分高于得分阈值的识别结果所对应的第一音频访问地址;根据所述第一音频访问地址,播放相应的音频文件。
3.根据权利要求1所述的方法,其特征在于,所述下载最新资源的步骤之后,还包括:
若所述更新文件下载成功,检测所述更新文件是否完整;
若所述更新文件是完整的,判断读绘本功能是否正在运行;
若读绘本功能正在运行,不进行更新,并在第一预设时间间隔后再次判断是否正在播放与所述第一绘本ID对应的音频文件;
若读绘本功能没有运行,利用所述更新文件完成更新。
4.根据权利要求3所述的方法,其特征在于,所述判断读绘本功能是否正在运行的步骤,包括:
判断当前是否正在播放与所述第一绘本ID对应的音频文件;
若当前正在播放与所述第一绘本ID对应的音频文件,判定为读绘本功能正在运行;
若当前没有播放与所述第一绘本ID对应的音频文件,或者,结束播放与所述第一绘本ID对应的音频文件后已经过第二预设时间间隔,判定为读绘本功能没有运行。
5.根据权利要求1所述的方法,其特征在于,还包括:
当本地存在所述音频文件时,所述第一音频访问地址为本地存储地址;
当本地不存在所述音频文件时,所述第一音频访问地址为服务器存储所述音频文件的网页链接。
6.根据权利要求1所述的方法,其特征在于,获取得分高于得分阈值的识别结果所对应的第一音频访问地址,根据所述第一音频访问地址,播放相应的音频文件的步骤之前,还包括:
判断本地是否存在所述音频文件;
若本地不存在所述音频文件,向服务器发送音频文件下载请求;其中,所述音频文件下载请求中携带所述第一绘本ID;
接收服务器返回的音频文件并存储在本地。
7.根据权利要求1所述的方法,其特征在于,识别所述绘本照片的步骤,包括:
将所述绘本照片与本地存储的绘本封面图片进行比对;
若所述绘本照片与本地存储的任一绘本封面图片匹配,则所述绘本照片被识别为绘本封面照片;
若所述绘本照片不与本地存储的任何绘本封面图片匹配,则确定所述绘本照片是否携带第一绘本ID;
若所述绘本照片携带第一绘本ID,根据所述第一绘本ID确定相应的绘本,并将所述绘本照片与本地存储的与所述绘本对应的绘本内页图片进行比对。
8.根据权利要求7所述的方法,其特征在于,还包括:
若所述绘本照片与本地存储的与所述绘本对应的任一绘本内页图片匹配,则所述绘本照片被识别为绘本内页照片;
若所述绘本照片不与本地存储的与所述绘本对应的任何绘本内页图片匹配,则所述绘本照片被识别为未录入绘本的照片或新绘本的绘本封面照片。
9.根据权利要求1所述的方法,其特征在于,还包括:
持续采集绘本照片;
识别所述绘本照片,并得到识别结果;
若所述识别结果与在先的识别结果不同,则判定为绘本被翻页。
10.根据权利要求1所述的方法,其特征在于,所述绘本照片为连续采集的两张以上绘本照片;所述方法还包括:
将所述识别结果存储为识别结果队列,所述识别结果队列中保存有多个识别结果;
将多个识别结果分为至少两个集合;
为不同集合赋予不同权重;其中,按每个集合中识别结果的接收时间先后顺序,权重的大小依次递减;
确定最新的识别结果占各自集合中的比例;
根据所述权重和所述比例,计算所述最新的识别结果在整个识别结果队列中的有效值;
若所述有效值大于预设有效值阈值,则判定为翻页。
11.根据权利要求1所述的方法,其特征在于,所述绘本照片为连续采集的两张以上绘本照片;所述方法还包括:
将所述识别结果存储为识别结果队列;
比对所述识别结果队列中的识别结果;
若所述识别结果队列中在后的识别结果与在先的识别结果不同,且所述在后的识别结果之后的至少2个识别结果与所述在后的识别结果是相同的,则判定为翻页。
12.根据权利要求9-11任一项所述的方法,其特征在于,判定为绘本被翻页的步骤之后还包括:
按照预设采集频率,通过摄像头采集新的绘本照片;
识别所述新的绘本照片,得到识别结果和与所述识别结果相应的得分;
获取与所述新的绘本照片对应的第二绘本ID以及与所述第二绘本ID对应的本地文件版本号;
上传所述与所述第二绘本ID对应的本地资源版本号;
若接收到第二读绘本指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址;根据所述第二音频访问地址,播放相应的音频文件;
若接收到第二更新指令,获取得分高于得分阈值的识别结果所对应的第二音频访问地址,根据所述第二音频访问地址,播放相应的音频文件;并且,获取与所述第二绘本ID对应的更新文件下载地址,并下载更新文件。
13.一种电子设备,其特征在于,包括:
用于采集照片的摄像头;
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-12任一项所述的方法。
CN201710533645.5A 2017-07-03 2017-07-03 绘本识别方法及电子设备 Pending CN107977599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710533645.5A CN107977599A (zh) 2017-07-03 2017-07-03 绘本识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710533645.5A CN107977599A (zh) 2017-07-03 2017-07-03 绘本识别方法及电子设备

Publications (1)

Publication Number Publication Date
CN107977599A true CN107977599A (zh) 2018-05-01

Family

ID=62012310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710533645.5A Pending CN107977599A (zh) 2017-07-03 2017-07-03 绘本识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN107977599A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备
CN109241305A (zh) * 2018-08-23 2019-01-18 深圳市深晓科技有限公司 一种基于图像识别的绘本阅读方法及装置
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置
CN110087270A (zh) * 2019-05-15 2019-08-02 深圳市沃特沃德股份有限公司 一种阅读的方法、装置、存储介质和计算机设备
CN110263187A (zh) * 2019-06-19 2019-09-20 深圳市沃特沃德股份有限公司 绘本识别方法、装置、存储介质及计算机设备
CN111998259A (zh) * 2020-09-08 2020-11-27 安徽声讯信息技术有限公司 一种基于台灯的智能学习辅助系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965730A (zh) * 2015-06-02 2015-10-07 广东欧珀移动通信有限公司 一种版本升级方法及系统
CN105095422A (zh) * 2015-07-15 2015-11-25 百度在线网络技术(北京)有限公司 一种多媒体展示方法与装置和点读笔
CN105447499A (zh) * 2015-10-23 2016-03-30 北京爱乐宝机器人科技有限公司 一种图书互动方法、装置和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965730A (zh) * 2015-06-02 2015-10-07 广东欧珀移动通信有限公司 一种版本升级方法及系统
CN105095422A (zh) * 2015-07-15 2015-11-25 百度在线网络技术(北京)有限公司 一种多媒体展示方法与装置和点读笔
CN105447499A (zh) * 2015-10-23 2016-03-30 北京爱乐宝机器人科技有限公司 一种图书互动方法、装置和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备
CN108765532B (zh) * 2018-05-04 2023-08-22 卢卡(北京)智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备
CN109241305A (zh) * 2018-08-23 2019-01-18 深圳市深晓科技有限公司 一种基于图像识别的绘本阅读方法及装置
CN109241305B (zh) * 2018-08-23 2021-04-30 深圳市同维通信技术有限公司 一种基于图像识别的绘本阅读方法及装置
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置
CN110087270A (zh) * 2019-05-15 2019-08-02 深圳市沃特沃德股份有限公司 一种阅读的方法、装置、存储介质和计算机设备
CN110087270B (zh) * 2019-05-15 2021-09-17 深圳市沃特沃德信息有限公司 一种阅读的方法、装置、存储介质和计算机设备
CN110263187A (zh) * 2019-06-19 2019-09-20 深圳市沃特沃德股份有限公司 绘本识别方法、装置、存储介质及计算机设备
CN111998259A (zh) * 2020-09-08 2020-11-27 安徽声讯信息技术有限公司 一种基于台灯的智能学习辅助系统

Similar Documents

Publication Publication Date Title
CN107977599A (zh) 绘本识别方法及电子设备
CN107481327B (zh) 关于增强现实场景的处理方法、装置、终端设备及系统
US9898847B2 (en) Multimedia picture generating method, device and electronic device
CN107920256B (zh) 直播数据播放方法、装置及存储介质
CN107977394A (zh) 绘本识别方法及电子设备
CN107977390A (zh) 绘本识别方法、装置、系统及电子设备
EP3473016B1 (en) Method and system for automatically producing video highlights
CN109637548A (zh) 基于声纹识别的语音交互方法及装置
WO2018018814A1 (zh) 一种种植箱内植物的生长过程展示方法及系统
WO2022116604A1 (zh) 拍摄图像处理方法及电子设备
CN111091811B (zh) 语音训练数据的处理方法、装置及存储介质
CN107977391A (zh) 绘本识别方法、装置、系统及电子设备
CN108536414A (zh) 语音处理方法、装置和系统、移动终端
CN105812920B (zh) 媒体信息处理方法及媒体信息处理装置
CN107609047A (zh) 应用推荐方法、装置、移动设备及存储介质
US20170171471A1 (en) Method and device for generating multimedia picture and an electronic device
CN109961800A (zh) 一种乐谱翻页处理方法及装置
CN109064787B (zh) 一种点读设备
CN107977392A (zh) 绘本识别方法、装置、系统及电子设备
CN110210299A (zh) 语音训练数据生成方法、装置、设备及可读存储介质
CN113473017A (zh) 一种图像处理方法、装置、设备及存储介质
CN111077992B (zh) 一种点读方法、电子设备及存储介质
JP7315321B2 (ja) 生成装置、生成方法および生成プログラム
CN107112007A (zh) 语音识别装置及语音识别方法
CN104901939B (zh) 多媒体文件播放方法和终端及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180501

RJ01 Rejection of invention patent application after publication