CN112132127A - 点读中实现图书自动切换的方法及装置 - Google Patents

点读中实现图书自动切换的方法及装置 Download PDF

Info

Publication number
CN112132127A
CN112132127A CN202010804333.5A CN202010804333A CN112132127A CN 112132127 A CN112132127 A CN 112132127A CN 202010804333 A CN202010804333 A CN 202010804333A CN 112132127 A CN112132127 A CN 112132127A
Authority
CN
China
Prior art keywords
cover
book
app
page
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010804333.5A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Whaty Technology Development Co ltd
Original Assignee
Beijing Whaty Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whaty Technology Development Co ltd filed Critical Beijing Whaty Technology Development Co ltd
Priority to CN202010804333.5A priority Critical patent/CN112132127A/zh
Publication of CN112132127A publication Critical patent/CN112132127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Character Input (AREA)

Abstract

本发明涉及一种点读中实现图书自动切换的方法及装置。使用图像识别算法单独对多个图书的封面图像生成封面识别库，封面识别库包含在点读软件APP中，当点读软件APP启动时，自动加载封面识别库，同时点读软件APP可以使用两种方法实现自动切换图书，从而使得点读软件APP进行绘本点读时，图书切换操作更便捷，提升用户使用体验。

Description

点读中实现图书自动切换的方法及装置
技术领域
本发明涉及一种点读中实现图书自动切换的方法及装置，可有效改善采用智能终端等设备识别绘本等书籍的操作便捷性。
背景技术
对于绘本(每页配合文字均有大面积的图画)等书籍，使用智能手机或其它带摄像头的设备，配合图像识别软件自动定位书籍中某个书页的页码和手指头所指位置，并自动播放手指所指位置的多媒体资源。
整个装置由4部分组成：智能终端，安装于终端上的软件，外接在终端前置摄像头位置上的反射镜，将终端固定在特定角度的支架。放置在支架前面桌面上的绘本书籍的页面，通过反射镜被终端前置摄像头拍摄图像后，图像识别软件自动定位书籍中某个书页的页码和手指头所指位置，并自动播放手指所指位置的多媒体资源。
绘本点读装置所包含的图像识别软件，其主要功能是利用设备的摄像头拍摄的书页图像(可能包括手指)，使用人工智能的相关图像识别模型和算法，识别出书页图像对应的书籍页码，以及检测用户手指所指位置在书籍页面中的对应位置，从而获取书籍页面或手指位置所对应的多媒体资源，自动播放给用户。
现有技术中，为提高用户使用体验，人工智能算法一般会对每本图书单独生成识别数据，用户手动输入书名进行检索，在用户选择某本书后，再通过网络从后台服务器将这本书的识别数据下载到手机端，然后识别软件自动加载这个识别数据，从而实现上述功能。
在用户使用过程中，经常需要切换不同的图书，而且后台服务器上图书数量很多，如果让用户手动输入书名进行检索，再进行下载，过程比较繁琐，用户体验较差。
发明内容
本发明的目的在于设计一种点读中实现图书自动切换的方法及装置，使用图像识别算法单独对多个图书的封面图像生成封面识别库，封面识别库包含在点读软件APP中，当点读软件APP启动时，自动加载封面识别库，同时点读软件APP可以使用两种方法实现自动切换图书，从而使得点读软件APP进行绘本点读时，图书切换操作更便捷，提升用户使用体验。
其中，实现图书自动切换的方法，包括步骤：
使用图像识别算法分别对多个图书的封面图像进行识别和训练，生成封面识别库；当图书点读软件APP启动时，自动加载封面识别库，所述软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
其中，所述自动切换封面识别模式具体包括：
(1)所述APP启动时，自动加载封面识别数据库，之后，所述APP进入书页识别模式或封面识别模式；所述书页识别模式是指所述APP自动加载之前点读所使用图书的书页识别数据库，所述封面识别模式是指所述APP不加载任何图书的书页识别数据库；
(2)用户在进行图书点读时，如果需要更换图书，则将新图书翻到封面位置，放置到手机支架前方，并确保图书在手机摄像头的拍摄范围内；
(3)所述APP控制手机摄像头顺序或者定时拍摄图像，并将图像送入人工智能算法模块，进行图像识别；
(4)如果所述APP处于封面识别模式，且所述APP没有加载任何图书的书页识别数据库，则所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，然后进入步骤(5)；
(5)将输出的封面识别结果呈现在所述APP界面上，呈现内容为封面图像，或者封面图像对应的书名等图书信息；如果没有输出封面识别结果，所述APP提醒用户按照正确的方法重新放置图书封面，或者用户手动搜索图书，所述APP显示搜索得到的图书结果；
(6)用户手动点击正确的图书结果，或者当正确的图书结果是第一候选时，用户不进行操作，所述APP倒计时T秒结束后，自动加载此图书的书页识别数据库，所述T大于等于1，然后所述APP进入书页识别模式，开始检测用户的书页点读操作。
其中，加载书页识别数据库后所述APP处于书页识别模式，用户可直接对此书页识别数据库所对应图书进行书页点读操作。
所述步骤(4)中，如果所述APP处于封面识别模式，且已经加载了某本图书的书页识别数据库，则执行步骤L2；
所述步骤L2包括：
对识别结果执行以下步骤：如果连续B次识别都没有检测到任何一个封面图像，则所述APP自动切换到书页识别模式，开始检测用户的书页点读操作，否则，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，所述B大于等于2。
在上述步骤(3)之后，如果所述APP处于书页识别模式，若连续A次识别没有检测到书页结果，则所述APP自动切换到封面识别模式，然后按照所述步骤L2进行处理，所述A大于等于2。
其中，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，具体包括两种方式：第一种方式：固定连续识别N1次，所述N1为正整数，在N1次的识别结果中，对相同的封面图像进行累加，然后按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果，结束封面识别过程；第二种方式：进行不固定次数的连续识别多次，对多次识别结果，将其中相同的封面图像进行累加，如果最大的累加值达到设定的阈值N2，则结束封面识别过程，按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果。
所述图书为绘本。
还提供一种点读中实现图书自动切换的设备，所述设备包括处理器和存储器，所述存储器上存储着程序代码，所述程序代码被处理器执行时，用于实现上述方法。
还提供一种点读中实现图书自动切换的终端，所述终端包括：
启动模块，用于启动图书点读软件APP，
自动加载模块，用于当图书点读软件APP启动时，自动加载封面识别库，
所述图书点读软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
手动触发模块，用于启动手动触发封面识别模式；
自动触发模块，用于启动自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
还提供一种计算机可读存储介质，所述存储介质上存储着程序代码，所述程序代码能够被处理器执行，用于实现上述点读中实现图书自动切换的方法。
本发明中，通过生成封面识别库，当图书点读软件APP启动时，自动加载封面识别库，并且能够通过手动触发封面识别模式或自动切换封面识别模式，使得图书切换操作更便捷，从而有效改善采用智能终端等设备识别绘本等书籍的操作便捷性。
附图说明
图1是本发明手动触发封面识别模式流程图；
图2是本发明自动触发封面识别模式流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明在终端点读中实现图书自动切换的方法及装置具体实施方式如下：
首先，进行识别数据库的准备。
对于要进行绘本点读的多本图书，在人工智能算法模块的训练阶段要做以下工作：
(1)对每本图书中所有的书页图像进行训练，生成每本图书的书页识别数据库；
(2)将所有图书的封面图像集中在一起进行训练，生成封面识别数据库；
(3)封面识别数据库和APP一起下载到手机上，每本图书的书页识别数据库放置在后台服务器上，当用户需要点读某本书的时候，APP自动从后台服务器下载到手机上并加载。
为解决目前所存在的技术问题，本申请提出了一种解决方案，使用图像识别算法单独对多个图书的封面图像生成封面识别库，封面识别库包含在软件APP中，当软件启动时，自动加载封面识别库，同时软件APP可以使用两种方法实现自动切换图书：
1.手动触发封面识别模式：软件界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，软件将调用封面识别库，对相机定时拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在软件界面上，用户确认(或等待一定时间)后自动加载此图书的书页识别库，然后后续软件将相机定时拍摄的图像都送入此书页识别库进行书页识别。
2.自动切换封面识别模式：当用户翻到新图书的封面后，软件根据连续多次的识别结果(没有正确的书页识别结果)进行逻辑判断，自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在软件界面上，用户确认(或等待一定时间)后自动加载此图书的书页识别库，然后后续软件将相机定时拍摄的图像都送入此书页识别库进行书页识别。
其中，对于手动触发封面识别模式，具体实现方式如下：
在图书点读软件APP的界面上设计一个专用按钮，当用户需要更换图书时：
(1)用户点击APP上的上述专用按钮，APP自动加载封面识别数据库，进入封面识别状态；
(2)用户将新图书翻到封面位置，放置到手机支架前方，并确保在手机前置摄像头的拍摄范围内；
(3)APP控制手机前置摄像头顺序拍摄或者定时拍摄图像，并将图像送入人工智能算法模块，进行识别；
(4)对连续多次的识别结果按照一定的流程(命名为流程L1)进行处理，将输出的封面识别结果(可能1个或多个候选)呈现在APP界面上，呈现内容可以是封面图像，或者封面图像对应的书名等图书信息；如果没有输出封面识别结果，APP提醒用户按照正确的方法重新放置图书封面，或者用户手动搜索图书，APP显示搜索得到图书结果；
(5)用户手动点击正确的图书结果，或者当正确的图书结果是第一候选时，用户可以不进行操作，APP倒计时T秒结束后，APP自动加载此图书的书页识别数据库，APP进入书页识别模式，开始检测用户的书页点读操作，并自动卸载封面识别数据库。
其中，所述流程L1，具体包括：
从连续多次的封面图像识别结果中筛选出可靠的输出，可以有几种方式：
第一种方式：固定连续识别N1次，这N1次的识别结果中，相同的封面图像进行累加，然后按照累加值对识别出的各个不相同的封面图像进行降序排列，这个降序排列的列表作为输出结果，结束封面识别过程。
第二种方式：不固定次数的连续识别多次，对多次识别结果，将相同的封面图像进行累加，如果最大的累加值达到设定的阈值N2，则结束封面识别过程，按照累加值对识别出的各个不相同的封面图像进行降序排列，这个降序排列的列表(或者取前N3个结果，或者只取累加值大于N4的结果，N4小于N2)作为输出结果。上述N1，N2，N3，N4为正整数。
对于自动切换封面识别模式：
此模式可在用户更换新图书后，APP自动切换图书：
(1)APP启动时，自动加载封面识别数据库，可以自动加载之前点读使用图书的书页识别数据库(加载书页识别数据库后APP处于书页识别模式，用户可直接对此书页识别数据库所对应图书进行书页点读操作)，也可以不加载任何图书的书页识别数据库(此时APP处于封面识别模式)；
(2)用户正常使用过程中，如果需要更换图书，则将新图书翻到封面位置，放置到手机支架前方，并确保在手机前置摄像头的拍摄范围内；
(3)APP控制手机前置摄像头顺序或者定时拍摄图像，并将图像送入人工智能算法模块，进行识别；
(4)如果APP处于封面识别模式，且APP没有加载任何图书的书页识别数据库，则后续处理过程与上述手动触发封面识别模式中(4)(5)的操作过程相同；如果APP处于封面识别模式，且已经加载了某本图书的书页识别数据库，则按照一定的流程(命名为流程L2)进行处理；
(5)如果APP处于书页识别模式，如果连续A次识别没有检测到书页结果，则APP自动切换到封面识别模式，并按照流程L2进行处理；
(6)将输出的封面识别结果(可能1个或多个候选)呈现在APP界面上，呈现内容可以是封面图像，或者封面图像对应的书名等图书信息；如果没有输出封面识别结果，APP提醒用户按照正确的方法重新放置图书封面，或者用户手动搜索图书，APP显示搜索得到的图书结果；
(7)用户手动点击正确的图书结果，或者当正确的图书结果是第一候选时，用户可以不进行操作，APP倒计时T秒结束后，APP自动加载此图书的书页识别数据库，APP进入书页识别模式，开始检测用户的书页点读操作。
其中，所述流程L2，具体包括：
如果APP处于封面识别模式，且已经加载了用户之前阅读图书的书页识别库，对识别结果的处理如下：
(1)如果连续B次识别都没有检测到任何一个封面图像，则APP自动切换到书页识别模式，开始检测用户的书页点读操作；
(2)否则，按照流程L1进行处理。
基于上述实施例，本申请实现图书自动切换的方法，包括步骤：
使用图像识别算法分别对多个图书的封面图像进行识别和训练，生成封面识别库；当图书点读软件APP启动时，自动加载封面识别库，所述软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
其中，所述自动切换封面识别模式具体包括：
(1)所述APP启动时，自动加载封面识别数据库，之后，所述APP进入书页识别模式或封面识别模式；所述书页识别模式是指所述APP自动加载之前点读所使用图书的书页识别数据库，所述封面识别模式是指所述APP不加载任何图书的书页识别数据库；
(2)用户在进行图书点读时，如果需要更换图书，则将新图书翻到封面位置，放置到手机支架前方，并确保图书在手机摄像头的拍摄范围内；
(3)所述APP控制手机摄像头顺序或者定时拍摄图像，并将图像送入人工智能算法模块，进行图像识别；
(4)如果所述APP处于封面识别模式，且所述APP没有加载任何图书的书页识别数据库，则所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，然后进入步骤(5)；
(5)将输出的封面识别结果呈现在所述APP界面上，呈现内容为封面图像，或者封面图像对应的书名等图书信息；如果没有输出封面识别结果，所述APP提醒用户按照正确的方法重新放置图书封面，或者用户手动搜索图书，所述APP显示搜索得到的图书结果；
(6)用户手动点击正确的图书结果，或者当正确的图书结果是第一候选时，用户不进行操作，所述APP倒计时T秒结束后，自动加载此图书的书页识别数据库，所述T大于等于1，然后所述APP进入书页识别模式，开始检测用户的书页点读操作。
其中，加载书页识别数据库后所述APP处于书页识别模式，用户可直接对此书页识别数据库所对应图书进行书页点读操作。
所述步骤(4)中，如果所述APP处于封面识别模式，且已经加载了某本图书的书页识别数据库，则执行步骤L2；
所述步骤L2包括：
对识别结果执行以下步骤：如果连续B次识别都没有检测到任何一个封面图像，则所述APP自动切换到书页识别模式，开始检测用户的书页点读操作，否则，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，所述B大于等于2。
在上述步骤(3)之后，如果所述APP处于书页识别模式，若连续A次识别没有检测到书页结果，则所述APP自动切换到封面识别模式，然后按照所述步骤L2进行处理，所述A大于等于2。
其中，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，具体包括两种方式：第一种方式：固定连续识别N1次，所述N1为正整数，在N1次的识别结果中，对相同的封面图像进行累加，然后按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果，结束封面识别过程；第二种方式：进行不固定次数的连续识别多次，对多次识别结果，将其中相同的封面图像进行累加，如果最大的累加值达到设定的阈值N2，则结束封面识别过程，按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果。
所述图书为绘本。
还提供一种点读中实现图书自动切换的设备，所述设备包括处理器和存储器，所述存储器上存储着程序代码，所述程序代码被处理器执行时，用于实现上述方法。
还提供一种点读中实现图书自动切换的终端，所述终端包括：
启动模块，用于启动图书点读软件APP，
自动加载模块，用于当图书点读软件APP启动时，自动加载封面识别库，
所述图书点读软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
手动触发模块，用于启动手动触发封面识别模式；
自动触发模块，用于启动自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
还提供一种计算机可读存储介质，所述存储介质上存储着程序代码，所述程序代码能够被处理器执行，用于实现上述点读中实现图书自动切换的方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上对本发明实施例所提供的方法和设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种点读中实现图书自动切换的方法，其特征在于，所述方法包括步骤：
使用图像识别算法分别对多个图书的封面图像进行识别和训练，生成封面识别库；当图书点读软件APP启动时，自动加载封面识别库，所述软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
2.如权利要求1所述的方法，其特征在于，所述自动切换封面识别模式具体包括：
（1）所述APP启动时，自动加载封面识别数据库，之后，所述APP进入书页识别模式或封面识别模式；所述书页识别模式是指所述APP自动加载之前点读所使用图书的书页识别数据库，所述封面识别模式是指所述APP不加载任何图书的书页识别数据库；
（2）用户在进行图书点读时，如果需要更换图书，则将新图书翻到封面位置，放置到手机支架前方，并确保图书在手机摄像头的拍摄范围内；
（3）所述APP控制手机摄像头顺序或者定时拍摄图像，并将图像送入人工智能算法模块，进行图像识别；
（4）如果所述APP处于封面识别模式，且所述APP没有加载任何图书的书页识别数据库，则所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，然后进入步骤（5）；
（5）将输出的封面识别结果呈现在所述APP界面上，呈现内容为封面图像，或者封面图像对应的书名等图书信息；如果没有输出封面识别结果，所述APP提醒用户按照正确的方法重新放置图书封面，或者用户手动搜索图书，所述APP显示搜索得到的图书结果；
（6）用户手动点击正确的图书结果，或者当正确的图书结果是第一候选时，用户不进行操作，所述APP倒计时T秒结束后，自动加载此图书的书页识别数据库，所述T大于等于1，然后所述APP进入书页识别模式，开始检测用户的书页点读操作。
3.如权利要求1所述的方法，其特征在于，其中，加载书页识别数据库后所述APP处于书页识别模式，用户可直接对此书页识别数据库所对应图书进行书页点读操作。
4.如权利要求2所述的方法，其特征在于，所述步骤（4）中，如果所述APP处于封面识别模式，且已经加载了某本图书的书页识别数据库，则执行步骤L2；
所述步骤L2包括：
对识别结果执行以下步骤：如果连续B次识别都没有检测到任何一个封面图像，则所述APP自动切换到书页识别模式，开始检测用户的书页点读操作，否则，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，所述B大于等于2。
5.如权利要求4所述的方法，其特征在于，在上述步骤（3）之后，如果所述APP处于书页识别模式，若连续A次识别没有检测到书页结果，则所述APP自动切换到封面识别模式，然后按照所述步骤L2进行处理，所述A大于等于2。
6.如权利要求1-5所述的方法，其特征在于，所述APP进行连续多次的封面图像识别，并从连续多次的封面图像识别结果中筛选出可靠的封面识别结果，具体包括两种方式：第一种方式：固定连续识别N1次，所述N1为正整数，在N1次的识别结果中，对相同的封面图像进行累加，然后按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果，结束封面识别过程；第二种方式：进行不固定次数的连续识别多次，对多次识别结果，将其中相同的封面图像进行累加，如果最大的累加值达到设定的阈值N2，则结束封面识别过程，按照累加值对识别出的各个不相同的封面图像进行降序排列，将所述降序排列的列表作为输出结果。
7.如权利要求1-6所述的装置，其特征在于，所述图书为绘本。
8.一种点读中实现图书自动切换的设备，其特征在于，所述设备包括处理器和存储器，所述存储器上存储着程序代码，所述程序代码被处理器执行时，用于实现权利要求1-7任一项所述的方法。
9.一种点读中实现图书自动切换的终端，其特征在于，所述终端包括：
启动模块，用于启动图书点读软件APP，
自动加载模块，用于当图书点读软件APP启动时，自动加载封面识别库，
所述图书点读软件APP使用两种模式实现图书自动切换：手动触发封面识别模式及自动切换封面识别模式；
手动触发模块，用于启动手动触发封面识别模式；
自动触发模块，用于启动自动切换封面识别模式；
其中，所述手动触发封面识别模式具体包括：在软件APP的界面上增加一个按钮，当用户需要更换图书时，翻到该图书的封面，点击此按钮，所述软件APP将调用封面识别库，对摄像头拍摄的图像进行识别，将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，在用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别；
所述自动切换封面识别模式具体包括：当用户翻到新图书的封面后，所述软件APP自动调用封面识别库，进行封面识别，根据连续多次的封面识别结果进行逻辑判断，如果存在可靠的封面识别结果，则将识别出的封面图像所对应的图书信息展现在所述软件APP界面上，经用户确认或等待一定时间后自动加载此图书的书页识别库，然后将摄像头拍摄的图像送入此书页识别库进行书页识别。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储着程序代码，所述程序代码能够被处理器执行，用于实现如权利要求1-7任一项所述的方法。
CN202010804333.5A 2020-08-10 2020-08-10 点读中实现图书自动切换的方法及装置 Pending CN112132127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010804333.5A CN112132127A (zh) 2020-08-10 2020-08-10 点读中实现图书自动切换的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010804333.5A CN112132127A (zh) 2020-08-10 2020-08-10 点读中实现图书自动切换的方法及装置

Publications (1)

Publication Number Publication Date
CN112132127A true CN112132127A (zh) 2020-12-25

Family

ID=73850293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010804333.5A Pending CN112132127A (zh) 2020-08-10 2020-08-10 点读中实现图书自动切换的方法及装置

Country Status (1)

Country Link
CN (1) CN112132127A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447499A (zh) * 2015-10-23 2016-03-30 北京爱乐宝机器人科技有限公司 一种图书互动方法、装置和设备
CN107393356A (zh) * 2017-04-07 2017-11-24 深圳市友悦机器人科技有限公司 控制方法、控制装置和早教机
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN109657521A (zh) * 2017-10-10 2019-04-19 陈旭 便携式读书设备及其图书或电子数据文件
CN109658753A (zh) * 2017-10-10 2019-04-19 陈旭 自动读书设备或图书或电子数据文件
CN110209759A (zh) * 2019-05-30 2019-09-06 北京网梯科技发展有限公司 自动识别书页的方法及装置
CN110909196A (zh) * 2019-10-28 2020-03-24 北京光年无限科技有限公司 识别绘本阅读过程中内页封面切换的处理方法和装置
CN111008295A (zh) * 2019-11-13 2020-04-14 广东小天才科技有限公司 书页检索方法、装置、电子设备和存储介质
CN111429767A (zh) * 2013-01-25 2020-07-17 陈旭 一种图文拍照识别设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429767A (zh) * 2013-01-25 2020-07-17 陈旭 一种图文拍照识别设备
CN105447499A (zh) * 2015-10-23 2016-03-30 北京爱乐宝机器人科技有限公司 一种图书互动方法、装置和设备
CN107393356A (zh) * 2017-04-07 2017-11-24 深圳市友悦机器人科技有限公司 控制方法、控制装置和早教机
CN109657521A (zh) * 2017-10-10 2019-04-19 陈旭 便携式读书设备及其图书或电子数据文件
CN109658753A (zh) * 2017-10-10 2019-04-19 陈旭 自动读书设备或图书或电子数据文件
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN110209759A (zh) * 2019-05-30 2019-09-06 北京网梯科技发展有限公司 自动识别书页的方法及装置
CN110909196A (zh) * 2019-10-28 2020-03-24 北京光年无限科技有限公司 识别绘本阅读过程中内页封面切换的处理方法和装置
CN111008295A (zh) * 2019-11-13 2020-04-14 广东小天才科技有限公司 书页检索方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN103488528A (zh) 一种基于移动终端的二维码处理方法及装置
CN107329750A (zh) 应用程序中广告页面的识别方法、跳转方法及移动终端
CN105975553B (zh) 拍照搜索的方法及装置
CN104615663B (zh) 文件排序方法、装置及终端
CN104462437A (zh) 基于终端界面多次触控操作进行识别搜索的方法及系统
CN105653171A (zh) 基于指纹识别的终端控制方法、终端控制装置及终端
CN104536995A (zh) 基于终端界面触控操作进行搜索的方法及系统
CN109800319A (zh) 图像处理方法、装置、计算机设备和存储介质
CN107977599A (zh) 绘本识别方法及电子设备
CN110110146A (zh) 基于人工智能的视频短片搜索方法、装置、介质和设备
CN104021008A (zh) 一种信息处理的方法及电子设备
CN104765796A (zh) 一种图像识别搜索方法及装置
CN112437231A (zh) 图像拍摄方法和装置、电子设备及存储介质
CN105975554A (zh) 基于移动终端的大数据搜索方法及装置
CN107992872B (zh) 一种对图片进行文本识别的方法及移动终端
CN112749769B (zh) 图形码检测方法、装置、计算机设备及存储介质
CN112363919B (zh) 用户界面ai自动化测试方法、装置、设备和存储介质
CN112132127A (zh) 点读中实现图书自动切换的方法及装置
CN107358234A (zh) 识别码的识别方法及装置
CN111091034B (zh) 一种基于多手指识别的搜题方法及家教设备
CN108008879A (zh) 一种应用程序查找方法、装置及电子设备
CN111078099A (zh) 一种基于手势识别的学习功能切换方法及学习设备
CN111382367B (zh) 一种搜索结果排序方法和装置
CN111553356A (zh) 字符识别方法及装置、学习设备、计算机可读存储介质
CN111079498A (zh) 一种基于口型识别的学习功能切换方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination