CN107742446A - 图书阅读器 - Google Patents
图书阅读器 Download PDFInfo
- Publication number
- CN107742446A CN107742446A CN201710960784.6A CN201710960784A CN107742446A CN 107742446 A CN107742446 A CN 107742446A CN 201710960784 A CN201710960784 A CN 201710960784A CN 107742446 A CN107742446 A CN 107742446A
- Authority
- CN
- China
- Prior art keywords
- information
- module
- camera
- audio
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了图书阅读器,图书阅读器包括第一信息采集单元、第一信息识别单元和音频单元并根据包含有图书的书目信息和页码信息的信息确定出当前阅读页对应的音频信息并通知所述音频单元将所述对应的音频信息以音频形式输出,或者图书阅读器包括第二信息采集单元、第二信息识别单元和音频单元并根据包含有图书的书目信息、页码信息和用户阅读位置的信息确定出对应的音频信息并通知所述音频单元将所述对应的音频信息以音频形式输出。本发明实施例可以为不便于直接阅读普通图书的人群提供一种便于阅读的设备,从而方便其进行大量的普通图书的阅读。
Description
本申请是分案,本分案的原案申请号201410028668.7,申请日2014-01-21,名称:一种图书阅读器。
技术领域
本发明涉及电子技术领域,尤其涉及图文识别。
背景技术
随着物质生活水平的提高,人们对精神生活的追求心理也日益增强。为满足人们的这一需求,在普通图书的出版方面已经有了很大的发展,目前的图书出版发行量已经非常大。但目前还存在一部分人群,如儿童、盲人、老年人等,其不方便对图书直接进行阅读,针对这部分人群需要辅助阅读发声设备进行阅读,而目前没有针对普通图书的辅助阅读发声设备。
发明内容
本发明的目的是提供图书阅读器,从而可以为不方便对图书直接进行阅读的人群进行普通图书的阅读。
本发明的目的是通过以下技术方案实现的:
图书阅读器,包括:
第一信息采集单元、第一信息识别单元和音频单元,所述第一信息采集单元将采集的包含有图书的书目信息和页码信息的信息传递给所述第一信息识别单元,所述第一信息识别单元根据所述包含有图书的书目信息和页码信息的信息确定出当前阅读页对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出;
或者,
第二信息采集单元、第二信息识别单元和音频单元,所述第二信息采集单元将采集的包含有图书的书目信息、页码信息和用户阅读位置信息的信息传递给所述第二信息识别单元,所述第二信息识别单元根据所述包含有图书的书目信息、页码信息和用户阅读位置信息的信息确定出用户当前阅读位置对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出。
所述第一信息采集单元包括书目信息采集模块和页码信息采集模块,所述第二信息采集单元包括书目信息采集模块、页码信息采集模块和阅读位置信息采集模块,
所述书目信息采集模块包括摄像头模块和/或射频信号采集模块,
所述页码信息采集模块包括摄像头模块,还包括超声波检测模块和/或红外检测模块,
所述阅读位置信息采集模块包括摄像头模块,还包括超声波检测模块和/或红外检测模块。
所述摄像头模块采用拍照方式获得信息,所述摄像头模块包括至少一个可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,且所述可活动式摄像头基于预定的控制方式或接收的控制信息控制其活动以对图书进行多角度和/或多位置的多点图像拍摄;或者,所述摄像头模块包括多个摄像头,即包括二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,所述可活动式摄像头为手动或基于预定的控制方式或基于接收的控制信息控制其活动以对图书进行多角度和/或多位置的多点图像拍摄;或者,所述摄像头模块包括一个固定式摄像头,所述固定式摄像头包括多个镜头,且基于预定的控制方式或接收的控制信息控制所述多个镜头包含的各个镜头采集所述图文内容信息。
所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头,即所述可活动式摄像头可旋转或可移动或可移动可旋转;或者,所述可活动式摄像头包括一个或多个可活动式镜头, 所述可活动式镜头的拍照角度和/或位置是可调整的;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
在该图书阅读器中,
所述书目信息采集模块通过所述摄像头模块采集图书封皮的图像信息作为包含所述图书的书目信息的信息,所述第一信息识别单元或所述第二信息识别单元包括文字识别模块或图像识别模块或标签识别模块,所述文字识别模块通过识别所述图书封皮的图像信息中的文字确定图书名称,所述图像识别模块通过识别所述图书封皮的图像信息确定图书名称,所述标签识别模块通过识别所述图书封皮的图像信息中的标签确定图书名称,
或者,所述书目信息采集模块通过所述射频信号采集模块采集设置于图书中的电子标签信息作为包含所述图书的书目信息的信息,所述第一信息识别单元或所述第二信息识别单元包含电子标签识别模块,所述电子标签识别模块根据采集到的所述设置于图书中的电子标签信息确定对应的图书名称。
在该图书阅读器中,
所述页码信息采集模块通过所述摄像头模块采集图书内页的图像信息作为包含所述页码信息的信息,所述第一信息识别单元或所述第二信息识别单元包括图像识别模块、文字识别模块或标签识别模块,所述图像识别模块通过识别所述图书内页的图像信息确定当前阅读的页码,所述文字识别模块通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码,所述标签识别模块通过识别所述图书内页的图像信息中包含的标签信息确定当前阅读的页码;
或者,所述页码信息采集模块通过所述摄像头模块采集用户翻页动作的图像信息作为包含所述页码信息的信息或所述超声波检测模块或红外检测模块采集用户翻页动作对超声波或红外的反射或阻断作为包含所述页码信息的信息,所述第一信息识别单元或所述第二信息识别单元包含翻页动作识别模块,所述翻页动作识别模块根据所述用户翻页动作的图像信息及翻页之前确定的当前页信息确定当前阅读的页码。
在该图书阅读器中,
所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作的图像信息作为所述用户阅读位置信息,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别用户阅读操作的图像信息确定当前阅读的位置,
或者,所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作位置的文字图像信息作为所述用户阅读位置信息,所述第二信息识别单元包括文字识别模块和位置识别模块,所述文字识别模块用于识别用户阅读操作位置的文字图像信息的文字内容,所述位置识别模块根据所述文字识别模块识别的文字内容确定当前阅读的位置,
或者,所述阅读位置信息采集模块通过所述超声波检测模块或红外检测模块采集人手或物体在图书页面中的活动位置信息作为所述用户阅读位置信息,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别人手或物体在图书页面中的活动位置信息确定当前阅读的位置。
在该图书阅读器中,
所述第一信息识别单元包括第一阅读内容识别模块,且所述第一阅读内容识别模块根据所述图书名称和当前阅读的页码识别出用户当前阅读页对应的音频信息,并通知所述音频单元;或者,所述第二信息识别单元还包括第二阅读内容识别模块,且所述第二阅读内容识别模块根据所述图书名称、当前阅读的页码和当前阅读的位置在预先保存的图书内容信息中识别出用户当前阅读位置对应的音频信息,并通知所述音频单元;或者,所述阅读位置信息采集模块通过所述摄像头采集用户阅读操作位置的文字图像信息,所述第二信息识别单元包括文字识别模块,用于识别所述用户阅读操作位置的文字图像信息包含的文字内容,并将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元;
和/或,
所述第一信息识别单元或第二信息识别单元根据所述图书的书目信息和页码信息确定图书名称和当前阅读页码后,还将所述图书名称和/或当前阅读页码对应的音频信息传递给所述音频单元,所述音频单元将所述图书名称和/或当前阅读页码对应的音频信息以音频的方式输出。
在该图书阅读器中,
所述音频单元还包括录音模块,用于获取音频信息;
和/或,
该图书阅读器还包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息;
和/或,
该图书阅读器还包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息;
和/或,
该图书阅读器还包括通信单元,用于和计算机通信;
和/或,
该图书阅读器还包括互动处理模块,用于获取阅读用户的互动操作控制信息,并根据所述互动操作控制信息执行预定的互动操作,且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项。
由上述本发明提供的技术方案可以看出,本发明实施例提供的一种图书阅读器可以在自然翻阅普通图书并阅读时辅助发出声音,从而方便无法直接阅读图书的人群进行普通图书的阅读。进一步地,该图书阅读器还可以在识别阅读用户的肢体动作或操作物体动作后与阅读用户之间进行互动,从而提升阅读用户的阅读体验,使得图书成为有声媒体和互动媒体。再者,在该图书阅读器中可以设置多点图像信息采集单元(即摄像头模块),相对于普通摄像头,可以在实用近距离不失真的完成所需图像拍照采集, 从图书不影响阅读的角度或位置比如斜上方也能图像采集并识别,不影响用户的阅读,相应的活动摄像头或多个摄像头会有多个焦距,这样就能使所采集对象各部分都处于最佳焦距,以保证各部分的图像均清晰,对于弯曲表面(比如图书中部的大弯曲面)总能有合适的拍摄角度和位置,因此能有效地对其进行拍摄识别,而且,相应的多点图像信息采集单元可以使得对摄像头分辨率要求较低,或者说以同样分辨率的摄像头对所拍摄物进行拍摄可以达到更高的分辨率(更有利于识别),从而可以使得采集的图像信息更为真实准确,进而保证了识别过程的准确性,这就保证了相应的图书阅读过程能够顺畅地进行,进一步保证了阅读用户具有较佳的阅读体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的第一种图书阅读器的结构示意图;
图2为本发明实施例提供的第二种图书阅读器的结构示意图;
图3为本发明实施例提供的图书阅读器的具体实现结构示意图一;
图4为本发明实施例提供的图书阅读器的具体实现结构示意图二;
图5为本发明实施例提供的图书阅读器的具体实现结构示意图三;
图6为本发明实施例提供的图书阅读器的应用结构示意图一;
图7为本发明实施例提供的图书阅读器的应用结构示意图二;
图8为本发明实施例提供的图书阅读器的应用结构示意图三;
图9为本发明实施例提供的包含单个摄像头的图书阅读器的结构示意图一;
图10为本发明实施例提供的包含单个摄像头的图书阅读器的结构示意图二;
图11为本发明实施例提供的包含单个摄像头的图书阅读器的结构示意图三;
图12为本发明实施例提供的包含多个摄像头的图书阅读器的结构示意图一;
图13为本发明实施例提供的包含多个摄像头的图书阅读器的结构示意图二;
图14为本发明实施例提供的包含多个摄像头的图书阅读器的结构示意图三;
图15为本发明实施例中的包含条形码的图书示意图;
图16为本发明实施例中的包含页码的图书示意图;
图17为本发明实施例提供的设置于边缘上方的摄像头的结构示意图;
图18为本发明实施例提供的设置于斜上方的摄像头的结构示意图一;
图19为本发明实施例提供的设置于斜上方的摄像头的结构示意图二;
图20为本发明实施例提供的设置于正上方的摄像头的结构示意图;
图21为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图一;
图22为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图二;
图23为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图三。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供的图书阅读器,是一种在自然翻阅图书时,能够对图书、当前阅读页或内容、手或手持物体在图书上的动作进行识别,并发出对应的声音的电子产品,可用于普通图书因此可大量推广,使普通图书由无声媒体成为有声媒体和互动媒体。
下面将结合附图对本发明实施例作进一步地详细描述。
本发明实施例提供的第一种图书阅读器如图1所示,包括:第一信息采集单元、第一信息识别单元和音频单元,所述第一信息采集单元将采集的包含有图书的书目信息和页码信息的信息传递给所述第一信息识别单元,所述第一信息识别单元根据所述包含有图书的书目信息和页码信息的信息确定出当前阅读页对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出。
本发明实施例提供的第二种图书阅读器如图2所示,包括:第二信息采集单元、第二信息识别单元和音频单元,所述第二信息采集单元将采集的包含有图书的书目信息、页码信息和用户阅读位置信息的信息传递给所述第二信息识别单元,所述第二信息识别单元根据所述包含有图书的书目信息、页码信息和用户阅读位置信息的信息确定出用户当前阅读位置对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出。
在上述图书阅读器中,所述第一信息采集单元包括书目信息采集模块和页码信息采集模块,所述第二信息采集单元包括书目信息采集模块、页码信息采集模块和阅读位置信息采集模块,所述书目信息采集模块包括摄像头模块和/或射频信号采集模块,所述页码信息采集模块包括摄像头模块还包括超声波检测模块和/或红外检测模块,所述阅读位置信息采集模块包括摄像头模块还包括超声波检测模块和/或红外检测模块。
具体地,如图3和图4所示,所述第二信息采集单元将采集的包含图书的书目信息、页码信息和用户阅读位置信息的信息传递给所述第二信息识别单元,所述第二信息识别单元根据所述书目信息、页码信息和用户阅读位置信息确定出用户当前阅读位置对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出,完成阅读处理过程,实现针对图书的阅读式阅读。具体地,相应的当前阅读页对应的音频信息或者图书的各页面中用户可以阅读的位置对应的音频信息可以是预先保存于存储器中的音频信息,也可以是文字识别后依据文本转换获得的音频信息,当确定出用户当前阅读位置或当前阅读页后,则将当前阅读位置或当前阅读页对应的音频信息发送给音频单元,由所述音频单元通过扬声器播放该音频信息,实现对图书中阅读位置或阅读页内容的阅读。进一步地,相应的音频信息可以是文字内容直接对应的信息(即直接阅读文字内容),或者也可以是针对文字内容的解释信息、背景音乐、背景声等,如可以为解释当前阅读页的音频信息或解释当前阅读位置上的文字内容的音频信息,或者是书名或页码的音频信息, 或者也可以是针对当前阅读位置的任何声音,如当前阅读位置是琴键,点击则发对应琴声,如当前阅读位置是动物,点击则发对应动物叫声,等等。
相对于第二信息采集单元及第二信息识别单元,相应的第一信息采集单元及第一信息识别单元的处理功能只是省去采集用户阅读位置信息及识别用户阅读位置信息的过程,而是直接识别当前阅读页,并确定当前阅读页对应的音频信息。故在后续的描述中不再单独对本发明实施例提供的第一种图书阅读器的实现方案进行详细说明。
在识别用户当前阅读位置的过程中,所依据的信息(即信息采集单元采集的信息)可以为图文信息、红外线信息或超声波信息等。且阅读用户在阅读过程中可以通过物体(如棍状物体等)操作动作或肢体动作(如手的指向、滑动等)向图书阅读器传递其阅读需求信息,如指定阅读位置或与图书阅读器进行交互的指示等,此时,信息采集单元可采集阅读用户的物体操作动作信息或肢体动作信息等以辅助相应的阅读过程的实现。
在上述图书阅读器中,相应的信息采集单元具体可以包括用于采集图书的书目信息的书目信息采集模块、用于采集当前阅读位置对应的页码信息的页码信息采集模块和用于采集用户阅读位置信息的阅读位置信息采集模块可以设置于同一处理芯片中,也可以设置于不同的处理芯片中。进一步地,如图4所示,所述书目信息采集模块可以但不限于包括摄像头模块或射频信号采集模块,以用于采集图像信息、射频信号,所述页码信息采集模块包括摄像头模块还包括超声波检测模块和/或红外检测模块,以用于采集图像信息、超声波或红外线,所述阅读位置信息采集模块包括摄像头模块还包括超声波检测模块或红外检测模块,以用于采集图像信息、超声波或红外线。若书目信息采集模块、页码信息采集模块和阅读位置信息采集模块若均采用摄像头采集图像信息,则可以通过图书阅读器中统一设置的一个或一组摄像头来分别为各个模块进行图像信息的采集;同样,若书目信息采集模块、页码信息采集模块和阅读位置信息采集模块需要其他功能相同的模块进行同一类信息的采集,则同样可以由图书阅读器中统一设置的相应功能的模块进行该类信息的采集,如采集阅读用户的物体操作动作信息或肢体动作信息等以辅助相应的阅读过程的实现。
在上述图书阅读器中,相应的摄像头模块可以采用能够针对图书的多角度和/或多位置的多点图像拍摄的多点图像信息采集单元,为此,相应的摄像头模块可以采用以下任一方式实现:
(1)所述摄像头模块包括至少一个可活动式摄像头,所述可活动式摄像头基于预定的控制方式或接收的控制信息控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。例如,根据反馈自动控制(如根据拍摄图像识别后的反馈做自动调整),比如当手指示处超出范围了或部分文字超出范围了或页码超出范围了,则自动调整可活动式摄像头的角度和/或位置,这样产品在工作过程中无需或少需人工干预,或者,根据用户输入的控制信息(如用户执行的特肢体定动作或用户通过操作按键输入的预定控制信息等)控制所述摄像头转动或移动,或者,也可以根据预先设定的时间间隔自动控制所述摄像头旋转或移动,以进行针对图书的多角度和/或多位置的多点拍摄。
具体地,所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头, 即所述可活动式摄像头可旋转或可移动或可移动可旋转;或者,所述可活动式摄像头包括一个或多个可活动式镜头;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头可以设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
(2)所述摄像头模块包括多个摄像头,,即包括二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。例如,根据用户输入的控制信息(如用户执行的特肢体定动作或用户通过操作按键输入的预定控制信息等)控制所述摄像头转动或移动,或者,也可以根据预先设定的时间间隔自动控制所述摄像头旋转或移动,以进行针对图书的多角度和/或多位置的多点拍摄。
具体地,所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,且所述预定的控制方式包括控制多个镜头中的全部镜头或部分镜头进行多角度和/或多位置的多点图像拍摄,以采集所述图文内容信息;
所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;
在该方案(2)中,所述摄像头模块可以设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方,即相应的多个摄像头可以是以固定或可活动的方式设置于图书所在区域的边缘上方和/或斜上方和/或正上方,设置的位置需要不影响阅读者阅读图书即可,具体可以参照图17、图18、图19和图20所示。同时,由于采用了多个摄像头,大大减小了对每个摄像头所需要的拍摄覆盖,多个摄像头可以各自拍摄进行各自的识别工作,也可将拍摄结果综合后以供识别。
(3)所述摄像头模块包括一个固定式摄像头,所述固定式摄像头包括多个镜头,且基于预定的控制方式或接收的控制信息控制所述多个镜头包含的各个镜头采集所述图文内容信息,从而可以通过所述多个镜头实现对图书进行多角度和/或多位置的多点图像拍摄,且所述预定的控制方式包括控制多个镜头中的全部镜头或部分镜头进行多角度和/或多位置的多点图像拍摄,以采集所述图文内容信息。例如,根据反馈自动控制(如根据拍摄图像识别后的反馈做自动调整),比如当手指示处超出范围了或部分文字超出范围了或页码超出范围了,则自动调整可活动式摄像头的角度和/或位置,这样产品在工作过程中无需或少需人工干预,或者,根据用户输入的控制信息(如用户执行的肢体定动作或用户通过操作按键输入的预定控制信息等)控制所述各个镜头对图书的多角度和/或多位置进行拍摄,或者,也可以根据预先设定的各个镜头采集图书的多角度和/或多位置的图像信息的方式自动控制所述各个镜头进行拍摄(比如,可以设定各个镜头为依次拍摄图书获得相应的图像信息,也可以设定各个镜头同时拍摄图书获得相应的图像信息,或者,也可以设定部分镜头拍摄图书获得相应的图像信息,等等)。
具体地,在该方案(3)中,所述固定式摄像头可以设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方,具体可以参照图17、图18、图19和图20所示。
固定摄像头通常有固定的视野,但多个摄像头可形成全面的覆盖,而可活动式摄像头在某一角度位置时有固定的视野,但其通过活动改变视野,因此也能形成全面的覆盖,在具体实施中,如果固定摄像头松动了,并不能视为可活动式摄像头,同样,即使摄像头是可以活动的,但如果其工作过程中并不是靠活动来获得所需的特别效果,比如全面的覆盖等,则实际上仍属于固定摄像头方案。比如,若将可以活动的摄像头事先调整到合适的角度位置等,但实际使用中并不需要进行活动,或活动对特别的效果比如全面的覆盖等作用很小,则实际上仍属于固定摄像头方案。
具体地,根据书目信息采集模块的实现方式的不同,相应的信息识别单元的具体实现结构也会有所不同,即信息识别单元的结构需要根据书目信息采集模块的结构的具体实现形式进行设置,参照图4所示,下面将进一步说明不同的书目信息采集模块结构下对应的信息识别单元的实现形式:
(1)若相应的书目信息采集模块包括摄像头模块,则所述书目信息采集模块通过所述摄像头模块采集图书封皮(包含封面、封底等)的图像信息作为书目信息,此时,所述第一信息识别单元或第二信息识别单元或包括文字识别模块或图像识别模块或标签识别模块,所述文字识别模块通过识别所述图书封皮的图像信息中的文字确定书目信息,即确定出相应的图书名称,所述图像识别模块通过识别所述图书封皮的图像信息确定图书名称,所述标签识别模块通过识别所述图书封皮的图像信息中包含的标签确定图书名称。
由于每本书的封面和封底图像均各不相同,故可以通过拍摄到的图像信息进行对比识别,或提取特征对比从而识别出具体为哪一本图书,从而确定相应的图书名称。而且,为便于识别,还可以在图书中设置相应的便于识别的标签,使得根据该标签可以确定当前图书的具体图书名称,相应的标签可以为印制于图书上的标签,也可以为粘贴于图书上的标签,且相应的标签上可以为图片或编码或文字等内容信息。由于具体的图像识别技术已经为现有技术,故在此不再对其进行详细说明。
相应的文字识别目前已经逐渐进入实用阶段,相应的识别处理过程可以包括:首先对拍照的图像预处理,该预处理主要包括二值化、噪声去除、倾斜较正等处理,然后进行文字特征抽取,包括对文字影像细线化后,取得字的笔划端点、交叉点之数量及位置,或以笔划段为特征,配合比对方法进行比对,从而识别文字。由于文字识别技术已经为现有技术,故在此不再对其进行详细说明。
(2)若相应的书目信息采集模块包括所述射频信号采集模块,则所述书目信息采集模块通过所述射频信号采集模块采集设置于图书中的电子标签信息,所述第一信息识别单元或第二信息识别单元包含电子标签识别模块,所述电子标签识别模块根据采集到的所述设置于图书中的电子标签信息确定对应的图书名称,即相应的电子标签信息中记载了当前图书的信息,通过对该电子标签信息的识别便可以确定该图书的名称。
进一步地,在该图书阅读器中,根据页码信息采集模块的实现方式的不同,相应的信息识别单元的实现结构也会有所不同,参照图2所示,下面将具体说明不同的页码信息采集模块结构下对应的信息识别单元的不同实现结构:
(1)若所述页码信息采集模块包括摄像头模块,则所述页码信息采集模块通过所述摄像头模块采集图书内页的图像信息作为页码信息,此时,所述第一信息识别单元或第二信息识别单元包括图像识别模块、文字识别模块或标签识别模块,所述图像识别模块通过识别所述图书内页的图像信息确定当前阅读的页码,所述文字识别模块通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码,所述标签识别模块通过识别所述图书内页的图像信息中的标签信息确定当前阅读的页码;其中,由于每本书中的每一页的图像均各不相同,故可以通过拍摄到的图像信息进行对比识别,或提取特征对比从而识别出具体为哪图书中的哪一页,故所述图像识别模块通过识别所述图书中的各页的图像信息确定当前页为图书中的哪一页的方案是可以实现的。
(2)若所述页码信息采集模块通过其包括的所述摄像头模块采集用户翻页动作的图像信息作为包含所述页码信息的信息或所述超声波检测模块或红外检测模块采集用户翻页动作对超声波或红外的反射或阻断作为包含所述页码信息的信息,则所述第一信息识别单元或第二信息识别单元包含翻页动作识别模块,所述翻页动作识别模块根据所述用户翻页动作的图像信息及翻页之前确定的当前页信息确定当前阅读的页码。
在识别翻页动作过程中可以默认读者每次翻动的页数为一页,基于此,则可以在识别出读者的翻页动作后,根据设置的计数器统计读者翻页的数量从而确定当前阅读的页码。或者,也可以在识别翻页动作过程中根据翻页动作的图像(如根据图像中翻页的纸张的厚度等信息)确定当前翻动页数,并根据之前的阅读页确定当前阅读的页码。
进一步地,在该图书阅读器中,根据阅读位置信息采集模块的实现方式的不同,相应的信息识别单元的实现结构也会有所不同,参照图2所示,下面将具体说明不同的阅读位置信息采集模块结构下对应的信息识别单元的不同实现结构:
(1)若所述阅读位置信息采集模块包括所述摄像头模块,则所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作的图像信息作为所述用户阅读位置信息,此时,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别用户阅读操作的图像信息确定当前阅读的位置;其中,所述用户阅读操作包括通过肢体动作(如手势等)进行的阅读操作,也包括通过操作物体(如棍状物等)动作进行的阅读操作;相应的所述位置识别模块则可以通过对直接识别用户阅读操作的图像信息进行当前阅读的位置的确定,或者也可以通过识别用户阅读操作的图像信息与阅读用户之间进行交互(或称互动),并根据交互结果确定当前阅读的位置。
在根据用户阅读操作的图像信息识别阅读位置的处理过程中,具体可以对阅读过程中手或手持物体进行的阅读指示动作进行识别,包括识别手或手持物体进行的阅读指示动作及其坐标位置,从而确定读者阅读的位置。具体地,指点和滑动是阅读图书时常用的两个动作,通常以指点表示对某处的关注,并且随着手指滑动来逐步阅读图书中的各页内容;因此,可以识别手指指点位置的坐标,并发出与其指点位置对应的文字的声音,以及识别手指滑动轨迹的坐标范围,并发出其滑动轨迹对应的文字的声音,从而可以按照读者的阅读习惯(即随着读者手指在图书上滑动)逐步发出相应文字的声音,实现针对图书的阅读;或者,手或手持物体指示对整页、或一段、或一句、或词、或字的阅读;另外,图书阅读器还可以根据阅读用户的手势动作或操作物体动作等进行阅读过程中的互动操作,如当识别出阅读用户执行某预定手势动作或某操作时,则该图书阅读器可以通过语音或显示屏询问阅读用户是否进行阅读操作,或者询问阅读用户当前阅读的页码是否为某页等,此时,用户可以通过操作图书阅读器中的按键或预定的手势动作与图书阅读器进行互动,以完成相应的阅读操作过程。
进一步地,可以将所拍摄的用户阅读操作的图像信息经滤波降噪处理,由RGB(红蓝绿模式)空间转换为HSV(色调、饱和度、亮度模式)并建立阈值分割模型对手势图像做初步识别,经数字形态学处理和分割后去噪,然后通过连通域的搜索和几何识别便可以识别出手势和指尖的位置。由于对手势动作的识别为已知技术,故在此不再详细描述。对于棍状物的阅读位置的识别过程与识别手指阅读位置的处理过程类似,且由于棍状物比手形状更简单,具有明显几何特征,而且色彩或图案可根据识别需求进行定制,故棍状物的阅读位置的识别过程更为简单。
例如,对于固定的拍照摄像头,需要保证手或手持物体落在其拍照摄像头的采集范围内。考虑到手或手持物体可能在图书的任何位置,还可以采用多个拍照摄像头或可活动的拍照摄像头对图书的多个位置进行采集覆盖,以使手或手持物体落在拍照摄像头的采集范围内,便于被拍照识别,同时对于多个摄像头采集的更多的图像信息还可以提高相应的识别准确率。对于可活动的拍照摄像头,则可移动到合适角度位置进行拍照并进行相应的识别。
(2)所述阅读位置信息采集模块还可以通过所述摄像头采集用户阅读操作位置的文字图像信息作为所述用户阅读位置信息,所述第二信息识别单元包括文字识别模块和位置识别模块,所述文字识别模块用于识别用户阅读操作位置的文字图像信息的文字内容,所述位置识别模块根据所述文字识别模块识别的文字内容确定当前阅读的位置;具体地,可以预先存储便于识别的信息作为识别参考信息,如文字位置、图像或内容等,这样,当文字识别模块识别出文字内容后便可以与其进行匹配,若匹配则可以确定当前阅读的位置。
例如,相应的文字识别可以包括对页码数字的识别,对于固定的拍照摄像头,需要保证页码落在其拍照摄像头的采集范围内,从而保证可以通过拍照识别当前翻阅页。考虑到页码可能在沿图书四周的任何位置,还可以采用多个拍照摄像头或可活动的拍照摄像头对图书的多个位置进行采集覆盖,以使页码落在拍照摄像头的采集范围内,便于被拍照识别相应的当前翻阅页,同时对于多个摄像头采集的更多的图像信息还可以提高相应的识别准确率。对于可活动的拍照摄像头,则可移动到合适角度位置进行拍照并进行相应的当前翻阅页的识别。
(3)若所述阅读位置信息采集模块包括所述超声波检测模块或红外检测模块,则所述阅读位置信息采集模块通过所述超声波检测模块或红外检测模块采集人手或物体在图书页面中的活动位置信息作为所述用户阅读位置信息,此时,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别人手或物体在图书页面中的活动位置信息确定当前阅读的位置。
在本发明实施例提供的图书阅读器中,所述第一信息识别单元包括第一阅读内容识别模块,且所述第一阅读内容识别模块根据所述图书名称和当前阅读的页码在预先保存的图书内容信息中识别出用户当前阅读页对应的音频信息,并通知所述音频单元;或者,所述第二信息识别单元还包括第二阅读内容识别模块,且所述第二阅读内容识别模块根据所述图书名称、当前阅读的页码和当前阅读的位置在预先保存的图书内容信息中识别出用户当前阅读位置对应的音频信息,并通知所述音频单元。其中,预先保存的图书内容信息包括当前阅读页或当前阅读位置的内容信息对应的音频信息,此时的音频信息为图书中实际的内容信息的朗读文本;或者,也可以为当前阅读页或当前阅读位置的内容信息相关的音频信息,此时的音频信息可以为用于解释图书中的内容信息的音频信息,或者也可以为与相应内容信息相关的其他音频信息。
在本发明实施例提供的图书阅读器中,所述阅读位置信息采集模块可以通过所述摄像头模块采集用户阅读操作位置的文字图像信息,此时,所述第二信息识别单元可以包括文字识别模块,通过该文字识别模块可以识别所述用户阅读操作位置的文字图像信息包含的文字内容,并将识别确定的所述文字内容对应的音频信息通知所述音频单元。即通过该文字识别模块可以直接识别出阅读者阅读的文字内容并通知音频单元辅助发声阅读,具体地,既可以将文字内容对应的音频信息传递给音频单元,或者,也可以将文字内容直接转换成音频信息传递给音频单元。
进一步地,在本发明实施例提供的图书阅读器中所述音频单元还可以包括录音模块,用于获取并保存音频信息,以实现相应的录音功能。例如,通过识别录制的用户发出的语音信息可以实现图书阅读器与阅读用户之间的互动,或者,该录音功能也可以用于阅读用户比较自己的发音与图书阅读器的发音之间的区别,以校正自己的发音的准确性,例如,在语言学习的过程中会应用到该功能, 或者,用户可自行录制音频信息,并且和图书的书目、当前阅读页、当前阅读位置等匹配,这样在阅读时就可听到由自己制作的阅读声音。
可选地,在本发明实施例提供的图书阅读器中还可以包括显示单元,用于显示设定的内容信息或图像采集识别过程中获得的信息或外部获得的内容信息,例如,可以用于与阅读用户互动过程中向用户显示信息,或者,显示图像采集识别过程中获得的图像、文本等,或者,也可以在用户阅读过程中为用户显示预定的内容信息,如当前阅读页码等信息。
可选地,在本发明实施例提供的图书阅读器中还可以包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息。
可选地,在本发明实施例提供的图书阅读器中还可以包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息。
可选地,在本发明实施例提供的图书阅读器中还可以包括通信单元,用于和计算机通信。
再者,在本发明实施例提供的图书阅读器中,所述第一信息识别单元或第二信息识别单元根据所述图书的书目信息和页码信息确定图书名称和当前阅读页码后,还将所述图书名称和/或当前阅读页码对应的音频信息传递给所述音频单元,所述音频单元将所述图书名称和/或当前阅读页码对应的音频信息以音频的方式输出。相应的图书名称对应的音频信息可以为实际图书名称对应的文字信息的朗读文本,或者,也可以为图书名称相关的音频信息,如该图书的背景介绍等内容的音频信息;相应的当前阅读页码对应的音频信息可以为当前页码对应的数字的朗读文本,或者,也可以为当前页码相关的音频信息,如该页码中的文字内容的解释性描述等内容的音频信息。
本发明实施例中,为便于与阅读用户之间的互动处理,在该图书阅读器中还可以包括互动处理模块,用于获取阅读用户的互动操作控制信息,并根据所述互动操作控制信息执行预定的互动操作,且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项;具体地,相应的互动操作控制信息可以包括在图书上进行的阅读操作指示信息等,以通过肢体动作进行互动操作为例,阅读用户可以但不限于通过手或手持物体的动作与图书阅读器之间互动对阅读器的阅读方式或阅读内容进行互动控制等,如通过预定手势控制重新阅读一次当前位置的内容等。
需要说明的是,在上述图书阅读器中,所述第一信息识别单元或第二信息识别单元在识别图书名称、当前阅读的页码或阅读位置的过程中可能均需要文字识别模块辅助实现,此时,具体可以通过同一文字识别模块实现针对不同文字内容的识别处理,而无需分别设置不同的文字识别模块。同样,所述第一信息识别单元或第二信息识别单元在识别图书名称、当前阅读的页码或阅读位置的过程中还可能应用到其他名称相同功能类似的功能模块,对于该情况均可以通过同一功能模块实现相应的处理功能,而无需分别设置多个功能类似的模块。
为便于对本发明实施例的理解,下面将结合附图对本发明实施例在具体应用过程中的实现结构进行详细说明。
本发明实施例提供的图书阅读器如图5所示,具体可以包括传感部分、识别处理部分、发声部分构成,各部分之间为电连接;传感部分即第一信息采集单元或第二信息采集单元,用于采集传感信息;识别处理部分即第一信息识别单元或第二信息识别单元,其作为中央处理部分用于接收传感部分采集的传感信息并根据所述传感信息完成识别处理,根据识别结果调用对应的音频信息发送到发声部分;发声部分即包含于所述音频单元中用于发出与用户阅读位置内容对应的声音,以实现相应的图书阅读功能。
参照图5、图6和图7所示,相应的传感部分可包含:红外或超声波检测模块、射频识别模块和光学拍照摄像模块中的一项或多项,例如,可以仅包含相应的光学拍照摄像模块,也可以同时包含光学拍照摄像模块和射频识别模块,或者,也可以同时包含各模块。下面将对各模块的具体功能作用进行描述。
(1)红外或超声波检测模块,即红外检测模块或超声波检测模块,包含一组或多组红外或超声波发射接收装置,通过检测对红外线或超声波的反射或阻挡,判断用户翻书和手部的运动,如翻页、指向或滑动等动作。参照图6所示,翻起的书页或手将红外或超声波检测模块包含的红外或超声波传感器组所发射的红外或超声波反射至红外或超声波检测模块包含的传感器组接收部分,以实现相应的红外或超声波的检测,并基于检测结果进行翻页的识别等处理。
在图5中,具体采用了两组红外或超声波传感器,依次触发,避免对单一组红外或超声波传感器触发引起误判。在识别翻页动作的过程中,随着翻页动作的进行,书页从右侧翻到左侧,依次先后触发右侧传感器组和左侧传感器组;之后,根据已经读过的页数,可判断翻页后的当前页。
而在识别手指或其他物体阅读书页中具体位置的过程中,当手指或其他物体放在左侧页上则触发左侧设置的传感器组,放在右侧页上则触发右侧传感器组,从而实现阅读位置的识别;进一步地,若在图书周围如果设置有多组红外或超声波传感器时,手指滑动时对相应的多组传感器组间隔性的触发从而识别滑动过程,进而可以确定手指滑动的位置。如果在图书周围增加传感器组的数目可提高针对手指滑动的位置的识别效果。
(2)射频识别模块,即射频信号采集模块,或称RFID芯片,参照图7所示,用于读取附加于图书或制作于图书中的电子标签,电子标签可存储有图书信息,从而使得射频识别模块在读取电子标签后可以获得图书的书目信息,即确定当前阅读的是哪本书以及当前阅读的具体页码信息。目前电子标签已经可以做到很薄,因此,可以贴在或直接做入图书页内均可行;而且,电子标签的信息存储量也越来越多,其可以存储图书名称、页码及内容对应的音频信息等信息,从而方便射频识别模块获得相应信息。
(3)光学拍照摄像模块,如图9、图10和图11所示,可包含一个拍照摄像头,即摄像头,该摄像头可以是固定或可活动的,且可以设置于图书阅读器的上部且面向图书,同时设置的位置需要不影响阅读者阅读图书;进一步地,摄像头的设置除了考虑通常为达到所需拍摄覆盖的远距离拍摄或用广角镜方案,为使拍摄距离实用化,并避免广角镜头导致的图像失真,具体可以只拍摄覆盖图书的一部分, 或者也可以通过摄像头转动或移动拍摄从而在近距离不失真的情况下实现最大拍摄覆盖。
相应的光学拍照摄像模块也可以包含多个拍照摄像头,参照图12、图13和图14所示,即包含多个摄像头,同样,相应的多个摄像头可以是固定或可活动的且设置于图书阅读器的上部面向图书,同时设置的位置需要不影响阅读者阅读图书;由于采用了多个拍照摄像头,大大减小了对每个拍照摄像头所需要的拍摄覆盖,多个拍照摄像头可以各自拍摄进行各自的识别工作,也可将拍摄结果综合后以供识别。
总之,通过光学拍照摄像模块进行光学识别相应的拍摄过程可只覆盖图书的一部分也可以覆盖整个图书。在识别图书过程中,可以通过识别印刷在图书的识别码(如图15中的条形码等)进行图书的识别,或者也可以通过识别图书上的文字进行图书的识别,或者也可以通过抽取图书的图像特征进行图书的识别,或者也可以通过识别附加在书上的标签进行图书的识别。通过该光学拍照摄像模块还可以通过光学拍摄识别图书的页码,例如,可以通过识别页码数字(如图16所示)进行页码的识别,或者也可以通过识别页上的文字进行页码的识别,或者也可以通过抽取页的图像特征进行页码的识别。另外,通过该光学拍照摄像模块还可以对手或手持物体在图书上的动作进行识别,包括可以识别当前动作是否为翻书的动作,也可以识别该动作在图书页面中的坐标位置进而确定当前阅读的位置,还可以识别该动作在图书页面中的滑动区域进而确定当前的滑动范围,相应的滑动范围可以作为当前阅读的内容的范围。
仍参照图5所示,相应的识别处理部分是中央处理模块,即第一信息识别单元或第二信息识别单元,用于通过相应的CPU部分完成信息的识别处理,通过相应的存储部分进行图书信息及其他处理信息的存储处理,利用相应的通信接口及输入输出部分与其他模块进行通信处理,该识别处理部分还可以包括显示部分,以用于显示处理过程中的信息,例如,当前阅读的页码信息或书目信息等。该识别处理部分还可以包含扩展存储部分,以用于扩展存储空间,便于进行更多图书信息的存储。该识别处理部分可以接收传感部分的信息并完成识别处理,之后从存储部分中调用对应的音频信息并发送到发声部分,或者,识别处理部分也可以根据传感部分传递来的信息直接识别出内容部分的文字内容,并对相应的文字内容转换为音频信息后发送到发声部分。
如图5所示,发声部分即包含于所述音频单元中,其包括发声模块和扬声器等部分,发声模块可以包括编解码单元和驱动单元,用于接收中央处理模块的信息音频信息并对其进行处理后传递给扬声器,以通过扬声器发出音频声音,相应的扬声器可以为耳机也可以为音箱等。相应的编解码单元仅在识别处理部分存储的音频信息需要编解码时设置,且若需要的话该编解码单元也可以设置于识别处理部分中。
由于上述识别处理部分存储的图书的音频信息可以为任何种类的语音,如中文、英文等,因此,本发明实施例提供的图书阅读器可以提供各种语种的图书的阅读。同时,发出的声音可以为文字内容对应的声音,也可以预先设置的其他声音,例如,对该文字内容的解释说明等声音内容,等等。
本发明实施例的实现为人们提供了一种可以对普通图书以自然的方式进行阅读的图书阅读器,方便无法直接阅读图书的人对普通图书的阅读。
进一步地,通过该图书阅读器可以实现多点图像采集,相应的多点图像采集近距离就可以对所需采集对象的覆盖且不失真。具体地,参照图21、图22、图23所示,而且,相应的多点图像采集使得对摄像头分辨率要求较低,或者说以同样分辨率的摄像头对所拍摄物进行拍摄可以达到更高的分辨率(更有利于识别)。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (9)
1.图书阅读器,其特征在于,包括:
第一信息采集单元、第一信息识别单元和音频单元,所述第一信息采集单元将采集的包含有图书的书目信息和页码信息的信息传递给所述第一信息识别单元,所述第一信息识别单元根据所述包含有图书的书目信息和页码信息的信息确定出当前阅读页对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出;
或者,
第二信息采集单元、第二信息识别单元和音频单元,所述第二信息采集单元将采集的包含有图书的书目信息、页码信息和用户阅读位置信息的信息传递给所述第二信息识别单元,所述第二信息识别单元根据所述包含有图书的书目信息、页码信息和用户阅读位置信息的信息确定出用户当前阅读位置对应的音频信息并通知所述音频单元,所述音频单元将所述对应的音频信息以音频形式输出;
所述第一信息采集单元包括书目信息采集模块和页码信息采集模块,所述第二信息采集单元包括书目信息采集模块、页码信息采集模块和阅读位置信息采集模块,
所述书目信息采集模块包括摄像头模块和/或射频信号采集模块,
所述页码信息采集模块包括摄像头模块,还包括超声波检测模块和/或红外检测模块,
所述阅读位置信息采集模块包括摄像头模块,还包括超声波检测模块和/或红外检测模块。
2.根据权利要求1 所述的图书阅读器,其特征在于,
所述摄像头模块采用拍照方式获得信息,所述摄像头模块包括至少一个可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,且所述可活动式摄像头基于预定的控制方式或接收的控制信息控制其活动以对图书进行多角度和/或多位置的多点图像拍摄;或者,所述摄像头模块包括多个摄像头,即二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄;或者,所述摄像头模块包括一个固定式摄像头,所述固定式摄像头包括多个镜头,且基于预定的控制方式或接收的控制信息控制所述多个镜头包含的各个镜头采集所述图文内容信息。
3.根据权利要求2所述的图书阅读器,其特征在于,
所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头;或者,所述可活动式摄像头包括一个或多个可活动式镜头, 所述可活动式镜头的拍照角度和/或位置是可调整的;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
4.根据权利要求2所述的图书阅读器,其特征在于,
所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
5.根据权利要求1、2、3或4所述的图书阅读器,其特征在于,
所述书目信息采集模块通过所述摄像头模块采集图书封皮的图像信息作为包含所述图书的书目信息的信息,所述第一信息识别单元或所述第二信息识别单元包括文字识别模块或图像识别模块或标签识别模块,所述文字识别模块通过识别所述图书封皮的图像信息中的文字确定图书名称,所述图像识别模块通过识别所述图书封皮的图像信息确定图书名称,所述标签识别模块通过识别所述图书封皮的图像信息中的标签确定图书名称,
或者,所述书目信息采集模块通过所述射频信号采集模块采集设置于图书中的电子标签信息作为包含所述图书的书目信息的信息,所述第一信息识别单元或所述第二信息识别单元包含电子标签识别模块,所述电子标签识别模块根据采集到的所述设置于图书中的电子标签信息确定对应的图书名称。
6.根据权利要求1、2、3或4所述的图书阅读器,其特征在于,
所述页码信息采集模块通过所述摄像头模块采集图书内页的图像信息作为包含所述页码信息的信息,所述第一信息识别单元或所述第二信息识别单元包括图像识别模块、文字识别模块或标签识别模块,所述图像识别模块通过识别所述图书内页的图像信息确定当前阅读的页码,所述文字识别模块通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码,所述标签识别模块通过识别所述图书内页的图像信息中包含的标签信息确定当前阅读的页码;
或者,所述页码信息采集模块通过所述摄像头模块采集用户翻页动作的图像信息作为包含所述页码信息的信息或所述超声波检测模块或红外检测模块采集用户翻页动作对超声波或红外的反射或阻断作为包含所述页码信息的信息,所述第一信息识别单元或所述第二信息识别单元包含翻页动作识别模块,所述翻页动作识别模块根据所述用户翻页动作的图像信息及翻页之前确定的当前页信息确定当前阅读的页码。
7.根据权利要求1、2、3或4所述的图书阅读器,其特征在于,
所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作的图像信息作为所述用户阅读位置信息,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别用户阅读操作的图像信息确定当前阅读的位置,
或者,所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作位置的文字图像信息作为所述用户阅读位置信息,所述第二信息识别单元包括文字识别模块和位置识别模块,所述文字识别模块用于识别用户阅读操作位置的文字图像信息的文字内容,所述位置识别模块根据所述文字识别模块识别的文字内容确定当前阅读的位置,
或者,所述阅读位置信息采集模块通过所述超声波检测模块或红外检测模块采集人手或物体在图书页面中的活动位置信息作为所述用户阅读位置信息,所述第二信息识别单元包括位置识别模块,所述位置识别模块通过识别人手或物体在图书页面中的活动位置信息确定当前阅读的位置。
8.根据权利要求1、2、3或4所述的图书阅读器,其特征在于,
所述第一信息识别单元包括第一阅读内容识别模块,且所述第一阅读内容识别模块根据所述图书名称和当前阅读的页码识别出用户当前阅读页对应的音频信息,并通知所述音频单元;或者,所述第二信息识别单元还包括第二阅读内容识别模块,且所述第二阅读内容识别模块根据所述图书名称、当前阅读的页码和当前阅读的位置在预先保存的图书内容信息中识别出用户当前阅读位置对应的音频信息,并通知所述音频单元;或者,所述阅读位置信息采集模块通过所述摄像头采集用户阅读操作位置的文字图像信息,所述第二信息识别单元包括文字识别模块,用于识别所述用户阅读操作位置的文字图像信息包含的文字内容,并将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元;
和/或,
所述第一信息识别单元或第二信息识别单元根据所述图书的书目信息和页码信息确定图书名称和当前阅读页码后,还将所述图书名称和/或当前阅读页码对应的音频信息传递给所述音频单元,所述音频单元将所述图书名称和/或当前阅读页码对应的音频信息以音频的方式输出。
9.根据权利要求1、2、3或4所述的图书阅读器,其特征在于,
所述音频单元还包括录音模块,用于获取音频信息;
和/或,
该图书阅读器还包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息;
和/或,
该图书阅读器还包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息;
和/或,
该图书阅读器还包括通信单元,用于和计算机通信;
和/或,
该图书阅读器还包括互动处理模块,用于获取阅读用户的互动操作控制信息,并根据所述互动操作控制信息执行预定的互动操作,且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310028174 | 2013-01-25 | ||
CN2013100281744 | 2013-01-25 | ||
CN201410028668.7A CN103761893B (zh) | 2013-01-25 | 2014-01-21 | 一种图书阅读器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410028668.7A Division CN103761893B (zh) | 2013-01-25 | 2014-01-21 | 一种图书阅读器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107742446A true CN107742446A (zh) | 2018-02-27 |
Family
ID=61237713
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811229624.5A Pending CN109300343A (zh) | 2013-01-25 | 2014-01-21 | 一种图文识别装置 |
CN201710960784.6A Withdrawn CN107742446A (zh) | 2013-01-25 | 2014-01-21 | 图书阅读器 |
CN201711303666.4A Withdrawn CN107967824A (zh) | 2013-01-25 | 2014-01-21 | 一种图文指点拍照识别装置 |
CN201910811258.2A Pending CN111429767A (zh) | 2013-01-25 | 2014-01-21 | 一种图文拍照识别设备 |
CN201910811259.7A Pending CN111050017A (zh) | 2013-01-25 | 2014-01-21 | 图文拍照设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811229624.5A Pending CN109300343A (zh) | 2013-01-25 | 2014-01-21 | 一种图文识别装置 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711303666.4A Withdrawn CN107967824A (zh) | 2013-01-25 | 2014-01-21 | 一种图文指点拍照识别装置 |
CN201910811258.2A Pending CN111429767A (zh) | 2013-01-25 | 2014-01-21 | 一种图文拍照识别设备 |
CN201910811259.7A Pending CN111050017A (zh) | 2013-01-25 | 2014-01-21 | 图文拍照设备 |
Country Status (1)
Country | Link |
---|---|
CN (5) | CN109300343A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109256123A (zh) * | 2018-09-06 | 2019-01-22 | 徐喜成 | 一种辅助老年人阅读文字以及防走失实时交互阅读系统 |
CN109254663A (zh) * | 2018-09-07 | 2019-01-22 | 许昌特博特科技有限公司 | 一种儿童图书辅助阅读机器人的使用方法 |
CN110135404A (zh) * | 2019-06-21 | 2019-08-16 | 西南石油大学 | 一种智能阅读机器人的阅读系统 |
CN110211433A (zh) * | 2019-05-24 | 2019-09-06 | 潘巧娃 | 一种智能图书 |
CN110460642A (zh) * | 2019-07-16 | 2019-11-15 | 上海掌门科技有限公司 | 一种管理阅读模式的方法与设备 |
JP2020016996A (ja) * | 2018-07-24 | 2020-01-30 | 凸版印刷株式会社 | ページ情報検知装置、ページ押さえ装置、印刷体利用支援システム、ページ情報検知方法、及びページ押さえ方法 |
WO2020034519A1 (zh) * | 2018-08-17 | 2020-02-20 | 中国图书进出口(集团)大连有限公司 | 空间化有声阅读系统及方法 |
CN111639635A (zh) * | 2020-05-26 | 2020-09-08 | 广东小天才科技有限公司 | 一种拍摄图片的处理方法及装置、电子设备、存储介质 |
CN116052671A (zh) * | 2022-11-21 | 2023-05-02 | 深圳市东象设计有限公司 | 一种智能翻译机及翻译方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003476A (zh) * | 2018-07-18 | 2018-12-14 | 深圳市本牛科技有限责任公司 | 一种手指点读系统及其操作方法以及采用该系统的装置 |
CN109725732B (zh) * | 2019-01-23 | 2022-03-25 | 广东小天才科技有限公司 | 一种知识点的查询方法及家教设备 |
CN111583734A (zh) * | 2019-02-19 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 点读方法及点读笔 |
CN110489005B (zh) * | 2019-06-28 | 2022-12-27 | 浙江工业大学 | 具有触摸定位功能的二维点显器及其二维触点驱动方法 |
TWI717199B (zh) * | 2020-01-21 | 2021-01-21 | 台灣骨王生技股份有限公司 | 醫療手術用控制系統及方法 |
CN111723811A (zh) * | 2020-05-20 | 2020-09-29 | 上海积跬教育科技有限公司 | 文字识别及处理的方法、装置、介质以及电子设备 |
CN112132127A (zh) * | 2020-08-10 | 2020-12-25 | 北京网梯科技发展有限公司 | 点读中实现图书自动切换的方法及装置 |
CN115081560A (zh) * | 2021-03-12 | 2022-09-20 | 谢远忠 | 射频标签定位装置以及电子智能有声书 |
CN114299524A (zh) * | 2021-11-18 | 2022-04-08 | 珠海读书郎软件科技有限公司 | 基于页面图像的页码识别方法、存储介质和计算机设备 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161423A (ja) * | 1994-12-06 | 1996-06-21 | Dainippon Printing Co Ltd | 照明装置および文字読取装置 |
JP2000123110A (ja) * | 1998-10-15 | 2000-04-28 | Kobayashi Kirokushi Co Ltd | Ocrテストシート |
GB2373942A (en) * | 2001-03-28 | 2002-10-02 | Hewlett Packard Co | Camera records images only when a tag is present |
CN1202459C (zh) * | 2001-08-08 | 2005-05-18 | 台均实业有限公司 | 多页可翻页手写板 |
CN2535693Y (zh) * | 2002-01-04 | 2003-02-12 | 陈大修 | 排油烟机的免触式按键功能面板装置 |
TWI235324B (en) * | 2002-07-02 | 2005-07-01 | Giga Byte Tech Co Ltd | Motion capture device at virtual position |
CN2736874Y (zh) * | 2003-12-08 | 2005-10-26 | 合肥文语科技发展有限公司 | 智能有声书 |
CN2881828Y (zh) * | 2005-06-24 | 2007-03-21 | 赵舜培 | 儿童伴读装置 |
CN201097383Y (zh) * | 2007-01-12 | 2008-08-06 | 林良锐 | 听书机 |
CN201083990Y (zh) * | 2007-10-25 | 2008-07-09 | 余启联 | 书包智能管理器 |
CN101572020B (zh) * | 2008-04-29 | 2011-12-14 | 纽里博株式会社 | 多媒体输出装置和方法、以及利用照相机的教育设备 |
CN201285603Y (zh) * | 2008-10-24 | 2009-08-05 | 北京农业职业学院 | 电子放大有声阅读器装置 |
CN201348829Y (zh) * | 2008-12-31 | 2009-11-18 | 崔伟 | 导读机 |
CN201540655U (zh) * | 2009-05-13 | 2010-08-04 | 崔伟 | 发音书 |
CN201535956U (zh) * | 2009-07-24 | 2010-07-28 | 王昊 | 光学定位点读机 |
CN102136201B (zh) * | 2010-01-21 | 2013-10-30 | 深圳市华普教育科技有限公司 | 摄像式点读机 |
CN101833663B (zh) * | 2010-04-21 | 2012-10-10 | 北方工业大学 | 一种双目电子阅读器 |
CN201918037U (zh) * | 2010-11-29 | 2011-08-03 | 北方工业大学 | 台式助视阅读器 |
CN102169540B (zh) * | 2011-03-28 | 2013-03-13 | 汉王科技股份有限公司 | 基于拍摄仪的点读定位方法和装置 |
CN102622593B (zh) * | 2012-02-10 | 2014-05-14 | 北方工业大学 | 一种文本识别方法及系统 |
CN202548498U (zh) * | 2012-05-03 | 2012-11-21 | 合硕科技股份有限公司 | 可自动追踪对焦的球形镜头装置 |
CN102842034B (zh) * | 2012-07-10 | 2015-09-16 | 重庆大学 | 一种激光扫描与自动识别雕刻字符的装置及识别方法 |
-
2014
- 2014-01-21 CN CN201811229624.5A patent/CN109300343A/zh active Pending
- 2014-01-21 CN CN201710960784.6A patent/CN107742446A/zh not_active Withdrawn
- 2014-01-21 CN CN201711303666.4A patent/CN107967824A/zh not_active Withdrawn
- 2014-01-21 CN CN201910811258.2A patent/CN111429767A/zh active Pending
- 2014-01-21 CN CN201910811259.7A patent/CN111050017A/zh active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7293585B2 (ja) | 2018-07-24 | 2023-06-20 | 凸版印刷株式会社 | ページ押さえ装置、印刷体利用支援システム、及びページ押さえ方法 |
JP2020016996A (ja) * | 2018-07-24 | 2020-01-30 | 凸版印刷株式会社 | ページ情報検知装置、ページ押さえ装置、印刷体利用支援システム、ページ情報検知方法、及びページ押さえ方法 |
WO2020034519A1 (zh) * | 2018-08-17 | 2020-02-20 | 中国图书进出口(集团)大连有限公司 | 空间化有声阅读系统及方法 |
CN109256123A (zh) * | 2018-09-06 | 2019-01-22 | 徐喜成 | 一种辅助老年人阅读文字以及防走失实时交互阅读系统 |
CN109254663A (zh) * | 2018-09-07 | 2019-01-22 | 许昌特博特科技有限公司 | 一种儿童图书辅助阅读机器人的使用方法 |
CN109254663B (zh) * | 2018-09-07 | 2021-04-09 | 许昌特博特科技有限公司 | 一种儿童图书辅助阅读机器人的使用方法 |
CN110211433A (zh) * | 2019-05-24 | 2019-09-06 | 潘巧娃 | 一种智能图书 |
CN110135404A (zh) * | 2019-06-21 | 2019-08-16 | 西南石油大学 | 一种智能阅读机器人的阅读系统 |
CN110460642A (zh) * | 2019-07-16 | 2019-11-15 | 上海掌门科技有限公司 | 一种管理阅读模式的方法与设备 |
CN110460642B (zh) * | 2019-07-16 | 2022-04-15 | 上海掌门科技有限公司 | 一种管理阅读模式的方法与设备 |
CN111639635A (zh) * | 2020-05-26 | 2020-09-08 | 广东小天才科技有限公司 | 一种拍摄图片的处理方法及装置、电子设备、存储介质 |
CN111639635B (zh) * | 2020-05-26 | 2024-02-27 | 广东小天才科技有限公司 | 一种拍摄图片的处理方法及装置、电子设备、存储介质 |
CN116052671A (zh) * | 2022-11-21 | 2023-05-02 | 深圳市东象设计有限公司 | 一种智能翻译机及翻译方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107967824A (zh) | 2018-04-27 |
CN111050017A (zh) | 2020-04-21 |
CN109300343A (zh) | 2019-02-01 |
CN111429767A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761893B (zh) | 一种图书阅读器 | |
CN107742446A (zh) | 图书阅读器 | |
CN104199834B (zh) | 从信息载体表面交互式获取远程资源并输出的方法及系统 | |
CN106934376B (zh) | 一种图像识别方法、装置及移动终端 | |
CN104541232B (zh) | 多模态触摸屏仿真器 | |
CN104919396B (zh) | 在头戴式显示器中利用身体握手 | |
US20130168954A1 (en) | Method and system for book reading enhancement | |
US20170156589A1 (en) | Method of identification based on smart glasses | |
CN106325509A (zh) | 三维手势识别方法及系统 | |
KR102041259B1 (ko) | 전자책을 이용하는 독서 교육 서비스 제공 장치 및 방법 | |
CN109191939B (zh) | 一种基于智能设备的三维投影交互方法及智能设备 | |
WO2022174605A1 (zh) | 一种手势识别方法、手势识别装置及智能设备 | |
JP2015533004A (ja) | スマートペンを使用した対話型デジタルワークブック | |
CN105446485B (zh) | 基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法 | |
CN109949900B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
CN109445588A (zh) | 基于图像识别追踪技术的点读指点件点击判断方法 | |
CN104835361B (zh) | 一种电子词典 | |
JP2008257381A (ja) | 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体 | |
CN104820658A (zh) | 多功能电子产品集成器、终端及附加功能 | |
CN110232277A (zh) | 网页后门的检测方法、装置和计算机设备 | |
CN109634416A (zh) | 一种听写报读的智能控制方法及终端设备 | |
CN111539408A (zh) | 基于拍照识物的智能点读方案 | |
CN110096987B (zh) | 一种基于双路3dcnn模型的哑语动作识别方法 | |
CN204926123U (zh) | 一种基于手持终端叶片图像的植物物种识别装置 | |
CN109214379A (zh) | 基于图像识别追踪技术的多功能点读指点件及点读方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180227 |