CN110111612A - 一种拍照式点读方法、系统及点读设备 - Google Patents

一种拍照式点读方法、系统及点读设备 Download PDF

Info

Publication number
CN110111612A
CN110111612A CN201910288979.XA CN201910288979A CN110111612A CN 110111612 A CN110111612 A CN 110111612A CN 201910288979 A CN201910288979 A CN 201910288979A CN 110111612 A CN110111612 A CN 110111612A
Authority
CN
China
Prior art keywords
sample image
page
module
images
books
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910288979.XA
Other languages
English (en)
Inventor
刘建生
杨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xuezhiyou Technology Co Ltd
Original Assignee
Shenzhen Xuezhiyou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xuezhiyou Technology Co Ltd filed Critical Shenzhen Xuezhiyou Technology Co Ltd
Priority to CN201910288979.XA priority Critical patent/CN110111612A/zh
Publication of CN110111612A publication Critical patent/CN110111612A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)

Abstract

本发明提供了一种拍照式点读方法、系统及点读设备,该方法包括以下步骤:获取被拍摄图书的当前页的样本图像;扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标;根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据并播放。本发明解决了重复文字的识别问题,且应用范围更广,不受语种限制。此外,本发明实施例的点读设备制造成本较低。

Description

一种拍照式点读方法、系统及点读设备
技术领域
本发明涉及电子设备技术领域,更具体地说,涉及一种拍照式点读方法、系统及点读设备。
背景技术
点读产品是采用国际最新光学图像识别技术和先进的数码语音技术开发而成的新一代智能阅读和学习工具。为适应外语学习的需要,市场上流行着多种点读学习产品,比如点读机、点读笔以及最近出现的扫读笔。这些产品的共同特点是对着书本中想要学习的文字“点”一下或“扫”一下,立即可播放对应的声音,便于使用者学习正确的发音。这些产品对国人尤其是中小学生的外语学习起到了非常巨大的推动作用。但是,这些产品也都有各自的不足之处,显得不尽人意。
点读机体积庞大笨重,只能在室内应用。而且必须把要学的书本的书脊放在点读机的中槽里,把书本翻开的两侧平整准确地对准点读机内板上的标志位置放置,稍有不准就导致点读错位,以致发不出或发出其他文字的声音。在反复翻书学习过程中,书本不可能不动,于是必须在学习过程中经常调整书本到正确位置,这是很烦人又无可奈何的事。
点读笔小巧轻便,特别适合幼儿使用。但它有一个非常显著的缺陷,就是配套的有声图书必须在出版前预先在所有页面印刷密布的隐形二维码,而且这些二维码的码值必须和图书上要发声的特定区域关联起来。图书一经出版,预先设计的发声部位就无法改变。这大大增加了厂家的生产成本和产品更新周期,对于点读笔的大面积推广形成一个不小的门槛。
现有的扫读笔是在扫描笔的基础上衍生出来并刚刚推向市场的。其功能是以带有高速摄像头的扫读笔对着要学习的文字扫一下,将连续拍摄的数十、甚至数百幅图像拼接起来,把其中最靠中间的一行文字抽取出来,再以OCR(光学字符识别)软件识别出图中的文字编码,然后在预先存储的当前页所有文字中进行模糊匹配,将相似度最高的文字朗读出来。
扫读笔的缺点是,当页面内的重复文字较多时,无法区分使用者真正要学的是哪一句,比如,页内包含好几个“How are you?”,但语境不同,发音也应不同,扫读笔就很难区分使用者扫描的到底是哪一句,在学习资料中,存在重复文字的无法准确识别的问题。此外,现有的扫读笔采用的OCR软件还有不少语种是不支持的,应用范围受限。
发明内容
本发明旨在提出一种拍照式点读技术方案,针对上述的点读和扫读产品中存在的问题,提供一种拍照式点读方法、系统及点读设备。
本发明解决上述技术问题的技术方案是,提供一种拍照式点读方法,所述方法包括以下步骤:
获取被拍摄图书的当前页的样本图像;
扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标;
根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据并播放。
本发明的拍照式点读方法中,所述获取被拍摄图书的当前页的样本图像包括:
点击被拍摄图书的当前页,启动闪读进程;
界定被拍摄图书的当前页上的拍摄区域;
点亮所述拍摄区域并拍摄至少一张所述拍摄区域的样本图像;
存储所述样本图像。
本发明的拍照式点读方法中,所述扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标包括:
矫正所述样本图像的文字方向为水平方向;
调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;
将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;
根据所述拍摄区域的位置,获取所述样本图像在所述页面图像中的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
本发明的拍照式点读方法中,所述根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据并播放包括:
将所述页面图像及其图片参数存储在数据文件中;
根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;
根据所述样本图像直接识别获取所述样本图像中的文字及所述样本图像中的文字对应的解释信息;
检索所述声音数据对应的文字并显示,且显示所述样本图像中的文字对应的解释信息及拍照式点读系统的工作状态。
本发明还提供了一种点读设备,所述点读设备包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述拍照式点读方法的步骤。
本发明还提供了一种拍照式点读系统,所述系统包括拍摄窗口、摄像模块、扫描比对模块、检索模块、存储模块以及播放模块,其中:
所述摄像模块,用于获取位于所述拍摄窗口的被拍摄图书的当前页的样本图像;
所述扫描比对模块,用于将所述样本图像与预先存储的被拍摄图书的当前页的页面图像进行扫描比对,确定所述样本图像在所述页面图像上所处位置的区域坐标;
所述检索模块,用于根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据;
所述存储模块,用于存储所述被拍摄图书的当前页的页面图像以及所述样本图像;
所述播放模块,用于播放所述声音数据。
本发明的拍照式点读系统中,还包括开关模块和照明模块,其中:
所述开关模块,用于在点击被拍摄图书的当前页时启动闪读进程;
所述照明模块,用于在界定被拍摄图书的当前页上的拍摄区域后,点亮所述拍摄区域,使所述摄像模块拍摄至少一张所述拍摄区域的样本图像。
本发明的拍照式点读系统中,还包括图片矫正调整模块及坐标计算模块,其中:
所述图片矫正调整模块,用于矫正所述样本图像的文字方向为水平方向,并调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;所述图片参数包括分辨率、背景值及对比度参数;
所述扫描比对模块,用于将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;
所述坐标计算模块,用于根据所述拍摄区域的位置,获取所述样本图像在所述页面图像中的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
本发明的拍照式点读系统中,包括显示模块,其中:
所述存储模块,用于将所述页面图像及其图片参数存储在数据文件中;
所述检索模块,用于根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;
所述显示模块,用于显示拍照式点读系统的工作状态。
本发明的拍照式点读系统中,包括光学字符识别模块及词典库,其中:
所述光学字符识别模块,用于将样本图像中的文字识别为字符编码;
所述词典库,用于根据所述光学字符识别模块识别出的字符编码检索出对应的解释信息;
所述显示模块,用于显示识别出的所述样本图像中的文字及其对应的解释信息。
本发明提供的拍照式点读方法、系统及点读设备,通过获取被拍摄图书上的样本图像,并将此样本图像与预先存储在存储器里的被拍摄图书当前页的页面图像进行扫描比对,获取样本图像在当前页面图像中的准确位置,进而获得样本图像的区域坐标,再根据区域坐标检索预先存储的数据文件中对应的声音数据并播放,实现拍照式点读的目的。本发明具有以下有益效果:
(1)与现有的扫读笔相比,由于本发明的实施例通过比对样本图像所有细节从而获取声音数据,解决了重复文字的识别问题。
(2)由于本发明的实施例进行点读时不需要采用OCR软件,因此应用范围更广,不受语种限制。此外,相对于采用OCR软件的扫读笔,本发明实施例的点读设备制造成本较低。
附图说明
图1为现有的点读机制作数据文件时使用的圈图页面示意图。
图2为本发明拍照式点读方法实施例的流程示意图;
图3为本发明的拍照式点读方法实施例在图书上拍摄取样的示意图;
图3a为本发明的拍照式点读方法实施例在图书上拍摄样本图像的正确取图方法示意图;
图3b为本发明的拍照式点读方法实施例在图书上正常拍摄的样本图像示意图;
图4为本发明的某一实施例在图书上拍照取样的示意图;
图5a为本发明的某一实施例倾斜拍摄的样本图像的示意图;
图5b为本发明的某一实施例样本图像校平原理的示意图;
图5c为本发明的某一实施例样本图像校平后的示意图;
图6为本发明的某一实施例说明图像分辨率的影响的示意图;
图7为本发明的拍照式点读方法实施例在页面图像中进行样本图像扫描比对的示意图;
图8是本发明点读设备的实施例的示意图;
图9是本发明拍照式点读系统的实施例的功能模块示意图。
具体实施方式
为了使本发明的技术目的、技术方案以及技术效果更为清楚,以便本领域技术人员理解和实施本发明,下面将结合附图及具体实施例对本发明做进一步详细的说明。
本发明的拍照式点读方法实施例主要应用在点读设备中。如图1所示,现有的点读机制作数据文件时使用的圈图页面区域101、102、103及104分别对应不同的声音数据。点读机每点读一次,得到一个点击位置的坐标,点读机软件以这个坐标检索对应的数据文件,这个坐标落在哪个区域就发出哪个区域对应的声音。点读机制作资料时需要将图书的每一页都扫描成电子图像,然后再在各页面电子图像上画出不同区域,每一区域对应于不同的声音文件。然后把每一区域以坐标组表示,和对应的声音文件一起组成索引文件。
相应的,本发明的拍照式点读方法的数据文件正是利用上述点读机制作的“坐标-声音”这种数据文件制作成“坐标-声音-图像”数据文件进行点读的。换言之,本发明可以直接利用点读机的数据文件进行闪读,也可以使用点读机的资料制作软件进行新的数据文件制作,大大减少了资料制作的周期和费用。
如图2所示,是本发明拍照式点读方法实施例的流程示意图。所述方法包括以下步骤:
步骤S11:获取被拍摄图书的当前页的样本图像。
在上述步骤中,具体地还包括:点击被拍摄图书的当前页,启动闪读进程;界定被拍摄图书的当前页上的拍摄区域;点亮所述拍摄区域并拍摄至少一张所述拍摄区域的样本图像;存储所述样本图像。
具体地,用户将拍摄设备(如点读笔)在被拍摄图书的当前页上的要学习的文字上往下按压,启动闪读进程。闪读进程启动后,通过拍摄窗口界定被拍摄图书的当前页上的拍摄区域,点亮曝光灯拍摄至少一张当前图书上拍摄区域的样本图像,将此样本图像存储。
需要说明的是,为了正确地获取理想的样本图像,要求用户在闪读时将拍摄窗口的左上角对准要学习的文字的首字母,并且将拍摄窗口的长边方向和文字方向保持一致。例如,拍摄窗口和被拍摄图书的当前页上的文字的正确对准方位应该如图3a所示。与此要求相比,图3b拍摄的位置有点偏上,但图3b的拍摄并不影响扫描比对。此外,样本图像的长边应在30~50mm之间。
步骤S12:扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标。
在上述步骤中,具体地还包括:矫正所述样本图像的文字方向为水平方向;调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;根据所述拍摄区域的位置,获取所述样本图像在所述页面图像中的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
具体来说,当拍摄窗口的长边方向和文字方向不一致时,拍摄位置如图4中402,这样拍出的样本图像如图5a所示,其中的文字行是倾斜的。以这样的样本图像在页面图像中进行扫描比对,得到的结果肯定是不对的。对于图5a这样的样本图像,需要先矫正上述样本图像的文字方向为水平方向。为此,必须在样本图像中找出图5b所示的文字方向501和水平方向502的夹角A的大小,然后将图像反向旋转角度A,使样本图像变为图5c所示的文字方向为水平方向的样式。如果图中可以找到原图书中的水平直线,也可以根据水平直线进行样本图像的校平。
此外,将图5a所示的样本图像直接复制到图6所示的页面图像中603的位置,发现样本图像和其在页面图像中对应的区域并不一样大。这是因为样本图像和页面图像的分辨率不一样造成的。分辨率以每英寸图像包含的像素点数表示,单位是dpi。制作资料时,要求扫描的页面图像具有确定的dpi,比如100dpi,即每英寸100个像素。同时也要求拍摄的样本图像具有同样的分辨率,即也是100dpi。如果恰巧二者是相等的,就可直接进行扫描比对。如果不同,还要把样本图像的分辨率调整为和页面图像的分辨率一致,才能进行扫描比对。在“坐标-声音”数据复合文件后增加了页面图像,其中含有页面图像的主要参数,包括分辨率、背景值及对比度等。得到样本图像后,需按照这些参数对样本图像进行调整,使其在主要参数方面和页面图像一致,以便得到更准确的扫描比对结果。
如图4所示,使用者在图书当前页面的401位置拍摄了一幅如图3b所示的样本图像并存储,将样本图像在如图7所示的页面图像中进行扫描比对,找到图3b所示样本图像在页面图像中的位置如601所示。这个区域显然不能以单一的几何坐标表示,因此,本发明实施例以样本图像左上角和右下角在页面图像中所处位置的像素坐标对(x1,y1,x2,y2)表示其在页面图像中的位置。比如,图7中示出已定位到样本图像在页面图像中所在的区域601的左上角的像素坐标是(328,114),右下角的像素坐标是(466,155),故,将样本图像在页面图像中的区域坐标表示为(328,114,466,155)。
需要说明,图6和图7所示的圈图区域和拍摄区域的边线仅仅是为了便于说明,实际上是不存在的。
上述的扫描比对就是以页面图像的每一像素为左上角,切出和样本图像一样大小的图像与样本图像进行比对,得到对应于每块切出来的图像的相似度指标,其中相似度最高的那块区域就是样本图像在页面图像中的对应位置。扫描比对和前面说到的图像旋转都有成熟算法,此处不做进一步描述。
步骤S13:根据所述坐标检索预先存储的数据文件,获取所述坐标对应的声音数据并播放。
在上述步骤中,具体地还包括:将所述页面图像及其图片参数存储在数据文件中;根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;根据所述样本图像直接识别获取所述样本图像中的文字及所述样本图像中的文字对应的解释信息;检索所述声音数据对应的文字并显示,且显示所述样本图像中的文字对应的解释信息及拍照式点读系统的工作状态。
具体地,根据获取的样本图像,运行OCR软件可将样本图像中的文字识别为字符编码,然后以字符编码检索预先存储的词典库,将字符编码对应的解释内容检索出来后在显示屏上显示,实现拍照式词典库的功能。
如图7所示,图3b所示的样本图像在图7所示的页面图像中对应的区域601只和圈图区域101有交集,就发出圈图区域101对应的声音。图5a所示的样本图像校平后的图像图5c在图7所示的页面图像中的对应区域602和圈图区域101和102都有交集,但和圈图区域102的交集更大,则播放圈图区域102对应的声音。具体地,对欲点读的图书制作“坐标-声音-图像”数据文件,将这些数据文件进行存储。每次拍摄获得的样本图像,以样本图像的区域坐标和“坐标-声音-图像”数据文件中各圈图区域的区域坐标相比较时,样本图像的区域坐标与哪个圈图区域的交集大,就播放对应圈图区域的声音数据。当然,也可以规定所述样本图像在所述页面图像中的左上角坐标落在哪个圈图区域就播放哪个圈图区域对应的声音,只要有一个统一的定位标准就行。
需要注意的是,本发明的拍照式方法实施例得到样本图像的坐标后检索对应的声音数据使用了现有的点读机资料制作的“坐标-声音”数据文件,其检索过程和现有的点读机是一样的。区别在于,现有的点读机用点击笔在书本上点击一下得到的是点击位置的单一坐标。而本发明的拍照式方法实施例在拍摄位置拍摄得到的是拍摄位置的“区域”坐标。
本发明提供了一种对应的点读设备,如图8所示,包括存储器81和处理器82,所述存储器82中存储有可在所述处理器81上运行的计算机程序,所述处理器82执行所述计算机程序时实现上述拍照式点读方法实施例的步骤。
如图9所示,本发明提供了一种拍照式点读系统,包括拍摄窗口9001、摄像模块9002、扫描比对模块9003、检索模块9004、存储模块9005以及播放模块9006,其中:
所述摄像模块9002,用于获取位于所述拍摄窗口9001的被拍摄图书的当前页的样本图像;
所述扫描比对模块9003,用于将所述样本图像与预先存储的被拍摄图书的当前页的页面图像进行扫描比对,确定所述样本图像在所述页面图像上所处位置的区域坐标;
所述检索模块9004,用于根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据;
所述存储模块9005,用于存储所述被拍摄图书的当前页的页面图像以及所述样本图像;
所述播放模块9006,用于播放所述声音数据。例如,可以通过喇叭播放声音数据。
上述拍照式点读系统还包括开关模块9007和照明模块9008,其中:
所述开关模块9007,用于在点击被拍摄图书的当前页时启动闪读进程;
所述照明模块9008,用于在界定被拍摄图书的当前页上的拍摄区域后,点亮所述拍摄区域,使所述摄像模块拍摄至少一张所述拍摄区域的样本图像。
上述拍照式点读系统还包括图片矫正调整模块9009及坐标计算模块9010,其中:
所述图片矫正调整模块9009,用于矫正所述样本图像的文字方向为水平方向,并调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;所述图片参数包括分辨率、背景值及对比度参数;
所述扫描比对模块9003,用于将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;
所述坐标计算模块9010,用于根据所述拍摄区域的位置,获取所述样本图像的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
上述拍照式点读系统还包括显示模块9011、词典库9012及光学字符识别模块9013,其中:
所述存储模块9005,用于将所述页面图像及其图片参数存储在所述数据文件中;
所述检索模块9004,用于根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;
所述光学字符识别模块9013,用于将样本图像中的文字识别为字符编码;
所述词典库9012,用于根据所述光学字符识别模块识别出的字符编码检索出对应的解释信息;
所述显示模块9011,用于显示拍照式点读系统的工作状态,且用于显示识别出的所述样本图像中的文字及其对应的解释信息。
本发明提供的拍照式点读方法、系统及点读设备,通过获取被拍摄图书上的样本图像,并将此样本图像与预先存储在存储器里的被拍摄图书当前页的页面图像进行扫描比对,获取样本图像在当前页面图像中的准确位置,进而获得样本图像的区域坐标,再根据区域坐标检索预先存储的数据文件中对应的声音数据并播放,实现拍照式点读的目的。本发明具有以下有益效果:
(1)与现有的扫读笔相比,由于本发明的实施例通过比对样本图像所有细节从而获取声音数据,解决了重复文字的识别问题。
(2)由于本发明的实施例进行点读时不需要采用OCR软件,因此应用范围更广,不受语种限制。此外,相对于采用OCR软件的扫读笔,本发明实施例的点读设备制造成本较低。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种拍照式点读方法,其特征在于,所述方法包括以下步骤:
获取被拍摄图书的当前页的样本图像;
扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标;
根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据并播放。
2.根据权利要求1所述的拍照式点读方法,其特征在于,所述获取被拍摄图书的当前页的样本图像包括:
点击被拍摄图书的当前页,启动闪读进程;
界定被拍摄图书的当前页上的拍摄区域;
点亮所述拍摄区域并拍摄至少一张所述拍摄区域的样本图像;
存储所述样本图像。
3.根据权利要求2所述的拍照式点读方法,其特征在于,所述扫描比对所述样本图像与预先存储的被拍摄图书的当前页的页面图像,确定所述样本图像在所述页面图像上所处位置的区域坐标包括:
矫正所述样本图像的文字方向为水平方向;
调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;
将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;
根据所述拍摄区域的位置,获取所述样本图像在所述页面图像中的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
4.根据权利要求3所述的拍照式点读方法,其特征在于,所述根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据并播放包括:
将所述页面图像及其图片参数存储在所述数据文件中;
根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;
根据所述样本图像直接识别获取所述样本图像中的文字及所述样本图像中的文字对应的解释信息;
检索所述声音数据对应的文字并显示,且显示所述样本图像中的文字对应的解释信息及拍照式点读系统的工作状态。
5.一种点读设备,其特征在于,包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述拍照式点读方法的步骤。
6.一种拍照式点读系统,其特征在于,所述系统包括拍摄窗口、摄像模块、扫描比对模块、检索模块、存储模块以及播放模块,其中:
所述摄像模块,用于获取位于所述拍摄窗口的被拍摄图书的当前页的样本图像;
所述扫描比对模块,用于将所述样本图像与预先存储的被拍摄图书的当前页的页面图像进行扫描比对,确定所述样本图像在所述页面图像上所处位置的区域坐标;
所述检索模块,用于根据所述坐标检索预先存储的数据文件,获取所述区域坐标对应的声音数据;
所述存储模块,用于存储所述被拍摄图书的当前页的页面图像以及所述样本图像;
所述播放模块,用于播放所述声音数据。
7.根据权利要求6所述的拍照式点读系统,其特征在于,还包括开关模块和照明模块,其中:
所述开关模块,用于在点击被拍摄图书的当前页时启动闪读进程;
所述照明模块,用于在界定被拍摄图书的当前页上的拍摄区域后,点亮所述拍摄区域,使所述摄像模块拍摄至少一张所述拍摄区域的样本图像。
8.根据权利要求7所述的拍照式点读系统,其特征在于,还包括图片矫正调整模块及坐标计算模块,其中:
所述图片矫正调整模块,用于矫正所述样本图像的文字方向为水平方向,并调整所述样本图像的图片参数与对应的所述页面图像的图片参数一致;所述图片参数包括分辨率、背景值及对比度参数;
所述扫描比对模块,用于将矫正及调整后的所述样本图像与所述页面图像扫描比对,确定所述拍摄区域在页面图像中的位置;
所述坐标计算模块,用于根据所述拍摄区域的位置,获取所述样本图像在所述页面图像中的左上角像素坐标和右下角像素坐标,以获取所述样本图像在所述页面图像上所处位置的区域坐标。
9.根据权利要求8所述的拍照式点读系统,其特征在于,包括显示模块,其中:
所述存储模块,用于将所述页面图像及其图片参数存储在所述数据文件中;
所述检索模块,用于根据所述区域坐标检索对应的数据文件中与所述区域坐标交集最大的圈图区域,并播放所述交集最大的圈图区域对应的声音数据;
所述显示模块,用于显示拍照式点读系统的工作状态。
10.根据权利要求9所述的拍照式点读系统,其特征在于,包括光学字符识别模块及词典库,其中:
所述光学字符识别模块,用于将样本图像中的文字识别为字符编码;
所述词典库,用于根据所述光学字符识别模块识别出的字符编码检索出对应的解释信息;
所述显示模块,用于显示识别出的所述样本图像中的文字及其对应的解释信息。
CN201910288979.XA 2019-04-11 2019-04-11 一种拍照式点读方法、系统及点读设备 Pending CN110111612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910288979.XA CN110111612A (zh) 2019-04-11 2019-04-11 一种拍照式点读方法、系统及点读设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288979.XA CN110111612A (zh) 2019-04-11 2019-04-11 一种拍照式点读方法、系统及点读设备

Publications (1)

Publication Number Publication Date
CN110111612A true CN110111612A (zh) 2019-08-09

Family

ID=67485403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288979.XA Pending CN110111612A (zh) 2019-04-11 2019-04-11 一种拍照式点读方法、系统及点读设备

Country Status (1)

Country Link
CN (1) CN110111612A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516660A (zh) * 2019-09-10 2019-11-29 广东小天才科技有限公司 基于图像特征的书页内容读取方法及装置
CN110516582A (zh) * 2019-08-22 2019-11-29 阿依瓦(北京)技术有限公司 一种图书点读方法和系统
CN110766996A (zh) * 2019-10-14 2020-02-07 广东小天才科技有限公司 一种点读内容定位方法、装置、电子设备及存储介质
CN110991371A (zh) * 2019-12-09 2020-04-10 深圳一块互动网络技术有限公司 一种基于坐标识别的智能阅读学习方法
CN111027533A (zh) * 2019-12-12 2020-04-17 广东小天才科技有限公司 一种点读坐标的变换方法、系统、终端设备及存储介质
CN112419800A (zh) * 2020-11-24 2021-02-26 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
JP2021129299A (ja) * 2020-02-11 2021-09-02 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. 画像テキスト・ブロードキャスト方法およびデバイス、電子回路、ならびに記憶媒体
CN114463753A (zh) * 2022-01-05 2022-05-10 珠海读书郎软件科技有限公司 一种句子扫查方法、扫描笔及介质
US11776286B2 (en) 2020-02-11 2023-10-03 NextVPU (Shanghai) Co., Ltd. Image text broadcasting

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963843A (zh) * 2006-11-16 2007-05-16 深圳矽感科技有限公司 二维码及其解码方法、应用该二维码的印刷出版物
CN201194112Y (zh) * 2008-05-12 2009-02-11 刘建生 摄像式多功能点读机
CN101656024A (zh) * 2009-09-08 2010-02-24 成都时代诺亚舟教育软件有限公司 一种电子学习装置及其实现方法
CN102136201A (zh) * 2010-01-21 2011-07-27 深圳市华普电子技术有限公司 摄像式点读机
CN104281847A (zh) * 2013-07-12 2015-01-14 步步高教育电子有限公司 一种点读方法、装置及设备
CN104658351A (zh) * 2015-03-17 2015-05-27 智慧流(福建)网络科技有限公司 一种点读方法、系统以及客户端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963843A (zh) * 2006-11-16 2007-05-16 深圳矽感科技有限公司 二维码及其解码方法、应用该二维码的印刷出版物
CN201194112Y (zh) * 2008-05-12 2009-02-11 刘建生 摄像式多功能点读机
CN101656024A (zh) * 2009-09-08 2010-02-24 成都时代诺亚舟教育软件有限公司 一种电子学习装置及其实现方法
CN102136201A (zh) * 2010-01-21 2011-07-27 深圳市华普电子技术有限公司 摄像式点读机
CN104281847A (zh) * 2013-07-12 2015-01-14 步步高教育电子有限公司 一种点读方法、装置及设备
CN104658351A (zh) * 2015-03-17 2015-05-27 智慧流(福建)网络科技有限公司 一种点读方法、系统以及客户端

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516582A (zh) * 2019-08-22 2019-11-29 阿依瓦(北京)技术有限公司 一种图书点读方法和系统
CN110516660A (zh) * 2019-09-10 2019-11-29 广东小天才科技有限公司 基于图像特征的书页内容读取方法及装置
CN110516660B (zh) * 2019-09-10 2022-03-04 广东小天才科技有限公司 基于图像特征的书页内容读取方法及装置
CN110766996B (zh) * 2019-10-14 2021-11-19 广东小天才科技有限公司 一种点读内容定位方法、装置、电子设备及存储介质
CN110766996A (zh) * 2019-10-14 2020-02-07 广东小天才科技有限公司 一种点读内容定位方法、装置、电子设备及存储介质
CN110991371A (zh) * 2019-12-09 2020-04-10 深圳一块互动网络技术有限公司 一种基于坐标识别的智能阅读学习方法
CN111027533A (zh) * 2019-12-12 2020-04-17 广东小天才科技有限公司 一种点读坐标的变换方法、系统、终端设备及存储介质
CN111027533B (zh) * 2019-12-12 2024-02-23 广东小天才科技有限公司 一种点读坐标的变换方法、系统、终端设备及存储介质
JP2021129299A (ja) * 2020-02-11 2021-09-02 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. 画像テキスト・ブロードキャスト方法およびデバイス、電子回路、ならびに記憶媒体
US11776286B2 (en) 2020-02-11 2023-10-03 NextVPU (Shanghai) Co., Ltd. Image text broadcasting
CN112419800B (zh) * 2020-11-24 2021-07-30 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
CN112419800A (zh) * 2020-11-24 2021-02-26 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
CN114463753A (zh) * 2022-01-05 2022-05-10 珠海读书郎软件科技有限公司 一种句子扫查方法、扫描笔及介质

Similar Documents

Publication Publication Date Title
CN110111612A (zh) 一种拍照式点读方法、系统及点读设备
US10741167B2 (en) Document mode processing for portable reading machine enabling document navigation
US9626000B2 (en) Image resizing for optical character recognition in portable reading machine
US8320708B2 (en) Tilt adjustment for optical character recognition in portable reading machine
US8150107B2 (en) Gesture processing with low resolution images with high resolution processing for optical character recognition for a reading machine
US7505056B2 (en) Mode processing in portable reading machine
US8284999B2 (en) Text stitching from multiple images
US7629989B2 (en) Reducing processing latency in optical character recognition for portable reading machine
US8186581B2 (en) Device and method to assist user in conducting a transaction with a machine
US8711188B2 (en) Portable reading device with mode processing
US8249309B2 (en) Image evaluation for reading mode in a reading machine
US8036895B2 (en) Cooperative processing for portable reading machine
US7325735B2 (en) Directed reading mode for portable reading machine
US20150043822A1 (en) Machine And Method To Assist User In Selecting Clothing
CN110956138B (zh) 一种基于家教设备的辅助学习方法及家教设备
CN109445588A (zh) 基于图像识别追踪技术的点读指点件点击判断方法
CN108710709A (zh) 互动阅读装置
CN109214379A (zh) 基于图像识别追踪技术的多功能点读指点件及点读方法
CN208367689U (zh) 互动阅读装置
JP2019179485A (ja) 情報提供装置、情報提供方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809

RJ01 Rejection of invention patent application after publication