CN107967824A - 一种图文指点拍照识别装置 - Google Patents

一种图文指点拍照识别装置 Download PDF

Info

Publication number
CN107967824A
CN107967824A CN201711303666.4A CN201711303666A CN107967824A CN 107967824 A CN107967824 A CN 107967824A CN 201711303666 A CN201711303666 A CN 201711303666A CN 107967824 A CN107967824 A CN 107967824A
Authority
CN
China
Prior art keywords
camera
text
module
information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711303666.4A
Other languages
English (en)
Inventor
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority claimed from CN201410028668.7A external-priority patent/CN103761893B/zh
Publication of CN107967824A publication Critical patent/CN107967824A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种图文指点拍照识别装置,包括阅读位置信息采集模块,所述阅读位置信息采集模块包括红外检测模块和/或超声波检测模块,所述阅读位置信息采集模块还包括摄像头模块,所述摄像头模块采集用户阅读操作的图像信息,所述图文拍照指点识别装置包括位置识别模块而且所述位置识别模块通过识别所述用户阅读操作的图像信息确定当前阅读的位置和/或所述图文拍照指点识别装置包括文字识别模块用于识别所述用户阅读位置的文字图像信息包含的文字内容。本发明实施例方便识别指点及指点的文字。

Description

一种图文指点拍照识别装置
本申请是分案,本分案的原案申请号201410028668.7,申请日2014-01-21,名称:一种图书阅读器。
技术领域
本发明涉及电子技术领域,尤其涉及图文识别。
背景技术
图书出版发行量非常大。目前需要能识别在图书上的指点,需要能识别在图书上指点的文字,需要辅助阅读发声设备进行阅读。
发明内容
本发明的目的是提供图文指点拍照识别装置。
本发明的目的是通过以下技术方案实现的,
一种图文指点拍照识别装置,
所述图文指点拍照识别装置包括阅读位置信息采集模块,
所述阅读位置信息采集模块包括红外检测模块和/或超声波检测模块,所述红外检测模块或超声波检测模块,包含一组或多组红外或超声波发射接收装置,通过检测对红外线或超声波的反射或阻挡,判断用户在图书页面中的指向或滑动,
所述阅读位置信息采集模块包括摄像头模块,所述摄像头模块采用拍照方式获得信息,所述摄像头模块采集用户阅读操作的图像信息,所述图文指点拍照识别装置对手或手持物体在图书上的动作进行识别,包括识别该动作在图书页面中的坐标位置进而确定当前阅读的位置,
所述图文指点拍照识别装置包括位置识别模块而且所述位置识别模块通过识别所述用户阅读操作的图像信息确定当前阅读的位置,和/或,所述图文指点识别装置包括文字识别模块用于识别所述用户阅读位置的文字图像信息包含的文字内容。
所述摄像头模块采用拍照方式获得信息,所述摄像头模块包括多个摄像头,即二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。
所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头;或者,所述可活动式摄像头包括一个或多个可活动式镜头, 所述可活动式镜头的拍照角度和/或位置是可调整的;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
所述图文指点拍照识别装置包括音频单元,图文指点拍照识别装置将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元;
和/或,
所述图文指点拍照识别装置还包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括通信单元,用于和计算机通信。
由上述本发明提供的技术方案可以看出,本发明实施例提供的一种图文指点拍照识别装置,在识别用户通过手或手持物体在图书上的指点操作时,除了摄像头模块拍照识别,采用了红外检测模块和/或超声波检测模块通过反射来检测用户在图书上的指点或滑动,解决了单独使用摄像头模块拍照识别的缺点,即因要图像分析导致有识别延迟而且无论是否有指点都要连续拍照识别效率很低,
本发明实施例可以设置多点图像信息采集单元(即摄像头模块),相对于普通摄像头,可以在实用近距离不失真的完成所需图像拍照采集,从图书不影响阅读的角度或位置比如斜上方也能图像采集并识别,不影响用户的阅读。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的图文指点拍照识别装置一种结构示意图;
图2为本发明实施例提供的包含单个摄像头的图文指点拍照识别装置的结构示意图一;
图3为本发明实施例提供的包含单个摄像头的图文指点拍照识别装置的结构示意图二;
图4为本发明实施例提供的包含单个摄像头的图文指点拍照识别装置的结构示意图三;
图5为本发明实施例提供的包含多个摄像头的图文指点拍照识别装置的结构示意图一;
图6为本发明实施例提供的包含多个摄像头的图文指点拍照识别装置的结构示意图二;
图7为本发明实施例提供的包含多个摄像头的图文指点拍照识别装置的结构示意图三;
图8为本发明实施例提供的设置于边缘上方的摄像头的结构示意图;
图9为本发明实施例提供的设置于斜上方的摄像头的结构示意图一;
图10为本发明实施例提供的设置于斜上方的摄像头的结构示意图二;
图11为本发明实施例提供的设置于正上方的摄像头的结构示意图;
图12为本发明实施例提供的图文指点拍照识别装置的一种应用结构示意图;
图13为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图一;
图14为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图二;
图15为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图三;
图16为本发明实施例提供的多个摄像头拍摄图书上曲面的示意图四。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明实施例提供的图文指点拍照识别装置,可对手或手持物体在图书上指点及指点的图文进行识别。
下面将结合附图对本发明实施例作进一步地详细描述。
一种图文指点拍照识别装置,
所述图文指点拍照识别装置包括阅读位置信息采集模块,
所述阅读位置信息采集模块包括红外检测模块和/或超声波检测模块,所述红外检测模块或超声波检测模块,包含一组或多组红外或超声波发射接收装置,通过检测对红外线或超声波的反射或阻挡,判断用户在图书页面中的指向或滑动,
所述阅读位置信息采集模块包括摄像头模块,所述摄像头模块采用拍照方式获得信息,所述摄像头模块采集用户阅读操作的图像信息,所述图文指点拍照识别装置对手或手持物体在图书上的动作进行识别,包括识别该动作在图书页面中的坐标位置进而确定当前阅读的位置,
所述图文指点拍照识别装置包括位置识别模块而且所述位置识别模块通过识别所述用户阅读操作的图像信息确定当前阅读的位置,和/或,所述图文指点识别装置包括文字识别模块用于识别所述用户阅读位置的文字图像信息包含的文字内容。
所述摄像头模块采用拍照方式获得信息,所述摄像头模块包括多个摄像头,即二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。
所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头;或者,所述可活动式摄像头包括一个或多个可活动式镜头, 所述可活动式镜头的拍照角度和/或位置是可调整的;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
所述图文指点拍照识别装置包括音频单元,图文指点拍照识别装置将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元;
和/或,
所述图文指点拍照识别装置还包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括通信单元,用于和计算机通信。
超声波检测模块和/或红外检测模块通过反射来检测,优点是相对摄像头模块来说速度快无延迟但缺点是难以精确定位,而摄像头模块优点是可以精确识别定位但单独使用摄像头模块缺点是要图像分析导致有识别延迟而且无论是否有指点都需要连续拍照识别效率低,
本发明在识别用户通过手或手持物体在图书上的指点操作时,除了摄像头模块拍照识别,还采用了红外检测模块和/或超声波检测模块通过反射来检测用户在图书上的指点或滑动,解决了单独使用摄像头模块拍照识别因要图像分析有识别延迟而且无论是否有指点都要连续拍照识别效率很低的问题。
本发明实施例可以设置多点图像信息采集单元(即摄像头模块),相对于普通摄像头,可以在实用近距离不失真的完成所需图像拍照采集,从图书不影响阅读的角度或位置比如斜上方也能图像采集并识别,不影响用户的阅读。
具体地,相应的图书的各页面中用户可以阅读的位置对应的音频信息可以是预先保存于存储器中的音频信息,也可以是文字识别后依据文本转换获得的音频信息,当确定出用户当前阅读位置后,则将当前阅读位置对应的音频信息发送给音频单元,由所述音频单元通过扬声器播放该音频信息,实现对图书中阅读位置内容的阅读。进一步地,相应的音频信息可以是文字内容直接对应的信息(即直接阅读文字内容),或者也可以是针对文字内容的解释信息、背景音乐、背景声等,如可以为解释当前阅读位置上的文字内容的音频信息,或者也可以是针对当前阅读位置的任何声音,如当前阅读位置是琴键,点击则发对应琴声,如当前阅读位置是动物,点击则发对应动物叫声,等等。
相应的识别处理部分是中央处理模块,用于通过相应的CPU部分完成信息的识别处理,
所述摄像头模块采用拍照方式获得信息,摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
相应的摄像头模块可以采用能够针对图书的多角度和/或多位置的多点图像拍摄的多点图像信息采集单元,相应的摄像头模块可以采用以下任一方式实现:
所述摄像头模块包括多个摄像头,即包括二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。例如,根据用户输入的控制信息(如用户执行的特肢体定动作或用户通过操作按键输入的预定控制信息等)控制所述摄像头转动或移动,或者,也可以根据预先设定的时间间隔自动控制所述摄像头旋转或移动,以进行针对图书的多角度和/或多位置的多点拍摄。
具体地,所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,且所述预定的控制方式包括控制多个镜头中的全部镜头或部分镜头进行多角度和/或多位置的多点图像拍摄,以采集所述图文内容信息;
所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;
在该方案中,所述摄像头模块可以设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方,即相应的多个摄像头可以是以固定或可活动的方式设置于图书所在区域的边缘上方和/或斜上方和/或正上方,设置的位置需要不影响阅读者阅读图书即可,同时,由于采用了多个摄像头,大大减小了对每个摄像头所需要的拍摄覆盖,多个摄像头可以各自拍摄进行各自的识别工作,也可将拍摄结果综合后以供识别。
即使摄像头是可以活动的,但如果其工作过程中并不是靠活动来获得所需的特别效果,比如全面的覆盖等,则实际上仍属于固定摄像头方案。比如,若将可以活动的摄像头事先调整到合适的角度位置等,但实际使用中并不需要进行活动,或活动对特别的效果比如全面的覆盖等作用很小,则实际上仍属于固定摄像头方案。
所述阅读位置信息采集模块包括所述摄像头模块,则所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作的图像信息作为所述用户阅读位置信息,所述位置识别模块通过识别用户阅读操作的图像信息确定当前阅读的位置;其中,所述用户阅读操作包括通过肢体动作(如手势等)进行的阅读操作,也包括通过操作物体(如棍状物等)动作进行的阅读操作;相应的所述位置识别模块则可以通过对直接识别用户阅读操作的图像信息进行当前阅读的位置的确定,或者也可以通过识别用户阅读操作的图像信息与阅读用户之间进行交互(或称互动),并根据交互结果确定当前阅读的位置。
在根据用户阅读操作的图像信息识别阅读位置的处理过程中,具体可以对阅读过程中手或手持物体进行的阅读指示动作进行识别,包括识别手或手持物体进行的阅读指示动作及其坐标位置,从而确定读者阅读的位置。具体地,指点和滑动是阅读图书时常用的两个动作,通常以指点表示对某处的关注,并且随着手指滑动来逐步阅读图书中的各页内容;因此,可以识别手指指点位置的坐标,并发出与其指点位置对应的文字的声音,以及识别手指滑动轨迹的坐标范围,并发出其滑动轨迹对应的文字的声音,从而可以按照读者的阅读习惯(即随着读者手指在图书上滑动)逐步发出相应文字的声音,实现针对图书的阅读;或者,手或手持物体指示对整页、或一段、或一句、或词、或字的阅读;另外,图文指点拍照识别装置还可以根据阅读用户的手势动作或操作物体动作等进行阅读过程中的互动操作,如当识别出阅读用户执行某预定手势动作或某操作时,则该图文指点拍照识别装置可以通过语音或显示屏询问阅读用户是否进行阅读操作,或者询问阅读用户当前阅读的页码是否为某页等,此时,用户可以通过操作图文指点拍照识别装置中的按键或预定的手势动作与图文指点拍照识别装置进行互动,以完成相应的阅读操作过程。
进一步地,可以将所拍摄的用户阅读操作的图像信息经滤波降噪处理,由RGB(红蓝绿模式)空间转换为HSV(色调、饱和度、亮度模式)并建立阈值分割模型对手势图像做初步识别,经数字形态学处理和分割后去噪,然后通过连通域的搜索和几何识别便可以识别出手势和指尖的位置。由于对手势动作的识别为已知技术,故在此不再详细描述。对于棍状物的阅读位置的识别过程与识别手指阅读位置的处理过程类似,且由于棍状物比手形状更简单,具有明显几何特征,而且色彩或图案可根据识别需求进行定制,故棍状物的阅读位置的识别过程更为简单。
例如,对于固定的拍照摄像头,需要保证手或手持物体落在其拍照摄像头的采集范围内。考虑到手或手持物体可能在图书的任何位置,还可以采用多个拍照摄像头或可活动的拍照摄像头对图书的多个位置进行采集覆盖,以使手或手持物体落在拍照摄像头的采集范围内,便于被拍照识别,同时对于多个摄像头采集的更多的图像信息还可以提高相应的识别准确率。
所述阅读位置信息采集模块通过所述超声波检测模块或红外检测模块采集人手或物体在图书页面中的活动位置信息作为所述用户阅读位置信息,所述位置识别模块通过识别人手或物体在图书页面中的活动位置信息确定当前阅读的位置。
所述阅读位置信息采集模块可以通过所述摄像头模块采集用户阅读操作位置的文字图像信息,文字识别模块可以识别所述用户阅读操作位置的文字图像信息包含的文字内容,并将识别确定的所述文字内容对应的音频信息通知所述音频单元。即通过该文字识别模块可以直接识别出阅读者阅读的文字内容并通知音频单元辅助发声阅读,具体地,既可以将文字内容对应的音频信息传递给音频单元,或者,也可以将文字内容直接转换成音频信息传递给音频单元。
进一步地,所述音频单元还可以包括录音模块,用于获取并保存音频信息,以实现相应的录音功能。例如,通过识别录制的用户发出的语音信息可以实现与阅读用户之间的互动,用户可自行录制音频信息,并且和图书的书目、当前阅读页、当前阅读位置等匹配,这样在阅读时就可听到由自己制作的阅读声音。
可选地,还可以包括显示单元,用于显示设定的内容信息或图像采集识别过程中获得的信息或外部获得的内容信息,例如,可以用于与阅读用户互动过程中向用户显示信息,或者,显示图像采集识别过程中获得的图像、文本等,或者,也可以在用户阅读过程中为用户显示预定的内容信息,如当前阅读页码等信息。
可选地,还可以包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息。
可选地,还可以包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息。
可选地,还可以包括通信单元,用于和计算机通信。
可选地,所述图文指点拍照识别装置还包括互动处理模块,用于获取阅读用户的互动操作控制信息,并根据所述互动操作控制信息执行预定的互动操作,且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项。
相应的文字识别目前已经逐渐进入实用阶段,相应的识别处理过程可以包括:首先对拍照的图像预处理,该预处理主要包括二值化、噪声去除、倾斜较正等处理,然后进行文字特征抽取,包括对文字影像细线化后,取得字的笔划端点、交叉点之数量及位置,或以笔划段为特征,配合比对方法进行比对,从而识别文字。由于文字识别技术已经为现有技术,故在此不再对其进行详细说明。
红外或超声波检测模块,即红外检测模块或超声波检测模块,包含一组或多组红外或超声波发射接收装置,通过检测对红外线或超声波的反射或阻挡,判断指向或滑动等动作,手将红外或超声波检测模块包含的红外或超声波传感器组所发射的红外或超声波反射至红外或超声波检测模块包含的传感器组接收部分,以实现相应的红外或超声波的检测,
在识别手指或其他物体阅读书页中具体位置的过程中,当手指或其他物体放在左侧页上则触发左侧设置的传感器组,放在右侧页上则触发右侧传感器组,进一步地,若在图书周围如果设置有多组红外或超声波传感器时,手指滑动时对相应的多组传感器组间隔性的触发从而识别滑动过程,进而可以确定手指滑动的位置。如果在图书周围增加传感器组的数目可提高针对手指滑动的位置的识别效果,
所述阅读位置信息采集模块包括所述摄像头模块,所述阅读位置信息采集模块通过所述摄像头模块采集用户阅读操作的图像信息作为所述用户阅读位置信息,所述位置识别模块通过识别用户阅读操作的图像信息确定当前阅读的位置,
可包含一个拍照摄像头,即摄像头,该摄像头可以是固定或可活动的,且可以设置于图文指点拍照识别装置的上部且面向图书,同时设置的位置需要不影响阅读者阅读图书;
也可以包含多个拍照摄像头,即包含多个摄像头,同样,相应的多个摄像头可以是固定或可活动的且设置于图文指点拍照识别装置的上部面向图书,同时设置的位置需要不影响阅读者阅读图书;由于采用了多个拍照摄像头,大大减小了对每个拍照摄像头所需要的拍摄覆盖,多个拍照摄像头可以各自拍摄进行各自的识别工作,也可将拍摄结果综合后以供识别。
通过光学拍照摄像模块可以对手或手持物体在图书上的动作进行识别,包括可以识别当前动作是否为翻书的动作,也可以识别该动作在图书页面中的坐标位置进而确定当前阅读的位置,还可以识别该动作在图书页面中的滑动区域进而确定当前的滑动范围,相应的滑动范围可以作为当前阅读的内容的范围。
相应的识别处理部分是中央处理模块,用于通过相应的CPU部分完成信息的识别处理,通过相应的存储部分进行图书信息及其他处理信息的存储处理,利用相应的通信接口及输入输出部分与其他模块进行通信处理,该识别处理部分还可以包括显示部分,以用于显示处理过程中的信息。该识别处理部分还可以包含扩展存储部分,以用于扩展存储空间,便于进行更多图书信息的存储。该识别处理部分可以接收传感部分的信息并完成识别处理,之后从存储部分中调用对应的音频信息并发送到发声部分,或者,识别处理部分也可以根据传感部分传递来的信息直接识别出内容部分的文字内容,并对相应的文字内容转换为音频信息后发送到发声部分。
发声部分即包含于所述音频单元中,其包括发声模块和扬声器等部分,发声模块可以包括编解码单元和驱动单元,用于接收中央处理模块的信息音频信息并对其进行处理后传递给扬声器,以通过扬声器发出音频声音,相应的扬声器可以为耳机也可以为音箱等。相应的编解码单元仅在识别处理部分存储的音频信息需要编解码时设置,且若需要的话该编解码单元也可以设置于识别处理部分中。
识别处理部分存储的图书的音频信息可以为任何种类的语音,如中文、英文等,同时,发出的声音可以为文字内容对应的声音,也可以预先设置的其他声音,例如,对该文字内容的解释说明等声音内容,等等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种图文指点拍照识别装置,其特征在于,
所述图文指点拍照识别装置包括阅读位置信息采集模块,
所述阅读位置信息采集模块包括红外检测模块和/或超声波检测模块,所述红外检测模块或超声波检测模块,包含一组或多组红外或超声波发射接收装置,通过检测对红外线或超声波的反射或阻挡,判断用户在图书页面中的指向或滑动,
所述阅读位置信息采集模块包括摄像头模块,所述摄像头模块采用拍照方式获得信息,所述摄像头模块采集用户阅读操作的图像信息,所述图文指点拍照识别装置对手或手持物体在图书上的动作进行识别,包括识别该动作在图书页面中的坐标位置进而确定当前阅读的位置,
所述图文指点拍照识别装置包括位置识别模块而且所述位置识别模块通过识别所述用户阅读操作的图像信息确定当前阅读的位置,和/或,所述图文指点识别装置包括文字识别模块用于识别所述用户阅读位置的文字图像信息包含的文字内容。
2.根据权利要求1所述的图文指点拍照识别装置,其特征在于,所述摄像头模块采用拍照方式获得信息,所述摄像头模块包括多个摄像头,即二个或三个或四个或四个以上摄像头,所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄,且每个摄像头为固定式摄像头或可活动式摄像头,所述可活动式摄像头的拍照角度和/或位置是可调整的,所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对图书进行多角度和/或多位置的多点图像拍摄。
3.根据权利要求2所述的图文指点拍照识别装置,其特征在于,所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头;或者,所述可活动式摄像头包括一个或多个可活动式镜头, 所述可活动式镜头的拍照角度和/或位置是可调整的;若所述可活动式摄像头包含多个,则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
4.根据权利要求2所述的图文指点拍照识别装置,其特征在于,所述固定式摄像头包括一个或多个镜头,且若所述固定式摄像头包括多个镜头,则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息,所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息;所述摄像头设置于需要采集所述图像信息的区域的位置包括:所述区域的边缘上方和/或斜上方和/或正上方。
5.所述图文指点拍照识别装置包括音频单元,图文指点拍照识别装置将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元;
和/或,
所述图文指点拍照识别装置还包括存储单元,用于保存音频信息和/或保存采集识别过程中获得的图像和文字信息和/或保存外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括互动处理模块,用于获取阅读用户的互动操作控制信息,并根据所述互动操作控制信息执行预定的互动操作,且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项;
和/或,
所述图文指点拍照识别装置还包括显示单元,显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息;
和/或,
所述图文指点拍照识别装置还包括通信单元,用于和计算机通信。
CN201711303666.4A 2013-01-25 2014-01-21 一种图文指点拍照识别装置 Withdrawn CN107967824A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2013100281744 2013-01-25
CN201310028174 2013-01-25
CN201410028668.7A CN103761893B (zh) 2013-01-25 2014-01-21 一种图书阅读器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410028668.7A Division CN103761893B (zh) 2013-01-25 2014-01-21 一种图书阅读器

Publications (1)

Publication Number Publication Date
CN107967824A true CN107967824A (zh) 2018-04-27

Family

ID=61237713

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910811259.7A Pending CN111050017A (zh) 2013-01-25 2014-01-21 图文拍照设备
CN201811229624.5A Pending CN109300343A (zh) 2013-01-25 2014-01-21 一种图文识别装置
CN201910811258.2A Pending CN111429767A (zh) 2013-01-25 2014-01-21 一种图文拍照识别设备
CN201710960784.6A Withdrawn CN107742446A (zh) 2013-01-25 2014-01-21 图书阅读器
CN201711303666.4A Withdrawn CN107967824A (zh) 2013-01-25 2014-01-21 一种图文指点拍照识别装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201910811259.7A Pending CN111050017A (zh) 2013-01-25 2014-01-21 图文拍照设备
CN201811229624.5A Pending CN109300343A (zh) 2013-01-25 2014-01-21 一种图文识别装置
CN201910811258.2A Pending CN111429767A (zh) 2013-01-25 2014-01-21 一种图文拍照识别设备
CN201710960784.6A Withdrawn CN107742446A (zh) 2013-01-25 2014-01-21 图书阅读器

Country Status (1)

Country Link
CN (5) CN111050017A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003476A (zh) * 2018-07-18 2018-12-14 深圳市本牛科技有限责任公司 一种手指点读系统及其操作方法以及采用该系统的装置
CN109725732A (zh) * 2019-01-23 2019-05-07 广东小天才科技有限公司 一种知识点的查询方法及家教设备
CN110489005A (zh) * 2019-06-28 2019-11-22 浙江工业大学 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN111583734A (zh) * 2019-02-19 2020-08-25 阿里巴巴集团控股有限公司 点读方法及点读笔
CN111723811A (zh) * 2020-05-20 2020-09-29 上海积跬教育科技有限公司 文字识别及处理的方法、装置、介质以及电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7293585B2 (ja) * 2018-07-24 2023-06-20 凸版印刷株式会社 ページ押さえ装置、印刷体利用支援システム、及びページ押さえ方法
WO2020034519A1 (zh) * 2018-08-17 2020-02-20 中国图书进出口(集团)大连有限公司 空间化有声阅读系统及方法
CN109256123A (zh) * 2018-09-06 2019-01-22 徐喜成 一种辅助老年人阅读文字以及防走失实时交互阅读系统
CN109254663B (zh) * 2018-09-07 2021-04-09 许昌特博特科技有限公司 一种儿童图书辅助阅读机器人的使用方法
CN110211433A (zh) * 2019-05-24 2019-09-06 潘巧娃 一种智能图书
CN110135404A (zh) * 2019-06-21 2019-08-16 西南石油大学 一种智能阅读机器人的阅读系统
CN110460642B (zh) * 2019-07-16 2022-04-15 上海掌门科技有限公司 一种管理阅读模式的方法与设备
TWI717199B (zh) * 2020-01-21 2021-01-21 台灣骨王生技股份有限公司 醫療手術用控制系統及方法
CN111639635B (zh) * 2020-05-26 2024-02-27 广东小天才科技有限公司 一种拍摄图片的处理方法及装置、电子设备、存储介质
CN112132127A (zh) * 2020-08-10 2020-12-25 北京网梯科技发展有限公司 点读中实现图书自动切换的方法及装置
CN115081560A (zh) * 2021-03-12 2022-09-20 谢远忠 射频标签定位装置以及电子智能有声书
CN114299524A (zh) * 2021-11-18 2022-04-08 珠海读书郎软件科技有限公司 基于页面图像的页码识别方法、存储介质和计算机设备
CN116052671B (zh) * 2022-11-21 2023-07-28 深圳市东象设计有限公司 一种智能翻译机及翻译方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161423A (ja) * 1994-12-06 1996-06-21 Dainippon Printing Co Ltd 照明装置および文字読取装置
JP2000123110A (ja) * 1998-10-15 2000-04-28 Kobayashi Kirokushi Co Ltd Ocrテストシート
GB2373942A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Camera records images only when a tag is present
CN1202459C (zh) * 2001-08-08 2005-05-18 台均实业有限公司 多页可翻页手写板
CN2535693Y (zh) * 2002-01-04 2003-02-12 陈大修 排油烟机的免触式按键功能面板装置
TWI235324B (en) * 2002-07-02 2005-07-01 Giga Byte Tech Co Ltd Motion capture device at virtual position
CN2736874Y (zh) * 2003-12-08 2005-10-26 合肥文语科技发展有限公司 智能有声书
CN2881828Y (zh) * 2005-06-24 2007-03-21 赵舜培 儿童伴读装置
CN201097383Y (zh) * 2007-01-12 2008-08-06 林良锐 听书机
CN201083990Y (zh) * 2007-10-25 2008-07-09 余启联 书包智能管理器
CN101572020B (zh) * 2008-04-29 2011-12-14 纽里博株式会社 多媒体输出装置和方法、以及利用照相机的教育设备
CN201285603Y (zh) * 2008-10-24 2009-08-05 北京农业职业学院 电子放大有声阅读器装置
CN201348829Y (zh) * 2008-12-31 2009-11-18 崔伟 导读机
CN201540655U (zh) * 2009-05-13 2010-08-04 崔伟 发音书
CN201535956U (zh) * 2009-07-24 2010-07-28 王昊 光学定位点读机
CN102136201B (zh) * 2010-01-21 2013-10-30 深圳市华普教育科技有限公司 摄像式点读机
CN101833663B (zh) * 2010-04-21 2012-10-10 北方工业大学 一种双目电子阅读器
CN201918037U (zh) * 2010-11-29 2011-08-03 北方工业大学 台式助视阅读器
CN102169540B (zh) * 2011-03-28 2013-03-13 汉王科技股份有限公司 基于拍摄仪的点读定位方法和装置
CN102622593B (zh) * 2012-02-10 2014-05-14 北方工业大学 一种文本识别方法及系统
CN202548498U (zh) * 2012-05-03 2012-11-21 合硕科技股份有限公司 可自动追踪对焦的球形镜头装置
CN102842034B (zh) * 2012-07-10 2015-09-16 重庆大学 一种激光扫描与自动识别雕刻字符的装置及识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003476A (zh) * 2018-07-18 2018-12-14 深圳市本牛科技有限责任公司 一种手指点读系统及其操作方法以及采用该系统的装置
CN109725732A (zh) * 2019-01-23 2019-05-07 广东小天才科技有限公司 一种知识点的查询方法及家教设备
CN111583734A (zh) * 2019-02-19 2020-08-25 阿里巴巴集团控股有限公司 点读方法及点读笔
CN110489005A (zh) * 2019-06-28 2019-11-22 浙江工业大学 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN111723811A (zh) * 2020-05-20 2020-09-29 上海积跬教育科技有限公司 文字识别及处理的方法、装置、介质以及电子设备

Also Published As

Publication number Publication date
CN109300343A (zh) 2019-02-01
CN111050017A (zh) 2020-04-21
CN111429767A (zh) 2020-07-17
CN107742446A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN107967824A (zh) 一种图文指点拍照识别装置
CN103761893B (zh) 一种图书阅读器
CN106934376B (zh) 一种图像识别方法、装置及移动终端
US9274744B2 (en) Relative position-inclusive device interfaces
CN204480228U (zh) 运动感测和成像设备
CN104217197B (zh) 一种基于视觉手势的点读方法和装置
CN101378455B (zh) 根据取得的图像确定主要拍摄物的图像区域的装置及方法
CN112470497B (zh) 经由光学捕获的个性化hrtfs
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
JP6104227B2 (ja) 画像識別方法および画像識別装置
US9024841B2 (en) Display device that depicts images on first display apparatus in accordance with position of a second display apparatus and display system and computer readable-medium thereof
WO2020102110A1 (en) Event-based ir camera
CN104835361B (zh) 一种电子词典
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
CN109478227A (zh) 计算设备上的虹膜或其他身体部位识别
US20150379333A1 (en) Three-Dimensional Motion Analysis System
CN108353129A (zh) 拍摄设备及其控制方法
US20230140737A1 (en) Drift cancelation for portable object detection and tracking
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN107753028A (zh) 拍照测身高的方法、移动终端及计算机可读存储介质
CN116400802A (zh) 虚拟现实设备及多模态情绪识别方法
CN110414427A (zh) 基于眼球追踪的测光方法及相关产品
JP2021096537A (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体
Krishna et al. Word Based Text Extraction Algorithm Implementation in Wearable Assistive Device for the Blind
US20230377363A1 (en) Machine learning based multipage scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180427