CN110058705A - 绘本辅助阅读方法、计算设备、点读侧设备与电子设备 - Google Patents

绘本辅助阅读方法、计算设备、点读侧设备与电子设备 Download PDF

Info

Publication number
CN110058705A
CN110058705A CN201910348840.XA CN201910348840A CN110058705A CN 110058705 A CN110058705 A CN 110058705A CN 201910348840 A CN201910348840 A CN 201910348840A CN 110058705 A CN110058705 A CN 110058705A
Authority
CN
China
Prior art keywords
images
recognized
image
point
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910348840.XA
Other languages
English (en)
Inventor
刘力
李中源
张小军
王伟楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Original Assignee
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd filed Critical EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority to CN201910348840.XA priority Critical patent/CN110058705A/zh
Publication of CN110058705A publication Critical patent/CN110058705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种绘本辅助阅读方法、计算设备、点读侧设备与电子设备，所述的方法，包括：获取待识别图像，所述待识别图像是所述终端采集的，所述待识别图像中具有绘本当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同书本的不同页面；根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源；本发明有效兼顾了低成本的需求与高质量点读的需求。

Description

绘本辅助阅读方法、计算设备、点读侧设备与电子设备
技术领域
本发明涉及多媒体教育领域，尤其涉及一种绘本辅助阅读方法、服务器、终端与电子设备。
背景技术
幼儿阅读绘本可以培养幼儿早期阅读的自我意识，可以培养幼儿的语言表达能力、观察力、想象力、审美能力等，学习知识，提高双商。因为多媒体展现的直观生动的形象、美妙和谐的音乐、丰富多彩的情景，所以利用多媒体技术进行绘本教学符合幼儿心理发展特点，调动各种感官，能有效调动幼儿对绘本阅读的积极性，有着非常大的优势。
现有的相关技术中，绘本识别方案主要采用本地识别，对硬件设备的依赖较高，需要较高的硬件配置以保障识别算法的运行，例如大部分只能使用Android系统，其均会导致成本较高的情况，进而，其还会导致绘本阅读产品不能迅速普及。
为了避免成本问题，现有相关技术通常会采用低成本的儿童陪伴类产品，由于运算能力有限，无法集成绘本阅读功能，例如不具有点读功能。可见，对于绘本识别的实现方案，其成本的降低与点读功能的集成无法兼顾。
此外，现在的阅读绘本中，若使用了点读笔设备，其需要专门配套图书，对内容依赖度较高，不能充分应用于市场上现有的大量绘本图书，孩子使用此类点读笔产品学习和阅读的成本很高、局限性很大。
为了避免成本与局限性问题，现有相关技术给出了两种解决方案：
其一是不再配置点读功能，该种情况下，只能整张阅读，不能做到分知识点阅读和获取答案，不利于孩子精读习惯的培养；
其二是采用识别手指遮挡的方式，不能做到很精准、误识别率较高，且不符合孩子用笔和书本交互的习惯。
可见，由于低成本与高质量点读这两方面难以兼顾，现有相关技术中通常会采用降低点读功能的质量或放弃点读功能的方式来保障低成本，始终未能有效兼顾低成本与高质量点读。
此外，现有相关技术还有一种方案需要将可触摸的透明板子垫在书上，使用时必须保证板子与书本边缘对齐，然后通过触摸板子的位置确定点读的位置。这种方案无法兼顾所有尺寸的书籍，使用不方便，场景局限性大。
发明内容
本发明提供了一种绘本辅助阅读方法、计算设备、点读侧设备与电子设备，以解决无法有效兼顾低成本与高质量点读的问题。
本发明实施例提供了一种绘本辅助阅读方法，应用于计算设备，包括：
获取待识别图像，所述待识别图像中具有绘本当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同书本的不同页面；
根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
本发明实施例还提供了一种绘本辅助阅读方法，应用于具有图像采集功能的点读侧设备，包括：
向计算设备发送待识别图像，所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者利用播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是根据所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
本发明实施例还提供了一种绘本辅助阅读的计算设备，包括：
图像获取模块，用于获取待识别图像，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
匹配模块，用于根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同书本的不同页面；
资源确定模块，用于根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
本发明实施例还提供了一种绘本辅助阅读的点读侧设备，包括：
图像发送模块，用于向计算设备发送待识别图像，所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
资源接收模块，用于接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者发送至播放设备，以使得所述播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
本发明实施例还提供了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于存储代码和相关数据；
所述处理器，用于执行所述存储器中的代码用以实现前述任一所述的方法步骤。
本发明实施例所提供的绘本辅助阅读方法、计算设备、点读侧设备与电子设备，所能实现的有益效果如下：
本发明所提供的方法、计算设备、点读侧设备与电子设备，能够利用计算设备实现待识别图像的识别，且基于数据库所确定的目标标识，能够有效定位到对应书本的对应页面，同时，还能基于光斑，定位到页面中的点读位置，从而确定所点读的目标音频资源。可见，本发明可以无需绘本侧的设备配置高成本、复杂的软硬件设备，有效降低了成本，与此同时，利用计算设备的以上作用，依旧能保障点读功能的实现，故而，本发明有效兼顾了低成本的需求与高质量点读的需求。同时，本发明能够更有效、充分地利用图像信息。
此外，由于无需配置复杂的软硬件设备，可有利于本方案兼容各种操作系统设备，包含嵌入式系统。
本发明中，由于数据库是在服务器维护的，其可有利于大数据量的实现，例如可以尽可能多地覆盖更多的绘本。其中，针对于各种不同的绘本、页面，不论是点读所用的绘本，还是普通印刷制品，只要其对应的标准图像被上传至了计算设备，计算设备就能对其进行识别，从而定位到待识别图像对应于哪一个绘本的哪一个页面，可见，其还可降低点读笔对配套图书的依赖性，有效扩展了方案的适用范围。
对于此，本发明可选方案中，由于标准图像与待识别图像可以是不同设备采集的，任意设备采集的标准图像，均可应用于比对其他任意设备采集的待采集图像，其进一步降低避免了点读笔对配套图书的依赖性。
此外，本发明的使用下，任意绘本任意页面可随翻随读，不需要任何附加操作，例如：采用了本发明的方案，可直接识别绘本内页，无须先识别绘本封面，相较而言，本发明对点读的实现不会为用户的点读操作带来过多的负担。
由于数据库是在计算设备维护的，且基于数据库的目标标识的确定是在计算设备实现的，而非在点读侧设备，其可有利于高处理速率的实现，进而，可有利于使更高效地获得目标音频资源。
本发明可选方案中，通过对图像特征的提取与比对，可以更准确地查找到与待识别图像匹配的目标标准图像，进而更准确地确定对应的目标标识，从而定位到所需绘本的对应页面，有效提高了准确率。
本发明可选方案中，所述待识别图像的获取，以及点读笔光源的直射，均是由点读操作触发的，其可有利于及时获取所需的待采集图像，并降低点读侧设备的并发请求量，减少计算设备的压力。
本发明可选方案中，点读侧设备可存储目标音频资源，若识别出所述目标音频资源再次被点读，则再次播放或者利用所述播放设备再次播放已存储的目标音频资源，进而，无需再次上传计算设备识别，可见，本发明可选方案可支持本地缓存识别与本地读取播放。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种绘本辅助阅读系统的结构示意图一；
图2是本发明实施例的一种绘本辅助阅读系统的结构示意图二；
图3是本发明实施例的一种绘本辅助阅读系统的结构示意图三；
图4是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图一；
图5是本发明实施例所提供的步骤S12的流程示意图；
图6是本发明实施例所提供的步骤S122的流程示意图；
图7是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图二；
图8是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图三；
图9是本发明实施例所提供的步骤S15的流程示意图；
图10是本发明实施例所提供的基于点读侧设备的绘本辅助阅读方法的流程示意图一；
图11是本发明实施例所提供的基于点读侧设备的绘本辅助阅读方法的流程示意图二；
图12是本发明实施例所提供的绘本辅助阅读的计算设备的功能模块示意图一；
图13是本发明实施例所提供的绘本辅助阅读的计算设备的功能模块示意图二；
图14是本发明实施例所提供的绘本辅助阅读的点读侧设备的功能模块示意图一；
图15是本发明实施例所提供的绘本辅助阅读的点读侧设备的功能模块示意图二；
图16是本发明实施例所提供的电子设备的结构示意图；
图17是本发明实施例所提供的点读笔的结构示意图一；
图18是本发明实施例所提供的点读笔的结构示意图二；
图19是本发明实施例中点读笔的局部示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。另外，本文中术语“系统”和“网络”在本文中常被可互换使用。
图1是本发明实施例的一种绘本辅助阅读系统的结构示意图一；图2是本发明实施例的一种绘本辅助阅读系统的结构示意图二；图3是本发明实施例的一种绘本辅助阅读系统的结构示意图三。
图1至图3所示系统可理解为能够应用于实施本发明实施例所涉及的基于服务器的绘本辅助阅读方法，以及基于终端的绘本辅助阅读方法。
绘本辅助阅读系统可以包括：点读笔4与计算设备3，若计算设备3未用于采集待识别图像，则还可包括点读侧设备2。
其中的点读侧设备2，可以为任意配置了处理器、存储器，以及图像采集部件的电子设备，该图像采集部件可以例如为摄像头，该点读侧设备2例如可以为手机、平板电脑、相机等，还可例如为与点读笔4匹配配置的设备，或者配置有该点读笔4的设备。
可见，点读笔4可以是与点读侧设备2分离的，点读侧设备2也可以与点读笔4是一体的。
其中一种实施方式中，点读侧设备2可配置有SDK，其具体为SoftwareDevelopment Kit，其可理解为软件开发工具包，通过SDK，可提供终端侧实施绘本辅助阅读方法所需实现的处理管理。具体实施过程中，SDK能够例如提供采集待识别图像、本地识别以及播放音频资源等能力。
其中一种实施方式中，点读侧设备2可同时兼容各种操作系统的硬件设备，包含iOS、Android以及嵌入式系统。
其中的计算设备3，可以为任意配置了处理器与存储器的电子设备，或者电子设备的集合，同时，其中可配置有相应的软硬件。该计算设备3例如可以为手机、平板电脑、车载电脑、服务器等。
其中一种实施方式中，计算设备3中可配置有数据库，该数据库可包含多个子数据库，其可用于将后文所涉及的标准图像或者其图像特征的相关信息进行存储，以供与待识别图像进行匹配；计算设备3还可配置有内容管理系统，其可对各音频资源进行存储管理，以实现后文所涉及的目标音频资源的确定，以及目标音频资源的反馈发送，例如：内容管理系统可以提供与绘本对应的音频资源管理操作功能，并且开放与云端请求的API，数据库识别成功后，进入内容管理系统查询对应的音频资源，可直接播放或返回点读侧设备进行播放。
其中的点读笔4，可以理解为任意在点读操控下，能够利用光源发光，以在页面形成光斑的任意结构形式。
图4是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图一。
请参考图4，绘本辅助阅读方法，应用于计算设备，包括：
S11：获取待识别图像。
待识别图像，可理解为是所述点读侧设备或者计算设备采集的，所述待识别图像中具有绘本当前页面的像素，以及当前页面中光斑的像素。获取的过程可以是接收点读侧设备发送的待识别图像，也可以是计算设备自己直接采集而获取，还可以是计算设备始终在采集图像，只在需要获取时才确定当前所采集的图像为待识别图像。
其中，待识别图像中所具有的当前页面的像素可以是页面的部分像素，也可以是整个页面的像素，只要能够在其中提供可供确定目标标识，以及点读位置的部分，就不脱离以上描述，具体可例如若提供了可被识别出图像特征的部分，其可落在以上描述的范围之内。
其中一种实施方式中，在获取待识别图像时，还可同时获取待识别图像的前一帧图像，其过程可例如前文所例举的对待识别图像的获取过程理解。
本发明实施例中，所述光斑是点读笔的光源直射于所述当前页面而产生的。其中一种实施方式中，点读笔的光源可以在被实施点读操作时触发光源的直射，该点读操作可例如针对点读部件的特定操作，例如，若点读部件为按钮，则点读操作可例如对该按钮的下按。
可见，本领域任意能够触发光源直射的点读笔结构，即主动式触发发光的点读笔结构，均不脱离本实施例的描述。同时，后文可对点读笔的具体结构进行列举。
其中一种实施方式中，当采集到待识别图像后，利用图像采集部件自带的处理程序，或者点读侧设备配置的处理程序，再或者计算设备配置的处理程序，可以对该待识别图像进行图像处理，以提高成像质量，成像质量会影响点读笔位置的识别精度，通过图像处理进行优化后可大幅提升准确度。
该图像处理可以例如包括以下至少之一：曝光补偿、白平衡、对焦调整、gamma校正等，其可使得成像中的目标场景清晰、色彩准确、色温正常、没有过曝或欠曝区域。
该图像处理还可例如包括根据标定参数对待识别图像进行去畸变处理，具体可对摄像头进行相机标定得到标定参数，成像后根据标定参数对图像进行去畸变处理，使得成像与真实环境之间没有几何畸变。
该图像处理还可例如包括对图像去噪，尤其是在环境光照不够的时候，图像噪声非常大，去噪后可获得质量较佳的图像。
该图像处理还可例如包括：通过优化摄像头成像和算法纠正透射光的畸变，让触点更小更精准，实现毫米级精准识别。
其中一种实施方式中，若待识别图像是点读侧设备采集并发送至计算设备的，点读侧设备可以通过有线或无线的方式与计算设备通讯，所述点读侧设备与所述点读笔之间也可直接或间接通讯，例如可以利用红外、蓝牙、或者其他有线或无线方式通讯的。
所述待识别图像可以是所述点读侧设备响应于所述点读笔发出的触发信号而发送至所述计算设备，以使得所述计算设备获取到的，同时，点读侧设备可始终在采集图像，仅在响应于触发信号时，才向计算设备发出，从而将该图像作为待识别图像，所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
另一种实施方式中，所述待识别图像是所述计算设备响应于所述点读笔产生的触发信号而直接获取到的。
可见，以上实施方式中，通过点读笔的点读操作，可触发该触发信号的产生，以及光源的照射，在光源照射下，可在页面中形成所需的光斑。此外，触发信号的发送与光源的照射可以是同时发生的，也可以具有一定的时间差，均不脱离以上可选实施方式的相关描述。
以上实施方式中，所述待识别图像的获取，以及点读笔光源的直射，均是由点读操作触发的，其可有利于及时采集所需的待采集图像。
可见，通过步骤S11，计算设备可获取到待识别图像，故而，可将确定目标标识的处理过程配置在计算设备实现，即，本实施例可无需在点读侧即完成所有确定目标标识的处理过程，减轻了点读侧的负担，进而，可以无需绘本或点读笔本身，又或者点读侧设备配置高成本、复杂的软硬件设备，有效降低了成本。
S12：根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识。
其中，不同的标识对应于不同绘本的不同页面，故而，该标识，可理解为用于对书本中页面进行标识的信息，例如可以为书本ID、书本名称、书本描述信息、页面ID、页面名称、页面描述信息，也可以为针对于特定书本与特定页面而设计的特定ID等等。
图像特征，可理解为能够自图像提取的任意图像局部不变特征。例如可以为SIFT特征、SURF特征与ORB特征，其均为图像的局部特征，可以对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
其中的SIFT，具体为Scale-invariant feature transform，其可理解为尺度不变特征变换；其中的SURF，具体为Speeded Up Robust Features，其可理解为基于SIFT改进后的一种算法；其中的ORB，具体为Oriented FAST and Rotated BRIEF，其可理解为一种快速特征点提取和描述的算法。
图5是本发明实施例所提供的步骤S12的流程示意图。
请参考图5，步骤S12，可以包括：
S121：提取所述待识别图像的图像特征。
其中，可以先提取待识别图像的关键点信息，再根据关键点信息提取前文所涉及的例如SIFT特征或SURF特征或ORB特征的图像特征。
提取关键点信息的手段，可例如包括以下至少之一：Harris角点检测、FAST特征点检测、DoG特征点检测等等。
具体实施过程中，图像特征也可理解为视觉特征，被提取后，可记当前帧的待识别图像的图像特征为其表示待识别图像共有N个图像特征，其中，ui,vi表示第i个图像特征的图像坐标，表示其特征描述向量。
S122：根据所述数据库中所存储的标准图像或其图像特征，比对所述待识别图像的图像特征与各标准图像的图像特征，确定与所述待识别图像的图像特征相匹配的目标标准图像。
数据库，可以理解为任意对标准图像，或者标准图像的图像特征进行存储以供比对的数据库，若其存储了图像特征，则该数据库也可视作一种特征库。
其中一种实施方式中，所有标准图像中，至少有部分所述标准图像并非采集所述待识别图像的设备采集的。进而，任意终端上传的标准图像，均可应用于比对其他任意设备上传的待采集图像，其进一步避免了点读笔对配套图书的依赖性，也降低了点读笔对终端的依赖性。
由于数据库是在服务器维护的，且基于数据库的目标标识的确定也是在服务器实现的，其可有利于高处理速率的实现，进而，可有利于使得终端更高效地获得目标音频资源。
其中一种实施方式中，所述数据库包括多个子数据库，不同的子数据库分别存储有不同的标准图像或其图像特征。
步骤S122中，通过对图像特征的提取与比对，可以更准确地查找到与待识别图像匹配的目标标准图像，进而更准确地确定对应的目标标识，从而定位到所需绘本的对应页面，有效提高了准确率。
在步骤S122中，查找目标标准图像的过程，也可理解为提取到的图像特征与数据库中的图像特征进行匹配检索。匹配检索的策略有很多，常见的如ANN搜索，基于词袋(Bag-of-Words)的检索等。
图6是本发明实施例所提供的步骤S122的流程示意图。
其中一种实施方式中，所述待识别图像的图像特征能够通过其中的第一特征点及所述第一特征点的第一特征描述向量表征，所述标准图像的图像特征能够通过其中的第二特征点及所述第二特征点的第二特征描述向量表征。
请参考图6，步骤S122，包括：
S1221:计算所述第一特征描述向量与每个标准图像的第二特征描述向量的第一距离，确定所述第一距离小于预设的第一阈值的第一特征点与第二特征点为匹配点对。
匹配点对可理解为如下：
如上公式表示匹配点对Mij的定义，当前帧待识别图像的第i个第一特征点与数据库中标准图像的第j个第二特征点构成一个匹配对时，需满足：当且仅当他们各自的特征描述向量之间的距离小于阈值τ。以上所表征的距离函数dist()可以是欧式距离。
S1222:对各匹配点对进行分组，以使得同一标准图像对应的匹配点对处于同一个点对组。
具体实施过程中，若第二特征点的特征编号是根据所属的标准图像进行定义的，则在步骤S1222可将各匹配点对按照数据库中的特征编号进行归类，将属于同一张标准图像的匹配点对归为一组，一种举例中，可假设其共分成了P组点对组。
S1223：在每个点对组中，对各第二特征点进行单应变换，以使得所述点对组中第一特征点与单应变换后的第二特征点之间的第二距离的和达到最小，并计算所述点对组中所述第二距离小于预设的第二阈值的匹配点对的数目。
具体实施过程中，对每组匹配点对计算匹配点对之间的单应变换矩阵H。一种举例中，计算匹配点对的过程可能出现错误的匹配，利用RANSAC(随机采样一致性)机制可以进行有效的错误匹配滤除。
其中的H可具体表征为：
如上公式表示单应矩阵的计算过程。单应矩阵H是一个3x3的矩阵，用h1～h9表示。一个单应矩阵H应使得将数据库中的点经过变换后得到的坐标与当前匹配的点的坐标ui,vi之间的距离之和最小。设定距离阈值ε，记录该H变换下上述距离小于阈值ε的匹配点对的数目，该数目称之为内点数。
S1224:在各点对组中，确定所述内点数目最多的点对组为目标点对组。
S1225:确定所述目标点对组对应的标准图像为所述目标标准图像。
具体实施过程中，通过步骤S1224的实施可以找出P组中内点数最多的一组，则该组对应的数据库标准图像即为当前帧的待识别图像所对应的内容，该组对应的单应变换矩阵H即是我们需要的单应变换。而例如书号页码的标识可以从数据库中根据识别到的标准图像直接得到。
S123：确定所述目标标准图像对应的标识为所述目标标识。
其中，不同目标标准图像与不同标识信息的对应关系，可存储于数据库，例如可对应于不同的目标标准图像存储于不同的子数据库，也可利用单独的一个库来存储。
前述数据库的构建方法可例如：将绘本的每页内容采集标准图像，可以采取相机拍摄或者扫描的方式。然后对标准图像进行视觉特征提取，最后将这些图像特征与该书本的书号页码等信息作为标识一起插入到数据库中。这样在检索到某个图像特征时就能知道该特征对应的书号页码等标识。
S13：根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
该识别结果，可理解为包括以上所涉及的目标标识的相关信息、点读位置的相关信息，以及图像特征的相关信息。其中一种实施方式中，点读位置的相关信息，可以利用一个点读坐标表征，另一种实施方式中，还可利用点读坐标表征该目标标识与该点读位置。
其中一种实施方式中，计算设备还可将识别结果反馈至点读侧设备，以使得点读侧设备可以在接收到新待识别图像时，提取其中的新图像特征，在点读侧设备本地存储的识别结果中找到该新图像特征对应的新标识，并且，根据新标识，以及新待识别图像中新光斑所表征的新点读位置，在本地存储的音频资源中找到对应的新目标音频资源，进而，可播放或利用播放设备播放。
可见，在点读侧设备本地，可以支持本地缓存识别与本地读取播放，进而，无需再次上传服务器进行识别，有利于提高处理效率。
以上各实施方式能够利用计算设备实现待识别图像的识别，以及基于数据库所确定的目标标识，能够有效定位到绘本对应的页面，同时，还能基于光斑，定位到页面中的点读位置，从而确定所点读的目标音频资源。可见，本实施方式可以无需绘本侧的设备配置高成本、复杂的软硬件设备，有效降低了成本，与此同时，利用服务器的以上作用，依旧能保障点读功能的实现，故而，以上实施方式可有效兼顾低成本的需求与高质量点读的需求。
此外，由于无需配置复杂的软硬件设备，可有利于本方案兼容各种操作系统设备，包含嵌入式系统，该嵌入式系统可例如linux，其可进一步降低成本。
由于数据库是在计算设备维护的，其可有利于大数据量的实现，例如可以尽可能多地覆盖更多的绘本。其中，针对于各种不同的绘本、页面，只要其对应的标准图像被传输至了计算设备，计算设备就能对其进行识别，从而定位到待识别图像对应于哪一个绘本的哪一个页面，可见，其还可降低点读笔对配套图书的依赖性，有效扩展了方案的适用范围。
本实施方式中，任意绘本任意页面可随翻随读，不需要任何附加操作，例如：采用了本发明的方案，可直接识别绘本内页，无须先识别绘本封面，相较而言，本发明对点读的实现不会为用户的点读操作带来过多的负担。
图7是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图二；图8是本发明实施例所提供的基于计算设备的绘本辅助阅读方法的流程示意图三。
请参考图7和图8，步骤S13之前，还可包括：
S15：对所述待识别图像进行光斑检测，定位所述光斑。
对于光斑的定位，可以参照待识别图像中任意对象来实现，例如可以参照当前页面的像素，或者其中的至少部分图像特征来确定，也可参照页面的长宽边缘来确定。
通过定位，可以得到光斑相对于页面的位置，即找到该光斑。
S16：根据所述光斑在所述待识别图像中的位置，确定所述点读位置。
点读位置，可以理解为是基于定位结果而产生的任意表征单个或多个位置点的信息。其具体可结合光斑的形状、尺寸确定。若光斑为圆形或多边形等，该点读位置可以为光斑的中心位置，进而，确定所述点读位置的过程，也可理解为得到该中心位置在页面中的坐标的过程。
具体实施过程中，根据点读笔发出的光斑，可以对整幅待处理图像或者其中的部分进行二值化处理，检测出光斑所在像素区域，通过聚类的方式获得光斑的中心坐标。
请参考图8，为了提高点读笔光斑中心坐标的精度，以及应对常见的图像遮挡等情况，所述待识别图像中还可具有特定对象的像素，所述特定对象包括所述点读笔和/或握持所述点读笔的手。
对应的，在步骤S15之前还可包括：根据所述特定对象的像素在所述待识别图像中的位置，在所述待识别图像中确定所述光斑对应的一个区域范围。
具体实施过程中，可以在检测光斑之前，先对用户的手和笔进行识别定位，根据手和笔的位置推测出光斑在图像上的大致位置范围，即以上所述的光斑对应的一个区域范围，然后在这个局部的区域范围内进行上述光斑的检测，并提取出其中心坐标。
可见，区域范围的确定，可例如根据手和笔的位置，可以将手挡着的部分像素排除所述区域范围之外，根据笔的位置，也可将离笔很远的那些部分排除在所述区域范围之外，还可将笔遮挡的部分排除在区域范围之外，等等。只要能有利于缩小所需处理的像素范围，且缩小的依据是以手和笔，就不脱离该实施方式的描述。
在确定了区域范围后，步骤S15具体可以包括：S150:在所述区域范围中进行光斑检测，定位所述光斑。
图9是本发明实施例所提供的步骤S15的流程示意图。
请参考图9，步骤S15具体可以包括：
S151：计算所述待识别图像与所述待识别图像的前一帧图像的差值图像；
S152：根据所述差值图像，定位所述光斑。
具体实施过程中，计算过程如下，设待识别图像为Ic，其前一帧图像为Ip，差值图像为Id：
上述公式表示对于坐标(u,v)的像素点，如果当前帧待识别图像与前一帧的像素差的绝对值Δ小于阈值ζ，则差值图像上该坐标的像素为0(即黑色)，否则为255(即白色)。
得到差值图像后对差值图像进行分析，提取差值图像高亮区域的外轮廓。常见的外轮廓提取算法有Topological Structural Analysis of Digitized Binary Images byBorder Following。对得到的外轮廓进行分析，得到点读笔光斑的位置。即完成了步骤S151。
假设在差值图像上找了Nc个外轮廓{Ci|i∈[1,Nc]}，可按照如下方式进行轮廓的剔除：轮廓线周长过短，或者轮廓区域面积过小。最终剩下的轮廓区域分别计算其轮廓中心坐标，对这些中心坐标取平均值即可得到点读笔光斑在当前图像上的位置坐标(us,vs)。即完成了步骤S152。
至此，我们已经得到了绘本的书号页码、待识别图像与标准图像之间的单应转换矩阵H，以及点读笔光斑在待识别图像上的位置坐标(us,vs)，那么我们可以计算点读笔光斑在绘本标准图像上的位置
最终，可以将识别到的绘本书号页码作为标识信息，以及将点读笔光斑在绘本上的位置坐标作为点读位置返回给点读侧设备进行相应位置内容的播放或显示。
故而，在步骤S13之后，还可包括：将所述目标音频资源发送至所述点读侧设备，以使得所述点读侧设备或者与所述点读侧设备连接的播放设备能够播放所述目标音频资源。
本实施例所提供的方法，能够利用服务器实现待识别图像的识别，以及基于数据库所确定的目标标识，能够有效定位到绘本对应的页面，同时，还能基于光斑，定位到页面中的点读位置，从而确定所点读的目标音频资源。可见，本发明可以无需绘本侧的设备配置高成本、复杂的软硬件设备，有效降低了成本，与此同时，利用计算设备的以上作用，依旧能保障点读功能的实现，故而，本发明有效兼顾了低成本的需求与高质量点读的需求。
此外，由于无需配置复杂的软硬件设备，可有利于本方案兼容各种操作系统设备，包含嵌入式系统。
本发明中，由于数据库是在计算设备维护的，其可有利于大数据量的实现，例如可以尽可能多地覆盖更多的绘本。其中，针对于各种不同的绘本、页面，只要其对应的标准图像被上传至了计算设备，计算设备就能对其进行识别，从而定位到待识别图像对应于哪一个绘本的哪一个页面，可见，其还可降低点读笔对配套图书的依赖性，有效扩展了方案的适用范围。
此外，本实施例的使用下，任意绘本任意页面可随翻随读，不需要任何附加操作，例如：采用了本发明的方案，可直接识别绘本内页，无须先识别绘本封面，相较而言，本发明对点读的实现不会为用户的点读操作带来过多的负担。
由于数据库是在服务器维护的，且基于数据库的目标标识的确定是在服务器实现的，其可有利于高处理速率的实现，进而，可有利于使得终端更高效地获得目标音频资源。
图10是本发明实施例所提供的基于点读侧设备的绘本辅助阅读方法的流程示意图一。
请参考图10，绘本辅助阅读方法，应用于点读侧设备，包括：
S21：向计算设备发送待识别图像。
所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
S22：接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者利用播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是根据所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
图11是本发明实施例所提供的基于点读侧设备的绘本辅助阅读方法的流程示意图一。
请参考图11，步骤S21之前，还包括：
S23：接收到所述点读笔发出的触发信号；所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
请参考图11，步骤S22之后，还包括：
S24：存储所述目标音频资源。
S25：若识别出所述目标音频资源再次被点读，则再次播放或者利用所述播放设备再次播放已存储的目标音频资源。
点读侧设备在接收目标音频资源的同时，还可接受计算设备反馈的识别结果并存储，识别结果的具体内容可参照前文理解，进而，步骤S25中识别出所述目标音频资源再次被点读的过程，可例如：
进而，点读侧设备在接收到新待识别图像时，可以提取其中的新图像特征，在终端本地存储的识别结果中找到该新图像特征对应的新标识，并且，根据新标识，以及新待识别图像中新光斑所表征的新点读位置，在本地存储的音频资源中找到对应的新目标音频资源，进而，可播放或利用播放设备播放。
同时，本实施例也不排除采用其他手段识别出目标音频资源再次被点读的方式，例如现有相关技术中对页码的识别、封面的识别等手段，也可应用在终端的本地识别。
可见，以上实施方式中，点读侧设备可存储目标音频资源，若识别出所述目标音频资源再次被点读，则再次播放或者利用所述播放设备再次播放已存储的目标音频资源，进而，无需再次上传服务器识别，可见，本发明可选方案可支持本地缓存识别与本地读取播放。
可选的，所述目标标识为目标标准图像对应的标识，所述目标标准图像是所述计算设备根据所述数据库中所存储的标准图像或其图像特征，比对所述待识别图像的图像特征与各标准图像的图像特征所确定的。
可选的，所述待识别图像的图像特征能够通过其中的第一特征点及所述第一特征点的第一特征描述向量表征，所述标准图像的图像特征能够通过其中的第二特征点及所述第二特征点的第二特征描述向量表征；
所述目标标准图像是一目标点对组对应的标准图像，所述目标点对组是所述计算设备先计算所述第一特征描述向量与每个标准图像的第二特征描述向量的第一距离，确定所述第一距离小于预设的第一阈值的第一特征点与第二特征点为匹配点对，再对各匹配点对进行分组，以使得同一标准图像对应的匹配点对处于同一个点对组，然后在每个点对组中，对各第二特征点进行单应变换，以使得所述点对组中第一特征点与单应变换后的第二特征点之间的第二距离的和达到最小，并计算所述点对组中所述第二距离小于预设的第二阈值的匹配点对的数目，最后在各点对组中所确定的所述数目最多的那个点对组。
可选的，所有标准图像中，至少有部分所述标准图像是除所述点读侧设备以外的其他设备采集的。
可选的，所述点读位置具体是所述计算设备先计算所述待识别图像与所述待识别图像的前一帧图像的差值图像，再根据所述差值图像，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的。
可选的，所述点读位置是所述计算设备对所述待识别图像进行光斑检测，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的。
可选的，所述待识别图像中还具有特定对象的像素，所述特定对象包括所述点读笔和/或握持所述点读笔的手；所述点读位置具体是所述计算设备在所述待识别图像中的一个区域范围中进行定位检测，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的，所述区域范围时根据所述特定对象的像素在所述待识别图像中的位置确定的。
图12是本发明实施例所提供的绘本辅助阅读的计算设备的功能模块示意图一；图13是本发明实施例所提供的绘本辅助阅读的计算设备的功能模块示意图二。
请参考图12与图13，绘本辅助阅读的计算设备300，包括：
图像获取模块310，用于获取待识别图像，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
匹配模块320，用于根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同绘本的不同页面；
资源确定模块330，用于根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
其中一种实施方式中，还可包括：资源发送模块340，用于将所述目标音频资源发送至所述点读侧设备，以使得所述点读侧设备或者与所述点读侧设备连接的播放设备能够播放所述目标音频资源。
可选的，所述匹配模块320，包括：
提取单元321，用于提取所述待识别图像的图像特征；
比对单元322，用于根据数据库中所存储的标准图像或其图像特征，比对所述待识别图像的图像特征与各标准图像的图像特征，确定与所述待识别图像的图像特征相匹配的目标标准图像；
标识确定单元323，用于确定所述目标标准图像对应的标识为所述目标标识。
可选的，所述待识别图像的图像特征能够通过其中的第一特征点及所述第一特征点的第一特征描述向量表征，所述标准图像的图像特征能够通过其中的第二特征点及所述第二特征点的第二特征描述向量表征；
所述比对单元322，具体用于：
计算所述第一特征描述向量与每个标准图像的第二特征描述向量的第一距离，确定所述第一距离小于预设的第一阈值的第一特征点与第二特征点为匹配点对；
对各匹配点对进行分组，以使得同一标准图像对应的匹配点对处于同一个点对组；
在每个点对组中，对各第二特征点进行单应变换，以使得所述点对组中第一特征点与单应变换后的第二特征点之间的第二距离的和达到最小，并计算所述点对组中所述第二距离小于预设的第二阈值的匹配点对的数目；
在各点对组中，确定所述数目最多的点对组为目标点对组；
确定所述目标点对组对应的标准图像为所述目标标准图像。
可选的，所有标准图像中，至少有部分所述标准图像并非采集所述待识别图像的设备采集的。
可选的，所述数据库包括多个子数据库，不同的子数据库分别存储有不同的标准图像或其图像特征；
可选的，所述的计算设备还包括：
光斑定位模块360，用于对所述待识别图像进行光斑检测，定位所述光斑；
点读位置确定模块370，用于根据所述光斑在所述待识别图像中的位置，确定所述点读位置。
可选的，所述光斑定位模块360具体用于：
计算所述待识别图像与所述待识别图像的前一帧图像的差值图像；
根据所述差值图像，定位所述光斑。
可选的，所述待识别图像中还具有特定对象的像素，所述特定对象包括所述点读笔和/或握持所述点读笔的手；
所述的服务器，还包括：
范围确定模块350，用于根据所述特定对象的像素在所述待识别图像中的位置，在所述待识别图像中确定所述光斑对应的一个区域范围；
所述光斑定位模块，具体用于在所述区域范围中进行光斑检测，定位所述光斑。
可选的，所述待识别图像是点读侧设备响应于所述点读笔产生的触发信号而发送至所述计算设备，以使得所述计算设备获取到的，或者：所述待识别图像是所述计算设备响应于所述点读笔产生的触发信号而直接获取到的，所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
本实施例所示的服务器，对应地可用于实施图4至图9所示方法实施例的技术方案，其实现原理、技术效果以及术语的含义类似，此处不再赘述。
图14是本发明实施例所提供的绘本辅助阅读的点读侧设备的功能模块示意图一；图15是本发明实施例所提供的绘本辅助阅读的点读侧设备的功能模块示意图二。
请参考图14与图15，绘本辅助阅读的点读侧设备400，包括：
图像发送模块401，用于向计算设备发送待识别图像，所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
资源接收模块402，用于接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者发送至播放设备，以使得所述播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是根据所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
可选的，所述的点读侧设备，还包括：
触发模块403，用于接收到所述点读笔发出的触发信号；所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
可选的，所述的点读侧设备，还包括：
存储模块404，用于存储所述目标音频资源；
再次播放模块405，用于若识别出所述目标音频资源再次被点读，则再次播放或者利用所述播放设备再次播放已存储的目标音频资源。
本实施例所示的终端，对应地可用于实施图10至图11所示方法实施例的技术方案，其实现原理、技术效果以及术语的含义类似，此处不再赘述。
图16是本发明实施例所提供的电子设备的结构示意图。
请参考图16，电子设备50，包括存储器52和处理器51，其中：
所述存储器52，用于存储代码和相关数据；
所述处理器51，用于执行所述存储器中的代码用以实现前述任一所述的方法步骤。
其中，存储器52可通过总线53与处理器51通讯。
图17是本发明实施例所提供的点读笔的结构示意图一；图18是本发明实施例所提供的点读笔的结构示意图二；图19是本发明实施例中点读笔的局部示意图。
请参考图17至图19，其对点读笔进行了举例，其可理解为能够应用于以上所涉及的实施例中点读笔。
点读笔6，包括长条状的笔外壳64、设置于所述笔外壳64内的控制组件62，以及至少部分位于所述笔外壳内的光斑导光结构61与信号传输结构63；所述笔外壳64的前端设有出光孔644，所述控制组件分别电连接光斑导光结构61与信号传输结构63；所述光斑导光结构63穿过所述出光孔644；
所述控制组件62用于：
在所述点读笔6被实施点读操作时，控制所述光斑导光结构61发光，以在绘本7的当前页面产生光斑，以及：
在所述点读笔6被实施点读操作时，控制所述信号传输结构63向点读侧设备2或计算设备3发送所述触发信号。
可选的，所述光斑导光结构61、所述信号传输结构63，以及另一触发结构中至少之一能够在点读笔6被实施所述点读操作时相对于所述笔外壳64发生相应的运动；
所述控制组件62包括控制电路621；所述控制电路621能够在所述运动发生时被触发；
所述控制电路621电连接所述光斑导光结构61，以在被触发时控制所述光斑导光结构61发光；
所述控制电路621电连接所述信号传输结构63，以在被触发时控制所述信号传输结构63发出所述触发信号。
可选的，所述的点读笔，还包括电源66；
所述控制电路621电连接于所述电源66与所述光斑导光结构61之间，以在被触发时利用所述电源66的供电为所述光斑导光结构61供电，以使得所述光斑导光结构61发光；和/或：
所述控制电路621电连接于所述电源66与所述信号传输结构63之间，以在被触发时利用所述电源66的供电为所述信号传输结构63供电，以使得所述信号传输结构63发出所述触发信号。其可以发送至点读侧设备，也可发送至计算设备。
可选的，所述的点读笔6，还包括内支架67，所述内支架67包括用于与所述笔外壳定位连接的支架安装部671、用于容置所述电源66的电源安装部672，以及用于直接或间接安装所述控制电路621的电路安装部673，所述支架安装部671与所述电路安装部673分别位于所述电源安装部672的两端。
可选的，所述的点读笔6，还包括开关器件65，所述开关器件65连接所述控制电路621，所述开关器件65能够在所述运动发生时被按压，且在被按压时触发所述控制电路621。
可选的，所述控制组件62沿所述笔外壳64的长度方向位于所述光斑导光结构61的后端一侧，所述开关器件65位于所述控制组件62与所述光斑导光结构61之间，所述运动指所述光斑导光结构61沿所述笔外壳64的长度方向朝所述控制组件62运动，以按压所述开关器件65。
可选的，所述信号传输结构63为红外导光结构；所述笔外壳64的侧壁设有透光部645；
所述控制组件62用于在所述点读笔6被实施点读操作时，控制所述红外导光结构发出红外光，以利用所述红外光向点读侧设备2发送请求信号。
可选的，所述红外导光结构包括环形底座632，以及至少一个红外导光部件631；所述至少一个红外导光部件631均直接或间接电连接至所述控制组件62；
每个所述红外导光部件631分别通过对应的一个透光部645发出红外光，所述环形底座632环设于所述光斑导光结构61的外侧，所述至少一个红外导光部件631设于所述环形底座632外侧。
可选的，所述环形底座632包括环设于所述光斑导光结构61外侧的环形部6321，以及连接于所述环形部6321的至少一个延伸部6322，所述至少一个延伸部6322沿所述笔外壳64的长度方向设置于所述环形部6321的同一侧；每个红外导光部件631对应设置于一个延伸部645的外侧。
可选的，所述环形底座632呈锥形，且该锥形的形状与所述笔外壳64的锥形头部643的形状相匹配。
可选的，所述笔外壳64包括锥形头部643与外壳本体，所述出光孔644设于所述锥形头部643的前端，所述外壳本体的前端连接所述锥形头部643的后端。
可选的，所述外壳本体包括可拆卸连接的第一本体641与第二本体642，所述第一本体641的前端连接所述锥形头部643，所述第一本体641的后端能够连接所述第二本体642的前端。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1.一种绘本辅助阅读方法，应用于计算设备，包括：
获取待识别图像，所述待识别图像中具有绘本当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同书本的不同页面；
根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
2.根据权利要求1所述的方法，其特征在于，根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识，包括：
提取所述待识别图像的图像特征；
根据数据库中所存储的标准图像或其图像特征，比对所述待识别图像的图像特征与各标准图像的图像特征，确定与所述待识别图像的图像特征相匹配的目标标准图像；
确定所述目标标准图像对应的标识为所述目标标识。
3.根据权利要求2所述的方法，其特征在于，所述待识别图像的图像特征能够通过其中的第一特征点及所述第一特征点的第一特征描述向量表征，所述标准图像的图像特征能够通过其中的第二特征点及所述第二特征点的第二特征描述向量表征；
根据数据库中所存储的标准图像或其图像特征，比对所述待识别图像的第一图像特征与各标准图像的第二图像特征，确定与所述第一图像特征相匹配的目标标准图像，包括：
计算所述第一特征描述向量与每个标准图像的第二特征描述向量的第一距离，确定所述第一距离小于预设的第一阈值的第一特征点与第二特征点为匹配点对；
对各匹配点对进行分组，以使得同一标准图像对应的匹配点对处于同一个点对组；
在每个点对组中，对各第二特征点进行单应变换，以使得所述点对组中第一特征点与单应变换后的第二特征点之间的第二距离的和达到最小，并计算所述点对组中所述第二距离小于预设的第二阈值的匹配点对的数目；
在各点对组中，确定所述数目最多的点对组为目标点对组；
确定所述目标点对组对应的标准图像为所述目标标准图像。
4.根据权利要求2所述的方法，其特征在于，所有标准图像中，至少有部分所述标准图像并非采集所述待识别图像的设备采集的。
5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述目标标识，以及所述光斑所表征的点读位置，确定当前所点读的目标音频资源之前，还包括：
对所述待识别图像进行光斑检测，定位所述光斑；
根据所述光斑在所述待识别图像中的位置，确定所述点读位置。
6.根据权利要求5所述的方法，其特征在于，对所述待识别图像进行光斑检测，定位所述光斑，包括：
计算所述待识别图像与所述待识别图像的前一帧图像的差值图像；
根据所述差值图像，定位所述光斑。
7.根据权利要求6所述的方法，其特征在于，所述待识别图像中还具有特定对象的像素，所述特定对象包括所述点读笔和/或握持所述点读笔的手；
对所述待识别图像进行光斑检测，定位所述光斑之前，还包括：根据所述特定对象的像素在所述待识别图像中的位置，在所述待识别图像中确定所述光斑对应的一个区域范围；
对所述待识别图像进行光斑检测，定位所述光斑，包括：在所述区域范围中进行光斑检测，定位所述光斑。
8.根据权利要求1至4任一项所述的方法，其特征在于，所述待识别图像是点读侧设备响应于所述点读笔产生的触发信号而发送至所述计算设备，以使得所述计算设备获取到的，或者：所述待识别图像是所述计算设备响应于所述点读笔产生的触发信号而直接获取到的，所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
9.一种绘本辅助阅读方法，应用于具有图像采集功能的点读侧设备，包括：
向计算设备发送待识别图像，所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者利用播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是根据所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
10.根据权利要求9所述的方法，其特征在于，向计算设备发送待识别图像之前，还包括：
接收所述点读笔发出的触发信号；所述触发信号是所述点读笔被实施了点读操作时产生的，所述光源是所述点读笔被实施了所述点读操作时直射于所述当前页面的。
11.根据权利要求9所述的方法，其特征在于，接收所述计算设备发送的当前所点读的目标音频资源之后，还包括：
存储所述目标音频资源；
若识别出所述目标音频资源再次被点读，则再次播放或者利用所述播放设备再次播放已存储的目标音频资源。
12.根据权利要求9至11任一项所述的方法，其特征在于，所述目标标识为目标标准图像对应的标识，所述目标标准图像是所述计算设备根据所述数据库中所存储的标准图像或其图像特征，比对所述待识别图像的图像特征与各标准图像的图像特征所确定的。
13.根据权利要求12所述的方法，其特征在于，所述待识别图像的图像特征能够通过其中的第一特征点及所述第一特征点的第一特征描述向量表征，所述标准图像的图像特征能够通过其中的第二特征点及所述第二特征点的第二特征描述向量表征；
所述目标标准图像是一目标点对组对应的标准图像，所述目标点对组是所述计算设备先计算所述第一特征描述向量与每个标准图像的第二特征描述向量的第一距离，确定所述第一距离小于预设的第一阈值的第一特征点与第二特征点为匹配点对，再对各匹配点对进行分组，以使得同一标准图像对应的匹配点对处于同一个点对组，然后在每个点对组中，对各第二特征点进行单应变换，以使得所述点对组中第一特征点与单应变换后的第二特征点之间的第二距离的和达到最小，并计算所述点对组中所述第二距离小于预设的第二阈值的匹配点对的数目，最后在各点对组中所确定的所述数目最多的那个点对组。
14.根据权利要求12所述的方法，其特征在于，所有标准图像中，至少有部分所述标准图像是除所述点读侧设备以外的其他设备采集的。
15.根据权利要求9至11任一项所述的方法，其特征在于，所述点读位置是所述计算设备对所述待识别图像进行光斑检测，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的。
16.根据权利要求15所述的方法，其特征在于，所述点读位置具体是所述计算设备先计算所述待识别图像与所述待识别图像的前一帧图像的差值图像，再根据所述差值图像，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的。
17.根据权利要求15所述的方法，其特征在于，所述待识别图像中还具有特定对象的像素，所述特定对象包括所述点读笔和/或握持所述点读笔的手；所述点读位置具体是所述计算设备在所述待识别图像中的一个区域范围中进行定位检测，定位所述光斑后，根据所述光斑在所述待识别图像中的位置所确定的，所述区域范围是根据所述特定对象的像素在所述待识别图像中的位置确定的。
18.一种绘本辅助阅读的计算设备，其特征在于，包括：
图像获取模块，用于获取待识别图像，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
匹配模块，用于根据所述待识别图像的图像特征，确定与所述待识别图像相匹配的目标标识；其中，不同的标识对应于不同书本的不同页面；
资源确定模块，用于根据所述目标标识，以及根据所述光斑的位置所确定的点读位置，确定当前所点读的目标音频资源。
19.一种绘本辅助阅读的点读侧设备，包括：
图像发送模块，用于向计算设备发送待识别图像，所述待识别图像是所述点读侧设备采集的，所述待识别图像中具有绘本中当前页面的像素，以及当前页面中光斑的像素，所述光斑是点读笔的光源直射于所述当前页面而产生的；
资源接收模块，用于接收所述计算设备发送的当前所点读的目标音频资源，并播放所述目标音频资源，或者发送至播放设备，以使得所述播放设备播放所述目标音频资源；
其中，所述目标音频资源是所述计算设备根据与所述待识别图像相匹配的目标标识，以及所述待识别图像中的点读位置确定的，所述点读位置是根据所述光斑的位置确定的，所述目标标识是所述计算设备根据所述待识别图像的图像特征，在数据库中确定的。
20.一种电子设备，其特征在于：包括存储器和处理器，其中：所述存储器，用于存储代码和相关数据；所述处理器，用于执行所述存储器中的代码用以实现权利要求1至8任一所述的方法步骤，或者：权利要求9至17任一所述的方法步骤。
CN201910348840.XA 2019-04-28 2019-04-28 绘本辅助阅读方法、计算设备、点读侧设备与电子设备 Pending CN110058705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910348840.XA CN110058705A (zh) 2019-04-28 2019-04-28 绘本辅助阅读方法、计算设备、点读侧设备与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910348840.XA CN110058705A (zh) 2019-04-28 2019-04-28 绘本辅助阅读方法、计算设备、点读侧设备与电子设备

Publications (1)

Publication Number Publication Date
CN110058705A true CN110058705A (zh) 2019-07-26

Family

ID=67319467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910348840.XA Pending CN110058705A (zh) 2019-04-28 2019-04-28 绘本辅助阅读方法、计算设备、点读侧设备与电子设备

Country Status (1)

Country Link
CN (1) CN110058705A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555435A (zh) * 2019-09-10 2019-12-10 深圳一块互动网络技术有限公司 一种点读互动实现方法
CN110689535A (zh) * 2019-09-29 2020-01-14 歌尔股份有限公司 一种工件识别方法、装置及电子设备和存储介质
CN110765304A (zh) * 2019-10-22 2020-02-07 珠海研果科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN110865723A (zh) * 2019-09-29 2020-03-06 深圳市麦芽智能设备有限公司 阅读笔及阅读方法
CN111028290A (zh) * 2019-11-26 2020-04-17 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN111598943A (zh) * 2020-04-15 2020-08-28 安徽淘云科技有限公司 基于书本辅助阅读设备的书本就位检测方法、装置及设备
CN112306449A (zh) * 2020-03-02 2021-02-02 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN112711965A (zh) * 2019-10-24 2021-04-27 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201540655U (zh) * 2009-05-13 2010-08-04 崔伟 发音书
CN102289957A (zh) * 2011-09-01 2011-12-21 中国科学院深圳先进技术研究院 点读机及其发声方法
US20140160009A1 (en) * 2007-10-05 2014-06-12 Leapfrog Enterprises, Inc. Audio book for pen-based computer
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法
CN108509136A (zh) * 2018-04-12 2018-09-07 山东音为爱智能科技有限公司 一种基于人工智能的儿童绘本辅助阅读方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160009A1 (en) * 2007-10-05 2014-06-12 Leapfrog Enterprises, Inc. Audio book for pen-based computer
CN201540655U (zh) * 2009-05-13 2010-08-04 崔伟 发音书
CN102289957A (zh) * 2011-09-01 2011-12-21 中国科学院深圳先进技术研究院 点读机及其发声方法
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法
CN108509136A (zh) * 2018-04-12 2018-09-07 山东音为爱智能科技有限公司 一种基于人工智能的儿童绘本辅助阅读方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555435A (zh) * 2019-09-10 2019-12-10 深圳一块互动网络技术有限公司 一种点读互动实现方法
CN110555435B (zh) * 2019-09-10 2022-06-07 深圳一块互动网络技术有限公司 一种点读互动实现方法
CN110865723A (zh) * 2019-09-29 2020-03-06 深圳市麦芽智能设备有限公司 阅读笔及阅读方法
CN110689535B (zh) * 2019-09-29 2022-05-17 歌尔股份有限公司 一种工件识别方法、装置及电子设备和存储介质
CN110689535A (zh) * 2019-09-29 2020-01-14 歌尔股份有限公司 一种工件识别方法、装置及电子设备和存储介质
CN110765304A (zh) * 2019-10-22 2020-02-07 珠海研果科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN112711965A (zh) * 2019-10-24 2021-04-27 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备
CN112711965B (zh) * 2019-10-24 2023-12-05 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备
CN111028290A (zh) * 2019-11-26 2020-04-17 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN111028290B (zh) * 2019-11-26 2024-03-08 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN112306449A (zh) * 2020-03-02 2021-02-02 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN111598943A (zh) * 2020-04-15 2020-08-28 安徽淘云科技有限公司 基于书本辅助阅读设备的书本就位检测方法、装置及设备
CN111598943B (zh) * 2020-04-15 2023-07-11 安徽淘云科技股份有限公司 基于书本辅助阅读设备的书本就位检测方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110058705A (zh) 绘本辅助阅读方法、计算设备、点读侧设备与电子设备
Yang et al. Person re-identification by contour sketch under moderate clothing change
CN103140862B (zh) 用户界面系统及其操作方法
CN109189879B (zh) 电子书籍显示方法及装置
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
US20130222427A1 (en) System and method for implementing interactive augmented reality
JP5521727B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
CN105589801B (zh) 手机集群测试方法和系统
CN111737547A (zh) 商户信息的获取系统、方法、装置、设备及存储介质
CN109285136A (zh) 一种图像的多尺度融合方法、装置、存储介质及终端
CN112052186A (zh) 目标检测方法、装置、设备以及存储介质
US11501409B2 (en) Electronic device for image synthesis and operating method thereof
CN109445588A (zh) 基于图像识别追踪技术的点读指点件点击判断方法
CN109740417A (zh) 发票类型识别方法、装置、存储介质和计算机设备
CN111506758A (zh) 物品名称确定方法、装置、计算机设备及存储介质
Zhang Innovation of English teaching model based on machine learning neural network and image super resolution
CN111160308A (zh) 手势动作识别方法、装置、设备及可读存储介质
CN208834516U (zh) 一种方便使用的点读系统
CN112989922B (zh) 基于人工智能的脸部识别方法、装置、设备和存储介质
CN206236172U (zh) 一种扫描2d变3d的成像系统
CN111695372B (zh) 点读方法及点读数据处理方法
CN111078982B (zh) 一种电子页面的检索方法、电子设备及存储介质
CN111080589A (zh) 目标对象匹配方法、系统、设备及机器可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication