CN111583734A

CN111583734A - 点读方法及点读笔

Info

Publication number: CN111583734A
Application number: CN201910122554.1A
Authority: CN
Inventors: 古鉴; 李博韧; 王全占; 朱炳鹏
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2020-08-25

Abstract

本申请公开了一种点读方法，包括：获得包含待识别点读对象的图像；将所述图像发送给点读对象识别设备；获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息；根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。采用上述方法，解决了因受限于识别码而只能点读配套的有声图书的问题。

Description

点读方法及点读笔

技术领域

本申请涉及点读技术领域，具体涉及点读方法及计算设备。本申请同时涉及一种点读笔系统。本申请还涉及一种点读笔。

背景技术

在儿童教育领域，点读笔是一种常见的智能阅读和学习工具。点读笔的外观与普通的笔相似，但其并一般不具备书写功能，主要功能在于“点读”，能够实现对于配套图书的点读功能，做到点哪读哪。配套的图书通常称之为有声图书。

目前，点读笔功能主要依赖笔头上的红外相机识别配套的有声图书上的识别码来实现。有声图书上的内容可以采用OID识别码(Optical Identification，光学识别码)或MPR(Multimedia Print Reader，多媒体印刷读物)标准编码印刷。OID识别码的信息符号图形由许多细微的点按照约定的规律所组成，对应特定数值。点读笔识别到OID码信息后，根据OID码找到预先下载的对应的声音文件进行播放。使用OID码的点读笔存在以下问题：OID码数量有限，最多可以有65536个不同的ID，因此能够支持的点读内容量受限。为解决OID码数量有限的问题，厂商会通过先点书本的封面等特殊区域，识别出特定的书后再进行点读书本内容，但是缺乏统一管理和分配识别码造成点读笔和点读书籍不兼容问题。MPR码是一种矩阵式的二维条码，总量有一万万亿个，基本上可以认为是用不完的，解决了编码数量有限的问题，但是在点读笔中使用的成本较高，难以推广使用。

因此，点读笔只能点读配套的有声图书导致能够点读的内容受限是需要解决的问题。

发明内容

本申请提供一种点读方法，解决了因受限于识别码而只能点读配套的有声图书的问题。

本申请提供一种点读方法，包括：

获得包含待识别点读对象的图像；

将所述图像发送给点读对象识别设备；

获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息；

根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

可选的，所述获得包含待识别点读对象的图像，包括：使用第一摄像头获得包含待识别点读对象的第一图像；

所述将所述图像发送给点读对象识别设备，包括：将所述第一图像发送给所述点读对象识别设备。

可选的，所述获得包含待识别点读对象的图像，还包括：

使用至少一个第二摄像头，获取包含待识别点读对象的至少一个第二图像；

所述将所述图像发送给点读对象识别设备，包括：将所述至少一个第二图像发送给所述点读对象识别设备；或者，

对所述第一图像和所述至少一个第二图像进行拼接处理，将拼接处理后的图像发送给所述点读对象识别设备。

可选的，所述方法还包括：获得用于执行所述点读方法的点读装置的位置数据；

所述获得包含待识别点读对象的图像，包括：如果所述位置数据满足位置阈值条件，则获得包含待识别点读对象的图像。

可选的，所述方法还包括：如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息。

可选的，所述位置数据，包括下述至少一种数据：

所述点读装置与竖直方向之间的夹角角度；

所述点读装置与水平方向之间的夹角角度。

可选的，所述方法还包括：获得针对具有零键程或微键程的虚拟按键的点读触发；

所述获得包含待识别点读对象的图像，包括：针对所述点读触发，获得包含待识别点读对象的图像。

可选的，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。

可选的，所述多媒体资源信息为多媒体数据的地址信息；

所述根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据，包括：

根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；

输出所述与所述待识别点读对象对应的多媒体数据。

可选的，所述多媒体资源信息为多媒体数据；

输出所述多媒体数据；

或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。

可选的，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。

可选的，所述点读对象，为印刷读物。

本申请还提供一种点读方法，包括：

获得包含待识别点读对象的图像；

根据所述图像获得所述待识别点读对象的特征信息；

根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息；

可选的，所述根据所述图像获得所述待识别点读对象的特征信息，包括：根据所述图像，获得所述图像对应的点读对象标识；

所述根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，包括：根据所述图像对应的点读对象标识获得针对所述待识别点读对象的多媒体资源信息。

可选的，所述根据所述图像获得所述待识别点读对象的特征信息，包括：

根据所述图像，获得所述图像对应的点读对象标识；

根据所述点读对象标识，获得点读区域信息；

所述根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，包括：根据所述点读区域信息获得针对所述待识别点读对象的多媒体资源信息。

可选的，所述根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，包括：

根据所述待识别点读对象的特征信息获得点读资源索引；

根据所述点读资源索引，从点读资源库中检索出针对所述待识别点读对象的多媒体资源信息；或者，根据所述点读资源索引，从点读资源库中检索出所述待识别点读对象的特征信息与多媒体资源的对应关系，根据所述对应关系获得所述多媒体资源。

可选的，所述多媒体资源信息为多媒体资源地址或多媒体数据。

可选的，所述方法还包括：

获得新的点读资源，将所述新的点读资源增加到所述点读资源库；和/或，

升级所述点读资源库中的点读资源。

可选的，所述获得包含待识别点读对象的图像，包括：

获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像；

对所述第一图像和所述第二图像进行拼接处理，得到所述包含待识别点读对象的图像。

可选的，所述获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像，包括：使用第一摄像头获取包含待识别点读对象的第一图像，使用第二摄像头获取包含待识别点读对象的第二图像。

本申请还提供一种点读笔系统，包括：计算设备、点读对象识别设备；

所述计算设备，用于获得包含待识别点读对象的图像，将所述图像发送给点读对象识别设备，获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据；

所述点读对象识别设备，用于获得所述计算设备提供的包含待识别点读对象的图像，根据所述图像获得所述待识别点读对象的特征信息，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息向所述计算设备提供与所述待识别点读对象对应的多媒体数据。

本申请还提供一种点读笔，包括笔杆和设置在所述笔杆上用于获取包含待识别点读对象的图像的摄像头。

可选的，所述摄像头设置在所述笔杆的顶部。

可选的，所述摄像头的数量为一个或多个。

可选的，所述摄像头的数量为多个；多个摄像头设置在所述笔杆的顶部。

可选的，所述摄像头的数量为两个；两个摄像头分别设置在所述笔杆的顶部的两侧。

可选的，所述摄像头的镜头竖直向下。

可选的，所述摄像头为可调节角度的摄像头。

可选的，在所述笔杆内部设置有用于获取所述笔杆与预定方向之间的夹角的加速度传感器。

可选的，在所述笔杆上设置有用于触发点读操作的虚拟按键。

可选的，所述虚拟按键设置在所述笔杆的底部。

可选的，所述虚拟按键包括压力传感器。

可选的，所述点读笔，还包括：设置在笔杆上用于发送所述图像的图像发送装置。

可选的，所述图像发送装置还用于对图像进行拼接处理，发送拼接处理后的图像。

可选的，所述点读笔，还包括：设置在笔杆上用于识别所述图像并获得针对所述待识别点读对象的多媒体资源的点读识别装置。

可选的，所述点读笔，还包括：设置在笔杆上用于存储多媒体资源的存储器。

本申请还提供一种计算设备，包括：至少一个摄像头、处理器；

所述至少一个摄像头用于获得包含待识别点读对象的图像；

所述处理器，用于将所述图像发送给点读对象识别设备，获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

可选的，所述计算设备还包括：存储器；

所述存储器，用于存储多媒体资源信息或者待识别点读对象的特征信息与多媒体资源信息之间的对应关系；所述处理器用于执行下述计算机可执行指令：根据所述图像获得所述待识别点读对象的特征信息，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息。

本申请还提供一种计算设备，包括：存储器，以及处理器；

所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：

获得包含待识别点读对象的图像；

根据所述图像获得所述待识别点读对象的特征信息；

本申请还提供一种点读方法，包括：

获得包含待识别点读对象的图像；

根据所述图像获得针对所述待识别点读对象的多媒体资源信息；

本申请还提供一种数据处理方法，包括：

获取包含待识别对象的原始图像，其中，所述原始图像包括来自第一摄像头的第一图像和来自第二摄像头的第二图像；

将所述原始图像发送给第一识别设备；

从所述第一识别设备，获取所述原始图像对应的多媒体资源信息；

展现所述多媒体资源信息。

可选的，所述获取包含待识别对象的原始图像，包括：

获取所述第一图像和所述第二图像；

对所述第一图像和所述第二图像进行拼接处理，获得拼接处理后的图像；

将所述拼接处理后的图像确定为所述原始图像。

可选的，所述第一识别设备为用于通过计算机视觉技术识别点读对象的计算设备。

与现有技术相比，本申请具有以下优点：

本申请提供的一种点读方法，通过将包含待识别点读对象的图像发送给点读对象识别设备，获得点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。由于点读对象识别设备能够得到包含待识别点读对象的图像，可以利用所述图像识别出点读对象，所述图像可以是普通图书的图像，因而不依赖于点读识别码，不要求点读对象中包含诸如OID识别码或MPR码等编码信息，解决了因受限于识别码而只能点读配套的有声图书的问题。

本申请还提供一种点读方法，通过获得包含待识别点读对象的图像，根据所述图像获得所述待识别点读对象的特征信息，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。由于点读对象识别设备能够根据所述图像识别出点读对象，因此不依赖于点读识别码。所述图像可以是普通图书的图像，不要求点对象中包含诸如OID识别码或MPR码等编码信息，从而解决了因受限于识别码而只能点读配套的有声图书的问题。

本申请还提供一种点读笔，包括笔杆和设置在所述笔杆上用于获取包含待识别点读对象的图像的摄像头，能够通过对待识别点读对象的图像进行识别从而获得点读内容，因此可以用于点读普通图书。

附图说明

图1是现有点读笔工作原理示意图；

图2是本申请第一实施例提供的一种点读方法的处理流程图；

图3是本申请第一实施例提供的双摄像头协同获得图像效果示意图；

图4是本申请第二实施例提供的一种点读方法的处理流程图；

图5是本申请第三实施例提供的一种点读笔系统示意图；

图6是本申请第三实施例提供的一种点读笔系统的原理示意图；

图7是本申请第五实施例提供的一种计算设备示意图；

图8是本申请第五实施例提供的一种计算设备示意图；

图9是本申请第六实施例提供的一种计算设备示意图；

图10是本申请第七实施例提供的一种点读方法的处理流程图；

图11是本申请第八实施例提供的一种数据处理方法的处理流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

本申请提供一种点读方法。本申请还提供另一种点读方法。本申请还提供一种点读笔系统。本申请还提供一种点读笔。本申请还提供一种计算设备。本申请还提供另一种计算设备。本申请还提供另一种点读方法。在下面的实施例中逐一进行详细说明。

本申请第一实施例提供一种点读方法。

为便于理解，首先介绍现有点读笔的点读工作原理。点读笔功能在原理上主要依赖笔头上的红外相机识别配套图书上的识别码来实现。

请参考图1，图1给出了现有点读笔工作原理。图中，书本为有声图书。有声图书上的所有内容，都采用了OID识别码和反射红外光的特殊涂料印刷。识别码通常采用隐形制作工艺印刷，隐藏在印刷品的彩色图案之下，其非常小，肉眼难以识别，将书本放大十几倍就可以发现，里面含有丰富的数字信息。每一个OID识别码图形由许多细微的点按照约定的规律所组成，类似于二维码，对应了一组特定的数值。在图1中，光电识别器为点读笔的笔头上包含的光电识别器，用于识别有声图书上的OID识别码。当笔头触碰到图书后例如按键触发，光电识别器就开始扫描笔头接触书页处的OID编码信息，识别到OID码信息后，将其传输到点读笔内部由CPU(Central Processing Unit，中央处理器)进行处理。CPU则会根据OID码从点读笔的存储器中找到预先下载的对应的声音文件，然后通过耳机或者喇叭播放出声音。以此实现点读过程。

OID码数量有限，最多可以有65536个不同的ID，因此能够支持的点读内容量受限。一般厂商会通过先点书本的封面等特殊区域，识别出特定的书后再进行点读书本内容，以此避免ID数量有限的问题。且由于各个没有一个组织来统一管理和分配这些码的使用，也造成了不同厂商之间的点读笔和书籍互不兼容。MPR码是一种矩阵式的二维条码，总量有一万万亿个，基本上可以认为是用不完的。MPR码解决了OID码数量有限的问题，而且国家有专门的机构负责MPR码的分配。但由于MPR标准出现的比较晚，成本也比较高，目前在点读笔上应用的还不多。

本申请提供的点读方法，通过根据包含待识别点读对象的图像识别出点读对象，因此不依赖于点读识别码，不需要预先在点读书本上印刷OID码等信息编码。包含待识别点读对象的图像可以是普通图书的图像，也可以是有声图书的对象，对点读对象没有约束，对普通图书也能用点读笔进行点读。以下结合图2至图3对本申请第一实施例提供的点读方法进行说明。

图2所示的点读方法，包括：步骤S201至步骤S204。

步骤S201，获得包含待识别点读对象的图像。

所谓点读，是指通过用于执行所述点读方法的点读装置，点到点读对象，获得并输出针对点读对象的多媒体数据的技术，例如，点读装置点到书页，获得书页图像，根据书页图像获得点读装置在书页中的点读区域对应的多媒体数据，通过耳机或喇叭播放所述多媒体数据。

所谓点读对象，为包含文图内容的对象，可以为印刷读物。例如图书中的书页。所述待识别点读对象，为包含要点读识别的文图内容的对象，其中，需要识别的文图内容中包含所述点读装置点到的点读区域。例如，包含在图书书页中的文字或图片为点读区域，书页为点读对象。

本实施例中，可以通过摄像头获取所述包含待识别点读对象的图像。摄像头可以为一个或多个。所述摄像头为下述至少一种摄像头：普通摄像头、广角摄像头、全景摄像头。采用广角摄像头能够以较广视角拍摄所述待识别点读对象得到更大范围的图像。采用全景摄像头能以不同角度和方向针对所述待识别点读对象拍摄图像。

本实施例提供的一个具体实施方式中，包含多个摄像头。具体包括：第一摄像头和至少一个第二摄像头，使用第一摄像头获得包含待识别点读对象的第一图像；使用至少一个第二摄像头，获取包含待识别点读对象的至少一个第二图像。在后续步骤中，将第一图像和至少一个第二图像发送给点读识别设备。

例如，采用双广角摄像头采集点读对象图像的点读装置，包括笔杆和设置在笔杆顶部用于采集点读对象的两个摄像头，采用广角摄像头，能更大范围的书本图像。第一摄像头和第二摄像头位于笔杆的顶部的两边，镜头竖直向下拍摄图像，双摄像头协同工作，当一个摄像头无法拍摄足够的点读对象的图像时，另一个摄像头可以拍摄到足够的点读对象的图像用于识别点读对象和定位到点读对象中的点读区域，从而能提供更高的书页识别和点读区域定位的成功率。请参考图3，图中第一图像301为第一摄像头采集的去畸变后的书本图像，当点读的区域位于书页的角落(例如书页的左上角)，由于笔杆和手的遮挡，会导致第一摄像头无法拍摄到足够多的书页图像用于识别点读对象。图中第二图像302为第二摄像头采集的去畸变后的书本图像，第二摄像头拍摄到了更多范围的书页图像可以用于识别出点读对象(即书页)，这样双摄像头协同工作，能提高整体的点读成功率，提升用户体验。

本实施例中提供的点读方法，通过使用摄像头采集点读对象的图像进行视觉识别处理来实现点读功能，因此图像的质量是影响点读成功率的关键因素。为了进一步增强点读的成功率，还包括：获得用于执行所述点读方法的点读装置的位置数据；以便根据位置数据调整点读装置的位置姿势，以便于识别点读对象的角度和方向获得待识别点读对象的图像。所述位置数据，包括下述至少一种数据：所述点读装置与竖直方向之间的夹角角度；所述点读装置与水平方向之间的夹角角度。具体到本步骤则包括下述处理：如果所述位置数据满足位置阈值条件，则获得包含待识别点读对象的图像；如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息。例如，点读装置的笔杆与竖直方向的夹角落在最佳点读角度(如50度)范围内时能得到较好点读效果，则将最佳点读角度范围作为位置阈值条件。则点读装置的笔杆与竖直方向的夹角需要不大于50度，当点读装置的笔杆与竖直方向的夹角大于50度，则不满足位置阈值条件，此时第一摄像头和第二摄像头协同工作也无法拍摄到足够的点读对象的图像；当点读装置的笔杆与竖直方向的夹角小于50度，多摄像头协同工作能得到足够的点读对象的图像，满足位置阈值条件。

本实施例提供的一个具体实施方式中，在用于执行所述点读方法的点读装置上设置用于采集位置数据的传感器，例如在内部放置加速度传感器，用于获得点读装置与预设方向之间的夹角角度。点读装置处理器判断到点读装置倾斜角度过大时，给用户发出语音提示，并且此时无法进行点读。提示用户调整点读装置使得点读装置处于最佳点读角度内，才可以进行点读。从而可以保证摄像头采集的画面质量，提高点读成功率，提升用户体验。

本实施例中，还包括针对点读触发，获得包含待识别点读对象的图像。具体的，包括下述步骤：获得针对具有零键程或微键程的虚拟按键的点读触发；针对所述点读触发，获得包含待识别点读对象的图像。其中，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。现有点读笔一般使用物理按键来触发点读，在点读笔的笔尖位置有物理按键，当用户用笔尖点按书本时，触发点读操作。因为物理按键有键程，即用户“按下——抬起”操作的按键行程，如果为普通物理按键在按键时拍摄点读对象的图像，摄像头处于运动状态，可能会出现摄像头无法聚焦、拍摄的画面模糊等问题，从而图像质量下降导致点读成功率降低。本实施例中采用压力传感器替换行程较大的物理按键和弹簧器件，可以减少点读时摄像头的运动幅度，，使得按键过程中保持摄像头的聚焦，以拍摄出清晰的画面，提高采集的图像质量，进而提升点读的成功率。

步骤S202，将所述图像发送给点读对象识别设备。

所述点读对象识别设备，为可以通过计算机视觉技术识别点读对象的设备。点读对象识别设备既可以是云端的设备，也可以是本地的其他设备，例如，是位于点读装置与云端设备之间的中间设备。

当点读对象识别设备为云端的设备时，所述点读装置将所述图像发送给云端的点读对象识别设备，由云端的点读对象识别设备识别点读对象后，进一步根据点读对象的图像定位到所述点读装置的笔头的点读区域，根据点读对象及点读区域获得对应的多媒体资源信息。例如，点读装置为点读笔，点读笔将书页的图像发送给云端的点读对象识别设备，云端的点读对象识别设备识别出书页ID，并根据图像定位到点读笔的笔头在书页中的点读区域，根据书页ID和点读区域获取对应音频资源的地址，返回给点读笔播放。本实施例通过点读对象图像识别点读对象，不依赖于有声图书上的OID码进行点读，因此预先在云端录入任意图书的页面图片和音频资源，则能够点读普通的图书，不需要专门购买有声图书来点读，减少图书印制成本，可以增强点读笔的应用普适性。

当点读对象识别设备不是云端的设备时，而是本地其他设备，所述其他设备可以是与点读装置连接的中间设备或者是位于点读装置内部的点读对象识别单元。则所述图像发送给所述中间设备进行点读对象识别以及点读区域的定位，或者，在点读装置内部直接进行点读对象识别以及点读区域的定位处理；再进一步获得用于点读的多媒体资源信息，例如音频数据或者音频资源地址。

本实施例提供的一个具体实施方式中，还包括获得针对发送所述图像的触发。具体包括下述处理：获得针对具有零键程或微键程的虚拟按键的点读触发；针对所述点读触发，发送包含待识别点读对象的图像。例如，当用户按下点读按键或者触发虚拟按键时，点读笔同时把多个摄像头的图像发送给点读对象识别设备进行处理。

本实施例提供的一个具体实施方式中，所述点读装置采用双摄像头或者更多的摄像头，使用其中的第一摄像头获得包含待识别点读对象的第一图像；使用至少一个第二摄像头获得包含待识别点读对象的至少一个第二图像，对所述第一图像和所述至少一个第二图像进行拼接处理，将拼接处理后的图像发送给所述点读对象识别设备，例如，在点读装置内先对第一图像和第二图像进行拼接处理后，再发送给云端的点读对象识别设备或者所述中间设备或者点读装置内的点读对象识别单元。在另一个具体实施方式中，将获得的多个图像直接发送给点读对象识别设备进行处理。

步骤S203，获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息。

所述多媒体资源信息，包括与所述点读对象对应的多媒体音视频信息，既可以为多媒体数据的地址信息，也可以为多媒体数据本身。例如，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。

本实施例提供的一个具体实施方式中，所述点读对象识别设备，为云端的设备，点读装置从云端获得所述多媒体资源信息或者由云端设备推送所述多媒体资源信息到点读装置。另一个具体实施方式中，所述点读对象识别设备是位于点读装置与云端设备之间的中间设备或者是位于点读装置内部的点读对象识别单元等本地设备，则从所述本地设备获得所述多媒体资源信息。

步骤S204，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

如果所述多媒体资源信息为多媒体数据的地址信息，则本步骤包括：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。

如果所述多媒体资源信息为多媒体数据，则本步骤包括：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。

本实施例提供的一个具体实施方式中，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。所述输出所述多媒体数据或者输出格式转换后的多媒体数据，包括通过耳机或喇叭播放所述音频数据。

至此，对本申请第一实施例进行了详细介绍，本申请第一实施例提供的点读方法，通过根据计算机视觉技术识别点读对象，从而获得点读对象对应的多媒体资源信息，不依赖于有声图书上的OID码进行点读，因此预先录入任意图书的页面图片和音频资源，就能够点读普通的图书，无需专门购买有声图书来点读，解决了受限于识别码导致的只能点读配套的有声图书的问题，，减少图书印制成本，并且增强了点读笔的应用普适性。

以上述实施例为基础，本申请第二实施例提供了一种点读方法。

以下结合图4对本申请第二实施例提供的点读方法进行说明。

图4所示的点读方法，包括：步骤S401至步骤S404。

步骤S401，获得包含待识别点读对象的图像。

所述获得包含待识别点读对象的图像，包括接收点读装置发送的待识别点读对象的图像。

用于执行所述点读方法的实体，为基于计算机视觉技术识别点读对象的点读对象识别设备。点读对象识别设备既可以是云端的设备，也可以是本地的其他设备，例如，是本地的位于点读装置与云端设备之间的中间设备，或者，是点读装置包含的点读对象识别单元。

本实施例中，用于执行所述点读方法的实体为云端的设备或者所述中间设备，如果所述点读装置包括多个摄像头，并且所述点读装置发送了包含待识别点读对象的多个图像，则本步骤包括下述处理：获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像；对所述第一图像和所述第二图像进行拼接处理，得到所述包含待识别点读对象的图像。即由所述云端的设备或者所述中间设备对多个图像进行拼接处理。当然，所述点读装置也可能发送拼接后的图像，则获得的所述包含待识别点读对象的图像为拼接后的图像。

本实施例提供的一个具体实施方式中，用于执行所述点读方法的实体为点读装置包含的点读对象识别单元，本步骤包括下述处理：获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像；对所述第一图像和所述第二图像进行拼接处理，得到所述包含待识别点读对象的图像。其中，所述获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像，包括：使用第一摄像头获取包含待识别点读对象的第一图像，使用第二摄像头获取包含待识别点读对象的第二图像。

步骤S402，根据所述图像获得所述待识别点读对象的特征信息。

所述特征信息，可以是点读对象的标识信息，例如书页ID；也可以是点读对象中的点读区域信息。

本实施例提供的一个具体实施方式中，所述根据所述图像获得所述待识别点读对象的特征信息，包括：

将所述图像与点读资源库中的图像进行匹配，检索对应的图像；

根据所述图像与对应的图像之间的变换关系，定位到点读装置的笔头的位置；

由所述位置确定点读区域信息，所述点读区域信息为所述特征信息。

其中，所述点读资源库存储有包含点读对象信息并且用于确立点读对象和对应的多媒体资源信息的对应关系的图像。

步骤S403，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息。

本实施例提供的一个具体实施方式中，包括：根据所述图像，获得所述图像对应的点读对象标识；本步骤中，根据所述图像对应的点读对象标识获得针对所述待识别点读对象的多媒体资源信息。

本实施例提供的一个具体实施方式中，包括：根据所述图像，获得所述图像对应的点读对象标识；根据所述点读对象标识，获得点读区域信息；本步骤中，根据所述点读区域信息获得针对所述待识别点读对象的多媒体资源信息。进一步的，通过下述处理获得针对所述待识别点读对象的多媒体资源信息：根据所述点读区域判断点读装置的笔头的位置是否对应多媒体资源信息；如果是，则根据所述点读区域获得所述多媒体资源信息。

本实施例中，所述根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，包括：

根据所述待识别点读对象的特征信息获得点读资源索引；

根据所述点读资源索引，从点读资源库中检索出针对所述待识别点读对象的多媒体资源信息；或者，根据所述点读资源索引，从点读资源库中检索出所述待识别点读对象的特征信息与多媒体资源的对应关系，根据所述对应关系获得所述多媒体资源。多媒体资源信息为多媒体资源地址或多媒体数据。

步骤S404，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

本实施例提供的一个具体实施方式中，用于执行所述点读方法的实体为点读装置包含的点读对象识别单元，本步骤中，所述根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据，包括播放所述多媒体数据。

本实施例提供的一个具体实施方式中，用于执行所述点读方法的实体为云端的设备，本步骤中，所述根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据，包括将所述多媒体数据发送给点读装置。采用云端的设备根据点读对象的图像识别点读对象，并根据点读装置的笔头定位到点读区域，从而实现点读，因此对于点读书本的数量扩展没有限制，不存在OID码的数量限制以及MPR码成本高的问题。

本实施例中，还包括对点读资源进行管理。具体包括下述处理：获得新的点读资源，将所述新的点读资源增加到所述点读资源库；和/或，升级所述点读资源库中的点读资源。由于可以在用户无感知情况下，对于位于云端的点读资源库进行升级或增加新点读资源，因此用户体验较好。

至此，本申请第二实施例提供一种点读方法，根据包含点读对象的图像获得点读对象的特征信息，根据所述特征信息获得对应的多媒体资源信息，输出所述多媒体数据。例如，将多媒体数据输出给点读装置，由点读装置播放多媒体数据。由于不依赖于有声图书上的OID码进行点读，因此预先录入图书的页面图像和对应的多媒体资源例如音频资源，则能够点读普通图书，不需要专门购买有声图书来点读，能减少图书印制成本，增强点读笔和点读资源兼容性。

以上述实施例为基础，本申请第三实施例提供一种点读笔系统。

以下结合图5至图6对本申请第三实施例提供的点读笔系统进行说明。

图5所示的点读笔系统，包括：计算设备501、点读对象识别设备502。

所述计算设备501，用于获得包含待识别点读对象的图像，将所述图像发送给点读对象识别设备，获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

所述计算设备501，包括至少一个摄像头，具体包括：第一摄像头和至少一个第二摄像头；所述第一摄像头用于获得包含待识别点读对象的第一图像；所述第二摄像头用于获得包含待识别点读对象的至少一个第二图像。所述至少一个摄像头，包括下述至少一种摄像头：普通摄像头、广角摄像头、全局摄像头。

所述计算设备501将所述第一图像和所述至少一个第二图像发送给所述点读对象识别设备；相应的，所述点读对象识别设备502用于获得所述第一图像和所述第二图像；拼接所述第一图像和所述第二图像。

所述计算设备501也可以对所述第一图像和所述至少一个第二图像进行拼接处理，将拼接处理后的图像发送给所述点读对象识别设备。

所述计算设备501还用于：获得用于执行所述点读方法的点读装置的位置数据；具体的，通过设置的加速度传感器获取所述位置数据。如果所述位置数据满足位置阈值条件，则获得包含待识别点读对象的图像；如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息，例如语音提示调整点读装置的位置。其中，所述位置数据，包括下述至少一种数据：所述点读装置与竖直方向之间的夹角角度；所述点读装置与水平方向之间的夹角角度。所述位置阈值条件，可以是最佳点读角度，即点读装置的笔杆与竖直方向的夹角落在最佳点读角度范围内时能得到较好点读效果。

所述计算设备501还用于：获得针对具有零键程或微键程的虚拟按键的点读触发；针对所述点读触发，获得包含待识别点读对象的图像。其中，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。

所述计算设备501可以通过无线网络或有线网络连接到所述点读对象识别设备502。

本实施例中，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。如果所述多媒体资源信息为多媒体数据的地址信息，所述计算设备501用于：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。如果所述多媒体资源信息为多媒体数据，所述计算设备501用于：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。

所述点读对象识别设备502，用于获得所述计算设备提供的包含待识别点读对象的图像，根据所述图像获得所述待识别点读对象的特征信息，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息向所述计算设备提供与所述待识别点读对象对应的多媒体数据。

所述点读对象识别设备502，用于获得拼接后的图像；或者，获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像；对所述第一图像和所述第二图像进行拼接处理，得到所述包含待识别点读对象的图像。

所述点读对象识别设备502，用于根据所述图像，获得所述图像对应的点读对象标识；根据所述图像对应的点读对象标识获得针对所述待识别点读对象的多媒体资源信息。

所述点读对象识别设备502，用于根据所述图像，获得所述图像对应的点读对象标识；根据所述点读对象标识，获得点读区域信息；根据所述点读区域信息获得针对所述待识别点读对象的多媒体资源信息。

所述点读对象识别设备502，用于将所述图像与点读资源库中的图像进行匹配，检索对应的图像；根据所述图像与对应的图像之间的变换关系，定位到点读装置的笔头的位置；由所述位置确定点读区域信息，所述点读区域信息为所述特征信息。其中，所述点读资源库存储有包含点读对象信息并且用于确立点读对象和对应的多媒体资源信息的对应关系的图像。

所述点读对象识别设备502，用于根据所述待识别点读对象的特征信息获得点读资源索引；根据所述点读资源索引，从点读资源库中检索出针对所述待识别点读对象的多媒体资源信息；或者，根据所述点读资源索引，从点读资源库中检索出所述待识别点读对象的特征信息与多媒体资源的对应关系，根据所述对应关系获得所述多媒体资源。

所述点读对象识别设备502，用于获得新的点读资源，将所述新的点读资源增加到所述点读资源库；和/或，升级所述点读资源库中的点读资源。

请参考图6，图6示出了一种点读笔系统的示意图，其中，所述计算设备部署于图中的点读笔，所述点读对象识别设备部署于位于云端的设备。按下点读触发按钮后，摄像头拍摄一帧图像或一帧画面，所述图像为包含点读对象的图像，所述图像被发送到云端的点读对象识别设备；所述点读对象识别设备识别所述图像，获取点读对象ID(对应图中的书页ID)，定位出点读笔的笔头的点读区域，根据所述点读区域获得对应的多媒体资源信息，例如音频资源地址，将所述多媒体资源信息发送给点读笔；点读笔输出所述多媒体资源信息，例如，获得音频数据，播放音频数据。

以上述实施例为基础，本申请第四实施例提供一种点读笔。以下对本申请第四实施例提供的点读笔进行说明。

第四实施例提供的点读笔，包括：包括笔杆和设置在所述笔杆上用于获取包含待识别点读对象的图像的摄像头。

本实施例中，所述摄像头设置在所述笔杆的顶部。所述摄像头的数量为一个或多个。

本实施例的一个具体实施方式中，所述摄像头的数量为多个；多个摄像头设置在所述笔杆的顶部。

本实施例的一个具体实施方式中，所述摄像头的数量为两个；两个摄像头分别设置在所述笔杆的顶部的两侧。

进一步的，所述摄像头的镜头竖直向下。

进一步的，所述摄像头为可调节角度的摄像头。

本实施例中，在所述笔杆内部设置有用于获取所述笔杆与预定方向之间的夹角的加速度传感器。

本实施例中，在所述笔杆上设置有用于触发点读操作的虚拟按键。

进一步的，本实施例的一个具体实施方式中，所述虚拟按键设置在所述笔杆的底部。

本实施例的一个具体实施方式中，所述虚拟按键包括压力传感器。

本实施例中，所述点读笔还包括：设置在笔杆上用于发送所述图像的图像发送装置。

进一步的，所述图像发送装置还用于对图像进行拼接处理，发送拼接处理后的图像。

本实施例中，所述点读笔还包括：设置在笔杆上用于识别所述图像并获得针对所述待识别点读对象的多媒体资源的点读识别装置。

本实施例中，所述点读笔，还包括：设置在笔杆上用于存储多媒体资源的存储器。

以上述实施例为基础，本申请第五实施例还提供了一种计算设备。以下结合图7至图8对第五实施例提供的计算设备进行说明。

图7所示的计算设备包括：至少一个摄像头701、处理器702；

所述至少一个摄像头701，用于获得包含待识别点读对象的图像；

所述处理器702，用于将所述图像发送给点读对象识别设备，获得所述点读对象识别设备提供的针对所述待识别点读对象的多媒体资源信息，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

可选的，所述至少一个摄像头701，包括第一摄像头和至少一个第二摄像头；所述第一摄像头用于获得包含待识别点读对象的第一图像；所述至少一个第二摄像头，获取包含待识别点读对象的至少一个第二图像；相应的，所述处理器602用于：将所述第一图像发送给所述点读对象识别设备，将所述至少一个第二图像发送给所述点读对象识别设备。

可选的，所述处理器702用于：对所述第一图像和所述至少一个第二图像进行拼接处理，将拼接处理后的图像发送给所述点读对象识别设备。

可选的，所述处理器702用于：获得用于执行所述点读方法的点读装置的位置数据；如果所述位置数据满足位置阈值条件，则获得包含待识别点读对象的图像。

可选的，所述处理器702用于如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息。

可选的，所述位置数据，包括下述至少一种数据：所述点读装置与竖直方向之间的夹角角度；所述点读装置与水平方向之间的夹角角度。

可选的，所述处理器702用于：获得针对具有零键程或微键程的虚拟按键的点读触发；针对所述点读触发，获得包含待识别点读对象的图像。

可选的，所述多媒体资源信息为多媒体数据的地址信息；所述处理器702用于：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。

可选的，所述多媒体资源信息为多媒体数据；所述处理器702用于：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。

可选的，所述点读对象，为印刷读物。

在图7所示的计算设备基础之上，本实施例还提供一种计算设备，所述计算设备还包括存储器，请参考图8，图中存储器803，用于存储多媒体资源信息或者待识别点读对象的特征信息与多媒体资源信息之间的对应关系；所述处理器用于执行下述计算机可执行指令：根据所述图像获得所述待识别点读对象的特征信息，根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息。

与第二实施例相对应，本申请第六实施例还提供了一种计算设备。以下结合图9对第六实施例提供的计算设备进行说明。

图9所示的计算设备包括：存储器901，以及处理器902；

所述存储器901用于存储计算机可执行指令；所述处理器902用于执行所述计算机可执行指令：

获得包含待识别点读对象的图像；

根据所述图像获得所述待识别点读对象的特征信息；

可选的，所述处理器902还用于执行下述计算机可执行指令：根据所述图像，获得所述图像对应的点读对象标识；根据所述图像对应的点读对象标识获得针对所述待识别点读对象的多媒体资源信息。

可选的，所述处理器902还用于执行下述计算机可执行指令：根据所述图像，获得所述图像对应的点读对象标识；根据所述点读对象标识，获得点读区域信息；根据所述点读区域信息获得针对所述待识别点读对象的多媒体资源信息。

可选的，所述处理器902还用于执行下述计算机可执行指令：

根据所述待识别点读对象的特征信息获得点读资源索引；

可选的，所述处理器902还用于执行下述计算机可执行指令：获得新的点读资源，将所述新的点读资源增加到所述点读资源库；和/或，升级所述点读资源库中的点读资源。

可选的，所述处理器902还用于执行下述计算机可执行指令：获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像；对所述第一图像和所述第二图像进行拼接处理，得到所述包含待识别点读对象的图像。

可选的，所述处理器902还用于执行下述计算机可执行指令：使用第一摄像头获取包含待识别点读对象的第一图像，使用第二摄像头获取包含待识别点读对象的第二图像。

以上述实施例为基础，本申请第七实施例提供了一种点读方法，以下结合图10对第七实施例提供的点读方法进行说明。

图10所示的点读方法，包括：步骤S1001至步骤S1003。

步骤S1001，获得包含待识别点读对象的图像。

本实施例中，通过至少一个摄像头获得所述图像。所述至少一个摄像头包括：第一摄像头和至少一个第二摄像头；所述第一摄像头用于获得包含待识别点读对象的第一图像；所述第二摄像头用于获得包含待识别点读对象的至少一个第二图像。所述至少一个摄像头，包括下述至少一种摄像头：普通摄像头、广角摄像头、全局摄像头。

本实施例提供的一个具体实施方式中，所述获得包含待识别点读对象的图像，包括：对所述第一图像和所述至少一个第二图像进行拼接，将拼接后的图像作为所述包含待识别点读对象的图像。

由于本实施例中通过使用摄像头采集点读对象的图像，根据所述图像进行视觉识别处理来实现点读功能，因此图像的质量是影响点读成功率的关键因素。为了进一步获得高质量的图像，以增强点读的成功率，本实施例的一个具体实施方式中还包括：获得用于执行所述点读方法的点读装置的位置数据；具体的，通过设置的加速度传感器获取所述位置数据。进一步的，如果所述位置数据满足位置阈值条件，则获得包含待识别点读对象的图像；如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息，例如语音提示调整点读装置的位置。其中，所述位置数据，包括下述至少一种数据：所述点读装置与竖直方向之间的夹角角度；所述点读装置与水平方向之间的夹角角度。所述位置阈值条件，可以是最佳点读角度，即点读装置的笔杆与竖直方向的夹角落在最佳点读角度范围内时能得到较好点读效果。

本实施例中，为进一步提高所述图像的质量，还包括：获得针对具有零键程或微键程的虚拟按键的点读触发；针对所述点读触发，获得包含待识别点读对象的图像。其中，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。相比普通按键具有的“按下—抬起”按键行程，所述虚拟按键具有零键程按键或微键程，使得按键过程中摄像头不出现明显的运动，保持摄像头的聚焦、拍摄出清晰的画面。

步骤S1002，根据所述图像获得针对所述待识别点读对象的多媒体资源信息。

本实施例中，包括识别所述图像，获得对应的多媒体资源信息。具体包括：根据所述图像获得所述待识别点读对象的特征信息；根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息。

本实施例提供的一个具体实施方式中，所述点读对象的特征信息包括点读对象标识，本步骤中包括下述处理：根据所述图像，获得所述图像对应的点读对象标识；根据所述图像对应的点读对象标识获得针对所述待识别点读对象的多媒体资源信息。

本实施例提供的一个具体实施方式中，所述点读对象的特征信息包括点读区域信息，则本步骤中包括下述处理：根据所述图像，获得所述图像对应的点读对象标识；根据所述点读对象标识，获得点读区域信息；根据所述点读区域信息获得针对所述待识别点读对象的多媒体资源信息。

本实施例提供的一个具体实施方式中，具体通过下述处理获取所述点读区域：将所述图像与点读资源库中的图像进行匹配，检索对应的图像；根据所述图像与对应的图像之间的变换关系，定位到点读装置的笔头的位置；由所述位置确定点读区域信息，所述点读区域信息为所述特征信息。其中，所述点读资源库存储有包含点读对象信息并且用于确立点读对象和对应的多媒体资源信息的对应关系的图像。

本实施例提供的一个具体实施方式中，具体通过下述处理获取所述多媒体资源信息：根据所述待识别点读对象的特征信息获得点读资源索引；根据所述点读资源索引，从点读资源库中检索出针对所述待识别点读对象的多媒体资源信息；或者，根据所述点读资源索引，从点读资源库中检索出所述待识别点读对象的特征信息与多媒体资源的对应关系，根据所述对应关系获得所述多媒体资源。进一步的，还包括：获得新的点读资源，将所述新的点读资源增加到所述点读资源库；和/或，升级所述点读资源库中的点读资源。提升用户体验。

步骤S1003，根据所述多媒体资源信息输出与所述待识别点读对象对应的多媒体数据。

本实施例中，所述多媒体资源信息包括音频资源信息，所述多媒体数据包括音频数据。如果所述多媒体资源信息为多媒体数据的地址信息，则本步骤中包括：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。如果所述多媒体资源信息为多媒体数据，则本步骤中包括：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。

以上述实施例为基础，本申请第八实施例提供了一种数据处理方法，以下结合图11对第八实施例提供的数据处理方法进行说明。

图11所示的数据处理方法，包括：步骤S1101至步骤S1104。

步骤S1101，获取包含待识别对象的原始图像，其中，所述原始图像包括来自第一摄像头的第一图像和来自第二摄像头的第二图像。

本实施例中，所述第一摄像头和所述第二摄像头，各自包括下述至少一种摄像头：普通摄像头、广角摄像头、全局摄像头。

本实施例中通过使用摄像头采集待识别对象的原始图像，进一步在所述原始图像的基础上进行视觉识别处理，以获取所述原始图像对应的多媒体资源信息，因此原始图像的质量是影响获取所述多媒体资源信息的成功率的关键因素。为了进一步获得高质量的原始图像，以提高所述成功率，本实施例的一个具体实施方式中还包括：获得用于执行所述数据处理方法的装置的位置数据；具体的，通过设置的加速度传感器获取所述位置数据。进一步的，如果所述位置数据满足位置阈值条件，则获得包含待识别对象的原始图像；如果所述位置数据不满足所述位置阈值条件，则输出调整所述装置的位置的提示信息，例如语音提示调整所述装置的位置。其中，所述位置数据，包括下述至少一种数据：所述装置与竖直方向之间的夹角角度；所述装置与水平方向之间的夹角角度。所述位置阈值条件，可以是所述装置的笔杆与竖直方向的夹角落在最佳角度范围。

本实施例中，为进一步提高所述原始图像的质量，还包括：获得针对具有零键程或微键程的虚拟按键的识别触发；针对所述识别触发，获得包含待识别对象的原始图像。其中，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。相比普通按键具有的“按下—抬起”按键行程，所述虚拟按键具有零键程按键或微键程，使得按键过程中摄像头不出现明显的运动，保持摄像头的聚焦、拍摄出清晰的画面。

本实施例中，为进一步使得摄像头拍摄到更大区域或范围的待识别对象的原始图像，解决待识别对象可能被遮挡的问题，将第一摄像头和第二摄像头设置在用于执行所述数据处理方法的装置的笔杆头部的两侧，镜头竖直向下。

本实施例中的一个具体实施方式，所述获取包含待识别对象的原始图像，包括：获取所述第一图像和所述第二图像；对所述第一图像和所述第二图像进行拼接处理，获得拼接处理后的图像；将所述拼接处理后的图像确定为所述原始图像。

步骤S1102，将所述原始图像发送给第一识别设备。

所述第一识别设备，为用于通过计算机视觉技术识别点读对象的计算设备。所述计算设备可以是云端设备，当然也可以是非云端设备。其中，所述非云端设备，可以是用于执行所述数据处理方法的设备上的终端识别单元；也可以是位于云端和用于执行所述数据处理方法的设备之间的中间识别设备。

本实施例中的一个实施方式中，所述将所述原始图像发送给第一识别设备，包括将对所述第一图像和所述第二图像拼接处理得到的原始图像发送给所述第一识别设备，由第一识别设备根据所述原始图像采用计算机视觉技术进行图像识别并获取所述原始图像对应的多媒体资源信息。

本实施例中的另一个实施方式，所述将所述原始图像发送给第一识别设备，包括将所述第一图像和所述第二图像分别发送给所述第一识别设备，第一识别设备根据所述第一图像和所述第二图像采用计算机视觉技术进行图像识别并获取所述原始图像对应的多媒体资源信息，优选的，第一识别设备对第一图像和第二图像进行拼接处理，采用计算机视觉技术对拼接处理后的图像进行识别并获取所述原始图像对应的多媒体资源信息。例如，第一识别设备根据原始图像，或者根据对第一图像和第二图像拼接处理后的图像，获得所述待识别对象的标识；根据所述对象标识，获得所述待识别对象中的点读区域信息；根据所述点读区域信息获得针对所述待识别对象的多媒体资源信息。

步骤S1103，从所述第一识别设备，获取所述原始图像对应的多媒体资源信息。

所述多媒体资源信息，包括与所述待识别对象对应的多媒体音视频信息，既可以为多媒体数据的地址信息，也可以为多媒体数据本身。例如，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。

本实施例中，如果所述第一识别设备为云端设备，则用于执行所述数据处理方法的装置从云端获得所述多媒体资源信息或者由云端设备推送所述多媒体资源信息到所述装置。如果所述第一识别设备是位于所述装置与云端设备之间的中间设备或者是位于所述装置内部的识别单元等设备，还可以从其他非云端的本地设备获得所述多媒体资源信息。

步骤S1104，展现所述多媒体资源信息。

本实施例中，所述多媒体资源信息包括音频资源信息，所述多媒体数据包括音频数据。如果所述多媒体资源信息为多媒体数据的地址信息，则本步骤中包括：根据所述多媒体数据的地址信息，获取与所述原始图像对应的多媒体数据；展现所述多媒体数据。如果所述多媒体资源信息为多媒体数据，则本步骤中包括：展现所述多媒体数据；或者，对所述多媒体数据进行格式转换，展现格式转换后的多媒体数据。所述展现所述多媒体数据或者展现格式转换后的多媒体数据，包括通过耳机或喇叭播放所述音频数据。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims

1.一种点读方法，其特征在于，包括：

获得包含待识别点读对象的图像；

将所述图像发送给点读对象识别设备；

2.根据权利要求1所述的方法，其特征在于，所述获得包含待识别点读对象的图像，包括：使用第一摄像头获得包含待识别点读对象的第一图像；

3.根据权利要求2所述的方法，其特征在于，所述获得包含待识别点读对象的图像，还包括：

4.根据权利要求1所述的方法，其特征在于，还包括：获得用于执行所述点读方法的点读装置的位置数据；

5.根据权利要求4所述的方法，其特征在于，还包括：如果所述位置数据不满足所述位置阈值条件，则输出调整所述点读装置的位置的提示信息。

6.根据权利要求4或5所述的方法，其特征在于，所述位置数据，包括下述至少一种数据：

所述点读装置与竖直方向之间的夹角角度；

所述点读装置与水平方向之间的夹角角度。

7.根据权利要求1所述的方法，其特征在于，还包括：获得针对具有零键程或微键程的虚拟按键的点读触发；

8.根据权利要求7所述的方法，其特征在于，所述虚拟按键为基于压力传感器的零键程按键或微键程按键。

9.根据权利要求1所述的方法，其特征在于，所述多媒体资源信息为多媒体数据的地址信息；

输出所述与所述待识别点读对象对应的多媒体数据。

10.根据权利要求1所述的方法，其特征在于，所述多媒体资源信息为多媒体数据；

输出所述多媒体数据；

11.根据权利要求1、9或10所述的方法，其特征在于，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。

12.根据权利要求1所述的方法，其特征在于，所述点读对象，为印刷读物。

13.一种点读方法，其特征在于，包括：

获得包含待识别点读对象的图像；

根据所述图像获得所述待识别点读对象的特征信息；

14.根据权利要求13所述的方法，其特征在于，所述根据所述图像获得所述待识别点读对象的特征信息，包括：根据所述图像，获得所述图像对应的点读对象标识；

15.根据权利要求13所述的方法，其特征在于，所述根据所述图像获得所述待识别点读对象的特征信息，包括：

根据所述图像，获得所述图像对应的点读对象标识；

根据所述点读对象标识，获得点读区域信息；

16.根据权利要求13所述的方法，其特征在于，所述根据所述待识别点读对象的特征信息获得针对所述待识别点读对象的多媒体资源信息，包括：

根据所述待识别点读对象的特征信息获得点读资源索引；

17.根据权利要求13所述的方法，其特征在于，所述多媒体资源信息为多媒体资源地址或多媒体数据。

18.根据权利要求17所述的方法，其特征在于，还包括：

升级所述点读资源库中的点读资源。

19.根据权利要求13所述的方法，其特征在于，所述获得包含待识别点读对象的图像，包括：

20.根据权利要求19所述的方法，其特征在于，所述获得包含待识别点读对象的第一图像和包含待识别点读对象的第二图像，包括：使用第一摄像头获取包含待识别点读对象的第一图像，使用第二摄像头获取包含待识别点读对象的第二图像。

21.一种点读笔系统，其特征在于，包括：计算设备、点读对象识别设备；

22.一种点读笔，其特征在于，包括笔杆和设置在所述笔杆上用于获取包含待识别点读对象的图像的摄像头。

23.根据权利要求22所述的点读笔，其特征在于，所述摄像头设置在所述笔杆的顶部。

24.根据权利要求22所述的点读笔，其特征在于，所述摄像头的数量为一个或多个。

25.根据权利要求24所述的点读笔，其特征在于，所述摄像头的数量为多个；多个摄像头设置在所述笔杆的顶部。

26.根据权利要求25所述的点读笔，其特征在于，所述摄像头的数量为两个；两个摄像头分别设置在所述笔杆的顶部的两侧。

27.根据权利要求24至26任一项所述的点读笔，其特征在于，所述摄像头的镜头竖直向下。

28.根据权利要求22所述的点读笔，其特征在于，所述摄像头为可调节角度的摄像头。

29.根据权利要求22所述的点读笔，其特征在于，在所述笔杆内部设置有用于获取所述笔杆与预定方向之间的夹角的加速度传感器。

30.根据权利要求22所述的点读笔，其特征在于，在所述笔杆上设置有用于触发点读操作的虚拟按键。

31.根据权利要求30所述的点读笔，其特征在于，所述虚拟按键设置在所述笔杆的底部。

32.根据权利要求30或31所述的点读笔，其特征在于，所述虚拟按键包括压力传感器。

33.根据权利要求22所述的点读笔，其特征在于，所述点读笔，还包括：设置在笔杆上用于发送所述图像的图像发送装置。

34.根据权利要求33所述的点读笔，其特征在于，所述图像发送装置还用于对图像进行拼接处理，发送拼接处理后的图像。

35.根据权利要求22所述的点读笔，其特征在于，所述点读笔，还包括：设置在笔杆上用于识别所述图像并获得针对所述待识别点读对象的多媒体资源的点读识别装置。

36.根据权利要求22所述的点读笔，其特征在于，所述点读笔，还包括：设置在笔杆上用于存储多媒体资源的存储器。

37.一种计算设备，其特征在于，包括：至少一个摄像头、处理器；

所述至少一个摄像头用于获得包含待识别点读对象的图像；

38.根据权利要求37所述的计算设备，其特征在于，还包括：存储器；

39.一种计算设备，其特征在于，包括：存储器，以及处理器；

获得包含待识别点读对象的图像；

根据所述图像获得所述待识别点读对象的特征信息；

40.一种点读方法，其特征在于，包括：

获得包含待识别点读对象的图像；

41.一种数据处理方法，其特征在于，包括：

将所述原始图像发送给第一识别设备；

展现所述多媒体资源信息。

42.根据权利要求41所述的方法，其特征在于，所述获取包含待识别对象的原始图像，包括：

获取所述第一图像和所述第二图像；

将所述拼接处理后的图像确定为所述原始图像。

43.根据权利要求41所述的方法，其特征在于，所述第一识别设备为用于通过计算机视觉技术识别点读对象的计算设备。