CN111695372B - 点读方法及点读数据处理方法 - Google Patents

点读方法及点读数据处理方法 Download PDF

Info

Publication number
CN111695372B
CN111695372B CN201910184699.4A CN201910184699A CN111695372B CN 111695372 B CN111695372 B CN 111695372B CN 201910184699 A CN201910184699 A CN 201910184699A CN 111695372 B CN111695372 B CN 111695372B
Authority
CN
China
Prior art keywords
image
click
female parent
resource
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910184699.4A
Other languages
English (en)
Other versions
CN111695372A (zh
Inventor
李博韧
王全占
古鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910184699.4A priority Critical patent/CN111695372B/zh
Publication of CN111695372A publication Critical patent/CN111695372A/zh
Application granted granted Critical
Publication of CN111695372B publication Critical patent/CN111695372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种点读方法，包括：获得包含待识别点读对象的源图像；获得与所述源图像匹配的图像母本；根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；输出所述多媒体资源信息。采用上述方法，解决了现有的点读技术中点读笔存在的能点读的内容受限以及推广成本高的问题，以及现有点读机存在点读内容受限、操作繁琐、推广成本高以及便携度受限的问题。

Description

点读方法及点读数据处理方法
技术领域
本申请涉及点读技术领域，具体涉及一种点读方法及计算设备。本申请同时涉及一种点读数据处理方法及计算设备。
背景技术
点读笔或点读机通过点读操作使儿童主动探索世界，通过触觉、视觉、听觉等感官来丰富其体验，增长学习兴趣，开发智力，现已成为被用户广泛接受的较成熟的教育类电子产品。所谓点读操作，是指针对配套图书点哪读哪的操作；配套图书通常称为有声图书。纸质书籍与点读笔或点读机结合带来的多媒体体验相比手机、平板电脑等电子产品更具护眼功能。
目前，点读笔主要依赖笔头上的红外相机识别与之配套的有声图书上的识别码来实现点读功能。基于识别码的点读笔存在以下问题：有声图书需要在已有印刷书籍上铺码，即印刷识别码，铺码的时间成本和印制成本较高，从而导致点读笔推广成本提升；点读笔早期缺乏统一标准，造成了铺码规范不统一，因此使得不同厂商生产的点读笔和书籍存在兼容性问题；有声图书上的识别码能够被盗版点读笔利用来获取正版资源，从而使得盗版点读笔的硬件成本大大低于正版点读笔，获得不正当竞争优势。因此，现有点读笔存在能点读的内容受限以及推广成本高的问题。
点读机主要依赖于感应平板进行定位实现点读功能。点读机通过感应平板获得专用笔(或手指)所点之处的坐标，利用该坐标和预先配置的对应该坐标的内容，播放多媒体资源。然而，点读机存在如下问题：需要用户选中对应的页码才能正确点读，操作繁琐；书本大小各异而点读机尺寸有限，使得点读机能适应的书本大小受限；感应平板使得点读机成本较高；感应平板面积应大于等于常用书本尺寸，使得点读机便携度受限。因此，现有点读机存在点读内容受限、操作繁琐、推广成本高以及便携度受限的问题。
发明内容
本申请提供一种点读方法，解决了现有的点读技术中点读笔存在的能点读的内容受限以及推广成本高的问题，以及现有点读机存在点读内容受限、操作繁琐、推广成本高以及便携度受限的问题。
本申请提供一种点读方法，包括：
获得包含待识别点读对象的源图像；
获得与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；
根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；
输出所述多媒体资源信息。
可选的，所述获得与所述源图像匹配的图像母本，包括：
根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本。
可选的，所述根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本，包括：
获取所述源图像的特征向量；
在存储有图像母本的图像母本库中检索特征向量与所述源图像的特征向量的相似度满足特征相似度阈值的图像母本。
可选的，所述根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本，包括：
利用卷积神经网络或尺度不变特征检测技术，在所述图像母本库中检索与所述源图像的相似度满足相似度阈值的图像母本。
可选的，所述方法还包括：
获得包含所述待识别点读对象的载体对象的类别特征；
根据所述类别特征获得存储有图像母本的图像母本库。
可选的，所述载体对象为印刷物，所述类别特征为印刷物的封面特征。
可选的，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息，包括：
获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系；
根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息。
可选的，所述获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系，包括：
获取所述源图像的第一局部特征信息；
获取所述图像母本的第二局部特征信息；
根据第一局部特征信息、第二局部特征信息、以及第一局部特征信息与第二局部特征信息的特征匹配关系，确定用于拟合所述映射关系的至少4对对应点；
根据所述至少4对对应点确定用于描述所述映射关系的单应性矩阵。
可选的，所述至少4对对应点包括4对对应点；所述单应性矩阵为自由度为8的单应性矩阵。
可选的，所述根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息，包括：
将所述待识别点读对象在所述源图像的坐标系中的第一坐标数据，通过所述单应性矩阵进行变换，得到所述待识别点读对象的第二坐标数据；其中，所述第二坐标数据为在与所述源图像匹配的图像母本的坐标系中，所述待识别点读对象对应的坐标数据；
将所述第二坐标数据确定为所述定位信息。
可选的，所述方法还包括：根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域；
所述根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息，包括：根据所述资源标记区域获得所述多媒体资源信息。
可选的，所述根据所述资源标记区域获得所述多媒体资源信息，包括：向存储有所述多媒体资源信息的多媒体资源信息库发送包含有所述资源标记区域的资源获取请求。
可选的，所述图像母本的资源标记区域为矩形区域；
所述根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域，包括：判断所述第二坐标数据是否在所述矩形区域内；如果是，则确定所述资源标记区域为所述待识别点读对象对应的所述图像母本的资源标记区域。
可选的，所述根据所述资源标记区域获得所述多媒体资源信息，包括：
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。
可选的，所述获得包含待识别点读对象的源图像，包括：通过至少一个设置在点读装置上的摄像头获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。
可选的，所述至少一个摄像头，包括背靠背设置的双目摄像头或者按照预设夹角安装的多个摄像头。
本申请还提供一种点读数据处理方法，包括：
获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；
获得与点读对象对应的多媒体资源信息；
建立所述资源标记区域与所述多媒体资源信息之间的关联关系。
可选的，所述获得包含资源标记区域的图像母本，包括：扫描包含点读对象的载体对象，获得扫描图像，将所述扫描图像作为所述图像母本；或者，从矢量版PDF获取图像，将获取的图像作为所述图像母本；其中，所述图像母本中对应点读对象的区域为资源标记区域。
可选的，所述建立所述资源标记区域与所述多媒体资源信息之间的关联关系，包括：使用资源配置掩码，建立所述资源标记区域与所述多媒体资源信息之间的关联关系；其中，所述资源配置掩码为图像掩码，并且所述图像掩码的掩码矩阵的行数与所述图像母本的图像矩阵的行数相同，所述图像掩码的掩码矩阵的列数与所述图像母本的图像矩阵的列数相同。
可选的，所述资源配置掩码包括所述待识别点读对象所对应的资源标识。
可选的，所述资源标记区域为矩形区域。
可选的，所述方法还包括：
获得针对与所述源图像匹配的图像母本的检索请求；
输出所述与所述源图像匹配的图像母本；所述图像母本中包含有与所述点读对象对应的资源标记区域。
可选的，所述方法还包括：
获得包含有资源标记区域的资源获取请求；
获得资源配置掩码；
根据所述资源标记区域和所述资源配置掩码，获得与所述资源标记区域对应的多媒体资源信息。
可选的，所述根据所述资源标记区域和所述资源配置掩码，获得所述资源获取请求对应的多媒体资源信息，包括：
根据所述资源标记区域和所述资源配置掩码，获得资源标识；
根据所述资源标识从存储有所述多媒体资源信息的多媒体资源库中获得所述多媒体资源信息。
本申请还提供一种计算设备，包括：存储器，以及处理器；
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：
获得包含待识别点读对象的源图像；
获得与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；
根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；
输出所述多媒体资源信息。
可选的，所述计算设备还包括：设置在点读装置上的至少一个摄像头；所述至少一个摄像头用于获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。
可选的，所述存储器还用于存储所述图像母本。
可选的，所述存储器还用于存储所述多媒体资源信息。
本申请还提供一种计算设备，包括：存储器，以及处理器；
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：
获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；
获得与点读对象对应的多媒体资源信息；
建立所述资源标记区域与所述多媒体资源信息之间的关联关系。
本申请还提供一种数据处理方法，包括：
获取包含待识别对象的源图像，以及与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获取所述待识别对象在所述图像母本中的定位信息；
根据所述定位信息，获取所述待识别对象对应的多媒体资源信息；
输出所述多媒体资源信息。
可选的，所述获取所述待识别对象对应的多媒体资源信息，包括：
确定所述待识别对象对应的所述图像母本的资源标记区域；
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。
与现有技术相比，本申请具有以下优点：
本申请提供的点读方法，通过获得包含待识别点读对象的源图像以及与所述源图像匹配的图像母本，根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息。由于能够根据源图像和图像母本进行定位，因此不依赖于点读识别码，解决了现有的点读技术中点读笔存在的能点读的内容受限以及推广成本高的问题；并且对包含待识别点读对象的载体对象的尺寸没有约束，从而解决了现有点读机存在点读内容受限、操作繁琐、推广成本高以及便携度受限的问题。
本申请提供的点读数据处理方法，通过获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；获得与点读对象对应的多媒体资源信息；建立所述资源标记区域与所述多媒体资源信息之间的关联关系。从而可以使得根据与点读对象对应的资源标记区域获得点读对象对应的多媒体资源信息，而不依赖于点读识别码，并且也不约束包含待识别点读对象的载体对象的尺寸，从而解决了现有的点读技术存在的点读内容受限的问题。
附图说明
图1是现有点读笔工作原理示意图；
图2是本申请第一实施例提供的一种点读方法的处理流程图；
图3是本申请第一实施例提供的一种点读框架示意图；
图4是本申请第一实施例包括的实例流及笔尖定位流程示意图；
图5是本申请第二实施例提供的一种点读数据处理方法的处理流程图；
图6是本申请第二实施例包括的图像母本与资源配置掩码举例；
图7是本申请第三实施例提供的一种计算设备示意图；
图8是本申请第三实施例提供的另一种计算设备示意图；
图9是本申请第五实施例提供的数据处理方法的处理流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种点读方法及计算设备。本申请还提供一种点读数据处理方法及计算设备，本申请还提供一种数据处理方法，在下面的实施例中逐一进行详细说明。
本申请第一实施例提供一种点读方法。
为便于理解，首先介绍现有具有点读功能的点读笔以及点读机的工作原理。所谓点读，是指通过点读装置点到点读对象，获得并输出针对点读对象的多媒体数据的技术，例如，点读装置点到书页，获得书页图像，根据书页图像获得点读装置在书页中的点读区域对应的多媒体数据，通过耳机或喇叭播放所述多媒体数据。
点读笔功能在原理上主要依赖笔头上的红外相机识别配套图书上的识别码来实现。
请参考图1，图1给出了现有点读笔工作原理。图中，书本为有声图书。有声图书上的所有内容，都采用了OID(Optical Identification，光学识别码)识别码和反射红外光的特殊涂料印刷。识别码通常采用隐形制作工艺印刷，隐藏在印刷品的彩色图案之下，其非常小，肉眼难以识别，将书本放大十几倍就可以发现，里面含有丰富的数字信息。每一个OID识别码图形由许多细微的点按照约定的规律所组成，类似于二维码，对应了一组特定的数值。在图1中，光电识别器为点读笔的笔头上包含的光电识别器，用于识别有声图书上的OID识别码。当笔头触碰到图书后例如按键触发，光电识别器就开始扫描笔头接触书页处的OID编码信息，识别到OID码信息后，将其传输到点读笔内部由CPU(Central Processing Unit，中央处理器)进行处理。CPU则会根据OID码从点读笔的存储器中找到预先下载的对应的声音文件，然后通过耳机或者喇叭播放出声音。以此实现点读过程。
采用特定制作工艺将识别码，如OID码，印刷在普通书籍上，使普通书籍成为有声图书，称为铺码。铺码的时间成本和印制成本较高，从而导致点读笔推广成本提升，并且OID码数量有限，最多可以有65536个不同的ID，因此能够支持的点读内容量受限。另外，点读笔早期缺乏统一标准，造成了铺码规范不统一，因此使得不同厂商生产的点读笔和书籍存在兼容性问题。
点读机功能基于定位原理，需要预先根据内容配置对应的多媒体资源以及其对应的书页上的(X,Y)坐标范围。当用户使用点读机进行点读时，将图书置于点读机的感应平板上，先选中对应的图书及页码，使用专用笔(或手指)点击书上的文字内容，点读机的感应平板获得专用笔(或手指)所点之处的(X,Y)坐标，利用该坐标和预先配置的对应该坐标的内容，播放多媒体资源。感应平板面积有限，而书本大小各异，这限制了点读机能点读的书本范围。点读机一般会大于等于常用书本尺寸，同时也带来了便携度问题。
本申请提供的点读方法，通过包含待识别点读对象的源图像以及与所述源图像匹配的图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；因此不依赖于点读识别码，不需要预先在点读书本上铺码。包含待识别点读对象的源图像可以普通图书的图像。另外，对包含待识别点读对象的载体对象的尺寸没有特定约束。因此对普通图书和非常规尺寸的图书也可以实现点读。以下结合图2至图4对本申请第一实施例提供的点读方法进行说明。
图2所示的点读方法，包括：步骤S201至步骤S205。
步骤S201，获得包含待识别点读对象的源图像。
所谓点读对象，为包含文图内容的对象，可以为印刷读物。例如图书中的书页。所述待识别点读对象，为包含要点读识别的文图内容的对象，其中，需要识别的文图内容中包含所述点读装置点到的点读区域。例如，包含在图书书页中的文字或图片为点读区域，书页为点读对象。
请参考图3，图中示出了本申请提供的点读方法适用的一种原理性点读框架，图中包括点读前端301，点读后台302，其中点读后台302又可划分为在线后台302-1和离线后台302-2。点读前端301的功能包括获得点读触发，获取摄像头采集的图像并发送给点读后台302，所述图像为包含待识别点读对象的源图像。点读后台302包括的在线后台302-1获取到所述源图像，通过图像实例检索、实例流及笔尖位置计算，获取并输出点读资源，所述点读资源为多媒体资源信息；由点读前端301播放点读资源。离线后台302-2的功能主要包括获得图像母本以及对点读资源进行资源配置。实际部署时，在线后台302-1可以是云端设备，当然也可以是非云端设备，例如，当点读前端计算设备具备一定计算能力时，可以完全由点读前端部署所述点读方法进行端上点读。再如，由点读前端计算设备配合部署所述点读方法的非云端计算单元进行点读处理。
本申请第一实施例提供的点读方法可以应用于点读框架中的在线后台302-1，当然也可以用于包括点读前端301和在线后台302-1在内的场景。
本实施例的一个实施方式中包括点读前端的功能。所述包含待识别点读对象的源图像(Source image)，为摄像头采集到的需要识别的点读对象的图像。即，通过摄像头获取所述包含待识别点读对象的源图像。摄像头可以为一个或多个。具体的，包括至少一个设置在点读装置上的摄像头。相应的，所述获得包含待识别点读对象的源图像，包括：通过至少一个设置在点读装置上的摄像头获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。例如，点读装置的点读笔尖与摄像头为刚性连接，这样，当点读装置生产和固定后，点读笔尖会出现在摄像头视场中的固定位置。因此，不需要检测点读笔尖，就能完成点读任务。即使点读笔尖在摄像头中不可见，由于点读笔尖在摄像头视场中的固定位置，也能进行笔尖定位。点读笔尖会出现在摄像头视场中的固定位置，不仅节约了计算量，也提高了点读成功率，另外还从原理上使点读笔可具备真正笔的功能。
摄像头与点读笔尖刚性连接的移动摄像头点读技术，能够解决固定摄像头点读技术中存在的点读成功率低的问题。所谓固定摄像头点读技术，是指摄像头不跟随点读位置改变，例如，带摄像头的机器摆放位置固定，用户使用手指或笔尖对书本进行点读。采用固定摄像头点读技术的方案中，带摄像头的机器摆放位置相对书本位置任意，可能造成一些位置下，手指(或笔尖)会被障碍物遮挡，造成摄像头观察不到，致使点读功能失效。另外，从设计和使用的角度来看，固定式摄像头解决方案需要底座进行支撑，便携度严重受限。所述固定摄像头点读技术的一个应用场景为：利用手指点读与用户进行自然交互，手指为点读笔尖，摄像头的位置不随着点读笔尖而移动。这从原理上存在如下问题：1、需要利用图像判读用户是否正处于点读状态，并且需要进行指尖所指位置的定位，因此在点读原理上引入点读状态检测和指尖定位问题，由于点读状态检测和指尖定位会存在误差，因此会降低整体点读成功率；另外，点读状态检测和指尖定位也会消耗计算资源。2、利用RGB图像进行点读状态的判断，难以确定用户是否点触了书本，因此一般采取停留一段时间的策略进行点读触发操作，加大了整体点读功能的延时；即使利用RGB-D图像也难以准确判断用户手指是否接触了书本。所述固定摄像头点读技术的另一应用场景为：采用额外硬件(如：笔)进行点触触发，以代替利用手指点读，则由于需要额外添加硬件，增加了成本和设计复杂度。而移动摄像头点读技术则不存在上述问题，本实施例中，移动摄像头与点读笔尖进行刚性连接，点读笔尖在摄像头的视场中位置固定，因此不需要进行笔尖或手指检测运算。换言之，点读笔尖定位速度代价为0的前提下定位成功率100％，提高了整体点读成功率且降低了计算代价。另外，由于点读笔尖被遮挡情况下也能根据点读笔尖在摄像头视场中的固定位置进行定位，因此绕开了固定摄像头点读技术中的点读笔尖(或手指)检测、遮挡等问题，同时也解决了点读触发以及便携度问题。
进一步的，所述至少一个摄像头，包括背靠背设置的双目摄像头或者按照预设夹角安装的多个摄像头。当双目摄像头协同工作或者多个摄像头协同工作，在一个摄像头无法拍摄足够的点读对象的图像时，另一个摄像头可以拍摄到足够的点读对象的源图像用于获取与所述源图像匹配的图像母本，从而能提供更高的书页识别和点读区域定位的成功率。
所述摄像头为下述至少一种摄像头：普通摄像头、广角摄像头。采用广角摄像头能够以较广视角拍摄所述待识别点读对象得到更大范围的图像。
步骤S202，获得与所述源图像匹配的图像母本。
所述图像母本(Marker Image)，为包含与点读对象对应的资源标记区域的图像，例如为书页图像。所述资源标记区域是指图像母本中需要关联到对应的多媒体资源信息的点读区域。请参考图3，图中图像母本301为一个母本示例，该母本示例中包括资源标记区域301-1。每个资源标记区域对应于一个点读区域，所述点读区域为一个点读对象。
本实施例中，所述获得与所述源图像匹配的图像母本，包括：根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本。具体的，可以采用下述任一处理方案：
处理方案一、获取所述源图像的特征向量；在存储有图像母本的图像母本库中检索特征向量与所述源图像的特征向量的相似度满足特征相似度阈值的图像母本。
处理方案二、利用卷积神经网络或尺度不变特征检测技术(Scale-invariantfeature transform，缩写为SIFT)，在所述图像母本库中检索与所述源图像的相似度满足相似度阈值的图像母本。例如，利用卷积神经网络或SIFT提取源图像中特征点位置及每个特征点位置的特征相邻，根据所述特征向量以及与图像母本库中根据图像特征向量建立的索引找到对应的图像母本。
处理方案三、采用基于局部特征的以书为单位的小库检索方案。具体包括下述处理：获得包含所述待识别点读对象的载体对象的类别特征；根据所述类别特征获得存储有图像母本的图像母本库。优选的，所述载体对象为印刷物，所述类别特征为印刷物的封面特征。所述小库检索方案能保证检索精度(precision)和召回率(recall)。所谓检索精度，是指检索准确程度，即检索到的实例中相关实例的比例；所谓召回率为检索技术中的敏感度，即检索范围内的相关实例总量中被检索到的实例的比例。例如，用户点击图书封皮，在由图书封皮组成的母本库索引中检索到用户点的是哪本书，进而找到所对应书的母本库(即小库)之后，用户如果没有继续点击封皮，则默认从小库中(该书中)进行检索以缩小检索范围。
步骤S203，根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息。
步骤S202中，可能得到与所述源图像匹配的一个或多个图像母本。因此需要进一步确定所述待识别对象的准确定位。例如，源图像中包含书页中的左右两页，因此可能得到多个母本页。本步骤中根据所述源图像和所述图像母本确定所述待识别对象的定位信息。例如，确定点读装置的点读笔尖点在了哪个母本页中以及点在了母本页的具体位置。
本实施例的一个实施方式中，针对所述源图像和步骤S202得到的至少一个图像母本进行计算，得到所述定位信息。请参考图4，图中示出了获得所述待识别点读对象在所述图像母本中的定位信息的处理流程。图中，根据源图像(source image)401和图像母本(marker image)402进行实例流映射，映射后得到目标图像(destination image)403，根据映射后得到的目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在图像母本范围内，如果是，则使用映射后得到的目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
本实施例中，所谓实例流映射包括所述源图像的图像坐标系到所述图像母本的目标坐标系的映射。由于所述图像母本是图像，因此母本坐标系为通常意义上的图像坐标系，一般的，图像矩阵左上角为坐标原点，沿列方向向右为x正方向，沿行方向向下为y正方向。
具体到本步骤，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息，包括：获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系；根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息。
本实施例的一个实施方式中，由于待识别点读对象的载体对象近似符合平面假设，例如，书页，因此使用单应性矩阵描述所述源图像的图像坐标系和所述图像母本的母本坐标系之间的映射关系，从而，确定所述映射关系即为确定一个单应性矩阵。具体的，通过下述处理获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系：
获取所述源图像的第一局部特征信息；
获取所述图像母本的第二局部特征信息；
根据第一局部特征信息、第二局部特征信息、以及第一局部特征信息与第二局部特征信息的特征匹配关系，确定用于拟合所述映射关系的至少4对对应点；
根据所述至少4对对应点确定用于描述所述映射关系的单应性矩阵。
优选的，所述至少4对对应点包括4对对应点；所述单应性矩阵为自由度为8的单应性矩阵。
举例如下。对应点在源图像中的坐标和在图像母本中的坐标分别为：
{S}x＝[{S}x {S}y 1]T和{M}x＝[{M}x {M}y 1]T；
则实例流映射的目标是找到映射关系F，使得
{M}x＝F({S}x)；
其中，x,y为在图像坐标系的坐标点位置。其中{S}表示在源图像(source)坐标系中的坐标，{M}表示在图像母本(marker)坐标系中的坐标。
确定映射关系F的处理步骤包括：利用局部特征及特征匹配获得源图像和图像母本中的4对对应点；利用4对对应点拟合描述映射关系F的单应性矩阵H，即
{M}x＝H3×3 {S}x。
本实施例的一个实施方式中，确定了所述映射关系后，根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息。具体包括下述处理：
将所述待识别点读对象在所述源图像的坐标系中的第一坐标数据，通过所述单应性矩阵进行变换，得到所述待识别点读对象的第二坐标数据；其中，所述第二坐标数据为在与所述源图像匹配的图像母本的坐标系中，所述待识别点读对象对应的坐标数据；
将所述第二坐标数据确定为所述定位信息。
进一步的，在确定所述映射关系以及获得第二坐标数据后，根据第二坐标数据，判断与所述待识别点读对象对应的点读笔尖位置是否位于图像母本的有效范围，以及是否位于图像母本中的资源标记区域的有效范围内。例如，资源标记区域为矩形，则判断是否位于该矩形区域内，从而确定点读笔尖位置所对应的资源标记区域。以便后续步骤中获取点读笔尖位置对应的多媒体资源信息。
步骤S204，根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息。
本实施例中，还包括下述处理：根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域；进一步的，根据所述资源标记区域获得所述多媒体资源信息，具体的，向存储有所述多媒体资源信息的多媒体资源信息库发送包含有所述资源标记区域的资源获取请求。请参考图3，图中多媒体资源信息库位于离线后台302-2，部署所述点读方法的在线后台302-1向多媒体资源库发送资源获取请求。当然多媒体资源信息库也可以包含在在线后台的计算设备中。优选的，所述图像母本的资源标记区域为矩形区域；相应的，所述根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域，包括：判断所述第二坐标数据是否在所述矩形区域内；如果是，则确定所述资源标记区域为所述待识别点读对象对应的所述图像母本的资源标记区域。当然，资源区域的形状不局限于矩形，还可以是任意形状的区域，这能够增加资源配置的灵活性。
进一步的，所述根据所述资源标记区域获得所述多媒体资源信息，包括：
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。其中，所述资源配置掩码为图像掩码，具体为与图像母本大小相同的图像。
步骤S205，输出所述多媒体资源信息。
本实施例提供的一个具体实施方式中，部署所述点读方法的计算设备包括了点读前端。本步骤中，所述输出所述多媒体资源信息，包括根据多媒体资源信息播放多媒体资源数据。具体的，如果所述多媒体资源信息为多媒体数据的地址信息，则本步骤包括：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。如果所述多媒体资源信息为多媒体数据，则本步骤包括：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。
在包含上述实施方式的实施例基础上，本申请还提供第二种实施例，部署所述点读方法的计算设备不包括点读前端，点读前端为独立部署的计算设备。第二种实施例与包括点读前端的实施方式的区别在于源图像的获取以及输出多媒体资源信息。第二种实施例中，所述获得包含待识别点读对象的源图像，为接收点读前端发送的包含待识别点读对象的源图像。其中，所述点读前端获得点读触发，触发获取摄像头采集的源图像，并发送给点读后台。所述输出多媒体资源信息包括将所述多媒体资源信息发送给点读前端，由点读前端根据所述多媒体资源信息播放对应的多媒体数据。本实施例的一个实施方式中，所述多媒体资源信息为音频资源信息，所述多媒体数据为音频数据。所述输出所述多媒体数据或者输出格式转换后的多媒体数据，包括通过耳机或喇叭播放所述音频数据。
所述点读方法实际部署后的一组测试验证数据如下：针对单目摄像头的场景，根据源图像检索图像母本，在精度为99％的情况下，召回率大于95％。在检索成功的情况下，点读成功率约为97％，点读精度<6mm的概率为98％。针对双目摄像头协同工作的场景，根据源图像检索图像母本，在精度为99％的情况下，召回率大于99％。在检索成功的情况下，点读成功率大于99％，点读精度<6mm的概率约为98％-99％。利用PC端的CPU，从图像母本检索到点读完成整个流程耗时可控制在1秒以内。
至此，对本申请第一实施例提供的点读方法进行了详细介绍。所述点读方法，与基于码识别的点读笔相比，由于不需铺码，因此解决了现有点读行业铺码成本的问题，间接降低点读笔的成本；同时也不存在铺码规范问题：无需建立铺码标准，因此不存在点读图书与点读笔不兼容的问题。与基于定位的点读机相比，由于通过源图像检索到匹配的图像母本，因此能自动获得母本页码，不需要用户选择点读页码，减少了繁琐的页码选择操作。另一方面，由于采用实例流映射将源图像坐标数据映射到母本坐标系中的坐标数据，因此使得点读位置定位不依赖具体书页的尺寸，即使书页只局部可见也可以精确完成定位，书页尺寸适用范围更灵活。并且，不需要感应平板，而是采用摄像头，能降低硬件成本。并且，感应平板需大于等于书本尺寸，而本发明不需要，因此可做到更为便携。
以上述实施例为基础，本申请第二实施例提供了一种点读数据处理方法。
以下结合图5和图6对本申请第二实施例提供的所述点读数据处理方法进行说明。
图5所示的点读数据处理方法，包括：步骤S501至步骤S503。
步骤S501，获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应。
所述图像母本(Marker Image)，为包含与点读对象对应的资源标记区域的图像。所述资源标记区域是指图像母本中需要关联到对应的多媒体资源信息的点读区域。请参考图6，图中图像母本601为一个母本示例，该母本示例中包括资源标记区域601-1。每个资源标记区域对应于一个点读区域，所述点读区域为一个点读对象。
本实施例中，所述获得包含资源标记区域的图像母本，包括：扫描包含点读对象的载体对象，获得扫描图像，将所述扫描图像作为所述图像母本；或者，从矢量版PDF获取图像，将获取的图像作为所述图像母本；其中，所述图像母本中对应点读对象的区域为资源标记区域。例如，逐页扫描实体图书的书页，将每页的扫描图像作为图像母本，也称母本页，将图像母本录入图像母本库。所谓矢量版PDF，是指原版出版物制作时候的PDF，区别于扫描图像，矢量版PDF能以任意尺度放大缩小而不受分辨率影响。
步骤S502，获得与点读对象对应的多媒体资源信息。
所述多媒体资源信息为音视频资源信息。所述多媒体资源信息可以是用于获取多媒体数据的地址信息，当然，还可以是多媒体数据。
所述获得与点读对象对应的多媒体资源信息，包括获取按照点读对象的点读内容分割好的多媒体数据或者所述多媒体数据的存放地址信息。
步骤S503，建立所述资源标记区域与所述多媒体资源信息之间的关联关系。
本实施例中，所述建立所述资源标记区域与所述多媒体资源信息之间的关联关系，包括：使用资源配置掩码，建立所述资源标记区域与所述多媒体资源信息之间的关联关系；其中，所述资源配置掩码为图像掩码，并且所述图像掩码的掩码矩阵的行数与所述图像母本的图像矩阵的行数相同，所述图像掩码的掩码矩阵的列数与所述图像母本的图像矩阵的列数相同。其中，所述掩码矩阵也是图像矩阵。优选的，所述资源标记区域为矩形区域。例如，可以建立用于标识资源标记区域的资源标识与所述多媒体资源信息的数据对，或者，以所述资源标识作为所述多媒体资源信息的索引。请参考图6，图中资源配置掩码602为与图像母本601大小相同的图像，即资源配置掩码602的图像矩阵的行数与图像母本601的图像矩阵的行数相同，资源配置掩码602的图像矩阵的列数与图像母本601的图像矩阵的列数相同。图中资源配置掩码602包含多个形状为矩形的资源标记区域，各自对应多媒体资源信息。需要说明的是，资源配置掩码id_mask中资源区域的形状不局限于矩形，而可以是任意形状，从而可以增加点读资源配置的灵活性。
本实施例中，所述资源配置掩码包括所述待识别点读对象所对应的资源标识。从而使得能够根据资源标识关联所述资源标记区域和所述多媒体资源信息。
本实施例的一个实施方式中，还包括下述处理：
获得针对与所述源图像匹配的图像母本的检索请求；
输出所述与所述源图像匹配的图像母本；所述图像母本中包含有与所述点读对象对应的资源标记区域。
本实施例的一个实施方式中，还包括下述处理：
获得包含有资源标记区域的资源获取请求；
获得资源配置掩码；
根据所述资源标记区域和所述资源配置掩码，获得与所述资源标记区域对应的多媒体资源信息。其中，具体通过下述处理获得所述资源获取请求对应的多媒体资源信息：根据所述资源标记区域和所述资源配置掩码，获得资源标识；根据所述资源标识从存储有所述多媒体资源信息的多媒体资源库中获得所述多媒体资源信息。
所述点读数据处理方法可以部署于点读后台。当然，如果点读前端计算设备的计算能力足够，也可以部署于点读前端，或者在其他非云端计算单元实现所述点读数据处理方法，与点读前端协同实现点读功能。请参考图3所示的点读框架，图中，所述点读数据处理方法在离线后台302-2实现，离线后台302-2接收在线后台301-1的检索请求，向在线后台301-1；输出所述与所述源图像匹配的图像母本；离线后台302-2接收在线后台301-1的资源获取请求，向在线后台301-1输出对应的多媒体资源信息。
以图3所示的点读框架为基础实现的点读系统为例，所述点读数据处理方法部署在了点读后台。所述点读系统包括：点读前端，点读后台；
所述点读前端，用于获得点读触发，获取摄像头采集的图像并发送所述图像；其中，所述图像为包含待识别点读对象的源图像；获取所述待识别点读对象对应的点读资源，展现所述点读资源，例如，播放所述点读资源；
所述点读后台，通过图像实例检索、实例流及笔尖位置计算，获取并输出点读资源，所述点读资源为多媒体资源信息。
优选的，所述点读后台包括在线后台和离线后台；所述在线后台获取到所述源图像，通过图像实例检索、实例流及笔尖位置计算，获取并输出点读资源；所述离线后台的功能主要包括获得图像母本以及对点读资源进行资源配置。其中，在线后台可以是云端设备，当然也可以是非云端设备，例如，当点读前端计算设备具备一定计算能力时，可以完全由点读前端部署所述点读方法进行端上点读。再如，由点读前端计算设备配合部署所述点读方法的非云端计算单元进行点读处理。
所述点读系统中点读前端独立部署，因此可以将待识别点读对象的源图像的识别统一部署在点读后台，能提高盗版点读笔成本，从而防止盗版点读笔；点读前端为摄像头采集待识别点读对象的源图像的入口，能够使得点读笔真正成为具备视觉功能的智能终端，采集到周围环境，给加入其他图像算法提供了可能。另外，现有点读技术的商业模式为由硬件提供者(点读笔厂商)、内容提供者(出版社)和客户构成的三元世界；而部署本实施例提供的点读方法，使得商业模式进化为硬件提供者(点读笔厂商)、平台提供者(技术供应商)、内容提供者(出版社)和客户的四元世界，这使得硬件和内容不再强绑定，对终端客户而言，是更低廉的硬件成本，更灵活的内容选择和平台提供者的精准内容推送等服务。
与本申请第一实施例提供的一种点读方法相对应的，本申请第三实施例还提供了一种计算设备。
如图7所示，所述计算设备，包括：存储器701，以及处理器702；
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：
获得包含待识别点读对象的源图像；
获得与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；
根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；
输出所述多媒体资源信息。
本实施例的一个实施方式中，如图8所示，所述计算设备包括：存储器801、处理器802、以及设置在点读装置上的至少一个摄像头803；所述至少一个摄像头用于获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。
可选的，所述存储器还用于存储所述图像母本。
可选的，所述存储器还用于存储所述多媒体资源信息。
可选的，所述至少一个摄像头，包括背靠背设置的双目摄像头或者按照预设夹角安装的多个摄像头。
可选的，所述处理器还用于执行下述计算机可执行指令：根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本。
可选的，所述处理器还用于执行下述计算机可执行指令：获取所述源图像的特征向量；在存储有图像母本的图像母本库中检索特征向量与所述源图像的特征向量的相似度满足特征相似度阈值的图像母本。
可选的，所述处理器还用于执行下述计算机可执行指令：利用卷积神经网络或尺度不变特征检测技术，在所述图像母本库中检索与所述源图像的相似度满足相似度阈值的图像母本。
可选的，所述处理器还用于执行下述计算机可执行指令：获得包含所述待识别点读对象的载体对象的类别特征；根据所述类别特征获得存储有图像母本的图像母本库。
可选的，所述载体对象为印刷物，所述类别特征为印刷物的封面特征。
可选的，所述处理器还用于执行下述计算机可执行指令：获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系；根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息。
可选的，所述处理器还用于执行下述计算机可执行指令：
获取所述源图像的第一局部特征信息；获取所述图像母本的第二局部特征信息；根据第一局部特征信息、第二局部特征信息、以及第一局部特征信息与第二局部特征信息的特征匹配关系，确定用于拟合所述映射关系的至少4对对应点；根据所述至少4对对应点确定用于描述所述映射关系的单应性矩阵。
可选的，所述至少4对对应点包括4对对应点；所述单应性矩阵为自由度为8的单应性矩阵。
可选的，所述处理器还用于执行下述计算机可执行指令：
将所述待识别点读对象在所述源图像的坐标系中的第一坐标数据，通过所述单应性矩阵进行变换，得到所述待识别点读对象的第二坐标数据；其中，所述第二坐标数据为在与所述源图像匹配的图像母本的坐标系中，所述待识别点读对象对应的坐标数据；
将所述第二坐标数据确定为所述定位信息。
可选的，所述处理器还用于执行下述计算机可执行指令：根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域；根据所述资源标记区域获得所述多媒体资源信息。
可选的，所述处理器还用于执行下述计算机可执行指令：向存储有所述多媒体资源信息的多媒体资源信息库发送包含有所述资源标记区域的资源获取请求。
可选的，所述图像母本的资源标记区域为矩形区域；相应的，所述处理器还用于执行下述计算机可执行指令：判断所述第二坐标数据是否在所述矩形区域内；如果是，则确定所述资源标记区域为所述待识别点读对象对应的所述图像母本的资源标记区域。
可选的，所述处理器还用于执行下述计算机可执行指令：获得所述资源标记区域对应的资源配置掩码；根据所述资源配置掩码获得资源标识；根据资源标识，获得所述多媒体资源信息。
与本申请第二实施例提供的一种点读数据处理方法相对应的，本申请第四实施例还提供了一种计算设备。所述计算设备的示意图类似图7。
第四实施例提供的所述计算设备包括：处理器；以及存储器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：
获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；
获得与点读对象对应的多媒体资源信息；
建立所述资源标记区域与所述多媒体资源信息之间的关联关系。
可选的，所述处理器还用于执行下述计算机可执行指令：扫描包含点读对象的载体对象，获得扫描图像，将所述扫描图像作为所述图像母本；或者，从矢量版PDF获取图像，将获取的图像作为所述图像母本；其中，所述图像母本中对应点读对象的区域为资源标记区域。
可选的，所述处理器还用于执行下述计算机可执行指令：使用资源配置掩码，建立所述资源标记区域与所述多媒体资源信息之间的关联关系；其中，所述资源配置掩码为图像掩码，并且所述图像掩码的掩码矩阵的行数与所述图像母本的图像矩阵的行数相同，所述图像掩码的掩码矩阵的列数与所述图像母本的图像矩阵的列数相同。
可选的，所述资源配置掩码包括所述待识别点读对象所对应的资源标识。
可选的，所述资源标记区域为矩形区域。
可选的，所述处理器还用于执行下述计算机可执行指令：获得针对与所述源图像匹配的图像母本的检索请求；输出所述与所述源图像匹配的图像母本；所述图像母本中包含有与所述点读对象对应的资源标记区域。
可选的，所述处理器还用于执行下述计算机可执行指令：获得包含有资源标记区域的资源获取请求；获得资源配置掩码；根据所述资源标记区域和所述资源配置掩码，获得与所述资源标记区域对应的多媒体资源信息。
可选的，所述处理器还用于执行下述计算机可执行指令：根据所述资源标记区域和所述资源配置掩码，获得资源标识；根据所述资源标识从存储有所述多媒体资源信息的多媒体资源库中获得所述多媒体资源信息。
以上述实施例为基础，本申请第五实施例还提供一种数据处理方法。
以下结合图9对第五实施例提供的数据处理方法进行说明。
图9所示的数据处理方法，包括：步骤S901至步骤S904。
步骤S901，获取包含待识别对象的源图像，以及与所述源图像匹配的图像母本。
本实施例中，所述待识别对象，是指包含目标区域的对象，根据所述对象的图像能够获取到所述目标区域对应的多媒体资源信息，例如，待识别对象可以是待识别的点读对象，目标区域为点读对象中的点读区域。
本实施例的一个实施方式中，所述包含待识别对象的源图像(Source image)，为摄像头采集到的需要识别的对象的图像。即，通过摄像头获取所述包含待识别对象的源图像。摄像头可以为一个或多个。相应的，所述获得包含待识别对象的源图像，包括：通过至少一个设置在部署所述数据处理方法的装置上的摄像头获取所述源图像，所述至少一个摄像头与所述部署所述数据处理方法的装置的相对位置保持不变。例如，所述部署所述数据处理方法的装置为点读装置，点读装置的点读笔尖与摄像头为刚性连接，这样，当点读装置生产和固定后，点读笔尖会出现在摄像头视场中的固定位置。
进一步的，所述至少一个摄像头，包括背靠背设置的双目摄像头或者按照预设夹角安装的多个摄像头。当双目摄像头协同工作或者多个摄像头协同工作，在一个摄像头无法拍摄足够的待识别对象的图像时，另一个摄像头可以拍摄到足够的待识别对象的源图像用于获取与所述源图像匹配的图像母本，从而能提供更高的识别成功率。
所述摄像头为下述至少一种摄像头：普通摄像头、广角摄像头。采用广角摄像头能够以较广视角拍摄所述待识别对象得到更大范围的图像。
所述图像母本(Marker Image)，为包含与待识别对象对应的资源标记区域的图像，例如为书页图像。所述资源标记区域是指图像母本中需要关联到对应的多媒体资源信息的区域。并且，资源标记区域可以与待识别对象对应，或者与待识别对象中的目标区域对应。
本实施例中，所述获得与所述源图像匹配的图像母本，包括：根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本。具体的，可以采用下述任一处理方案：
处理方案一、获取所述源图像的特征向量；在存储有图像母本的图像母本库中检索特征向量与所述源图像的特征向量的相似度满足特征相似度阈值的图像母本。
处理方案二、利用卷积神经网络或尺度不变特征检测技术(Scale-invariantfeature transform，缩写为SIFT)，在所述图像母本库中检索与所述源图像的相似度满足相似度阈值的图像母本。例如，利用卷积神经网络或SIFT提取源图像中特征点位置及每个特征点位置的特征相邻，根据所述特征向量以及与图像母本库中根据图像特征向量建立的索引找到对应的图像母本。
处理方案三、采用基于局部特征的以书为单位的小库检索方案。具体包括下述处理：获得包含所述待识别对象的载体对象的类别特征；根据所述类别特征获得存储有图像母本的图像母本库。优选的，所述载体对象为印刷物，所述类别特征为印刷物的封面特征。所述小库检索方案能保证检索精度(precision)和召回率(recall)。所谓检索精度，是指检索准确程度，即检索到的实例中相关实例的比例；所谓召回率为检索技术中的敏感度，即检索范围内的相关实例总量中被检索到的实例的比例。例如，用户点击图书封皮，在由图书封皮组成的母本库索引中检索到用户点的是哪本书，进而找到所对应书的母本库(即小库)之后，用户如果没有继续点击封皮，则默认从小库中(该书中)进行检索以缩小检索范围。
步骤S902，根据所述源图像和所述图像母本，获取所述待识别对象在所述图像母本中的定位信息。
步骤S901中，可能得到与所述源图像匹配的一个或多个图像母本。因此需要进一步确定所述待识别对象的准确定位。例如，源图像中包含书页中的左右两页，因此可能得到多个母本页。本步骤中根据所述源图像和所述图像母本确定所述待识别对象的定位信息。
本实施例的一个实施方式中，针对所述源图像和至少一个图像母本进行计算，得到所述定位信息。具体包括：根据源图像(source image)和图像母本(marker image)进行实例流映射，映射后得到目标图像(destination image)，根据映射后得到的目标图像，判断映射后得到的目标区域对应到母本坐标系的坐标位置是否在图像母本范围内，如果是，则使用映射后得到的目标图像中对应所述待识别对象的坐标数据作为所述待识别对象在所述图像母本中的定位信息。
本实施例中，所谓实例流映射包括所述源图像的图像坐标系到所述图像母本的目标坐标系的映射。由于所述图像母本是图像，因此母本坐标系为通常意义上的图像坐标系，一般的，图像矩阵左上角为坐标原点，沿列方向向右为x正方向，沿行方向向下为y正方向。
具体到本步骤，所述根据所述源图像和所述图像母本，获得所述待识别对象在所述图像母本中的定位信息，包括：获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系；根据所述映射关系，获得所述待识别对象在所述图像母本中的定位信息。
本实施例的一个实施方式中，由于待识别对象的载体对象近似符合平面假设，例如，书页，因此使用单应性矩阵描述所述源图像的图像坐标系和所述图像母本的母本坐标系之间的映射关系，从而，确定所述映射关系即为确定一个单应性矩阵。具体的，通过下述处理获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系：
获取所述源图像的第一局部特征信息；
获取所述图像母本的第二局部特征信息；
根据第一局部特征信息、第二局部特征信息、以及第一局部特征信息与第二局部特征信息的特征匹配关系，确定用于拟合所述映射关系的至少4对对应点；
根据所述至少4对对应点确定用于描述所述映射关系的单应性矩阵。
优选的，所述至少4对对应点包括4对对应点；所述单应性矩阵为自由度为8的单应性矩阵。
确定映射关系的处理步骤包括：利用局部特征及特征匹配获得源图像和图像母本中的4对对应点；再利用4对对应点拟合描述映射关系的单应性矩阵。
本实施例的一个实施方式中，确定了所述映射关系后，根据所述映射关系，获得所述待识别对象在所述图像母本中的定位信息。具体包括下述处理：
将所述待识别对象在所述源图像的坐标系中的第一坐标数据，通过所述单应性矩阵进行变换，得到所述待识别对象的第二坐标数据；其中，所述第二坐标数据为在与所述源图像匹配的图像母本的坐标系中，所述待识别对象对应的坐标数据；
将所述第二坐标数据确定为所述定位信息。
进一步的，在确定所述映射关系以及获得第二坐标数据后，根据第二坐标数据，判断与所述待识别点读对象对应的坐标位置是否位于图像母本的有效范围，以及是否位于图像母本中的资源标记区域的有效范围内。例如，资源标记区域为矩形，则判断是否位于该矩形区域内，如果是，则获得待识别对象对应的资源标记区域，或者，获得待识别对象包含的目标区域对应的资源标记区域。以便后续步骤中获取对应的多媒体资源信息。
步骤S903，根据所述定位信息，获取所述待识别对象对应的多媒体资源信息。
本实施例中，所述获取所述待识别对象对应的多媒体资源信息，包括：
确定所述待识别对象对应的所述图像母本的资源标记区域；
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。
其中，所述资源配置掩码为图像掩码，具体为与图像母本大小相同的图像。
其中，一个具体实施方式中，包括下述处理：根据所述第二坐标数据确定所述待识别对象对应的所述图像母本的资源标记区域；进一步的，根据所述资源标记区域获得所述多媒体资源信息，具体的，向存储有所述多媒体资源信息的多媒体资源信息库发送包含有所述资源标记区域的资源获取请求。
优选的，所述图像母本的资源标记区域为矩形区域；相应的，所述根据所述第二坐标数据确定所述待识别对象对应的所述图像母本的资源标记区域，包括：判断所述第二坐标数据是否在所述矩形区域内；如果是，则确定所述资源标记区域为所述待识别对象对应的所述图像母本的资源标记区域。当然，资源区域的形状不局限于矩形，还可以是任意形状的区域，这能够增加资源配置的灵活性。
步骤S904，输出所述多媒体资源信息。
本实施例中，所述输出所述多媒体资源信息，包括根据多媒体资源信息播放多媒体资源数据。具体的，如果所述多媒体资源信息为多媒体数据的地址信息，则本步骤包括：根据所述多媒体数据的地址信息，获取与所述待识别点读对象对应的多媒体数据；输出所述与所述待识别点读对象对应的多媒体数据。如果所述多媒体资源信息为多媒体数据，则本步骤包括：输出所述多媒体数据；或者，对所述多媒体数据进行格式转换，输出格式转换后的多媒体数据。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (31)

1.一种点读方法，其特征在于，包括：
获得包含由点读装置的点读笔尖点读的待识别点读对象的源图像；
获得与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；
根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；
输出所述多媒体资源信息
其中，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息包括：
根据所述源图像和所述图像母本进行实例流映射得到目标图像；
根据所述目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在所述图像母本的范围内；
如果是，则使用所述目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述获得与所述源图像匹配的图像母本，包括：
根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本。
3.根据权利要求2所述的方法，其特征在于，所述根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本，包括：
获取所述源图像的特征向量；
在存储有图像母本的图像母本库中检索特征向量与所述源图像的特征向量的相似度满足特征相似度阈值的图像母本。
4.根据权利要求2所述的方法，其特征在于，所述根据所述源图像在存储有图像母本的图像母本库中检索与所述源图像匹配的图像母本，包括：
利用卷积神经网络或尺度不变特征检测技术，在所述图像母本库中检索与所述源图像的相似度满足相似度阈值的图像母本。
5.根据权利要求2所述的方法，其特征在于，还包括：
获得包含所述待识别点读对象的载体对象的类别特征；
根据所述类别特征获得存储有图像母本的图像母本库。
6.根据权利要求5所述的方法，其特征在于，所述载体对象为印刷物，所述类别特征为印刷物的封面特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息，包括：
获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系；
根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息。
8.根据权利要求7所述的方法，其特征在于，所述获得所述源图像的坐标系和所述图像母本的母本坐标系之间的映射关系，包括：
获取所述源图像的第一局部特征信息；
获取所述图像母本的第二局部特征信息；
根据第一局部特征信息、第二局部特征信息、以及第一局部特征信息与第二局部特征信息的特征匹配关系，确定用于拟合所述映射关系的至少4对对应点；
根据所述至少4对对应点确定用于描述所述映射关系的单应性矩阵。
9.根据权利要求8所述的方法，其特征在于，所述至少4对对应点包括4对对应点；所述单应性矩阵为自由度为8的单应性矩阵。
10.根据权利要求8所述的方法，其特征在于，所述根据所述映射关系，获得所述待识别点读对象在所述图像母本中的定位信息，包括：
将所述待识别点读对象在所述源图像的坐标系中的第一坐标数据，通过所述单应性矩阵进行变换，得到所述待识别点读对象的第二坐标数据；其中，所述第二坐标数据为在与所述源图像匹配的图像母本的坐标系中，所述待识别点读对象对应的坐标数据；
将所述第二坐标数据确定为所述定位信息。
11.根据权利要求10所述的方法，其特征在于，还包括：根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域；
所述根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息，包括：根据所述资源标记区域获得所述多媒体资源信息。
12.根据权利要求11所述的方法，其特征在于，所述根据所述资源标记区域获得所述多媒体资源信息，包括：向存储有所述多媒体资源信息的多媒体资源信息库发送包含有所述资源标记区域的资源获取请求。
13.根据权利要求11所述的方法，其特征在于，所述图像母本的资源标记区域为矩形区域；
所述根据所述第二坐标数据确定所述待识别点读对象对应的所述图像母本的资源标记区域，包括：判断所述第二坐标数据是否在所述矩形区域内；如果是，则确定所述资源标记区域为所述待识别点读对象对应的所述图像母本的资源标记区域。
14.根据权利要求11所述的方法，其特征在于，所述根据所述资源标记区域获得所述多媒体资源信息，包括：
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。
15.根据权利要求1所述的方法，其特征在于，所述获得包含待识别点读对象的源图像，包括：通过至少一个设置在点读装置上的摄像头获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。
16.根据权利要求14所述的方法，其特征在于，所述至少一个摄像头，包括背靠背设置的双目摄像头或者按照预设夹角安装的多个摄像头。
17.一种点读数据处理方法，其特征在于，包括：
获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；所述图像母本匹配于包含所述点读对象的源图像；
获得与点读对象对应的多媒体资源信息；
建立所述资源标记区域与所述多媒体资源信息之间的关联关系；
其中，所述源图像和所述图像母本用于：
根据所述源图像和所述图像母本进行实例流映射得到目标图像；
根据所述目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在所述图像母本的范围内；
如果是，则使用所述目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
18.根据权利要求17所述的方法，其特征在于，所述获得包含资源标记区域的图像母本，包括：扫描包含点读对象的载体对象，获得扫描图像，将所述扫描图像作为所述图像母本；或者，从矢量版PDF获取图像，将获取的图像作为所述图像母本；其中，所述图像母本中对应点读对象的区域为资源标记区域。
19.根据权利要求17所述的方法，其特征在于，所述建立所述资源标记区域与所述多媒体资源信息之间的关联关系，包括：使用资源配置掩码，建立所述资源标记区域与所述多媒体资源信息之间的关联关系；其中，所述资源配置掩码为图像掩码，并且所述图像掩码的掩码矩阵的行数与所述图像母本的图像矩阵的行数相同，所述图像掩码的掩码矩阵的列数与所述图像母本的图像矩阵的列数相同。
20.根据权利要求19所述的方法，其特征在于，所述资源配置掩码包括所述待识别点读对象所对应的资源标识。
21.根据权利要求17所述的方法，其特征在于，所述资源标记区域为矩形区域。
22.根据权利要求17所述的方法，其特征在于，还包括：
获得针对与所述源图像匹配的图像母本的检索请求；
输出所述与所述源图像匹配的图像母本；所述图像母本中包含有与所述点读对象对应的资源标记区域。
23.根据权利要求17所述的方法，其特征在于，还包括：
获得包含有资源标记区域的资源获取请求；
获得资源配置掩码；
根据所述资源标记区域和所述资源配置掩码，获得与所述资源标记区域对应的多媒体资源信息。
24.根据权利要求23所述的方法，其特征在于，所述根据所述资源标记区域和所述资源配置掩码，获得所述资源获取请求对应的多媒体资源信息，包括：
根据所述资源标记区域和所述资源配置掩码，获得资源标识；
根据所述资源标识从存储有所述多媒体资源信息的多媒体资源库中获得所述多媒体资源信息。
25.一种计算设备，其特征在于，包括：存储器，以及处理器；
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：
获得包含由点读装置的点读笔尖点读的待识别点读对象的源图像；
获得与所述源图像匹配的图像母本；
根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息；
根据所述定位信息获得所述待识别点读对象对应的多媒体资源信息；
输出所述多媒体资源信息；
其中，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息包括：
根据所述源图像和所述图像母本进行实例流映射得到目标图像；
根据所述目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在所述图像母本的范围内；
如果是，则使用所述目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
26.根据权利要求25所述的计算设备，其特征在于，还包括：设置在点读装置上的至少一个摄像头；所述至少一个摄像头用于获取所述源图像，所述至少一个摄像头与所述点读装置的点读笔尖的相对位置保持不变。
27.根据权利要求25所述的计算设备，其特征在于，所述存储器还用于存储所述图像母本。
28.根据权利要求25所述的计算设备，其特征在于，所述存储器还用于存储所述多媒体资源信息。
29.一种计算设备，其特征在于，包括：存储器，以及处理器；
所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令：所述图像母本匹配于包含所述点读对象的源图像；
获得包含资源标记区域的图像母本；其中，所述资源标记区域与点读对象对应；
获得与点读对象对应的多媒体资源信息；
建立所述资源标记区域与所述多媒体资源信息之间的关联关系；
其中，所述源图像和所述图像母本用于：
根据所述源图像和所述图像母本进行实例流映射得到目标图像；
根据所述目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在所述图像母本的范围内；
如果是，则使用所述目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
30.一种数据处理方法，其特征在于，包括：
获取包含由点读装置的点读笔尖点读的待识别对象的源图像，以及与所述
源图像匹配的图像母本；
根据所述源图像和所述图像母本，获取所述待识别对象在所述图像母本中的定位信息；
根据所述定位信息，获取所述待识别对象对应的多媒体资源信息；
输出所述多媒体资源信息；
其中，所述根据所述源图像和所述图像母本，获得所述待识别点读对象在所述图像母本中的定位信息包括：
根据所述源图像和所述图像母本进行实例流映射得到目标图像；
根据所述目标图像，判断映射后得到的点读装置的点读笔尖对应到母本坐标系的坐标位置是否在所述图像母本的范围内；
如果是，则使用所述目标图像中对应所述待识别点读对象的坐标数据作为所述待识别点读对象在所述图像母本中的定位信息。
31.根据权利要求30所述的方法，其特征在于，所述获取所述待识别对象对应的多媒体资源信息，包括：
确定所述待识别对象对应的所述图像母本的资源标记区域；
获得所述资源标记区域对应的资源配置掩码；
根据所述资源配置掩码获得资源标识；
根据资源标识，获得所述多媒体资源信息。
CN201910184699.4A 2019-03-12 2019-03-12 点读方法及点读数据处理方法 Active CN111695372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184699.4A CN111695372B (zh) 2019-03-12 2019-03-12 点读方法及点读数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184699.4A CN111695372B (zh) 2019-03-12 2019-03-12 点读方法及点读数据处理方法

Publications (2)

Publication Number Publication Date
CN111695372A CN111695372A (zh) 2020-09-22
CN111695372B true CN111695372B (zh) 2023-10-27

Family

ID=72474767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184699.4A Active CN111695372B (zh) 2019-03-12 2019-03-12 点读方法及点读数据处理方法

Country Status (1)

Country Link
CN (1) CN111695372B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392828B (zh) * 2021-04-08 2024-01-26 南通骏星信息科技有限公司 一种基于高分辨率点阵的编码与解码方法
CN114125173A (zh) * 2021-11-24 2022-03-01 北京紫光展锐通信技术有限公司 一种扫描笔、扫描方法及主控芯片

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761893A (zh) * 2013-01-25 2014-04-30 陈旭 一种图书阅读器
CN104050838A (zh) * 2014-07-15 2014-09-17 北京网梯科技发展有限公司 一种能够识别与点读普通印刷物的点读系统、设备及方法
CN204117385U (zh) * 2014-07-15 2015-01-21 北京网梯科技发展有限公司 一种识别与点读普通印刷物的点读系统及设备
CN105446628A (zh) * 2015-12-31 2016-03-30 田雪松 一种点读方法
CN106980459A (zh) * 2017-03-31 2017-07-25 广州华多网络科技有限公司 基于触屏设备的点读方法及装置
CN107967110A (zh) * 2017-11-30 2018-04-27 广东小天才科技有限公司 播放方法、播放装置、电子设备及计算机可读存储介质
CN108509136A (zh) * 2018-04-12 2018-09-07 山东音为爱智能科技有限公司 一种基于人工智能的儿童绘本辅助阅读方法
CN108665742A (zh) * 2018-05-11 2018-10-16 亮风台（上海）信息科技有限公司 一种通过阅读设备进行阅读的方法与设备
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN109445588A (zh) * 2018-10-23 2019-03-08 北京快乐认知科技有限公司 基于图像识别追踪技术的点读指点件点击判断方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6893092B2 (ja) * 2017-02-23 2021-06-23 株式会社キーエンス 光学的情報読取装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761893A (zh) * 2013-01-25 2014-04-30 陈旭 一种图书阅读器
CN104050838A (zh) * 2014-07-15 2014-09-17 北京网梯科技发展有限公司 一种能够识别与点读普通印刷物的点读系统、设备及方法
CN204117385U (zh) * 2014-07-15 2015-01-21 北京网梯科技发展有限公司 一种识别与点读普通印刷物的点读系统及设备
CN105446628A (zh) * 2015-12-31 2016-03-30 田雪松 一种点读方法
CN106980459A (zh) * 2017-03-31 2017-07-25 广州华多网络科技有限公司 基于触屏设备的点读方法及装置
CN107967110A (zh) * 2017-11-30 2018-04-27 广东小天才科技有限公司 播放方法、播放装置、电子设备及计算机可读存储介质
CN108509136A (zh) * 2018-04-12 2018-09-07 山东音为爱智能科技有限公司 一种基于人工智能的儿童绘本辅助阅读方法
CN108665742A (zh) * 2018-05-11 2018-10-16 亮风台（上海）信息科技有限公司 一种通过阅读设备进行阅读的方法与设备
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN109445588A (zh) * 2018-10-23 2019-03-08 北京快乐认知科技有限公司 基于图像识别追踪技术的点读指点件点击判断方法

Also Published As

Publication number Publication date
CN111695372A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US10013624B2 (en) Text entity recognition
CN104685501B (zh) 响应于可视化查询标识文本词汇
JP5095535B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びプログラム
CN107885430B (zh) 一种音频播放方法、装置、存储介质及电子设备
JP5181888B2 (ja) グラフィカルユーザインターフェースを生成する方法及びシステム
CN109189879B (zh) 电子书籍显示方法及装置
US10013633B1 (en) Object retrieval
CN106462728A (zh) 用于基于图像特征的识别的系统和方法
JP2011008752A (ja) ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム
WO2013138846A1 (en) Method and system of interacting with content disposed on substrates
US20140351718A1 (en) Information processing device, information processing method, and computer-readable medium
CN104537339A (zh) 信息识别方法和信息识别系统
CN102037476B (zh) 用于印刷资料的解耦合应用
CN111209377B (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN110263792B (zh) 图像识读及数据处理方法、智能笔、系统及存储介质
CN111695372B (zh) 点读方法及点读数据处理方法
CN112487871B (zh) 笔迹数据处理方法、装置及电子设备
CN111429338A (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
CN105204752B (zh) 投影式阅读中实现交互的方法和系统
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN111027533B (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
US20150138077A1 (en) Display system and display controll device
KR101477642B1 (ko) 오프라인 노트를 이용한 전자책 서비스 방법
JP5278093B2 (ja) 記事関連情報提供方法、装置、プログラム、記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant