CN106548174A - 通过智能终端阅读点读印刷读物的系统及方法 - Google Patents

Abstract

本发明公开一种通过智能终端阅读点读印刷读物的系统及方法，包括：接收终端发送的图片，提取所述图片的图像特征信息，获取所述图像特征信息所对应的点读页，将所述点读页发送至所述终端，通过终端显示所述点读页，使得所述终端接收用户点击点读页中的点读区域，获取所述点读区域对应的对象区域坐标，触发所述对象区域坐标对应的数字媒体的播放。本发明通过图像特征匹配、对象识别匹配、OCR文字匹配等综合手段检索并播放存储在网络上的可点读印刷读物的数字媒体对象，解决了在不改变传统点读印刷物的制作流程、不给智能终端设别增加任何外设的情况下，如何让智能终端设备直接播放点读印刷读物关联数字媒体的问题，达到降低成本的目的。

Description

通过智能终端阅读点读印刷读物的系统及方法

技术领域

本发明涉及电子书阅读方法与系统技术领域，尤其涉及一种通过智能终端阅读点读印刷读物的系统及方法。

背景技术

点读有声读物是一种成熟的技术，它通过在普通印刷读物上印刷隐形的点阵二维码，然后通过点读笔读取所述隐形的点阵二维码获得对象ID，点读笔基于所述对象ID检索并播放关联的数字媒体。如图1所示，100一可点读印刷读物，101为印刷读物的内容“公鸡”，102为所述隐形的点阵二维码，103为一所述点读笔，当103点触101,103的扬声器播放其存储的数字媒体对象，即“公鸡”的叫声。

随着智能手机、平板电脑等智能终端的广泛普及，通过智能终端播放可点读印刷读物关联的数字媒体的成为必然的需求。虽然智能移动终端配置的拍照能力越来越强，但所述点阵二维码单个面积一般小于2mm*2mm，普通的智能终端镜头的微距成像能力不足以对所述点阵二维码清晰成像，其次，对于隐藏在彩色图文内的所述点阵二维码，需要通过单色红外光源才能对其成像，因此，普通的智能终端设备不经改造很难直接通过拍照识读所述点阵二维码。

为了让智能终端读取所述点阵二维码存储的所述对象ID，现有的技术手段通常有两种解决方案：

第一种解决方案是在智能终端的镜头上外接一个带红外光源的微距镜头，使得智能终端可以拍摄分辨率和清晰度合适的所述点阵二维码，然后通过软件算法识别图像中的所述点阵二维码获得所述对象ID。如图2所示为一智能手机外接微距光学镜头套件，其中201为智能手机保护套，202为固定在201上的微距光学镜头，镜头的光轴与智能手机后置摄像头的镜头的光轴对齐，203为红外光源，与202相连接。在红外光源203的补光条件下，微距镜头202可将所述隐形点阵二维码放大到普通智能终端的拍照系统清晰成像。

第二种解决方案是将点读笔通过有线或无线方式与智能终端连接，点读笔将读到的所述对象ID发送给与其连接的智能终端。如图3所示，301为一智能终端，具备蓝牙连接功能，302为一具备蓝牙数据发送功能的点读笔，当302点读目标101,302将识别到的目标101的所述对象ID通过蓝牙发送给301,301通过所述对象ID从网络检索并播放101对应的数字媒体对象。

但是这两种解决方案均需借助智能终端之外的额外装置，增加了成本，同时操作体验也不够友好。

发明内容

针对现有技术的不足，本发明提出了一种通过智能终端阅读点读印刷读物的系统及方法，本发明解决了在不给智能终端设别增加任何外设的情况下，如何让智能终端设备直接播放点读印刷读物关联的数字媒体的问题。

为了实现上述目的，本发明技术方案如下：

一种通过智能终端阅读可点读印刷读物的方法，其特征在于，包括以下步骤：

接收终端发送的图片，所述图片是通过拍摄印刷读物获得的；

提取所述图片的图像特征信息，获取所述图像特征信息对应的点读页，所述点读页携带有对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系；

将所述点读页发送至所述终端，通过终端显示所述点读页，使得所述终端接收用户点击所述点读页中的点读区域，获取所述点读区域对应的对象区域坐标，根据对象区域坐标与数字媒体之间的对应关系，触发所述对象区域坐标对应的数字媒体的播放。

优选地，在所述接收终端发送的图片步骤之前，还包括：

加载数字原稿，识别所述数字原稿中的点读对象，形成对象区域，获取对象区域坐标，并关联一个或多个数字媒体；

将数字原稿、对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系进行存储；

对数字原稿进行对象识别、OCR文字识别以及图像特征提取，生成索引记录，用于根据图片的图像特征信息检索相应的点读页。

优选地，其特征在于，将所述点读页发送至所述终端还包括：

将所述点读页发送至所述终端还包括：

将所述对象区域坐标、数字媒体以及对应关系发送至终端；

所述终端依据所述对象区域坐标在点读页上绘制出对应的对象区域；

接收点触屏幕的指令，判断是否击中对象区域，是，则播放所述数字媒体，否则等待接收下次指令。

优选地，所述终端依据所述对象区域坐标在点读页上绘制出对应的对象区域还包括：

在所述对象区域附近生成图标，所述图标链接与对象区域关联的数字媒体，通过点击所述图标播放所述数字媒体。

优选地，所述点读页上还设有显示或隐藏图标的开关。

优选地，所述提取所述图片的图像特征信息为通过对数字原稿进行对象识别、OCR文字识别以及图像特征提取三种综合手段进行提取图像特征信息。

优选地，所述形成对象区域还包括：

给每个对象区域植入一个ID值，并将其命名为所述对象区域关联数字媒体的名称。

优选地，还包括：为所述ID值生成对应的点阵二维码，并将所述点阵二维码填充到对应的所述对象区域中，形成印刷文件，所述点阵二维码被印刷后可被点读笔点读获得对应的ID值，根据ID值检索到关联的数字媒体。

优选地，所述印刷读物应为可点读印刷读物，所述终端应为带有拍照和媒体播放功能的智能终端。

一种通过智能终端阅读可点读印刷读物的系统，其特征在于，包括：

数据关联模块，用于加载数字原稿，识别所述数字原稿中的点读对象，形成对象区域，获取对象区域坐标，并关联一个或多个数字媒体；

数据存储模块，用于将数字原稿、对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系进行存储；

图片接收模块，用于接收终端发送的图片，所述图片是通过终端拍摄印刷读物获得的；

数据检索模块，用于提取所述图片的图像特征信息，获取所述图像特征信息对应的点读页，所述点读页携带有对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系；

数据发送模块，用于将所述点读页发送至所述终端，通过终端显示所述点读页，使得所述终端接收用户点击所述点读页中的点读区域，获取所述点读区域对应的对象区域坐标，根据对象区域坐标与数字媒体之间的对应关系，触发所述对象区域坐标对应的数字媒体的播放。

本发明的有益效果：

通过拍照即可检索并播放可点读印刷读物的数字媒体对象，使阅读点读印刷读物的智能终端无需增加额外装置。无需改变原有可点读印刷读物的制作流程，已发行的可点读印刷读物只需把已经加工制作好的印刷数字原稿、封闭区域坐标信息以及关联的数字媒体对象存储在网络服务器上就可以实现通过智能终端阅读点读印刷读物。对于同时存在可点读版本和非可点读版本的印刷读物，购买了非可点读版本的读者通过本方法也可以直接在手机之类的拍照和媒体播放功能的智能终端上点读播放可点读版本的数字媒体对象。

附图说明

图1是点读笔读取可点读印刷读物的示意图；

图2是通过外接微距光学镜头套件的智能手机读取可点读印刷读物的示意图；

图3是通过具备蓝牙连接功能的智能手机读取可点读印刷读物的示意图；

图4是印刷读物的PDF格式印刷原稿的内容示意图；

图5是对象标识与内容关联软件系统的示意图；

图6是智能终端拍摄需点读的印刷读物的示意图；

图7是本发明系统的组成示意图；

图8是为智能终端接收到检索结果的呈现结果示意图；

图9是本发明主要流程图。

具体实施方式

下面结合附图和实施例一，进一步阐述本发明。

本方法的目的是在于：使点读印刷读物不用做额外的加工，发布电子版的内容就能支持智能终端阅读。

本发明为一种通过智能终端阅读点读印刷读物的方法，包括以下步骤：

通过终端上的对象标识与内容关联软件打开待处理的数字原稿，对每个可点读的对象进行标识，然后通过描边工具将版面上数字原稿中的标识对象勾画出来，形成一个个封闭的对象区域，并记录下每个对象区域的坐标。

给每个对象区域植入一个ID值，并关联一个或多个数字媒体，将数字媒体文件按照ID号来命名。

所述对象标识与内容关联软件为每个所述对象ID生成对应的所述点阵二维码，并将所述点阵二维码填充到对应的所述封闭区域中，形成印刷文件。所述点阵二维码被印刷后可被点读笔点读获得对应的ID值，根据ID值检索到关联的数字媒体。

将所述印刷文件输入给印刷设备，印刷设备输出所述可点读印刷读物。

终端将所述数字原稿、对象区域坐标、已关联的数字媒体以及对象区域与关联的数字媒体对象对应关系发送并存储到服务器端。

网络服务器对所述数字原稿进行对象识别、OCR文字识别和图像特征提取，生成点读页和索引记录。

生成索引记录的目的在于：为了匹配读者手机拍摄的图片和印刷读物的数字原稿，如果直接用图片对数字原稿做匹配，运算量大且速度低，所以需要先对数字原稿进行特征提取，获得特征集Fset，服务器收到读者拍摄上传提交的图片后也对其提取特征fset，然后用fset去匹配Fset中的记录，为了加快匹配速度需要对Fset生成数据库索引。

网络服务器接收智能终端拍摄可点读的印刷读物任意一页之后发送的图片，然后对图片进行对象识别、OCR文字识别、图像特征提取，与上述生成的索引记录进行匹配，检索出对应数字原稿的点读页。

网络服务器将检索到的数字原稿点读页、所述的对象区域坐标数据以及与所述对象区域关联的数字媒体及对应关系发送给智能终端。

所述智能终端在屏幕上显示出对应的数字原稿点读页，并依据对象区域坐标数据信息在该点读页上绘制出对应的对象区域，然后在对象区域附近生成对应的图标，该图标链接了与对象区域关联的所有数字媒体。点读页上设有开关按钮，用于显示或隐藏所有图标。在用户不需要图标时，可隐藏所有图标，给用户提供更加简洁的阅读环境。

读者点击点读页上的点读区域，智能终端通过检测点读区域对应的对象区域坐标，判断所点击的对象区域，然后找出对应的数字媒体，并进行播放。

读者点击点读对象附近的图标后，触发关联的数字媒体的播放。

下面结合附图和实施例二，进一步阐述本发明。

一种通过智能终端阅读点读印刷读物的系统，系统包括：对象标识与内容关联软件、网络服务器、带拍照和媒体播放功能的智能终端。

网络服务器包括：照片接收模块、数据发送模块、数据存储模块、数据检索模块。

首先使用对象标识与内容关联软件打开将要印刷的数字原稿，通过软件中的描边工具将版面中感兴趣对象选中并勾画出来形成一个个封闭的区域，然后给每个所述的封闭区域值入一个对象ID值，并关联一个或多个数字媒体对象。

关联上数字媒体对象之后，所述对象标识与内容关联软件会为每个所述对象ID生成对应的点阵二维码，并将所述点阵二维码填充到对应的所述封闭区域中，形成印刷文件。

将所述印刷文件输入印刷设备，印刷设备生产输出可点读印刷读物。

将所述印刷数字原稿、所述封闭区域坐标信息以及所述关联的数字媒体对象上传存储到网络服务器的数据存储模块上。

读者可使用智能终端对准所述可点读印刷读物的任一页拍照，然后所述智能终端将该照片发送给所述网络服务器的照片接收模块。所述照片接收模块接收该照片之后，所述网络服务器中的数据检索模块通过图像特征匹配、对象识别匹配、OCR文字匹配等综合手段搜索到与所述可点读印刷读物对应的所述印刷数字原稿。网络服务器中的数据发送模块将对应的印刷数字原稿、封闭区域坐标信息、以及关联的数字媒体对象发送到所述智能终端上。

所述智能终端接收到数据之后，在屏幕上显示出所述印刷数字原稿，并依据接收到的封闭区域坐标信息在屏幕上的印刷数字原稿上绘制对应的封闭区域，再以图标的形式将所述关联数字媒体对象显示出来。读者可直接点击所述代表数字媒体对象的图标直接触发所述智能终端播放所述数字媒体对象。或者读者直接点触所述智能终端的触摸屏，所述智能终端根据读者的点触坐标判断击中的所述封闭区域，播放所述封闭区域关联的所述数字媒体对象。

下面结合附图和实施例三，进一步阐述本发明。

以动物图案为印刷原稿文件为例。

如图4所示，400是一印刷读物的PDF格式印刷原稿的内容展示。

如图5所示，500是一对象标识与内容关联软件系统，它加载了印刷读物400的印刷原稿文件，并且标识了4个对象，分别是“小猫”、“小狗”、“小猪”，以及“小羊”。501为标识对象“小狗”的封闭区域，502为对象“小狗”的所述对象ID值“001-02”，“001-02”用于生成所述隐形点阵二维码平铺填充所述封闭区域501。503为对象“小狗”关联的媒体“小狗的叫声”的图标。500导出嵌有所述隐形点阵二维码的可点读印刷文件，印刷之后即得到可点读印刷读物。500还导出可通过所述对象ID值检索的关联媒体包，所述媒体包存储到点读笔103中，103点触可点读印刷读物上的被标识对象即可播放预先关联的媒体。

如图6所示，601为与400对应的印刷读物，智能终端301对601拍照，602为601的照片。

如图7所示为一应用系统组成图，700为所述网路服务器，它由701照片接收模块、702数据发送模块、703数据存储模块、704数据检索模块。301将照片602发送给所述网路服务器700的照片接收模块701，数据检索系统704对照片602进行对象识别、OCR识别、图像特征提取，并匹配数据存储模块703中的数据，数据发送模块702将检索结果（印刷原稿文件、标识对象的封闭区域的坐标数据、被标识对象的关联媒体文件）发送给智能终端301。

如图8所示为智能终端301接收到网络服务器700发送的检索结果的呈现结果，400为印刷原稿的显示，501为被标识的对象，503为被标识对象501关联的数字媒体的图标呈现。点触501或者503均可触发501关联的数字媒体的播放。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其它改进和变化均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种通过智能终端阅读可点读印刷读物的方法，其特征在于，包括以下步骤：

接收终端发送的图片，所述图片是通过拍摄印刷读物获得的；

提取所述图片的图像特征信息，获取所述图像特征信息对应的点读页，所述点读页携带有对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系；

将所述点读页发送至所述终端，通过终端显示所述点读页，使得所述终端接收用户点击所述点读页中的点读区域，获取所述点读区域对应的对象区域坐标，根据对象区域坐标与数字媒体之间的对应关系，触发所述对象区域坐标对应的数字媒体的播放。

2.根据权利要求1所述的方法，其特征在于，在所述接收终端发送的图片步骤之前，还包括：

加载数字原稿，识别所述数字原稿中的点读对象，形成对象区域，获取对象区域坐标，并关联一个或多个数字媒体；

将数字原稿、对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系进行存储；

对数字原稿进行对象识别、OCR文字识别以及图像特征提取，生成索引记录，用于根据图片的图像特征信息检索相应的点读页。

3.根据权利要求1所述的方法，其特征在于，将所述点读页发送至所述终端还包括：

将所述对象区域坐标、数字媒体以及对应关系发送至终端；

所述终端依据所述对象区域坐标在点读页上绘制出对应的对象区域；

接收点触屏幕的指令，判断是否击中对象区域，是，则播放所述数字媒体，否则等待接收下次指令。

4.根据权利要求3所述的方法，其特征在于，所述终端依据所述对象区域坐标在点读页上绘制出对应的对象区域还包括：

在所述对象区域附近生成图标，所述图标链接与对象区域关联的数字媒体，通过点击所述图标播放所述数字媒体。

5.根据权利要求1所述的方法，其特征在于，所述点读页上还设有显示或隐藏图标的开关。

6.根据权利要求1所述的方法，其特征在于，所述提取所述图片的图像特征信息为通过对数字原稿进行对象识别、OCR文字识别以及图像特征提取三种综合手段进行提取图像特征信息。

7.根据权利要求2所述的方法，其特征在于，所述形成对象区域还包括：

给每个对象区域植入一个ID值，并将其命名为所述对象区域关联数字媒体的名称。

8.根据权利要求2所述的方法，其特征在于，还包括：为所述ID值生成对应的点阵二维码，并将所述点阵二维码填充到对应的所述对象区域中，形成印刷文件，所述点阵二维码被印刷后可被点读笔点读获得对应的ID值，根据ID值检索到关联的数字媒体。

9.根据权利要求1所述的方法，其特征在于，所述印刷读物应为可点读印刷读物，所述终端应为带有拍照和媒体播放功能的智能终端。

10.一种通过智能终端阅读可点读印刷读物的系统，其特征在于，包括：

数据关联模块，用于加载数字原稿，识别所述数字原稿中的点读对象，形成对象区域，获取对象区域坐标，并关联一个或多个数字媒体；

数据存储模块，用于将数字原稿、对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系进行存储；

图片接收模块，用于接收终端发送的图片，所述图片是通过终端拍摄印刷读物获得的；

数据检索模块，用于提取所述图片的图像特征信息，获取所述图像特征信息对应的点读页，所述点读页携带有对象区域坐标、数字媒体以及对象区域坐标与数字媒体之间的对应关系；

数据发送模块，用于将所述点读页发送至所述终端，通过终端显示所述点读页，使得所述终端接收用户点击所述点读页中的点读区域，获取所述点读区域对应的对象区域坐标，根据对象区域坐标与数字媒体之间的对应关系，触发所述对象区域坐标对应的数字媒体的播放。