CN111274511A - 一种书籍资源展示的方法及系统 - Google Patents

Abstract

本发明提供一种书籍资源展示的方法及系统，包括：对待展示书籍进行处理：获取含有相关资源的书籍页的整张截图，为截图命名唯一标识；从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；通过图像识别技术获取截图的模型特征，并生成特征文件；书籍资源展示：利用带AR扫描功能的移动终端扫描书籍整个页面；若扫描的页面中存在与其匹配的所述特征文件，则弹出弹框并将对应截图作为背景图，并加载所述xml配置文件，在背景图上绘制出各资源区域；在各资源区域展示出相关的资源信息。本发明提供的一种书籍资源展示的方法及系统，将整页书页作为一个识别对象，从而极大提高了AR引擎的识别率。

Description

一种书籍资源展示的方法及系统

技术领域

本发明属于AR识别技术领域，具体涉及一种书籍资源展示的方法及系统。

背景技术

伴随着移动互联网时代的发展，信息化技术已经渗透到教育领域中。传统的阅读方式都是翻看书籍，遇到相关知识点需要主动翻阅其他资料，这导致效率不高，而且可能会降低学生的主动性。而融入了互联网技术后，书籍可以以电子版的形式存在移动设备里，学生可以随时随地的查看书籍内容。当学生想查看书籍中的某个资源时，需要在浏览器里自行搜索，又或者是去书籍列表里手动翻阅。

目前较为流行的一种方式是使用AR技术，将书籍页上某些区域对应好相关的多媒体资源。使用时，用AR程序扫描书籍页的这些区域，待识别引擎识别出该区域后，AR程序自动或由用户触发(通常是点击该区域)显示出区域对应的资源，从而实现了所扫即所得，既提高了效率又增加了学生的阅读兴趣。在识别书籍时分为以下两种方式：一种是每页书籍可能会有多个资源，因此将每个资源区域作为识别对象，想查看哪个资源就扫描哪个区域；另一种是，显示资源的时候，通过各种绘制技术，常见的如OpenGL在屏幕绘制资源区域位置，并显示标题等资源信息。

但在AR识别中，一般而言，对一页待识别的书籍页，页中的图像、尤其是含多个棱角分明的内容的图像区域识别率较高，而书页中的文字等区域识别率往往较低。在实际使用过程中，常常会发生由于书籍的部分区域的AR识别特征不明显，例如图像区域中圆弧型元素较多，或纯由文字区域组成时，其识别特征较弱，从而导致AR程序难以将之识别出来。对此的解决方案，一般采用重新设计书籍中的图案、内容来提高识别率。但这对书籍内容变更代价很高、甚至限于某些原因不允许做变更时(例如对中小学的课本，是不允许由于AR识别的原因的变更的)，就难以奏效。

此外，在显示资源的时候，要保证绘制出的资源和扫描的资源区域吻合和变化，使用OpenGL等进行动态绘制涉及到矩阵运算等操作，有一定难度，一般的程序员需要进行专门的学习才能进行，开发周期长。

因此，有必要提供一种高效的书籍资料显示方法。

发明内容

针对现有技术中存在的缺陷，本发明提供一种书籍资源展示的方法及系统，将整页书页作为一个识别对象，从而极大提高了AR引擎的识别率。同时，通过弹框的形式取代了OpenGL绘制，并将书籍页作为弹框背景，在背景图上利用最简单的View绘制资源信息，并设置点击事件，点击哪个资源区域就会显示具体的资源信息，实现方式简单高效。

为达到以上目的，本发明采用的技术方案是：一种书籍资源展示的方法，所述方法包括：

(1)对待展示书籍进行处理：

1.1获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识；

1.2从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；

1.3通过图像识别技术获取截图的模型特征，并生成特征文件；

(2)书籍资源展示：

2.1利用带AR扫描功能的移动终端扫描书籍整个页面；

2.2若扫描的页面中存在与其匹配的所述特征文件，则弹出弹框并将对应截图作为背景图，并加载所述xml配置文件，在背景图上绘制出各资源区域；

2.3在各资源区域展示出相关的资源信息。

进一步的，步骤1.1还包括：将书籍页中的信息与教学资源库中的相关资源进行匹配，若匹配成功则将该书籍页整张截图。

进一步的，步骤1.2中所述xml配置文件还包括各资源展示区的资源类型、名称以及相关资源链接。

进一步的，所述步骤1.3具体包括：图片识别技术采用高通的AR扫描SDK，生成的特征文件。

进一步的，所述方法在对待展示书籍进行处理之后，在书籍资源展示之前包括：

将所述截图、所述xml配置文件、所述特征文件保存到所述移动终端。

进一步的，所述步骤2.2所述在背景图上绘制出各资源区域具体包括：

根据资源区域在截图中的相对位置以及移动终端屏幕的宽高，来计算资源区域在移动终端中的真实位置。

为达到以上目的，本发明采用的技术方案是：一种书籍资源展示的系统，所述系统包括：书籍处理单元、服务器和书籍展示单元，服务器用于接收书籍处理单元上传的数据以及为书籍展示单元提供下载数据；

书籍处理单元包括：

截图模块，用于获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识；

测量模块，用于从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；

特征提取模块，用于通过图像识别技术获取截图的模型特征，并生成特征文件；

书籍展示单元包括：

扫描模块，用于利用AR扫描功能扫描书籍整个页面；

数据处理模块，用于判断扫描的页面与特征文件是否匹配，若匹配，则弹出弹框并将对应截图作为背景图，并处理所述xml配置文件；

显示屏，用于在背景图上绘制出各资源区域，以及在各资源区域展示出相关的资源信息。

进一步的，所述截图模块还用于将书籍页中的信息与教学资源库中的相关资源进行匹配，若匹配成功则将该书籍页整张截图。

进一步的，所述特征提取模块中图片识别技术采用高通的AR扫描SDK，生成的特征文件。

进一步的，所述书籍处理单元上传或书籍展示单元下载的数据包括：所述截图、所述xml配置文件和所述特征文件。

本发明的效果在于，将整页书页作为一个识别对象，从而极大提高了AR引擎的识别率。同时，通过弹框的形式取代了OpenGL绘制，并将书籍页作为弹框背景，在背景图上利用最简单的View绘制资源信息，并设置点击事件，点击哪个资源区域就会显示具体的资源信息，实现方式简单高效。

附图说明

图1为一种书籍资源展示的方法的流程示意图；

图2为扫描结果示意图；

图3为xml配置文件的格式示意图；

图4为相关资源一实施例的展示图；

图5为一种书籍资源展示的系统的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

参阅图1，图1为一种书籍资源展示的方法的流程示意图。本发明提供的书籍资源展示的方法包括以下步骤：

对待展示书籍进行处理：

步骤101：获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识。

考虑到很多书籍页都有图文表混排的现象，特别地，类似中学地理课本这样的书籍，几乎每页都有图像区域和文字区域，某些区域AR识别率高，而某些区域识别率低的情况较为突出。针对目前方案中某些区域识别率不高的问题，本方法将整页书页作为一个识别对象，在对书籍进行处理时把书籍页整张截图，并为截图命名一个唯一标识。

参阅图2，图2为扫描结果示意图。在该实施例中，书籍页包含三个文本类型和一个图片类型识别区域，因为文本类型识别特征不明显，因此可以将整页作为识别对象，这样因为包含了一个图片类型的资源，所以识别特征会比较明显。

在一个具体的实施例中，截图命名的标识可以为P加页码。图2中的截图可以命名为P15。

还需要指出的是，本发明中与书籍相关的相关资源都保存在教学资源库中。相关资源可以为PPT、短片以及名词解释等等。在具体的实施例中，书籍某一页中没有与之匹配的相关信息，在后期扫描过程中没有可展示的相关资源，故不需要将本页截图进行下一步的处理。在另一个具体的实施例中，书籍某一页中有与之匹配的多条相关信息，故需要将本页截图进行下一步的处理。

步骤102：从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果。

继续参阅图2，将该页截取图片出来，测量图片的宽高，然后测量出资源区域的宽高以及资源区域相对于该页面左上角的位置(顶部距离和左侧距离)。测量结果(单位px)：

书籍页：宽：530 高：755

资源一：宽：320 高：70 顶部距离：415 左侧距离：50

资源二：宽：320 高：36 顶部距离：523 左侧距离：50

资源三：宽：143 高：133 顶部距离：565 左侧距离：50

资源四：宽：262 高：133 顶部距离：565 左侧距离：210

设置xml配置文件记录上述测量结果，参阅图3，图3为xml配置文件的格式示意图。

在其他实施例中，所述xml配置文件还包括各资源展示区的资源类型、名称以及资源链接等详细信息。例如，bookresource为根节点，存储了书籍页的宽高；chapter为某一章；section为章下的某一节；page为整张书籍页；id属性就是图片的识别id，如上述的P15；object：一个资源的实例，包含了资源id、标题、资源类型、资源位置以及区域大小。

步骤103：通过图像识别技术获取截图的模型特征，并生成特征文件。

具体包括：图片识别技术采用高通的AR扫描SDK，生成的特征文件。

在对待展示书籍进行处理之后，在书籍资源展示之前包括：将所述截图、所述xml配置文件、所述特征文件保存到所述移动终端。保存的方式可以为移动终端通过网络下载解压的方式获取上述文件。当然，移动终端还包括教学资源库中所以的相关资源。

书籍资源展示：

步骤201：利用带AR扫描功能的移动终端扫描书籍整个页面。

打开AR扫一扫，初始化高通AR的SDK，加载识别特征文件，然后扫描教材上的书籍页，判断扫描获取的特征和本地特征文件是否匹配。

步骤202：若扫描的页面中存在与其匹配的所述特征文件，则弹出弹框并将对应截图作为背景图，并加载所述xml配置文件，在背景图上绘制出各资源区域。

若扫描的页面中存在与其匹配的所述特征文件，就弹出填充屏幕的弹框并将截取的目标书籍页作为背景图，读取存放资源数据的xml文件，可计算出资源区域相对于书籍页的大小及位置的百分比，然后获取移动设备的屏幕宽高进而得知在屏幕上的真实大小及位置，并通过基本的View绘制原理将资源的大小及位置绘制在屏幕上，最后为每个区域增加资源信息，用户点击即可访问具体的资源。

具体计算方法如下：

如果扫描到目标书籍的话高通SDK会回调扫描结果，结果id等于P15，此时读取xml配置文件能找到id为P15的page标签，而page下的object标签有四个，说明此书籍页有四个资源。计算资源的相对大小及位置比例公式：

宽：资源宽/书籍页宽 高：资源高/书籍页高

顶部距离：顶部距离/高 左侧距离：左侧距离/宽

书籍页：宽：530高：755

资源一：宽：320/530≈0.6 高：70/755≈0.09

顶部距离：415/755≈0.55 左侧距离：50/530≈0.09资源二：宽：320/530≈0.6高：36/755≈0.05

顶部距离：523/755≈0.69 左侧距离：50/530≈0.09资源三：宽：143/530≈0.27高：133/755≈0.18

顶部距离：565/755≈0.75 左侧距离：50/530≈0.09资源四：宽：262/530≈0.49高：133/755≈0.18

顶部距离：565/755≈0.75 左侧距离：210/530≈0.4因为要绘制到真实的屏幕上，所以要计算资源区域在屏幕上的坐标位置及大小。

假如通过API获取到移动设备的屏幕大小是1280*800，那么通过百分比就能计算出资源区域在移动设备显示的位置及大小。

资源一：宽：0.6*800＝480 高：0.09*1280＝115.2

顶部距离：0.55*1280＝704 左侧距离：0.09*800＝72资源二：宽：0.6*800＝480高：0.05*1280＝64

顶部距离：0.69*1280＝883.2 左侧距离：0.09*800＝72资源三：宽：0.27*800＝216 高：0.18*1280＝230.4

顶部距离：0.75*1280＝960 左侧距离：

0.09*800＝72

资源四：宽：0.49*800＝392 高：0.18*1280＝230.4

顶部距离：0.75*1280＝960 左侧距离：0.4*800＝320

步骤203：在各资源区域展示出相关的资源信息。

参阅图4，用户根据兴趣点击相关资源连接，资源详情如图4所示。

当扫描特征不匹配的时候，就移除当前弹框，使用方式简单，查看资源方便。

参阅图5，图为一种书籍资源展示的系统的结构示意图。本发明还提供一种书籍资源展示的系统101，所述系统101包括：书籍处理单元1011、服务器1012和书籍展示单元1013，服务器1012用于接收书籍处理单元1011上传的数据以及为书籍展示单元1013提供下载数据。

书籍处理单元1011包括：

截图模块10111，用于获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识。截图模块10111还用于将书籍页中的信息与教学资源库中的相关资源进行匹配，若匹配成功则将该书籍页整张截图。

测量模块10112，用于从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；所述xml配置文件还包括各资源展示区的资源类型、名称以及资源链接。

特征提取模块10113，用于通过图像识别技术获取截图的模型特征，并生成特征文件；特征提取模块10113中图片识别技术采用高通的AR扫描SDK，生成的特征文件。

所述书籍处理单元1011上传或书籍展示单元1013下载的数据包括：所述截图、所述xml配置文件和所述特征文件。

书籍展示单元1013包括：

扫描模块10131，用于利用AR扫描功能扫描书籍整个页面；

数据处理模块10132，用于判断扫描的页面与特征文件是否匹配，若匹配，则弹出弹框并将对应截图作为背景图，并处理所述xml配置文件；所述数据处理模块10132处理所述xml配置文件具体包括：根据资源区域在截图中的相对位置以及显示屏10133的宽高，来计算资源区域在显示屏10133中的真实位置。

显示屏10133，用于在背景图上绘制出各资源区域，以及在各资源区域展示出相关的资源信息。

区别于现有技术，本发明提供的一种书籍资源展示的方法及系统，将整页书页作为一个识别对象，从而极大提高了AR引擎的识别率。同时，通过弹框的形式取代了OpenGL绘制，并将书籍页作为弹框背景，在背景图上利用最简单的View绘制资源信息，并设置点击事件，点击哪个资源区域就会显示具体的资源信息，实现方式简单高效。

本领域技术人员应该明白，本发明的方法及系统并不限于具体实施方式中所述的实施例，上面的具体描述只是为了解释本发明的目的，并非用于限制本发明。本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围，本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种书籍资源展示的方法，其特征在于，所述方法包括以下步骤：

(1)对待展示书籍进行处理：

1.1获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识；

1.2从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；

1.3通过图像识别技术获取截图的模型特征，并生成特征文件；

(2)书籍资源展示：

2.1利用带AR扫描功能的移动终端扫描书籍整个页面；

2.2若扫描的页面中存在与其匹配的所述特征文件，则弹出弹框并将对应截图作为背景图，并加载所述xml配置文件，在背景图上绘制出各资源区域；

2.3在各资源区域展示出相关的资源信息。

2.根据权利要求1所述的方法，其特征在于，步骤1.1还包括：将书籍页中的信息与教学资源库中的相关资源进行匹配，若匹配成功则将该书籍页整张截图。

3.根据权利要求1所述的方法，其特征在于，步骤1.2中所述xml配置文件还包括各资源展示区的资源类型、名称以及相关资源链接。

4.根据权利要求1所述的方法，其特征在于，所述步骤1.3具体包括：图片识别技术采用高通的AR扫描SDK，生成的特征文件。

5.根据权利要求1所述的方法，其特征在于，所述方法在对待展示书籍进行处理之后，在书籍资源展示之前包括：

将所述截图、所述xml配置文件、所述特征文件保存到所述移动终端。

6.根据权利要求5所述的方法，其特征在于，所述步骤2.2所述在背景图上绘制出各资源区域具体包括：

根据资源区域在截图中的相对位置以及移动终端屏幕的宽高，来计算资源区域在移动终端中的真实位置。

7.一种书籍资源展示的系统，其特征在于，所述系统包括：书籍处理单元、服务器和书籍展示单元，服务器用于接收书籍处理单元上传的数据以及为书籍展示单元提供下载数据；

书籍处理单元包括：

截图模块，用于获取含有相关资源的书籍页的整张截图，并为截图命名一个唯一标识；

测量模块，用于从截图中测量各资源展示区的宽高以及资源展示区相对于截图左上角的坐标位置，并设置xml配置文件记录测量结果；

特征提取模块，用于通过图像识别技术获取截图的模型特征，并生成特征文件；

书籍展示单元包括：

扫描模块，用于利用AR扫描功能扫描书籍整个页面；

数据处理模块，用于判断扫描的页面与特征文件是否匹配，若匹配，则弹出弹框并将对应截图作为背景图，并处理所述xml配置文件；

显示屏，用于在背景图上绘制出各资源区域，以及在各资源区域展示出相关的资源信息。

8.根据权利要求7所述的系统，其特征在于，所述截图模块还用于将书籍页中的信息与教学资源库中的相关资源进行匹配，若匹配成功则将该书籍页整张截图。

9.根据权利要求7所述的系统，其特征在于，所述特征提取模块中图片识别技术采用高通的AR扫描SDK，生成的特征文件。

10.根据权利要求7所述的系统，其特征在于，所述书籍处理单元上传或书籍展示单元下载的数据包括：所述截图、所述xml配置文件和所述特征文件。

Images