CN105447499A - 一种图书互动方法、装置和设备 - Google Patents

Abstract

本发明提供了一种图书互动方法、装置和设备，该方法通过图像匹配识别技术能够识别出待互动图书、待互动图书的当前页码、用户兴趣区域以及用户兴趣区域的特征，根据这些识别结果，读取预先加载的互动标注文件，从而得到用户兴趣区域相对应的互动标注点对应的互动内容和互动类型，最后根据互动类型对该互动内容进行展示。只要待互动图书的信息被预先加载，该方法就能够实现对该待互动图书的互动，而无需要求待互动图书是定制化图书，因而，该方法能够避免现有技术中定制图书的制作过程的缺点。进而，该方法能够降低图书互动技术的人工和经济成本。此外，该方法能够适用于所有类型的图书包括常规图书，所以该方法有利于提高图书互动的应用广泛性。

Description

一种图书互动方法、装置和设备

技术领域

本发明涉及图书互动技术技术领域，尤其涉及一种图书互动方法、装置和设备。

背景技术

随着科学技术的发展，图书互动技术给人们的生活带来很大便利，其应用越来越广泛，例如其广泛应用于儿童图互动书领域。

现有的图书互动过程需要借助点读技术来实现。点读技术就是通过特制的点读设备以及相匹配的定制图书，来识别当前点读设备在图书中的位置以及所点读的物体的编码，然后通过匹配预先存储在点读设备内的相应音频文件等互动内容来实现互动。然而，现有的点读设备只能识别与之匹配的定制图书，不能识别常规图书。常规图书是指没有为了实现互动而特种制作和印刷的图书，也可以理解为一般的纸质图书。因而，现有的互动图书均是能够使点读设备技术识别的、与点读设备相匹配的定制图书，而这些定制图书的制作设计前期的点读设计、原型图书的点读区域圈定、点读区域音频关联、点读图书的特殊印刷等步骤，需要很大的人工和经济成本。所以，现有的图书互动技术的人工和经济成本较高。

发明内容

有鉴于此，为了降低图书互动技术的人工和经济成本，本发明提供了一种图书互动方法、装置和设备。

一种图书互动方法，包括:

获取待互动图书的封面图像：

将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

待所述待互动图书识别后，获取待互动图书当前页面的页面图像；

将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的特征；

将提取的用户兴趣区域的特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点；

读取预先加载的互动标注文件，得到与所述用户兴趣区域的特征相匹配的互动标注点对应的互动内容和互动类型；

查找并激活与所述互动类型相匹配的外设资源，以使所述外设资源根据所述互动类型对所述与所述用户兴趣区域的局部特征相匹配的互动标注点的互动内容进行展示。

一种图书互动设备，包括：图像采集器、存储器、处理器和外设资源；

其中，所述图像采集器用于采集待互动图书的封面图像和当前页面图像；

所述存储器用于存储样本数据库和执行权利要求1-11任一项所述的图书互动方法所需的逻辑指令，所述样本数据库内包括样本图书的封面图像、样本图书的封面图像特征、样本图书的各页面图像、样本图书的各页面图像特征、样本图书中的所有互动标注文件、每个互动标注点对应的互动内容和互动类型；

所述处理器用于获取所述图像采集器采集的待互动图书的封面图像和当前页面图像，用于加载所述样本数据库内的数据，用于调用所述存储器中的执行图书互动方法所需的逻辑指令，以执行权利要求1-11任一项所述的图书互动方法；

所述外设资源用于根据所述互动类型对所述与所述用户兴趣区域的特征相匹配的互动标注点的互动内容进行展示。

一种图书互动装置，包括：

第一获取单元，用于获取待互动图书的封面图像：

第一识别单元，用于将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

第二获取单元，用于待所述待互动图书识别后，获取待互动图书当前页面的页面图像；

第二识别单元，用于将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

第三识别单元，用于识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的局部特征；

匹配单元，用于将提取的用户兴趣区域的局部特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点；

读取单元，用于读取预先加载的互动标注文件，得到与所述用户兴趣区域的特征相匹配的互动标注点对应的互动内容和互动类型；

查找激活单元，用于查找并激活与所述互动类型相匹配的外设资源，以使所述外设资源根据所述互动类型对所述与所述用户兴趣区域的特征相匹配的互动标注点的互动内容进行展示。

相较于现有技术，本发明具有以下有益效果：

通过以上技术方案，本发明提供的图书互动方法通过图像匹配识别技术能够识别出待互动图书、待互动图书的当前页码、用户兴趣区域以及用户兴趣区域的特征，根据这些识别结果，读取预先加载的互动标注文件，从而得到用户兴趣区域相对应的互动标注点对应的互动内容和互动类型，最后根据互动类型对该互动内容进行展示。只要待互动图书的信息被预先加载，该方法就能够实现对该待互动图书的互动，而无需要求待互动图书是定制化图书，因而，该方法能够避免现有技术中定制图书的制作过程的缺点，如点读设计、原型图书的点读区域圈定、点读区域音频关联、点读图书的特殊印刷。进而，该方法能够降低图书互动技术的人工和经济成本。此外，该方法能够适用于所有类型的图书包括常规图书，所以该方法有利于提高图书互动的应用广泛性。

附图说明

为了清楚地理解本发明的具体实施方式，下面将描述本发明具体实施方式时用到的附图作简要说明。显而易见地，这些附图仅是本发明的部分实施例，本领域技术人员在未付出创造性劳动的前提下还可以获得其它附图。

图1是本发明实施例提供的图书互动设备结构示意图；

图2是本发明实施例提供的图书互动方法流程示意图；

图3是本发明实施例提供的匹配图书封面图像的方法流程示意图；

图4是本发明实施例提供的提取封面图像特征的方法流程示意图；

图5是本发明实施例提供的摄像头焦点校正的方法流程示意图；

图6是本发明实施例提供的页面页码的一种实施方式的流程示意图；

图7是本发明实施例提供的页面页码的另一种实施方式的流程示意图；

图8是本发明实施例提供的页面发生变化后，识别当前页面页码的方法流程示意图；

图9是本发明实施例提供的、识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的特征的方法流程示意图；

图10是本发明实施例提供的查找并激活与所述互动类型相匹配的外设资源的方法流程示意图；

图11是本发明实施例提供的图书互动方法的简易流程示意图；

图12是本发明实施例提供的图书封面识别的方法流程示意图；

图13是本发明实施例提供的页面页码识别方法流程示意图；

图14是本发明实施例提供的用户ROI区域识别，提取用户ROI的特征的方法流程示意图；

图15是本发明实施例提供的图书互动装置结构示意图。

具体实施方式

为使本发明的目的、技术手段和有益效果更加清楚完整，下面结合附图对本发明的具体实施方式进行描述。

本发明的发明人发现，借助于点读技术的图书互动技术中，图书互动的设计阶段是图书互动的关键，而之后的原型绘制和图书的定制化印刷都是借助于点读技术的图书互动技术的重大弊端。为了克服该弊端，本发明提供的图书互动方法将图书互动的设计过程抽象为图书标注文件的生成过程。设计人员只要将图书的互动点进行标注，并将其存储到后台服务器或者图书互动设备的存储器中，然后借助图书互动设备通过图像匹配技术即可实现图书互动。

为了清楚地理解本发明实施例提供的图书互动方法的具体实施方式，首先介绍一下本发明实施例提供的图书互动设备的大体结构。

图1是本发明实施例提供的图书互动设备的结构示意图，如图1所示，该图书互动设备包括：图像采集器11、存储器12、处理器13和外设资源14，其中，图像采集器11用于采集待互动图书的封面图像和当前页面图像；

存储器12用于存储样本数据库和执行本发明任一实施例所述的图书互动方法所需的逻辑指令，其中，样本数据库内存储有以下数据：样本图书的封面图像、样本图书的封面图像特征、样本图书的各页面图像、样本图书的各页面图像特征、样本图书中的所有互动标注文件、每个互动标注点对应的互动内容和互动类型；

处理器13用于获取图像采集器11采集的待互动图书的封面图像和当前页面图像，用于加载存储在样本数据库内的用于执行本发明任一实施例所述的图书互动方法时需要的数据，用于调用存储器12中的执行图书互动方法所需的逻辑指令，以执行本发明任一实施例所述的图书互动方法；

外设资源14用于根据互动类型对与所述用户兴趣区域的特征相匹配的互动标注点的互动内容进行展示。

在本发明实施例中，图像采集器11可以为扫描仪或摄像头。当图像采集器11为扫描仪时，通过扫描待互动图书的封面和待互动图书的各页页面，来采集待互动图书的封面图像和各页页面图像。由于本发明实施例用到的图像均为静态图像，当图像采集器11为摄像头时，通过对摄像头输入的视频流进行采样来获取待互动图书的封面图像和各页页面图像。具体的采样方法可以通过场景触发，也可以通过定时采样进行。

本发明实施例所述的存储器12例如可以为非易失性存储器(non-volatilememory)。

需要说明的是，本发明实施例中，图书互动的互动类型可以为多种，不同互动内容可以设置不同的互动类型，以使得图书互动内容更加丰富。因而，该图书互动设备克服了现有的点读笔技术互动手段单一的缺陷。

为了适应多种不同的互动类型，在本发明实施例提供的图书互动设备中，外设资源也可以有多种类型，例如其可以为音频播放器、视频播放器等等。其中，外设资源可以通过网络(例如可以为Wifi或其它网络)访问存储器，进而读取相应的互动内容，然后对读取到的互动内容进行展示。

基于上述所述的图书互动设备，本发明提供了一种图书互动方法。下面结合附图对本发明实施例提供的图书互动方法的具体实施方式进行描述。

图2是本发明实施例提供的图书互动方法的流程示意图。如图2所示，该方法包括以下步骤：

S201、获取待互动图书的封面图像：

图像采集器采集待互动图书的封面图像，然后传输到处理器，处理器获取到待互动图书的封面图像。

S202、将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

具体地，获取到的待互动图书的封面图像和预先加载的样本图书封面图像的匹配过程可以通过图像灰度匹配或图像特征匹配的方式实现。

作为本发明的一个具体实施例，通过图像特征将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配的具体实现方式如图3所示，其具体包括以下步骤：

S2021、从获取到的封面图像中提取封面图像特征，预先加载的各个样本图书的封面图像特征：

需要说明的是，在本发明实施例中，提取的封面图像特征可以为封面图像的SIFT特征(Scale-invariantfeaturetransform，尺度不变特征变换)、SURF特征(SpeededUpRobustFeatures，加速稳健特征)、ORB特征(ORientedBrief)、BRIEF(BinaryRobustIndependentElementaryFeatures)或FAST特征(featuresfromacceleratedsegmenttest)。此外，提取的封面图像特征也可以为其它图像特征。本发明实施例对提取的封面图像特征的类型不做限定，只要提取的封面图像特征具有旋转、位移、尺寸等仿射不变性即可。而且，提取的封面图像特征类型与预先存在的封面图像特征类型应该相同。

另外，处理器获取到的封面图像为图像采集器采集得到的静态图像，该静态图像的信噪比和对比度有可能比较低，为了提高封面图像的质量，在所述从获取到的封面图像中提取封面图像特征之前，还可以对获取到的封面图像进行降噪和/或增强对比度等预处理，以得到高质量的封面图像，然后再对预处理后的封面图像进行后续处理操作。

此外，通常情况下，图书互动设备针对某一类或某几类的图书，其存储器的样本数据库中存储的样本图书有可能是某一类或某几类的图书，为了减少计算量，节省计算资源，在获取到待互动图书的封面图像之后，提取该待互动图书的封面图像特征之前，还可以包括：

根据所述封面图像检测所述待互动图书是否为预设种类的图书，在确定了待互动图书为预设种类的图书后，才执行后续操作。

如果不进行图书种类的检测，对于待互动图书不是预设种类的图书，只有在后续特征匹配阶段经过大量计算后才发现无法识别该图书，如此，会消耗大量的计算资源。而如果在特征匹配之前进行了图书种类的检测，如此就可以将不是预设种类的图书排除掉，进而就免去了后续对这类图书的特征匹配过程，因而减少了计算量，节省了计算资源。

作为本发明的一个示例，所述预设种类的图书例如可以为儿童图书。

在本发明实施例中，可以通过机器学习得到的二值分类器检测待互动图书是否为预设种类的图书。其中，二值分类器在训练阶段使用含有预设种类的图书(如儿童图书)的封面图像(作为正样本)和不含预设种类的图书(如儿童图书)封面图像(作为负样本)进行训练。利用该训练方法得到的二值分类器即可根据封面图像检测待互动图书是否为预设种类的图书。

作为本发明的一个具体实施例，所述从获取到的封面图像中提取封面图像特征的具体实现方式如图4所示，其包括以下步骤：

S20211、根据获取到的封面图像构建尺度空间：

根据获取到的封面图像构建尺度空间具体为生成封面图像在不同尺度下的表达，实现方式一般是通过对获取到的封面图像进行等比例缩小来实现的。

步骤S20211是一个初始化操作，目的是模拟图像在不同图像数据的多尺度特征，也就是图像特征金字塔。若在执行步骤S20211之前对封面图像进行了预处理后，本步骤采用的封面图像为预处理后的封面图像。

S20212、在所述尺度空间内，查找所述获取到的封面图像的准特征点：

作为本发明的一个具体实施例，可以利用DoG(英文全称为DifferenceofGaussian，高斯函数的差分)算子近似LoG(英文全称为LaplaceofGaussianFunction,中文全称为高斯拉普拉斯函数)算子在所述尺度空间内，查找获取到的封面图像的准特征点。在本发明实施例中，所述准特征点，在数学原理上是指在三层的尺度空间中是极值的点，简单来说，所述准特征点是能够最大抽象出一副图像中局部变化或特征的点。所以，步骤S20212就是在尺度空间内查找获取到的封面图像的极值点。

作为本发明的一个具体实施方式，在尺度空间内查找封面图像的极值点的方法具体包括：

对于任意一个采样点p，比较在尺度空间中其所在邻域的其它采样点，通过DoG算子近似LoG算子判断该采样点p是否是其所在邻域的极值点，如果是，则该采样点p为封面图像的准特征点，如果否，则该采样点不是准特征点。所述邻域是采样点p和其周围的一些点构成的集合。邻域一般通过具体的尺度描述，比如在一副二维图像中，某一个采样点的3*3邻域，就是指以这个采样点为中心的3*3个点构成的集合。在本发明实施例中，尺度空间将原来的二维邻域扩展到三维邻域，也就是原图像在不同尺度下观察的一组图像，此时在尺度空间中采样点所在的邻域变为三维空间的3*3*3个点构成的集合。

为了满足尺度不变的连续性，在通过DoG算子近似LoG算子判断该采样点p是否是其所在邻域的极值点之前，还包括：在尺度空间的顶层用高斯模糊生成3副图像。这是因为在步骤S20211的实现一般需要通过对获取到的封面图像进行等比例缩小。同时，为了保证在获取到的封面图像上也能进行图像特征的检测，有可能也会对获取到的封面图像进行放大，从而使得后续的计算能够连续。

S20213、去除所述准特征点中的边缘响应点，得到所述获取到的封面图像的特征点：

需要说明的是，边缘响应点就是在DoG近似LoG的方法查找到的准特征点中不稳定的特征点，因此，需要去除这些边缘响应点，从而得到获取到的封面图像的特征点，得到的特征点通常为多个。

S20214、根据每一个特征点，生成对应于该每一个特征点的特征向量，所述特征向量即为所述封面图像特征：

由于得到的特征点通常为多个，又由于一个特征点对应一个特征向量，所以，生成的特征向量也为多个，并且特征点数量与特征向量数量相同。

生成对应于一个特征点的特征向量的实现方式具体如下：

首先计算该特征点的主方向，使得提取的封面图像特征具有旋转不变性，然后对特征点的邻域内进行采样统计，计算得到梯度直方图，即可为该特征点生成一个128维的特征向量。该特征向量即为所述封面图像特征。

此外，为了执行后续步骤S2022，步骤S2021还包括：处理器从存储器的样本数据库中预先加载的各个样本图书的封面图像特征，进一步地，将加载的预先加载的各个样本图书的封面图像特征存储到处理器的内存中，以提高后续计算速度。需要说明的是，加载的各个样本图书的封面图像特征为特征集合，该特征集合以数组的方式存储在处理器的内存中。因此，后续如果要访问特征集合中的某个元素就要通过数组的索引进行。

S2022、将加载的各个样本图书封面图像的封面图像特征与提取到的封面图像特征进行匹配；

需要说明的是，图像特征匹配通常是基于图像的特征向量匹配来实现的。特征向量之间是否匹配是通过计算特征向量之间的欧式距离实现的。设定以欧式距离阈值，当两特征向量之间的欧式距离不大于欧式距离阈值时，则该两特征向量匹配，当两特征向量之间的欧式距离大于欧式距离阈值时，则该两特征向量不匹配。

为了清楚地理解本步骤的具体实施方式，下面举例说明本发明的具体实施方式：

设定待互动图书的封面图像中有k0个特征点，则这k0个特征点对应k0*128维特征向量，设定加载的样本图书封面图像有m个，m为正整数，则这m个样本图书封面图像中的特征点分别为k1，k2，k3，……,km，这m个特征点对应的特征向量分别为k1*128，k2*128，k3*128，……,km*128维向量，则将k1*128，k2*128，k3*128，……，km*128维向量分别与k0*128维向量进行匹配，分别比较两特征向量之间的欧式距离，如果两特征向量之间的欧式距离不大于欧式距离阈值，则该两特征向量匹配。举例说明：将k0*128维特征向量中的一个特征向量a与k1*128维特征向量中的一个特征向量b匹配时，计算特征向量a和b之间的欧式距离d_ab，当欧式距离d_ab不大于欧式距离阈值时，则特征向量a和b匹配。

S2023、计算并比较各个样本图书封面图像与待互动图书的封面图像中相匹配的封面图像特征个数，将相匹配的封面图像特征个数最多且高于第一阈值的样本图书作为待互动图书：

需要说明的是，若加载的所有各个样本图书封面图像与待互动图书的封面图像中相匹配的封面图像特征个数均不大于第一阈值，则此时该待互动图书识别失败，此时，处理器可以提示用户更新样本数据库。

作为本发明的一个具体实施例，用户更新样本数据库的操作可以为，用户从后台服务器中下载未识别的互动图书信息，将下载后的互动图书信息存储到存储器的样本数据库中。

S2024、校正图像采集器：

通过上述步骤S2021至步骤S2023，虽然能够成功识别待互动图书，但是，可能由于图像采集器的摆放位置和角度，使得图像采集器采集得到的图像中心与图像中图书的中心有可能存在一定的偏移，即图书在图像中严重偏向某一方向，此时不利于后续的操作。

为了图像采集器后续采集的图像质量更高，还可以校正图像采集器。

当图像采集器为摄像头时，上述校正图像采集器的过程具体为：校正摄像头的焦点。作为本发明的一个具体实施例，校正摄像头的焦点的过程如图5所示，具体包括：

S20241、根据步骤S2022得到的匹配的特征点位置在当前图像上绘制边界。

S20242、选择能够包含该边界的包络矩形作为图书图像区域。

S20243、计算图书区域的中心位置和区域尺度，同当前摄像头的焦点进行比对和调整，使得摄像头能基本对准图书的中心位置。

S203、待所述待互动图书识别后，获取待互动图书当前页面的页面图像：

待所述待互动图书识别成功后，图像采集器采集待互动图书当前页面的页面图像，然后传输到处理器，处理器获取到待互动图书当前页面的页面图像。

需要说明的是，在本发明实施例中，处理器获取待互动图书当前页面的页面图像的方式可以采用定时获取的方式，定时采样的频率既可以使用固定频率，也可以根据待互动图书的种类设定一个适合于当前待互动图书的采样频率，以便于平衡效率和准确性。

S204、将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

具体地，当前页面的页面图像和预先加载的页面图像进行匹配的过程可以通过图像灰度匹配或图像特征匹配的方式实现。

通过图像特征将当前页面的页面图像和预先加载的待互动图书的页面图像进行匹配的一个实施方式如图6所示，其具体为：

S204a1、从当前页面图像中提取当前页面图像特征，从样本数据库中预先加载的待互动图书的各个页面图像的页面图像特征：

需要说明的是，该步骤中预先加载的待互动图书的各个页面图像的页面图像特征为待互动图书的所有各个页面图像的页面图像特征。举例来说，假设带互动图书的页码为n页，则本步骤加载的预先加载的待互动图书的页面图像的页面图像特征为n页页面图像的页面图像特征。加载的这些待互动图书的各个页面图像的页面图像特征也以数组的方式存储在处理器的内存中。

S204a2、将当前页面的页面图像特征和预先加载的待互动图书的所有各个页面图像的页面图像特征分别进行匹配：

需要说明的是，本步骤进行特征匹配的方法与上述步骤S2022进行匹配的方法相同。其不同之处仅在于将步骤S2022的封面图像特征替换为本步骤中的页面图像特征。

S204a3、计算并比较预先加载的各个页面图像与当前页面图像的相匹配的页面图像特征个数，将相匹配的页面图像特征个数最多且高于第二阈值的预先加载的页面图像对应的页码作为当前页面页码。

以上为步骤S204的一个具体实施方式。

另外，由于图书的不同页面内容之间具有一定的连续性以及读书的方向性，本发明也可以通过跟踪图书阅读过程，根据已经识别的页面页码和图书的上下文信息来识别当前页面页码，从而减少识别当前页面页码的计算量，节省计算资源。

在本发明实施例中，通过跟踪图书阅读过程，根据已经识别的页面页码和图书的上下文信息识别当前页面图像的具体实施方式如图7所示，其包括以下步骤：

S204b1、检测当前页面是否发生变化：

需要说明的是，检测当前页面是否发生变化具体为：

b11、从当前页面图像中提取当前页面图像特征，加载第一背景图像特征：

需要说明的是，第一背景图像特征即为根据阅读顺序位于当前页面的上一页页面的图像特征。

b12、判断当前页面图像特征相较于第一背景图像特征是否发生显著变化，如果是，则认为当前页面发生变化，如果否，则认为当前页面未发生变化。

其中，所述判断当前页面的图像特征相较于第一背景图像特征是否发生显著变化是通过计算当前页面图像特征和第一背景图像特征之间不匹配的特征点的数量实现的。

设定一阈值，若当前页面图像特征和第一背景图像特征之间不匹配的特征数量大于该阈值，则认为当前页面图像特征相较于第一背景图像特征发生显著变化，即当前页面发生变化；反之，则认为当前页面图像特征相较于第一背景图像特征未发生显著变化，即当前页面未发生变化。

当前页面图像特征和第一背景图像特征之间是否匹配是通过两特征之间的欧式距离确定的。当两者的距离大于欧式距离阈值时，则认为当前页面图像特征与第一背景图像特征不匹配，反之，则认为当前页面图像特征与第一背景图像特征匹配。

另外，为了计算简单、快速，同时能够较好地表征图像整体，在本发明实施例中，采用的当前页面的图像特征可以为当前页面的统计特征。该统计特征可以为图像的颜色、纹理等。

S204b2、若当前页面发生变化，识别最新的当前页面页码：

该步骤的具体实现方式如图8所示，其包括：

b21、根据已经识别的页码信息，确定当前翻页方向：

需要说明的是，当处理器识别了一页页面图像和页码后，就会将该识别了的页码信息存储到样本数据库中。当需要时，处理器从样本数据库中加载这些已经识别的页码信息。

进一步地，在本发明实施例中，已经识别的页面页码可以为当前页面之前的所有已经识别的页面页码，也可以为当前页面之前的已经识别的n页页面页码，其中，n为正整数。

b22、根据已经识别的页码信息、当前翻页方向和预加载的图书互动特征文件，预测潜在的待匹配页面的图像特征：

由于图书不同页面图像之间具有一定的连贯性，因此，根据已经识别的页码信息、当前翻页方向和预加载的各页页面图像的图像特征，能够预测出潜在的待匹配页面的图像特征。需要说明的是，步骤b22根据已经识别的页码信息、当前翻页方向和预加载的图书互动特征文件还可以预测潜在的待匹配页面的图像特征对应的索引。

其中，潜在的待匹配页面的图像特征是根据已经识别的页码信息、当前翻页方向和预加载的各页页面图像的图像特征推算得到的最优可能与当前页面图像匹配的页面图像。

其中，预加载待互动图书的互动特征文件具体包括：

根据封面图像识别得到的待互动图书信息，找到存储相应图书的互动标注文件地址；

读取相应图书的互动标注文件，将该读取到的互动标注文件存储到处理器的内存中；

需要说明的是，图书的互动标注文件通常为xml格式，在内存中以数组形式进行存储。

b23、按照翻页方向的顺序，从所述潜在的待匹配图像特征开始，将提取到的当前页面图像特征和预加载的页面图像特征进行匹配：

b24、判断当前页面图像特征是否匹配到预加载的页面图像特征，如果是，执行步骤b25，如果否，执行步骤b26：

需要说明的是，所述判断当前页面图像特征是否匹配到预加载的页面图像特征是通过当前页面图像特征与预加载的页面图像特征之间相互匹配的图像特征的数量实现的。当两者相互匹配的特征特征的数量超过第二阈值，即认为当前页面图像特征匹配到预加载的页面图像特征。

b25、将被匹配到的预加载的页面图像特征对应的页面页码识别为当前页面页码；

b26、按照翻页方向相反的顺序，从所述潜在的待匹配图像特征开始，将提取到的当前页面图像特征和预加载的页面图像特征进行匹配：

b27、判断当前页面图像特征是否匹配到预加载的页面图像特征，如果是，执行步骤b25。

由于预测得到的潜在待匹配页面图像以及按照翻页方向位置其之后的图像特征不包括已经识别的页面图像，所以相较于图6所示的实施方式，缩小了与当前页面图像特征进行匹配的页面图像特征的数量，因而，有利于减少计算量，节省计算资源。

需要说明的是，为了方便进行下一页页面的页码识别，在该当前页面识别成功后，还可以执行步骤b28：

b28、更新样本数据库中的已经识别的页码信息以及图像背景：

如果当前页面识别成功后，将当前页面图像更新为样本数据库中的图像背景，并且将当前页码信息更新到样本数据库中已经识别的页码信息中，以供继续识别页码。

S205、识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的特征；

具体地，如图9所示，该步骤的具体实现方式如下：

S2051、识别当前页面上的指示物：

利用图像处理技术中的物体识别对当前页面图像中出现的指示物进行识别。其中，指示物可以为手指或笔。

S2052、以所述指示物和当前页面图像的重合点为中心，对图像进行二值化：

具体地，以所述指示物和当前页面图像的重合点为中心，在中心所在的领域内采集当前页面图像的颜色、纹理等特征，对当前页面图像进行二值化。

S2053、对二值化后的图像进行边界分割，得到用户兴趣区域的物体边界：

具体地，对二值化后的图形，通过图像的开、闭的图像形态学操作进行边界的分割，找到用户兴趣区域的物体边界。

S2054、根据所述用户兴趣区域的物体边界得到包络所述物体边界的用户兴趣区域：

其中，包络物体边界的用户兴趣区域可以为矩形区域。

S2055、对所述用户兴趣区域内的图像提取所述用户兴趣区域的特征：

提取的用户ROI区域内的特征主要包括以下三种：

1、位置：通过指示物与当前页面图像的交点坐标变换实现；

2、图像统计特征：颜色和纹理等；

3、局部特征：SIFT特征、FAST特征、SURF特征、ORB特征。

S206、将提取的用户兴趣区域的特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点：

本步骤具体包括：

S2061、将提取的用户兴趣区域的特征与预先加载的各个互动标注点的特征进行匹配，得到提取的用户兴趣区域的特征与预先加载的各个互动标注点的特征之间的相似度：

提取的用户兴趣区域的特征与预先加载的各个互动标注点的特征之间的相似度的计算可以采用两特征之间的欧式距离来衡量。

S2062、比较各个相似度的大小，将相似度最高且大于相似度阈值的预先加载的互动标注点作为与所述用户兴趣区域的特征相匹配的互动标注点：

作为示例，相似度阈值可以为0.7。

S207、读取预先加载的互动标注文件，得到与所述用户兴趣区域的局部特征相匹配的互动标注点对应的互动内容和互动类型。

S208、查找并激活与所述互动类型相匹配的外设资源，以使外设资源根据所述互动类型对所述与所述用户兴趣区域的局部特征相匹配的互动标注点的互动内容进行展示：

具体地，如图10所示，其包括以下步骤：

S2081、处理器根据指定的互动类型找到与互动类型相匹配的外设资源。

S2082、处理器检测查找到的外设资源是否可用，如果可用，执行步骤S2083，如果不可用，执行步骤S2084。

S2083、处理器激活该外设资源，外设资源读取存储在存储器中的与用户兴趣区域的局部特征相匹配的互动标注点的互动内容，并对其进行展示。

S2084、处理器检测外设资源故障，并通过音频的方式提示用户并可以进一步地给出解决方案。

以上为本发明实施例提供的图书互动方法，该图书互动方法通过图像匹配识别技术能够识别出待互动图书、待互动图书的当前页码、用户兴趣区域以及用户兴趣区域的特征，根据这些识别结果，读取预先加载的互动标注文件，从而得到用户兴趣区域相对应的互动标注点对应的互动内容和互动类型，最后根据互动类型对该互动内容进行展示。只要待互动图书的信息被预先加载，该方法就能够实现对该待互动图书的互动，而无需要求待互动图书是定制化图书，因而，该方法能够避免现有技术中定制图书的制作过程的缺点，如点读设计、原型图书的点读区域圈定、点读区域音频关联、点读图书的特殊印刷。进而，该方法能够降低图书互动技术的人工和经济成本。此外，该方法能够适用于所有类型的图书包括常规图书，所以该方法有利于提高图书互动的应用广泛性。

另外，通过本发明提供的图书互动设备和图书互动方法可以实现对同一本图书进行多种解读的可能，这是因为在图书互动设备的存储器中，可以存储图书的多个互动标注点。当需要对一本图书增加新的解读方式时，将该解读方式对应的互动标准点存储在存储器中，然后通过图书互动设备的图像识别，就可实现对该图书的新的解读方式。因此，该借助于图像匹配技术的图书互动方法相较于现有的借助于点读技术的图书互动方法，具有更强的垂直扩展性。

此外，本发明提供的图书互动设备不要求待互动图书为定制图书，该图书互动设备可以与多种图书实现互动，因此，该图书互动设备的通用性较强。

为了更加清楚地理解本发明提供的图书互动方法的具体实施方式，简单来说，如图11所示，上述所述的图书互动方法包括以下4个步骤：

A、图书封面图像识别；

B、当前页面页码识别；

C、用户ROI区域识别，提取用户ROI的特征；

D、激活相应的外设资源，以使外设资源对互动内容进行展示。

其中，步骤A的具体实现方式如图12所示，其包括：

S1201、通过摄像头采集封面图像；

S1202、对封面图像进行预处理；

S1203、根据预处理后的封面图像检测待互动图书是否为预设种类图书，如果是，执行步骤S1204，如果否，返回执行步骤S1201；

S1204、提取封面图像的封面图像特征，从样本数据库内加载样本图书的封面图像特征；

S1205、将加载的样本图书的封面图像特征与提取的封面图像进行匹配；

S1206、判断加载的样本图书的封面图像中是否存在与提取的封面图像相匹配的封面图像，如果是，执行步骤S1207，如果否，执行步骤S1209，

S1207、输出待互动图书的信息；

S1208、摄像头校正；

S1209、提示用户更新样本数据库。

步骤B的具体实现方式如图13所示，其包括：

S1301、定时从摄像头视频流获取页面图像；

S1302、提取页面图像统计特征；

S1303、将页面图像统计特征与第二背景图像统计特征进行比较，判断页面图像统计特征是否发生显著变化，如果是，执行步骤S1304，如果否，返回执行步骤S1301；

S1304、提取当前页面图像的图像特征；

S1305、将提取的当前页面图像特征与预先加载的页面的图像特征匹配：

为了减少计算量，此时所述的预先加载的页面图像特征并不是全部页面图像特征，而是通过已经识别的前N页页码预测得到的潜在匹配图像特征，N为正整数。

S1306、判断提取的当前页面图像特征与预先加载的页面的图像特征是否匹配成功，如果是，执行步骤S1307，如果否，返回执行步骤S1301；

S1307、输出当前页面信息；

S1308、更新背景图像和样本数据库中的前N页页码信息。

步骤C的具体实现方式如图14所示，其具体包括以下步骤：

S1401、定时从摄像头视频流中获取当前页面图像：

S1402、根据当前页面图像和第二背景图像判断当前页码是否发生变化，如果是，执行步骤S1403：

其中，第二背景图像是页面图像中没有指示物存在的图像。每一页页面图像对应一副第二背景图像。

S1403、更新当前页面图像的各互动区域特征以及第二背景图像：

若当前页码发生变化后，输入步骤B识别到的最新当前页面信息，然后，从存储器中将最新当前页面信息对应的各互动区域特征加载到处理器的内存中，并将第二背景图像更新为当前页面图像，或者进行第二背景图像建模。

S1404、计算当前页面图像和第二背景图像的差值图像：

需要说明的是，得到的差值图像表征了当前页面图像和第二背景图像的变化，适合用来进行物体检测及跟踪。

S1405、根据差值图像检测指示物：

根据差值图像进行指示物检测，指示物可以为手指或笔，以检测当前页面图像中是否出现指示物，以此作为是否进行用户ROI区域的标识。

该检测方法类似于前述所述的预设种类图书的检测，同样采用训练后的二值分类器进行判断。

S1406、当检测到当前页面图像中存在指示物时，识别用户ROI区域：

S1407、提取用户ROI区域内的特征：

S1408、将提取到的用户ROI区域内特征与步骤S1403中更新的页面各互动区域特征进行匹配：

S1409、若匹配成功，触发互动。

基于上述实施例提供的图书互动方法，本发明实施例还提供了图书互动装置的具体实施方式，具体参见图15。

如图15所示，该图书互动装置包括：

第一获取单元1501，用于获取待互动图书的封面图像：

第一识别单元1502，用于将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

第二获取单元1503，用于待所述待互动图书识别后，获取待互动图书当前页面的页面图像；

第二识别单元1504，用于将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

第三识别单元1505，用于识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的局部特征；

匹配单元1506，用于将提取的用户兴趣区域的局部特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的局部特征相匹配的互动标注点；

读取单元1507，用于读取预先加载的互动标注文件，得到与所述用户兴趣区域的局部特征相匹配的互动标注点对应的互动内容和互动类型；

查找激活单元1508，用于查找并激活与所述互动类型相匹配的外设资源，以使所述外设资源根据所述互动类型对所述与所述用户兴趣区域的局部特征相匹配的互动标注点的互动内容进行展示。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (14)

1.一种图书互动方法，其特征在于，包括:

获取待互动图书的封面图像：

将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

待所述待互动图书识别后，获取待互动图书当前页面的页面图像；

将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的特征；

将提取的用户兴趣区域的特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点；

读取预先加载的互动标注文件，得到与所述用户兴趣区域的特征相匹配的互动标注点对应的互动内容和互动类型；

查找并激活与所述互动类型相匹配的外设资源，以使所述外设资源根据所述互动类型对所述与所述用户兴趣区域的局部特征相匹配的互动标注点的互动内容进行展示。

2.根据权利要求1所述的方法，其特征在于，所述将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书，具体包括：

从获取到的封面图像中提取封面图像特征，预先加载各个样本图书封面图像特征；

计算并比较各个样本图书封面图像与待互动图书的封面图像中相匹配的封面图像特征个数，将相匹配的封面图像特征个数最多且高于第一阈值的样本图书作为待互动图书。

3.根据权利要求2所述的方法，其特征在于，所述获取待互动图像的封面图像之后，所述从获取到的封面图像中提取封面图像特征之前，还包括：

对所述封面图像进行降噪和/或增强对比度处理，得到处理后的封面图像；

所述从获取到的封面图像中提取封面图像特征具体为：从处理后的封面图像中提取封面图像特征。

4.根据权利要求2所述的方法，其特征在于，所述获取待互动图像的封面图像之后，所述从获取到的封面图像中提取封面图像特征之前，还包括：

确定所述封面图像对应的图书为预设种类的图书。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述封面图像特征为封面图像的SIFT特征、SURF特征、ORB特征、BRIEF特征或FAST特征。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码，具体包括：

从获取到的当前页面的页面图像中提取当前页面图像特征，预先加载所述待互动图书的各个页面的页面图像特征；

分别将预先加载的各个页面的页面图像特征与所述当前页面图像特征进行匹配；

计算并比较预先加载的各个页面图像与当前页面图像的相匹配的页面图像特征个数，将相匹配的页面图像特征个数最多且高于第二阈值的预先加载的页面图像对应的页码作为当前页面页码。

7.根据权利要求1-4任一项所述的方法，其特征在于，在所述将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码之前，已经识别了N页页面对应的页码，其中，N为正整数；

所述将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码，具体包括：

根据已经识别的N页页面对应的页码，确定当前翻页方向；

根据已经识别的N页页码信息、当前翻页方向和预加载的图书互动特征文件，预测潜在的待匹配页面的图像特征；

按照翻页方向的顺序，从所述潜在的待匹配图像特征开始，将提取到的当前页面图像特征和预加载的页面图像特征进行匹配；

判断当前页面图像特征是否匹配到预加载的页面图像特征，如果是，将被匹配到的预加载的页面图像特征对应的页面页码识别为当前页面页码。

8.根据权利要求7所述的方法，其特征在于，所述判断当前页面图像特征是否匹配到预加载的页面图像特征，还包括：

如果否，按照翻页方向相反的顺序，从所述潜在的待匹配图像特征开始，将提取到的当前页面图像特征和预加载的页面图像特征进行匹配：

判断当前页面图像特征是否匹配到预加载的页面图像特征，如果是，将被匹配到的预加载的页面图像特征对应的页面页面识别为当前页面页码。

9.根据权利要求1-4任一项所述的方法，其特征在于，所述识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的特征，具体包括：

识别当前页面上的指示物；

以所述指示物和当前页面图像的重合点为中心，对图像进行二值化；

对二值化后的图像进行边界分割，得到用户兴趣区域的物体边界；

根据所述用户兴趣区域的物体边界得到包络所述物体边界的用户兴趣区域；

对所述用户兴趣区域内的图像提取所述用户兴趣区域的特征。

10.根据权利要求9所述的方法，其特征在于，所述用户兴趣区域的特征包括用户兴趣区域的SIFT特征、SURF特征、ORB特征、BRIEF特征或FAST特征。

11.根据权利要求9所述的方法，其特征在于，所述将提取的用户兴趣区域的特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点，具体包括：

将提取的用户兴趣区域的特征与预先加载的各个互动标注点的特征进行匹配，得到提取的用户兴趣区域的特征与预先加载的各个互动标注点的特征之间的相似度；

比较各个相似度的大小，将相似度最高且大于相似度阈值的预先加载的互动标注点作为与所述用户兴趣区域的特征相匹配的互动标注点。

12.一种图书互动设备，其特征在于，包括：图像采集器、存储器、处理器和外设资源；

其中，所述图像采集器用于采集待互动图书的封面图像和当前页面图像；

所述存储器用于存储样本数据库和执行权利要求1-11任一项所述的图书互动方法所需的逻辑指令，所述样本数据库内包括样本图书的封面图像、样本图书的封面图像特征、样本图书的各页面图像、样本图书的各页面图像特征、样本图书中的所有互动标注文件、每个互动标注点对应的互动内容和互动类型；

所述处理器用于获取所述图像采集器采集的待互动图书的封面图像和当前页面图像，用于加载所述样本数据库内的数据，用于调用所述存储器中的执行图书互动方法所需的逻辑指令，以执行权利要求1-11任一项所述的图书互动方法；

所述外设资源用于根据所述互动类型对所述与所述用户兴趣区域的特征相匹配的互动标注点的互动内容进行展示。

13.根据权利要求12所述的设备，其特征在于，所述图像采集器为扫描仪或摄像头。

14.一种图书互动装置，其特征在于，包括：

第一获取单元，用于获取待互动图书的封面图像：

第一识别单元，用于将获取到的待互动图书的封面图像和预先加载的样本图书封面图像进行匹配，以识别所述待互动图书；

第二获取单元，用于待所述待互动图书识别后，获取待互动图书当前页面的页面图像；

第二识别单元，用于将获取到的当前页面的页面图像和预先加载的所述待互动图书的页面图像进行匹配，以识别当前页面对应的页码；

第三识别单元，用于识别用户在所述当前页面上的用户兴趣区域，并提取所述用户兴趣区域的局部特征；

匹配单元，用于将提取的用户兴趣区域的局部特征与预先加载的互动标注点的特征进行匹配，得到与提取的用户兴趣区域的特征相匹配的互动标注点；

读取单元，用于读取预先加载的互动标注文件，得到与所述用户兴趣区域的特征相匹配的互动标注点对应的互动内容和互动类型；

查找激活单元，用于查找并激活与所述互动类型相匹配的外设资源，以使所述外设资源根据所述互动类型对所述与所述用户兴趣区域的特征相匹配的互动标注点的互动内容进行展示。