CN109947273A - 一种点读定位方法及装置 - Google Patents

Abstract

本发明公开了一种点读定位方法，包括：获取包含指示体指向点读页上任意位置的指示图像；对指示图像进行特征点提取，在预存的页索引文件中匹配到指示图像对应的目标点读页；对指示图像进行图像处理，识别指示图像中的指示体；根据指示图像中各特征点在指示体周边的分布情况，从指示图像的各特征点中选取至少四个目标特征点；根据指示图像、至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区。通过本发明解决了点读书页部分被遮挡、或不平整、变形导致点读定位不准确的问题。

Description

一种点读定位方法及装置

技术领域

本发明涉及识别定位技术领域，尤其涉及一种点读定位方法及装置。

背景技术

目前的点读书本主要有两种，一种是配有点读笔，根据感应到的点读笔位置进行相应位置内容的播报。另一种则无需点读笔，而是通过图像识别来定位用户指向的点读内容。

随着智能技术的发展，点读笔逐渐被淘汰，通过图像识别来定位用户指向的点读内容越来越符合市场需求。目前的机器通过识别出手指指尖，再通过识别书本的边框，以计算手指指尖相对书本边缘的位置。根据预置数据内容，对有点读功能的内容按位置框与手指尖和书本边缘的位置进行比较，从而定位用户的手指位置，进行相应内容的播报。

然而书本在使用的过程中常常会出现用户遮挡部分页面内容，或者点读页面不平整，变形的状况。比如，如果点读的书本较厚的时候，阅读的时候书页会拱起，拱起的书本会使边框的位置不准确，造成手指位置偏位，从而影响点读体验。

发明内容

为解决上述技术缺陷，本发明提供一种点读定位方法及装置，具体技术方案如下：

一方面，本发明公开了一种点读定位方法，包括：

获取包含指示体指向点读页上任意位置的指示图像；

对所述指示图像进行特征点提取，在预存的页索引文件中匹配到所述指示图像对应的目标点读页；

对所述指示图像进行图像处理，识别所述指示图像中的指示体；

根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点；

根据所述指示图像、所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区。

进一步地，在所述获取包含指示体指向点读页上任意位置的指示图像之前还包括：

获取点读页上的各点读区信息；

根据所述点读页上的各点读区信息，将所述点读页分成若干特征区，每一特征区内含有若干特征点；

获取所述点读页上各特征区内所有特征点在所述点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成所述点读页特征位置数据并进行存储；

根据所述点读页上各特征区内的特征点信息，生成所述点读页的索引数据；

整合点读书本的所有点读页的索引数据，获得所述点读书本的页索引文件。

进一步地，所述点读页上的特征区与所述点读页上的点读区一一对应。

进一步地，所述根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点包括：

根据所述指示图像，获取各特征点的像素坐标及所述指示体的像素坐标；

根据所述各特征点的像素坐标及所述指示体的像素坐标，计算在所述指示图像中各特征点与所述指示体之间的像素距离；

将各特征点与所述指示体之间的像素距离按照从小到大的顺序进行排序；

根据各特征点与所述指示体之间的像素距离的排序结果，选取距离所述指示体最近的至少四个特征点；所述选取的特征点为目标特征点。

进一步地，所述根据所述指示图像、所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区包括：

从所述指示图像中获取所述指示体及所述至少四个目标特征点的像素坐标；

从预存的所述目标点读页的特征位置数据中获得所述至少四个目标特征点在所述目标点读页上的位置坐标；

根据所述至少四个目标特征点的像素坐标及其在所述目标点读页上的位置坐标，求取相应的变换矩阵；

根据所述变换矩阵及所述指示体的像素坐标，获得所述指示体在所述目标点读页的位置坐标；

根据所述指示体的位置坐标，结合所述目标点读页特征位置数据，确定所述指示体在所述目标点读页上所指向的点读区。

进一步地，所述根据所述点读页的位置坐标，结合所述点读页特征位置数据，确定所述指示体所指向的点读区包括：

在所述目标点读页特征位置数据，查找到至少一个目标特征点在所述目标点读页的位置坐标，及所述至少一个目标特征点相对各特征区的位置关系；

根据所述指示体的位置坐标，及所述至少一个目标特征点在所述点读页的位置坐标，获取所述指示体相对所述至少一个目标特征点的位置关系；

根据所述至少一个目标特征点相对各特征区的位置关系，及所述指示体相对所述至少一个目标特征点的位置关系，确定所述指示体所处的特征区；

根据所述指示体所处的特征区，及所述目标点读页上特征区与点读区的对应关系，获得所述指示体在所述目标点读页上指向的点读区。

另一方面，本发明还公开了一种点读定位装置，包括：

图像获取模块，用于获取包含指示体指向点读页上任意位置的指示图像；

图像处理模块，用于对所述指示图像进行特征点提取及图像处理；

匹配索引模块，用于将所述图像处理模块提取的特征点在预存的页索引文件中进行匹配，索引到所述指示图像对应的目标点读页；

图像识别模块，用于从所述图像处理模块进行图像处理后的指示图像中，识别出所述指示图像中的指示体；

目标特征点选取模块，用于根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点；

定位模块，用于根据所述指示图像，所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区。

进一步地，所述点读定位装置还包括：

信息获取模块，用于获取点读页上的各点读区信息；

分区模块，用于根据所述点读页上的各点读区信息，将所述点读页分成若干特征区，每一特征区内含有若干特征点；

所述信息获取模块，还用于获取所述点读页上各特征区内所有特征点在所述点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成所述点读页特征位置数据并进行存储；

数据生成模块，用于根据所述点读页上各特征区内的特征点信息，生成所述点读页的索引数据；并整合点读书本的所有点读页的索引数据，获得所述点读书本的页索引文件。

进一步地，所述定位模块包括：

像素坐标获取子模块，用于从所述指示图像中获取所述指示体及所述至少四个目标特征点的像素坐标；

位置坐标获取子模块，用于从预存的所述目标点读页的特征位置数据中获得所述至少四个目标特征点在所述目标点读页上的位置坐标；

定位子模块，用于根据所述至少四个目标特征点的像素坐标及其在所述目标点读页上的位置坐标，求取相应的变换矩阵；并根据所述变换矩阵及所述指示体的像素坐标，获得所述指示体在所述目标点读页的位置坐标；

点读区确定子模块，用于根据所述指示体的位置坐标，结合所述目标点读页特征位置数据，确定所述指示体在所述目标点读页上所指向的点读区。

进一步地，所述点读区确定子模块包括：

信息查找单元，还用于在所述目标点读页特征位置数据中，查找至少一个目标特征点在所述目标点读页的位置坐标，及所述至少一个目标特征点相对各特征区的位置关系；

相对位置获取单元，用于根据所述指示体的位置坐标，及所述至少一个目标特征点在所述点读页的位置坐标，获取所述指示体相对所述至少一个目标特征点的位置关系；

特征区确定单元，用于根据所述至少一个目标特征点相对各特征区的位置关系，及所述指示体相对所述至少一个目标特征点的位置关系，确定所述指示体所处的特征区；

点读区判定单元，用于根据所述指示体所处的特征区，及所述目标点读页上特征区与点读区的对应关系，获得所述指示体在所述目标点读页上指向的点读区。

本发明至少包括以下一项技术效果：

(1)本发明从指示图像中选取目标特征点，通过目标特征点来定位指示体位置，进而获取指示体所指向的点读区。由于目标特征点是在指示图像中选取而来的，因此，即使点读页部分被遮挡也不影响定位，而现有技术中书页部分被遮挡则可能造成书本边缘提取失败，影响定位准确性。

(2)本发明根据指示图像中各特征点在指示体周边的分布情况来选取目标特征点，选取的目标特征点在指示体附近，可将这些目标特征点与指示体在点读页位置视为在同一平面，从而通过这些目标特征点定位指示体在点读页位置的话更为准确，解决了在使用点读书本时，点读书页拱起或不平整等变形情况时造成对指示体定位不准确，偏差大的技术问题。

(3)本发明在获取到指示体在点读页的位置后，进一步获取指示体与目标特征点的相对位置关系，再根据目标特征点与各特征区的相对位置关系来定位指示体所处的特征区。如此，即使书本变形，遮挡或不平整，均不会影响到点读定位的准确性。

(4)本发明将每一点读页按照点读区的区域信息进行了分区，将点读页分成了相应的若干特征区，每个特征区内分布若干特征点，将各特征区及对应的特征点信息进行保存，从而建立页索引文件及特征位置数据，便于后续根据指示图像快速查找到目标点读页，及为后续定位提供依据。

(5)本发明中选取距离指示体最近的至少四个目标特征点来辅助指示体定位，选取的目标特征点距离指示体越近，则定位的结果越准确。

(6)本发明通过选取的至少四个目标特征点的像素坐标和其在点读页上的位置坐标来求取对应的变换矩阵，再通过该矩阵与指示体的像素坐标便可求取出指示体在点读页上的位置坐标。计算方便，定位的准确性高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种点读定位方法实施例一的流程图；

图2为本发明实施例二中获取点读书本的页索引文件及各点读页特征位置数据的流程图；

图3为本发明实施例二中点读页被分成若干特征区的示意图；

图4为本发明一种点读定位方法实施例三的流程图；

图5为本发明一种点读定位方法实施例四的流程图；

图6为本发明一种点读定位装置实施例六的框图；

图7为本发明一种点读定位装置实施例七的框图；

图8为本发明实施例八中的定位模块的框图；

图9为本发明实施例九中的定位模块的框图；

图10为本发明一种点读定位装置实施例十的框图；

附图标记：

100--图像获取模块；200--图像处理模块；300--匹配索引模块；400--图像识别模块；500--目标特征点选取模块；600--定位模块；700--信息获取模块；800--分区模块；900--数据生成模块；610--像素坐标获取子模；620--位置坐标获取子模块；630--定位子模块；640--点读区确定子模块；641--信息查找单元；642--相对位置获取单元；643--特征区确定单元；644--点读区判定单元；510--坐标获取子模块；520--计算子模块；530--排序子模块；540--选取子模块。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

本发明公开了一种点读定位方法，实施例一如图1所示，包括：

S1，获取包含指示体指向点读页上任意位置的指示图像；

具体的，指示体可以是用户的手指，或者笔、尺子等工具，比如用户在使用点读书本的时候，手指指向点读页上的某个位置，那么就需要获取到用户手指该点读页某位置的图像，这一图像就是指示图像，即包含了指示体指向点读页某位置的图像。一般的，获取指示图像的工具可采用摄像头进行实时拍摄。

S2，对指示图像进行特征点提取，在预存的页索引文件中匹配到指示图像对应的目标点读页；

具体的，在获取到指示图像后，则需要通过指示图像来获取到用户当前在看的点读页是哪一页，因此，该步骤是通过对指示图像进行特征点提取，然后再将特征点在页索引文件中进行匹配，从而知道用户需要点读的是哪一点读页。预存的页索引文件中包含了用于索引点读页的特征点信息。也就是存储了每一页点读页里包含了哪些特征点，通过将指示图像中提取的特征点在页索引文件中匹配查找，即可快速索引到当前需要点读的是哪一点读页，即目标点读页。

S3，对指示图像进行图像处理，识别指示图像中的指示体；

获取到指示图像后，可先对该图像进行初步处理，优化图像质量，从而便于后续的图像识别，图像处理包括但不限于去噪处理、图像增强、图像补偿等。从指示图像中识别指示体也可以采用多种方式，目前主要的图像识别方法有基于神经网络的图像识别方法、基于小波矩的图像识别方法等。

S4，根据指示图像中各特征点在指示体周边的分布情况，从指示图像的各特征点中选取至少四个目标特征点；

识别到指示体及提取到指示图像中各特征点后，可在指示图像中看到各特征点在指示体周边的分布情况，从而可以从中选取目标特征点，选取的规则可以提前设定，比如，选取距离指示体最近的四个或以上的特征点，这些特征点也就是目标特征点了。当然，除了考虑特征点在指示体周边分布的距离情况外，也还可结合特征点在指示体周边分布的方位情况。一般选取指示体附近的特征点作为目标特征点，这些目标特征点与指示体距离近，可将这些目标特征点与指示体在点读页位置视为在同一平面，从而通过这些目标特征点定位指示体在点读页位置的话更为准确，解决了在使用点读书本时，点读书页拱起或不平整等变形情况时造成对指示体定位不准确，偏差大的技术问题。

S5，根据指示图像，至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区。

获取到至少四个目标特征点后，再根据指示图像及预存的目标点读页的特征位置数据，便可对指示体进行定位，定位出指示体在目标点读页的位置，进而可以获取到指示体在目标点读页上指向的是哪个点读区，便于后续调取相应点读区的数据内容进行播放。

本发明实施例实现了基于特征点定位的手指位置识别技术，可以有效避免书页变形造成的位置错误。用户使用书本的时候，书本的位置和书本的平整度都不确定，但是基于书本的特征点可以检测到，从这些特征点中选取指示体周边附近的特征点来辅助定位指示体位置，将画面中手指像素投影到书本的正确位置，避免需要通过书本边框辅助定位，使用户获得更好的使用体验。

实施例二

本实施例在上述实施例一的基础上，增加了各点读页特征位置数据和页索引文件的数据制作过程。具体的，实施例二的点读定位方法包括：

S0，获取点读书本的页索引文件及各点读页特征位置数据；

S1，获取包含指示体指向点读页上任意位置的指示图像；

S2，对指示图像进行特征点提取，在预存的页索引文件中匹配到指示图像对应的目标点读页；

S3，对指示图像进行图像处理，识别指示图像中的指示体；

S4，根据指示图像中各特征点在指示体周边的分布情况，从指示图像的各特征点中选取至少四个目标特征点；

S5，根据指示图像、至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区。

本实施例中，步骤S0获取点读书本的页索引文件及各点读页特征位置数据的方法，如图2所示，具体包括：

S01，获取点读页上的各点读区信息；

S02，根据点读页上的各点读区信息，将点读页分成若干特征区，每一特征区内含有若干特征点；

具体的，在获取到点读页上的点读区信息后，便可以据此将该点读页分成若干个特征区，比如可以将各点读区域进行加框(框内包含点读区)，每一个点读区加框后作为一个特征区，示意图如图3所示。当然，也可以不是一一对应的关系，比如可以将一个点读区加框后分成若干个特征区，每个特征区内又分布有若干个特征点。特征区分得越多则后续定位的结果也越准确，但同时计算的复杂度也增加了。根据点读区信息将点读页分成若干特征区，则特征区和点读区会有一个对应关系，一个点读区可以对应一个或多个特征区，但每个特征区只隶属于一个点读区。

S03，获取点读页上各特征区内所有特征点在点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成点读页特征位置数据并进行存储；

每个特征点分布在点读页的哪个位置，每个特征点相对各特征区的相对位置信息均需提前获取，生成点读页特征位置数据进行存储，便于后续从中查找到目标特征点的位置信息。

S04，根据点读页上各特征区内的特征点信息，生成点读页的索引数据；

点读页的索引数据中包含了该点读页上各个特征区的特征点信息，从中可以知道该点读页上每个特征区里有哪些特征点。各个特征点可以按特征区进行分类。

S05，整合点读书本的所有点读页的索引数据，获得点读书本的页索引文件。

将点读书本的所有点读页的索引数据整合起来，便会得到该点读书本的页索引文件，从而为后续点读页码的索引提供基础。

较佳的，点读页上的特征区与点读页上的点读区一一对应。也就是说每一个特征区都对应一个点读页，或者说每个特征区可视为一个点读区。如图3所示，检测定位到用户的手指指向哪个区，便可调取相应特征区对应的点读区的数据内容进行播放。

实施例三

本实施例在上述任一实施例的基础上，增加了步骤S4中如何从指示图像的各个特征点中选取至少四个目标特征点的具体方式：从指示图像中获取距离指示体最近的至少四个目标特征点。具体的，本实施例的点读定位方法如图4所示，包括：

S1，获取包含指示体指向点读页上任意位置的指示图像；

S2，对指示图像进行特征点提取，在预存的页索引文件中匹配到指示图像对应的目标点读页；

S3，对指示图像进行图像处理，识别指示图像中的指示体；

S41，根据指示图像，获取各特征点的像素坐标及指示体的像素坐标；

S42，根据各特征点的像素坐标及指示体的像素坐标，计算在指示图像中各特征点与指示体之间的像素距离；

S43，将各特征点与指示体之间的像素距离按照从小到大的顺序进行排序；

S44，根据各特征点与指示体之间的像素距离的排序结果，选取距离指示体最近的至少四个特征点；选取的特征点为目标特征点。

S5，根据指示图像、至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区。

上述实施例中，从指示图像中可以获得指示体和各个特征点的像素坐标，然后根据各像素坐标便可计算出指示体和各个特征点的像素距离。由于拍摄的图像是实际情况的投影，因此，从指示图像上看离指示体位置比较近的特征点，在实际点读页上距离指示体也比较近。因此，完全可以通过指示图像来选取目标特征点。鉴于选取出来的目标特征点还要用于后续的指示体定位计算，一般至少需要四个参考点才可计算出变换矩阵，因此，至少要选取四个目标特征点。

由于选取的目标特征点是指示体附近(距离指示体较近)，指示体与附近的特征点可视为在同一个平面，变形较小，因此通过这些目标特征点来定位指示体位置才会更为准确。

实施例四

实施例四的点读定位方法如图5所示，包括：

S0，获取点读书本的页索引文件及各点读页特征位置数据；

S1，获取包含指示体指向点读页上任意位置的指示图像；

S2，对指示图像进行特征点提取，在预存的页索引文件中匹配到指示图像对应的目标点读页；

S3，对指示图像进行图像处理，识别指示图像中的指示体；

S4，根据指示图像中各特征点在指示体周边的分布情况，从指示图像的各特征点中选取至少四个目标特征点；

S51，从指示图像中获取指示体及至少四个目标特征点的像素坐标；

S52，从预存的目标点读页的特征位置数据中获得至少四个目标特征点在目标点读页上的位置坐标；

S53，根据至少四个目标特征点的像素坐标及其在目标点读页上的位置坐标，求取相应的变换矩阵；

S54，根据变换矩阵及指示体的像素坐标，获得指示体在目标点读页的位置坐标；

S55，根据指示体的位置坐标，结合目标点读页特征位置数据，确定指示体在目标点读页上所指向的点读区。

本实施例在上述任一实施例的基础上，对步骤S5根据指示图像，至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区的方式进行了具体的阐述。具体包括下述步骤S51～S55的内容。

我们以指示体为用户的手指为例，用户通过手指指向点读页的某一位置，摄像头拍摄到这一图像后，识别出该图像中用户的手指，并从该图像中选取距离手指尖最近邻的几个特征点作为目标特征点(一般至少选取四个目标特征点)，然后通过这些目标特征点来检测手指尖的位置。具体的，可根据该图像获取手指尖及选取的各目标特征点的像素坐标，将手指尖的像素坐标与最近邻的各特征点的像素坐标建立方程，比如某一目标特征点在目标点读页的位置为{xa,ya}，其在画面中的坐标是{Xa,Ya}，而手指的画面坐标是(Fa,Fb)，要求取出该手指在点读页的坐标(fa,fb)，则需要先求transform矩阵：

至少通过四个目标特征点的像素坐标与其在目标点读页上的坐标，便可获取出变换矩阵，从而再通过变换矩阵与手指尖的像素坐标来计算出手指尖在点读页的位置坐标。

opevnCV提供了对应的功能实现：

p1＝np.float32([[xa1,ya1],[xa2,ya2],[xa3,ya3],[xa4,ya4]])

p2＝np.float32([[Xa1,Ya1],[Xa2,Ya2],[Xa3,Ya3],[Xa4,Ya4]])

M＝cv2.getPerspectiveTransform(pts1,pts2)

再将(Fa,Fb)乘以该矩阵即可得到坐标。

通常情况下认为手指边的坐标会在相对平坦的位置，即变形比较小。

较佳的，上述实施例中步骤S55，根据指示体的位置坐标，结合目标点读页特征位置数据，确定指示体在目标点读页上所指向的点读区具体包括：

S551，在目标点读页特征位置数据，查找到至少一个目标特征点在目标点读页的位置坐标，及至少一个目标特征点相对各特征区的位置关系；

S552，根据指示体的位置坐标，及至少一个目标特征点在点读页的位置坐标，获取指示体相对至少一个目标特征点的位置关系；

S553，根据至少一个目标特征点相对各特征区的位置关系，及指示体相对至少一个目标特征点的位置关系，确定指示体所处的特征区；

S554，根据指示体所处的特征区，及目标点读页上特征区与点读区的对应关系，获得指示体在目标点读页上指向的点读区。

本方案在上述实施例四的基础上，增加了如何根据指示体的位置坐标，结合目标点读页特征位置数据，确定指示体在目标点读页上所指向的点读区所采用的具体方式。

本实施例相对于其它实施例，在获得指示体在目标点读页的位置坐标后，再计算指示体与目标特征点的相对位置关系，根据指示体与目标特征点的相对位置，结合目标特征点与各特征区的相对位置关系，可定位出指示体处于哪个特征区，再根据特征区域点读区的对应关系，从而获得该指示体所指向的点读区，便可调取该点读区的点读数据。本实施例通过目标特征点位置和指示体相对位置进行定位，避免出现书本拱起和书页部分遮挡造成书本边缘提取失败，影响定位准确性。

实施例五

本实施例以用户通过手指点读为例，用户在使用点读书本时，由于书本可能拱起，书页存在变形，不平整的情况，或书页有部分被遮挡等，这时采用传统的通过书本边框辅助定位的话，则会造成较大的定位偏差，定位不准。本实施例本发明实现了基于区域和特征点定位的手指位置识别技术，可以有效避免书页变形造成的位置错误。用户使用书本的时候，书本的位置和书本的平整度都不确定，但是基于书本的特征点可以检测到，通过特征点位置和手指相对位置进行定位，定位准确，避免出现书页变形或书页部分被遮挡造成定位不准确的问题，使用户获得更好的使用体验。具体的，本实施例的方法包括：

1、数据制作过程中，通过扫描书页或者获取书页原稿，对点读区域进行加框作为特征区，如图3所示。对于区域1-5均分布有特征点；

2、对各个特征区分别进行特征点运算，得到书页的特征集，并生成页索引文件。页索引文件中每页的特征点按特征区进行分类。

3、保存各特征点和各特征点相对特征区的位置信息。

4、对摄像头画面进行特征点提取，在页索引文件中搜索以匹配书页。

5、检测手指尖位置，并计算指尖与特征点的位置关系。

6、根据指尖与特征点的位置关系得到指尖所在特征区。

7、调取特征区所在的点读区的相关数据。

以上特征点的提取可以使用角点计算方法，手指尖的识别可以基于深度学习的相关框架，开源的处理方法不做特别说明。手指尖的定位可采用机器视觉的方式进行定位，具体的，由于点读页上的特征点可以检测到，可通过选取的特征点(一般至少选四个)建立的变换矩阵来将画面中手指像素投影到点读页的正确位置。再根据手指尖与特征点的相对位置，结合特征点与特征区的相对位置数据，定位出手指尖所处的特征区，从而调取对应的点读区的点读数据。

实施例六

基于相同的技术构思，本发明还提供了一种点读定位装置，该装置可采用本发明的点读定位方法来定位指示体在点读页的位置，从而获得其指向的点读区。具体的，本发明实施例五提供的点读定位装置如图6所示，包括：

图像获取模块100，用于获取包含指示体指向点读页上任意位置的指示图像；

图像处理模块200，用于对指示图像进行特征点提取及图像处理；

匹配索引模块300，用于将图像处理模块提取的特征点在预存的页索引文件中进行匹配，索引到指示图像对应的目标点读页；

图像识别模块400，用于从图像处理模块进行图像处理后的指示图像中，识别出指示图像中的指示体；

目标特征点选取模块500，用于根据指示图像中各特征点在指示体周边的分布情况，从指示图像的各特征点中选取至少四个目标特征点；

定位模块600，用于根据指示图像，至少四个目标特征点及预存的目标点读页的特征位置数据，对指示体进行定位，进而获取指示体在目标点读页上所指向的点读区。

本实施例中，图像获取模块100主要起到一个图像获取功能，比如通过摄像头拍摄用户手指指向点读书本某位置的图像。这里用户的手指则是一个指示体。当然，指示体也可以是笔、尺子或其它用于指示点读位置的物体。图像处理模块200则对图像获取模块100获取到的指示图像进行特征点提取，匹配索引模块300则根据图像处理模块200提取到的特征点在预存的页索引文件中进行匹配，从而查找到当前需要点读的点读页页码。这里的页索引文件里包含了各个点读页的特征点信息。图像识别模块400则在图像处理模块200对指示图像进行图像处理后，识别出指示图像中的指示体。然后再通过目标特征点选取模块500来从指示图像中选取目标特征点，定位模块600再通过至少四个目标特征点来定位指示体在点读页的位置，从而获得该指示体所指向的点读区。

本实施例中用于辅助指示体定位的目标特征点，是从指示图像中提取出来的，因此，即使书页部分被遮挡，也可以对指示体进行准确定位。相比于现有技术，避免了书页部分被遮挡，造成书本边缘提取失败，从而影响定位的准确性。此外，目标特征点的选取是根据指示图像中，各特征点在指示体周边的分布情况来选取的，选取指示体附近的特征点作为目标特征点可大大提高指示体定位的准确性，从而可准确的定位该指示体指向的点读区。

此外，图像识别模块可以采用多种方式去进行识别，比如可以采用基于小波矩的图像识别方法，还可以采用神经网络的图像识别方法来进行指示体的识别。

基于小波矩的图像识别方法，主要是将输入二维二值图像的不变矩作为识别特征，运用BP网络进行识别，将输入图像经过归一化处理，极坐标化，旋转不变小波矩特征提取后，送入BP网络分类器进行识别，获得识别结果。

基于神经网络的图像识别方法来识别指示图像中的指示体，比如，将指示图像进行预处理后，再进行特征提取，一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：

①有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。

②无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了。此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。当BP网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。

实施例七

本实施例提供的点读定位装置，在上述实施例七的基础上，如图7所示，点读定位装置还包括：

信息获取模块700，用于获取点读页上的各点读区信息；

分区模块800，用于根据点读页上的各点读区信息，将点读页分成若干特征区，每一特征区内含有若干特征点；

信息获取模块700，还用于获取点读页上各特征区内所有特征点在点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成点读页特征位置数据并进行存储；

数据生成模块900，用于根据点读页上各特征区内的特征点信息，生成点读页的索引数据；并整合点读书本的所有点读页的索引数据，获得点读书本的页索引文件。

每一页点读页分布有若干点读区，在获取到点读页上的各个点读区信息后，便可根据点读区来将点读页进行分区，将点读页分成若干特征区，每个特征区内分布有若干个特征点。这里的点读区信息包括点读区的区域信息和点读区的特征点信息。

较佳的，点读页上的特征区与点读页上的点读区一一对应。也就是每个特征区内都包含一个点读区，只要获取到指示体所处的特征区便可调取相应的点读区的点读数据进行播放。

实施例八

本实施例提供的点读定位装置，在上述任一实施例的基础上，如图8所示，定位模块600包括：

像素坐标获取子模块610，用于从指示图像中获取指示体及至少四个目标特征点的像素坐标；

位置坐标获取子模块620，用于从预存的目标点读页的特征位置数据中获得至少四个目标特征点在目标点读页上的位置坐标；

定位子模块630，用于根据至少四个目标特征点的像素坐标及其在目标点读页上的位置坐标，求取相应的变换矩阵；并根据变换矩阵及指示体的像素坐标，获得指示体在目标点读页的位置坐标；

点读区确定子模块640，用于根据指示体的位置坐标，结合目标点读页特征位置数据，确定指示体在目标点读页上所指向的点读区。

我们以指示体为用户的笔为例，用户通过笔指向点读页的某一位置，摄像头拍摄到这一图像后，图像识别模块识别出该图像中的笔，目标特征点选取模块从该图像中选取距离笔尖最近邻的几个特征点作为目标特征点(一般至少选取四个目标特征点)，然后定位模块通过这些目标特征点来检测笔尖的位置。具体的，像素坐标获取子模块可根据该图像获取笔尖及选取的各目标特征点的像素坐标，位置坐标获取子模块获取各目标特征点在目标点读页上的位置坐标，然后定位子模块根据至少四个目标特征点的像素坐标和其在点读页的位置坐标获得对应的变换矩阵，然后再根据该变换矩阵和指示体的像素坐标获得该指示体在点读页上的位置坐标，。比如某一目标特征点在目标点读页的位置为{xa,ya}，其在画面中的坐标是{Xa,Ya}，而笔的画面坐标是(Fa,Fb)，要求取出该笔在点读页的坐标(fa,fb)，则需要先求transform矩阵：

至少通过四个目标特征点的像素坐标与其在目标点读页上的坐标，便可获取出变换矩阵，从而再通过变换矩阵与笔尖的像素坐标来计算出笔尖在点读页的位置坐标。

实施例九

本实施例在上述实施例八的基础上，如图9所示，点读区确定子模块640包括：

信息查找单元641，还用于在目标点读页特征位置数据中，查找至少一个目标特征点在目标点读页的位置坐标，及至少一个目标特征点相对各特征区的位置关系；

相对位置获取单元642，用于根据指示体的位置坐标，及至少一个目标特征点在点读页的位置坐标，获取指示体相对至少一个目标特征点的位置关系；

特征区确定单元643，用于根据至少一个目标特征点相对各特征区的位置关系，及指示体相对至少一个目标特征点的位置关系，确定指示体所处的特征区；

点读区判定单元644，用于根据指示体所处的特征区，及目标点读页上特征区与点读区的对应关系，获得指示体在目标点读页上指向的点读区。

本实施例相对于其它实施例，在定位子模块630获得指示体在目标点读页的位置坐标后，再通过相对位置获取单元642计算指示体与目标特征点的相对位置关系，特征区确定单元643则根据指示体与目标特征点的相对位置，结合目标特征点与各特征区的相对位置关系，可定位出指示体处于哪个特征区，点读区判定单元644再根据特征区域点读区的对应关系，从而获得该指示体所指向的点读区，便可调取该点读区的点读数据。本实施例通过目标特征点位置和指示体相对位置进行定位，避免出现书本拱起和书页部分遮挡造成书本边缘提取失败，影响定位准确性。

实施例十

在上述任一点读定位装置的实施例基础上，如图10所示，目标特征点选取模块500包括：

坐标获取子模块510，用于根据指示图像，获取各特征点的像素坐标及指示体的像素坐标；

计算子模块520，用于根据各特征点的像素坐标及指示体的像素坐标，计算在指示图像中各特征点与指示体之间的像素距离；

排序子模块530，用于将各特征点与指示体之间的像素距离按照从小到大的顺序进行排序；

选取子模块540，用于根据各特征点与指示体之间的像素距离的排序结果，选取距离指示体最近的至少四个特征点；选取的特征点为目标特征点。

本实施例中，坐标获取子模块510从指示图像中可以获得指示体和各个特征点的像素坐标，然后计算子模块520根据各像素坐标便可计算出指示体和各个特征点的像素距离。排序子模块530则按照像素距离的大小进行排序，再通过选取子模块540来选取距离最近的至少四个特征点。由于拍摄的图像是实际情况的投影，因此，从指示图像上看离指示体位置比较近的特征点，在实际点读页上距离指示体也比较近。因此，完全可以通过指示图像来选取目标特征点。鉴于选取出来的目标特征点还要用于后续的指示体定位计算，一般至少需要四个参考点才可计算出变换矩阵，因此，至少要选取四个目标特征点。

由于选取的目标特征点是指示体附近(距离指示体较近)，指示体与附近的特征点可视为在同一个平面，变形较小，因此通过这些目标特征点来定位指示体位置才会更为准确。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种点读定位方法，其特征在于，包括：

获取包含指示体指向点读页上任意位置的指示图像；

对所述指示图像进行特征点提取，在预存的页索引文件中匹配到所述指示图像对应的目标点读页；

对所述指示图像进行图像处理，识别所述指示图像中的指示体；

根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点；

根据所述指示图像、所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区。

2.根据权利要求1所述的一种点读定位方法，其特征在于，在所述获取包含指示体指向点读页上任意位置的指示图像之前还包括：

获取点读页上的各点读区信息；

根据所述点读页上的各点读区信息，将所述点读页分成若干特征区，每一特征区内含有若干特征点；

获取所述点读页上各特征区内所有特征点在所述点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成所述点读页特征位置数据并进行存储；

根据所述点读页上各特征区内的特征点信息，生成所述点读页的索引数据；

整合点读书本的所有点读页的索引数据，获得所述点读书本的页索引文件。

3.根据权利要求2所述的一种点读定位方法，其特征在于，所述点读页上的特征区与所述点读页上的点读区一一对应。

4.根据权利要求1所述的一种点读定位方法，其特征在于，所述根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点包括：

根据所述指示图像，获取各特征点的像素坐标及所述指示体的像素坐标；

根据所述各特征点的像素坐标及所述指示体的像素坐标，计算在所述指示图像中各特征点与所述指示体之间的像素距离；

将各特征点与所述指示体之间的像素距离按照从小到大的顺序进行排序；

根据各特征点与所述指示体之间的像素距离的排序结果，选取距离所述指示体最近的至少四个特征点；所述选取的特征点为目标特征点。

5.根据权利要求1-4任一项所述的一种点读定位方法，其特征在于，所述根据所述指示图像、所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区包括：

从所述指示图像中获取所述指示体及所述至少四个目标特征点的像素坐标；

从预存的所述目标点读页的特征位置数据中获得所述至少四个目标特征点在所述目标点读页上的位置坐标；

根据所述至少四个目标特征点的像素坐标及其在所述目标点读页上的位置坐标，求取相应的变换矩阵；

根据所述变换矩阵及所述指示体的像素坐标，获得所述指示体在所述目标点读页的位置坐标；

根据所述指示体的位置坐标，结合所述目标点读页特征位置数据，确定所述指示体在所述目标点读页上所指向的点读区。

6.根据权利要求5所述的一种点读定位方法，其特征在于，所述根据所述点读页的位置坐标，结合所述点读页特征位置数据，确定所述指示体所指向的点读区包括：

在所述目标点读页特征位置数据，查找到至少一个目标特征点在所述目标点读页的位置坐标，及所述至少一个目标特征点相对各特征区的位置关系；

根据所述指示体的位置坐标，及所述至少一个目标特征点在所述点读页的位置坐标，获取所述指示体相对所述至少一个目标特征点的位置关系；

根据所述至少一个目标特征点相对各特征区的位置关系，及所述指示体相对所述至少一个目标特征点的位置关系，确定所述指示体所处的特征区；

根据所述指示体所处的特征区，及所述目标点读页上特征区与点读区的对应关系，获得所述指示体在所述目标点读页上指向的点读区。

7.一种点读定位装置，其特征在于，包括：

图像获取模块，用于获取包含指示体指向点读页上任意位置的指示图像；

图像处理模块，用于对所述指示图像进行特征点提取及图像处理；

匹配索引模块，用于将所述图像处理模块提取的特征点在预存的页索引文件中进行匹配，索引到所述指示图像对应的目标点读页；

图像识别模块，用于从所述图像处理模块进行图像处理后的指示图像中，识别出所述指示图像中的指示体；

目标特征点选取模块，用于根据所述指示图像中各特征点在所述指示体周边的分布情况，从所述指示图像的各特征点中选取至少四个目标特征点；

定位模块，用于根据所述指示图像，所述至少四个目标特征点及预存的目标点读页的特征位置数据，对所述指示体进行定位，进而获取所述指示体在所述目标点读页上所指向的点读区。

8.根据权利要求7所述的一种点读定位装置，其特征在于，还包括：

信息获取模块，用于获取点读页上的各点读区信息；

分区模块，用于根据所述点读页上的各点读区信息，将所述点读页分成若干特征区，每一特征区内含有若干特征点；

所述信息获取模块，还用于获取所述点读页上各特征区内所有特征点在所述点读页上的位置坐标、及每个特征点相对各特征区的位置信息，生成所述点读页特征位置数据并进行存储；

数据生成模块，用于根据所述点读页上各特征区内的特征点信息，生成所述点读页的索引数据；并整合点读书本的所有点读页的索引数据，获得所述点读书本的页索引文件。

9.根据权利要求7所述的一种点读定位装置，其特征在于，所述定位模块包括：

像素坐标获取子模块，用于从所述指示图像中获取所述指示体及所述至少四个目标特征点的像素坐标；

位置坐标获取子模块，用于从预存的所述目标点读页的特征位置数据中获得所述至少四个目标特征点在所述目标点读页上的位置坐标；

定位子模块，用于根据所述至少四个目标特征点的像素坐标及其在所述目标点读页上的位置坐标，求取相应的变换矩阵；并根据所述变换矩阵及所述指示体的像素坐标，获得所述指示体在所述目标点读页的位置坐标；

点读区确定子模块，用于根据所述指示体的位置坐标，结合所述目标点读页特征位置数据，确定所述指示体在所述目标点读页上所指向的点读区。

10.根据权利要求9所述的一种点读定位装置，其特征在于，所述点读区确定子模块包括：

信息查找单元，用于在所述目标点读页特征位置数据中，查找至少一个目标特征点在所述目标点读页的位置坐标，及所述至少一个目标特征点相对各特征区的位置关系；

相对位置获取单元，用于根据所述指示体的位置坐标，及所述至少一个目标特征点在所述点读页的位置坐标，获取所述指示体相对所述至少一个目标特征点的位置关系；

特征区确定单元，用于根据所述至少一个目标特征点相对各特征区的位置关系，及所述指示体相对所述至少一个目标特征点的位置关系，确定所述指示体所处的特征区；

点读区判定单元，用于根据所述指示体所处的特征区，及所述目标点读页上特征区与点读区的对应关系，获得所述指示体在所述目标点读页上指向的点读区。