CN111079777A - 一种基于书页定位的点读方法及电子设备 - Google Patents

Abstract

本发明实施例涉及教育技术领域，公开了一种基于书页定位的点读方法及电子设备，该方法包括：在点读场景下获取点读图像，提取点读图像的图像特征数据，并在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；同时识别用户在点读图像上指定的勾勒区域，根据勾勒区域在目标书本页面上确定出目标区域，播报目标区域包括的点读内容。可见，本发明可根据点读图像的图像特征数据，检索出匹配于点读图像的目标书本页面，以及根据用户在点读图像上的勾勒区域确定出目标书本页面上的点读内容并播报点读内容，提高了点读的准确率。

Description

一种基于书页定位的点读方法及电子设备

技术领域

本发明涉及电子设备领域，具体涉及一种基于书页定位的点读方法及电子设备。

背景技术

部分家教机具备教材点读功能，可识别点读区域上的书页图像，并播报用户在书页图像上指定的点读内容。在实际使用中发现，由于印刷日期或者版本年份不同，同一本教材的同一书页在部分内容上可能存在差异，在内容差异较小的情况下家教机难以确定当前的书页图像对应的是哪个版本教材，从而难以准确地确定出与用户指定的点读内容对应的播报音频，从而造成点读的准确率不高。

发明内容

针对上述缺陷，本发明实施例公开了一种基于书页定位的点读方法及电子设备，可以提高家教机在进行点读时的准确率。

本发明实施例第一方面公开了一种基于书页定位的点读方法，包括：

获取点读图像；

提取所述点读图像的图像特征数据；

在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；

识别用户在所述点读图像上指定的勾勒区域，播报与所述勾勒区域相关联的点读音频。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述提取所述点读图像的图像特征数据，包括：

对所述点读图像进行均值滤波，得到滤除图像噪声的滤波图像；

识别并分析所述滤波图像上的字符，得到所述点读图像的科目类型与字符轮廓；

切分所述滤波图像得到若干连通域，根据每一所述连通域中像素点的灰度值与位置信息分析出每一所述连通域的局部特征数据；

将所述科目类型、所述字符轮廓与每一所述连通域的局部特征数据设为所述点读图像的图像特征数据。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面，包括：

根据所述科目类型与所述字符轮廓在所述资源数据库中查找对应于所述科目类型的若干待定书本页面；

如果所述待定书本页面的数量大于一，分析所述若干待定书本页面的样本特征数据与所述图像特征数据的相似度；

选取与所述图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为所述目标书本页面。

作为一种可选的实施方式，在本发明实施例的第一方面中，在所述识别用户在所述点读图像上指定的勾勒区域之后，以及在所述播报与所述勾勒区域相关联的点读音频之前，所述方法还包括：

若所述勾勒区域中存在无法播报的图像内容，确定出由所述点读图像的滤波图像划分出的若干个连通域中与所述勾勒区域对应的目标连通域；

根据所述目标连通域的局部特征数据，从所述资源数据库中检索出包含所述无法播报的图像内容的若干书本页面；

在包含所述无法播报的图像内容的若干书本页面中筛选出与所述点读图像的科目类型不同的书本页面设为拓展阅读页面；

在触摸屏上输出所述拓展阅读页面供用户阅读。

作为一种可选的实施方式，在本发明实施例的第一方面中，在触摸屏上输出所述拓展阅读页面供用户阅读之后，所述方法还包括：

获取并保存用户在所述触摸屏上针对所述拓展阅读页面所输入的笔记内容，将所述笔记内容与所述无法播报的图像内容进行关联；其中，所述笔记内容为带有文字注释及手绘线条组合的所述拓展阅读页面；

当检测到任一点读图像上存在包含所述无法播报的图像内容的勾勒区域时，在所述触摸屏上输出与所述无法播报的图像内容相关联的笔记内容。

本发明实施例第二方面公开一种电子设备，包括：

图像获取单元，用于获取点读图像；

特征提取单元，用于提取所述点读图像的图像特征数据；

第一检索单元，用于在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；

区域识别单元，用于识别用户在所述点读图像上指定的勾勒区域；

播报单元，用于播报与所述勾勒区域相关联的点读音频。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述特征提取单元包括：

滤波子单元，用于对所述点读图像进行均值滤波，得到滤除图像噪声的滤波图像；

识别子单元，用于识别并分析所述滤波图像上的字符，得到所述点读图像的科目类型与字符轮廓；

切分子单元，用于切分所述滤波图像得到若干连通域，根据每一所述连通域中像素点的灰度值与位置信息分析出每一所述连通域的局部特征数据；

特征组合子单元，用于将所述科目类型、所述字符轮廓与每一所述连通域的局部特征数据设为所述点读图像的图像特征数据。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述页面检索单元包括：

查找子单元，用于根据所述科目类型与所述字符轮廓在所述资源数据库中查找对应于所述科目类型的若干待定书本页面；

分析子单元，用于在所述待定书本页面的数量大于一时，分析所述若干待定书本页面的样本特征数据与所述图像特征数据的相似度；

选取子单元，用于选取与所述图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为所述目标书本页面。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述电子设备还包括：

图像确定单元，用于在所述区域识别单元识别用户在所述点读图像上指定的勾勒区域之后，以及在所述播报单元播报与所述勾勒区域相关联的点读音频之前，若所述勾勒区域中存在无法播报的图像内容，确定出由所述点读图像的滤波图像划分出的若干个连通域中与所述勾勒区域对应的目标连通域；

第二检索单元，用于根据所述目标连通域的局部特征数据，从所述资源数据库中检索出包含所述无法播报的图像内容的若干书本页面；

拓展确定单元，用于在包含所述无法播报的图像内容的若干书本页面中筛选出与所述点读图像的科目类型不同的书本页面设为拓展阅读页面；

拓展输出单元，用于在触摸屏上输出所述拓展阅读页面供用户阅读。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述电子设备还包括：

存储关联单元，用于在所述拓展输出单元在触摸屏上输出所述拓展阅读页面供用户阅读之后，获取并保存用户在所述触摸屏上针对所述拓展阅读页面所输入的笔记内容，将所述笔记内容与所述无法播报的图像内容进行关联；其中，所述笔记内容为带有文字注释及手绘线条组合的所述拓展阅读页面；

笔记输出单元，用于当检测到任一点读图像上存在包含所述无法播报的图像内容的勾勒区域时，在所述触摸屏上输出与所述无法播报的图像内容相关联的笔记内容。

本发明实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种基于书页定位的点读方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于书页定位的点读方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，通过在点读场景下获取点读图像，提取点读图像的图像特征数据，并在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；同时识别用户在点读图像上指定的勾勒区域，根据勾勒区域在目标书本页面上确定出目标区域，播报目标区域包括的点读内容。可见，本发明可根据点读图像的图像特征数据，检索出匹配于点读图像的目标书本页面，以及根据用户在点读图像上的勾勒区域确定出目标书本页面上的点读内容并播报点读内容，提高了点读的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于书页定位的点读方法的流程示意图；

图2为本发明实施例提供的另一种基于书页定位的点读方法的流程示意图；

图3为本发明实施例提供的一种电子设备的结构示意图；

图4是本发明实施例提供的另一种电子设备的结构示意图；

图5是本发明实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于书页定位的点读方法及电子设备，可以提高对题目图像的科目识别准确率，提升用户使用体验。以下从电子设备角度出发，结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于书页定位的点读方法的流程示意图。其中，图1所描述基于书页定位的点读方法适用于家教机、智能手机、平板电脑及个人电脑等电子设备。本发明实施例以电子设备为例描述基于书页定位的点读方法，不应构成对该方法的限定。如图1所示，该基于书页定位的点读方法可以包括以下步骤。

101、获取点读图像。

本发明实施例中，在电子设备的点读模式下，用户将所要进行点读的书本页面放置在电子设备摄像模组的有效拍摄区域内，电子设备拍摄书本页面得到点读图像。

作为一种可选的实施方式，由于书本页面的摆放位置、环境的亮度等因素会对点读图像的获取造成影响，因此在进入点读模式时，在显示屏上实时显示摄像模组所拍摄到的画面，并提醒用户将书本页面摆放在有效拍摄区域内，同时检测环境亮度，在环境亮度过亮或者过暗时，提醒用户调节灯光亮度，确保书本页面在摄像模组的视角下清晰可见，以获取到高质量的点读图像。

102、提取点读图像的图像特征数据。

本发明实施例中，点读图像包括有若干特征，例如科目类型以及点读内容的字符所组成的轮廓等，通过提取点读图像的图像特征数据，可有效地甄别出相似点读图像之间的区别。

作为一种可选的实施方式，对点读图像进行均值滤波，得到滤除图像噪声的滤波图像；识别并分析滤波图像上的字符，得到点读图像的科目类型与字符轮廓；切分滤波图像得到若干连通域，根据每一连通域中像素点的灰度值与位置信息分析出每一连通域的局部特征数据；将科目类型、字符轮廓与每一连通域的局部特征数据设为点读图像的图像特征数据。具体地，先采用均值滤波算法，根据点读图像背景的灰度值选取滤波模板进行均值滤波，得到滤除了图像噪声的纯净的滤波图像，滤波图像上包括了若干字符组合及线条组合，通过分析字符的类型及字符所组成的关键词，确定该点读图像的科目类型级字符轮廓，采用边缘检测算法，切分滤波图像得到若干连通域，每一连通域为字符组合及线条组合聚合成的一个整体，此时提取每一连通域的局部特征数据，如选取连通域a边缘某一像素点为起始像素点，分析起始像素点的灰度值与位置信息，并将上述信息转换为数字字符，接着再分析与起始像素点相邻的另一像素点的灰度值与位置信息，直至分析完毕该连通域的全部像素点，得到该连通域的局部特征数据；通过组合点读图像的科目类型、字符轮廓及每一连通域的局部特征数据，得到该点读图像的图像特征数据。可见，通过对每一点读图像进行细致分析，可精确地将点读图像上的细节转化为图像特征数据。

作为另一种可选的实施方式，在进行点读时，若检测到同一点读页面匹配于多个版本的书本，则输出提示信息，提醒用户将书本翻至扉页，以供摄像模组拍摄书本的版本号及印刷日期等著录信息，并确定书本的准确版本，从而在后续的点读过程中，可根据准确版本准确地获取点读内容，无需反复对点读图像进行分析鉴别，减少了电子设备的运行负荷。

103、在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面。

本发明实施例中，在步骤102分析出点读图像的图像特征数据之后，则可根据图像特征数据查找点读图像对应的书本页面。

作为一种可选的实施方式，根据科目类型与字符轮廓在资源数据库中查找对应于科目类型的若干待定书本页面；如果待定书本页面的数量大于一，分析若干待定书本页面的样本特征数据与图像特征数据的相似度；选取与图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为目标书本页面。具体地，先在资源数据库中根据点读图像的科目类型及字符轮廓，查找出于点读图像近似的同科目的待定书本页面，进而在若干待定书本页面中，逐一分析待定书本页面的样本特征数据与图像特征数据的相似度，选取相似度最高的样本特征数据对应的待定书本页面，作为该点读图像的目标书本页面，从而高效且准确地确定出正确的目标书本页面。

104、识别用户在点读图像上指定的勾勒区域，播报与勾勒区域相关联的点读音频。

本发明实施例中，在步骤103确定出点读图像对应的目标书本页面之后，将根据目标书本页面上的点读内容进行点读播报。

作为一种可选的实施方式，识别用户在点读图像上指定的勾勒区域，播报与勾勒区域相关联的点读音频，可以通过以下方式实现：摄像模组实时监测用户指尖的位置，在检测到用户指尖做出预设的点读动作时，响应该点读动作对应的指令，例如用户用指尖在点读图像上指定了一处勾勒区域，电子设备识别到该勾勒区域上存在汉字“点”，则根据用户指尖指定勾勒区域的动作对应的播报操作，播报汉字“点”的点读音频，从而实现智能点读。

可见，本发明实施例中，通过在点读场景下获取点读图像，提取点读图像的图像特征数据，并在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；同时识别用户在点读图像上指定的勾勒区域，根据勾勒区域在目标书本页面上确定出目标区域，播报目标区域包括的点读内容。可见，本发明可根据点读图像的图像特征数据，检索出匹配于点读图像的目标书本页面，以及根据用户在点读图像上的勾勒区域确定出目标书本页面上的点读内容并播报点读内容，提高了点读的准确率。

实施例二

请参阅图2，图2为本发明另一实施例提供的基于书页定位的点读方法的流程示意图。如图2所示，该基于书页定位的点读方法可以包括以下步骤。

201、获取点读图像。

202、提取点读图像的图像特征数据。

203、在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面。

204、识别用户在点读图像上指定的勾勒区域，获取勾勒区域中包括的无法播报的图像内容，输出针对无法播报的图像内容的拓展阅读页面。

本发明实施例中，点读图像不仅包括有字符信息，在数学课本、物理课本等书本上，用户所勾勒的区域中可能还包括有公式、教学示意图等无法播报的图像内容。

作为一种可选的实施方式，在识别用户在点读图像上指定的勾勒区域之后，以及在播报与勾勒区域相关联的点读音频之前，若勾勒区域中存在无法播报的图像内容，确定出由点读图像的滤波图像划分出的若干个连通域中与勾勒区域对应的目标连通域；根据目标连通域的局部特征数据，从资源数据库中检索出包含无法播报的图像内容的若干书本页面；在包含无法播报的图像内容的若干书本页面中筛选出与点读图像的科目类型不同的书本页面设为拓展阅读页面；在触摸屏上输出拓展阅读页面供用户阅读。具体地，确定出点读图像对应的若干连通域中图像内容所在的目标连通域，并根据目标连通域的局部特征数据，在资源数据库中检索出包含无法播报的图像内容的若干书本页面，此时可得到多个不同科目不同领域的书本页面，假设某个数学的函数公式存在于物理书本页面中，还存在于生物书本页面中，此时，在上述书本页面中筛选出与点读图像的科目类型不同的书本页面设为拓展阅读页面，则筛选到包含了该函数公式的物理书本页面及生物书本页面作为该数学函数公式的拓展阅读页面，在触摸屏上输出拓展阅读页面，用户可通过不同科目对该函数公式的应用场景，更为直观地了解该函数公式的应用场景及使用方法。

作为另一种可选的实施方式，在触摸屏上输出拓展阅读页面供用户阅读之后，获取并保存用户在触摸屏上针对拓展阅读页面所输入的笔记内容，将笔记内容与无法播报的图像内容进行关联；其中，笔记内容为带有文字注释及手绘线条组合的拓展阅读页面；当检测到任一点读图像上存在包含无法播报的图像内容的勾勒区域时，在触摸屏上输出与无法播报的图像内容相关联的笔记内容。具体地，用户可在显示于触摸屏上的拓展阅读页面上做笔记，例如拓展阅读页面上加上文字注释或者对重点内容进行标注，将带有文字注释及手绘线条组合的拓展阅读页面作为笔记内容，并将笔记内容与对应的无法播报的图像内容进行关联；此外，若用户在后续点读过程中，点读图像上出现了上述无法播报的图像内容，则电子设备在触摸屏上输出该图像内容的笔记内容，用户可方便地获取到相关拓展阅读页面及学习记录，帮助用户巩固学习效果。

205、播报与勾勒区域相关联的点读音频。

可见，本发明实施例中，通过确定出勾勒区域中无法播报的图像内容，并获取图像内容的拓展阅读页面，可帮助用户更好地掌握点读内容。

实施例三

请参阅图3，图3为本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

图像获取单元301，用于获取点读图像；

特征提取单元302，用于提取点读图像的图像特征数据；

第一检索单元303，用于在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；

区域识别单元304，用于识别用户在点读图像上指定的勾勒区域；

播报单元305，用于播报与勾勒区域相关联的点读音频；

其中，特征提取单元302还包括：

滤波子单元3021，用于对点读图像进行均值滤波，得到滤除图像噪声的滤波图像；

识别子单元3022，用于识别并分析滤波图像上的字符，得到点读图像的科目类型与字符轮廓；

切分子单元3023，用于切分滤波图像得到若干连通域，根据每一连通域中像素点的灰度值与位置信息分析出每一连通域的局部特征数据；

特征组合子单元3024，用于将科目类型、字符轮廓与每一连通域的局部特征数据设为点读图像的图像特征数据；

以及，第一检索单元303还包括：

查找子单元3031，用于根据科目类型与字符轮廓在资源数据库中查找对应于科目类型的若干待定书本页面；

分析子单元3032，用于在待定书本页面的数量大于一时，分析若干待定书本页面的样本特征数据与图像特征数据的相似度；

选取子单元3033，用于选取与图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为目标书本页面。

本发明实施例中，特征提取单元302提取图像获取单元301所获取的点读图像的图像特征数据，第一检索单元303根据图像特征数据检索出目标书本页面，区域识别单元304识别用户指定的勾勒区域，并由播报单元305播报点读音频。

作为一种可选的实施方式，由于书本页面的摆放位置、环境的亮度等因素会对点读图像的获取造成影响，因此在进入点读模式时，图像获取单元301在显示屏上实时显示摄像模组所拍摄到的画面，并提醒用户将书本页面摆放在有效拍摄区域内，同时检测环境亮度，在环境亮度过亮或者过暗时，提醒用户调节灯光亮度，确保书本页面在摄像模组的视角下清晰可见，以获取到高质量的点读图像。

作为一种可选的实施方式，滤波子单元3021对点读图像进行均值滤波，得到滤除图像噪声的滤波图像；识别子单元3022识别并分析滤波图像上的字符，得到点读图像的科目类型与字符轮廓；切分子单元3023切分滤波图像得到若干连通域，根据每一连通域中像素点的灰度值与位置信息分析出每一连通域的局部特征数据；特征组合子单元3024将科目类型、字符轮廓与每一连通域的局部特征数据设为点读图像的图像特征数据。具体地，滤波子单元3021先采用均值滤波算法，根据点读图像背景的灰度值选取滤波模板进行均值滤波，得到滤除了图像噪声的纯净的滤波图像，滤波图像上包括了若干字符组合及线条组合，识别子单元3022通过分析字符的类型及字符所组成的关键词，确定该点读图像的科目类型以及字符轮廓，切分子单元3023采用边缘检测算法，切分滤波图像得到若干连通域，每一连通域为字符组合及线条组合聚合成的一个整体，此时提取每一连通域的局部特征数据，如选取连通域a边缘某一像素点为起始像素点，分析起始像素点的灰度值与位置信息，并将上述信息转换为数字字符，接着再分析与起始像素点相邻的另一像素点的灰度值与位置信息，直至分析完毕该连通域的全部像素点，得到该连通域的局部特征数据；特征组合子单元3024通过组合点读图像的科目类型、字符轮廓及每一连通域的局部特征数据，得到该点读图像的图像特征数据。可见，通过对每一点读图像进行细致分析，可精确地将点读图像上的细节转化为图像特征数据。

作为另一种可选的实施方式，在进行点读时，若第一检索单元303检测到同一点读页面匹配于多个版本的书本，则输出提示信息，提醒用户将书本翻至扉页，以供摄像模组拍摄书本的版本号及印刷日期等著录信息，并确定书本的准确版本，从而在后续的点读过程中，可根据准确版本准确地获取点读内容，无需反复对点读图像进行分析鉴别，减少了电子设备的运行负荷。

作为一种可选的实施方式，查找子单元3031根据科目类型与字符轮廓在资源数据库中查找对应于科目类型的若干待定书本页面；如果待定书本页面的数量大于一，分析子单元3032分析若干待定书本页面的样本特征数据与图像特征数据的相似度；选取子单元3033选取与图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为目标书本页面。具体地，查找子单元3031先在资源数据库中根据点读图像的科目类型及字符轮廓，查找出于点读图像近似的同科目的待定书本页面，进而分析子单元3032在若干待定书本页面中，逐一分析待定书本页面的样本特征数据与图像特征数据的相似度，选取子单元3033选取相似度最高的样本特征数据对应的待定书本页面，作为该点读图像的目标书本页面，从而高效且准确地确定出正确的目标书本页面。

作为一种可选的实施方式，区域识别单元304识别用户在点读图像上指定的勾勒区域，播报单元305播报与勾勒区域相关联的点读音频，可以通过以下方式实现：区域识别单元304实时监测用户指尖的位置，在检测到用户指尖做出预设的点读动作时，响应该点读动作对应的指令，例如用户用指尖在点读图像上指定了一处勾勒区域，区域识别单元304识别到该勾勒区域上存在汉字“点”，则播报单元305根据用户指尖指定勾勒区域的动作对应的播报操作，播报汉字“点”的点读音频，从而实现智能点读。

可见，本发明实施例中，通过图像获取单元301在点读场景下获取点读图像，特征提取单元302提取点读图像的图像特征数据，第一检索单元303在资源数据库中检索出与图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；同时区域识别单元304识别用户在点读图像上指定的勾勒区域，根据勾勒区域在目标书本页面上确定出目标区域，播报单元305播报目标区域包括的点读内容。可见，本发明可根据点读图像的图像特征数据，检索出匹配于点读图像的目标书本页面，以及根据用户在点读图像上的勾勒区域确定出目标书本页面上的点读内容并播报点读内容，提高了点读的准确率。

实施例四

请参阅图4，图4为本发明另一实施例提供的一种电子设备的结构示意图；图4所示的电子设备是在图3所示的电子设备的基础上进行优化得到的，图4所示的电子设备还可以包括：

图像确定单元306，用于在区域识别单元304识别用户在点读图像上指定的勾勒区域之后，以及在播报单元305播报与勾勒区域相关联的点读音频之前，若勾勒区域中存在无法播报的图像内容，确定出由点读图像的滤波图像划分出的若干个连通域中与勾勒区域对应的目标连通域；

第二检索单元307，用于根据目标连通域的局部特征数据，从资源数据库中检索出包含无法播报的图像内容的若干书本页面；

拓展确定单元308，用于在包含无法播报的图像内容的若干书本页面中筛选出与点读图像的科目类型不同的书本页面设为拓展阅读页面；

拓展输出单元309，用于在触摸屏上输出拓展阅读页面供用户阅读；

存储关联单元310，用于在拓展输出单元309在触摸屏上输出拓展阅读页面供用户阅读之后，获取并保存用户在触摸屏上针对拓展阅读页面所输入的笔记内容，将笔记内容与无法播报的图像内容进行关联；其中，笔记内容为带有文字注释及手绘线条组合的拓展阅读页面；

笔记输出单元311，用于当检测到任一点读图像上存在包含无法播报的图像内容的勾勒区域时，在触摸屏上输出与无法播报的图像内容相关联的笔记内容。

本发明实施例中，图像确定单元306确定出勾勒区域中无法播报的图像内容，拓展确定单元308获取图像内容的拓展阅读页面，帮助用户掌握点读内容。

作为一种可选的实施方式，在区域识别单元304识别用户在点读图像上指定的勾勒区域之后，以及在播报单元305播报与勾勒区域相关联的点读音频之前，若勾勒区域中存在无法播报的图像内容，图像确定单元306确定出由点读图像的滤波图像划分出的若干个连通域中与勾勒区域对应的目标连通域；第二检索单元307根据目标连通域的局部特征数据，从资源数据库中检索出包含无法播报的图像内容的若干书本页面；拓展确定单元308在包含无法播报的图像内容的若干书本页面中筛选出与点读图像的科目类型不同的书本页面设为拓展阅读页面；拓展输出单元309在触摸屏上输出拓展阅读页面供用户阅读。具体地，图像确定单元306确定出点读图像对应的若干连通域中图像内容所在的目标连通域，并根据目标连通域的局部特征数据，第二检索单元307在资源数据库中检索出包含无法播报的图像内容的若干书本页面，此时可得到多个不同科目不同领域的书本页面，假设某个数学的函数公式存在于物理书本页面中，还存在于生物书本页面中，此时，拓展确定单元308在上述书本页面中筛选出与点读图像的科目类型不同的书本页面设为拓展阅读页面，则筛选到包含了该函数公式的物理书本页面及生物书本页面作为该数学函数公式的拓展阅读页面，拓展输出单元309在触摸屏上输出拓展阅读页面，用户可通过不同科目对该函数公式的应用场景，更为直观地了解该函数公式的应用场景及使用方法。

作为另一种可选的实施方式，拓展输出单元309在触摸屏上输出拓展阅读页面供用户阅读之后，存储关联单元310获取并保存用户在触摸屏上针对拓展阅读页面所输入的笔记内容，将笔记内容与无法播报的图像内容进行关联；其中，笔记内容为带有文字注释及手绘线条组合的拓展阅读页面；当检测到任一点读图像上存在包含无法播报的图像内容的勾勒区域时，笔记输出单元311在触摸屏上输出与无法播报的图像内容相关联的笔记内容。具体地，用户可在显示于触摸屏上的拓展阅读页面上做笔记，例如拓展阅读页面上加上文字注释或者对重点内容进行标注，存储关联单元310将带有文字注释及手绘线条组合的拓展阅读页面作为笔记内容，并将笔记内容与对应的无法播报的图像内容进行关联；此外，若用户在后续点读过程中，点读图像上出现了上述无法播报的图像内容，则笔记输出单元311在触摸屏上输出该图像内容的笔记内容，用户可方便地获取到相关拓展阅读页面及学习记录，帮助用户巩固学习效果。

可见，本发明实施例中，通过确定出勾勒区域中无法播报的图像内容，并获取图像内容的拓展阅读页面，可帮助用户更好地掌握点读内容。

实施例五

请参阅图5，图5是本发明另一实施例公开的另一种电子设备的结构示意图。如图5所示，该可电子设备可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

其中，处理器402调用存储器401中存储的可执行程序代码，执行图1和图2任意一种基于书页定位的点读方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1和图2任意一种基于书页定位的点读方法。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于书页定位的点读方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于书页定位的点读方法，其特征在于，包括：

获取点读图像；

提取所述点读图像的图像特征数据；

在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；

识别用户在所述点读图像上指定的勾勒区域，播报与所述勾勒区域相关联的点读音频。

2.根据权利要求1所述的方法，其特征在于，所述提取所述点读图像的图像特征数据，包括：

对所述点读图像进行均值滤波，得到滤除图像噪声的滤波图像；

识别并分析所述滤波图像上的字符，得到所述点读图像的科目类型与字符轮廓；

切分所述滤波图像得到若干连通域，根据每一所述连通域中像素点的灰度值与位置信息分析出每一所述连通域的局部特征数据；

将所述科目类型、所述字符轮廓与每一所述连通域的局部特征数据设为所述点读图像的图像特征数据。

3.根据权利要求2所述的方法，其特征在于，所述在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面，包括：

根据所述科目类型与所述字符轮廓在所述资源数据库中查找对应于所述科目类型的若干待定书本页面；

如果所述待定书本页面的数量大于一，分析所述若干待定书本页面的样本特征数据与所述图像特征数据的相似度；

选取与所述图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为所述目标书本页面。

4.根据权利要求2所述的方法，其特征在于，在所述识别用户在所述点读图像上指定的勾勒区域之后，以及在所述播报与所述勾勒区域相关联的点读音频之前，所述方法还包括：

若所述勾勒区域中存在无法播报的图像内容，确定出由所述点读图像的滤波图像划分出的若干个连通域中与所述勾勒区域对应的目标连通域；

根据所述目标连通域的局部特征数据，从所述资源数据库中检索出包含所述无法播报的图像内容的若干书本页面；

在包含所述无法播报的图像内容的若干书本页面中筛选出与所述点读图像的科目类型不同的书本页面设为拓展阅读页面；

在触摸屏上输出所述拓展阅读页面供用户阅读。

5.根据权利要求4所述的方法，其特征在于，在触摸屏上输出所述拓展阅读页面供用户阅读之后，所述方法还包括：

获取并保存用户在所述触摸屏上针对所述拓展阅读页面所输入的笔记内容，将所述笔记内容与所述无法播报的图像内容进行关联；其中，所述笔记内容为带有文字注释及手绘线条组合的所述拓展阅读页面；

当检测到任一点读图像上存在包含所述无法播报的图像内容的勾勒区域时，在所述触摸屏上输出与所述无法播报的图像内容相关联的笔记内容。

6.一种电子设备，其特征在于，包括：

图像获取单元，用于获取点读图像；

特征提取单元，用于提取所述点读图像的图像特征数据；

第一检索单元，用于在资源数据库中检索出与所述图像特征数据的相似度最高的样本特征数据所对应的书本页面作为目标书本页面；

区域识别单元，用于识别用户在所述点读图像上指定的勾勒区域；

播报单元，用于播报与所述勾勒区域相关联的点读音频。

7.根据权利要求6所述的电子设备，其特征在于，所述特征提取单元包括：

滤波子单元，用于对所述点读图像进行均值滤波，得到滤除图像噪声的滤波图像；

识别子单元，用于识别并分析所述滤波图像上的字符，得到所述点读图像的科目类型与字符轮廓；

切分子单元，用于切分所述滤波图像得到若干连通域，根据每一所述连通域中像素点的灰度值与位置信息分析出每一所述连通域的局部特征数据；

特征组合子单元，用于将所述科目类型、所述字符轮廓与每一所述连通域的局部特征数据设为所述点读图像的图像特征数据。

8.根据权利要求7所述的电子设备，其特征在于，所述第一检索单元包括：

查找子单元，用于根据所述科目类型与所述字符轮廓在所述资源数据库中查找对应于所述科目类型的若干待定书本页面；

分析子单元，用于在所述待定书本页面的数量大于一时，分析所述若干待定书本页面的样本特征数据与所述图像特征数据的相似度；

选取子单元，用于选取与所述图像特征数据的相似度最高的样本特征数据所对应的待定书本页面作为所述目标书本页面。

9.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

图像确定单元，用于在所述区域识别单元识别用户在所述点读图像上指定的勾勒区域之后，以及在所述播报单元播报与所述勾勒区域相关联的点读音频之前，若所述勾勒区域中存在无法播报的图像内容，确定出由所述点读图像的滤波图像划分出的若干个连通域中与所述勾勒区域对应的目标连通域；

第二检索单元，用于根据所述目标连通域的局部特征数据，从所述资源数据库中检索出包含所述无法播报的图像内容的若干书本页面；

拓展确定单元，用于在包含所述无法播报的图像内容的若干书本页面中筛选出与所述点读图像的科目类型不同的书本页面设为拓展阅读页面；

拓展输出单元，用于在触摸屏上输出所述拓展阅读页面供用户阅读。

10.根据权利要求9所述的电子设备，其特征在于，所述电子设备还包括：

存储关联单元，用于在所述拓展输出单元在触摸屏上输出所述拓展阅读页面供用户阅读之后，获取并保存用户在所述触摸屏上针对所述拓展阅读页面所输入的笔记内容，将所述笔记内容与所述无法播报的图像内容进行关联；其中，所述笔记内容为带有文字注释及手绘线条组合的所述拓展阅读页面；

笔记输出单元，用于当检测到任一点读图像上存在包含所述无法播报的图像内容的勾勒区域时，在所述触摸屏上输出与所述无法播报的图像内容相关联的笔记内容。

Images