CN110781879B - 一种点读目标识别方法、系统、存储介质及电子设备 - Google Patents

Abstract

本发明提供了一种点读目标识别方法、系统、存储介质及电子设备，其方法包括：分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域；当用户进行点读操作时，开启广角摄像头获取用户点击区域；若用户点击区域在广角摄像区域内但在长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；若用户点击区域在长焦摄像区域内，开启长焦摄像头；获取用户点击区域对应的书本厚度；获取长焦摄像头和广角摄像头共同区域的图像，结合书本厚度通过指尖算法识别和捕捉用户点击目标。本发明通过上下两个不同焦距的摄像头，解决了定焦广角摄像头空间分辨率低下导致在远处书本字体模糊识别不佳的问题。

Description

一种点读目标识别方法、系统、存储介质及电子设备

技术领域

本发明涉及智能终端领域，尤指一种点读目标识别方法、系统、存储介质及电子设备。

背景技术

手指点读书本是通过手指指向书本相关内容，机器通过AI算法、智能语音、图像智能识别及指尖定位，精确识别手指所指内容，从而进行文字识别的技术。

目前的手指点读书本主要通过单个定焦广角高清摄像头来获取图像，从而进行文字识别，但难以获取识别远处书本文字信息，空间分辨率低，从而造成远处文字内容识别率低下的问题；另外，由于摄像头与书本成一定角度，摄像头不是在书本的正上方，当手指指尖悬空时，摄像头拍摄到指尖所指内容与事实不符，其实是指尖后方的内容，当前的手指点读技术因无法准确获取手指的深度信息，从而无法解决手指悬空造成的错误点读问题，影响了点读体验。

发明内容

本发明的目的是提供一种点读目标识别方法、系统、存储介质及电子设备，实现通过上下两个不同焦距的摄像头，解决了定焦广角摄像头空间分辨率低下导致在远处书本字体模糊识别不佳的问题。

本发明提供的技术方案如下：

本发明提供一种点读目标识别方法，包括：

分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

当用户进行点读操作时，开启所述广角摄像头获取用户点击区域；

若所述用户点击区域在所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

获取用户点击区域对应的书本厚度；

获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标。

进一步的，获取当前的书本厚度之前还包括：

当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

根据所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

进一步的，获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标具体包括：

获取所述长焦摄像头和所述广角摄像头共同区域的图像；

根据所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

根据所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

根据所述相机识别的用户理论点击处的坐标和所述偏移距离计算用户点击目标。

进一步的，根据所述长焦摄像头和所述广角摄像头的图像计算其中共同摄像区域中任意目标点的世界坐标具体包括：

计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

分别将所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

根据所述第一世界坐标、第二世界坐标以及光心坐标计算所述目标点的世界坐标。

本发明还提供一种点读目标识别系统，包括：

区域标记模块，分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

摄像头开启模块，当用户进行点读操作时，开启所述广角摄像头；

区域获取模块，所述摄像头开启模块开启所述广角摄像头之后，获取用户点击区域；

目标识别模块，若所述区域获取模块获取的用户点击区域在所述区域标记模块标记的所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

所述摄像头开启模块，若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

厚度获取模块，获取用户点击区域对应的书本厚度；

所述目标识别模块，获取所述摄像头开启模块开启所述长焦摄像头和所述广角摄像头之后拍摄的共同区域的图像，结合所述厚度获取模块获取的所述书本厚度通过指尖算法识别和捕捉用户点击目标。

进一步的，还包括：

初始化模块，当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

坐标计算模块，所述初始化模块进行初始化之后，根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

曲面计算模块，根据所述坐标计算模块计算的所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

进一步的，所述目标识别模块具体包括：

图像获取单元，获取所述长焦摄像头和所述广角摄像头共同区域的图像；

坐标计算单元，根据所述图像获取单元获取的所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

距离计算单元，根据所述坐标计算单元得到的所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

目标识别单元，根据所述坐标计算单元得到的所述相机识别的用户理论点击处的坐标和所述距离计算单元得到的所述偏移距离计算用户点击目标。

进一步的，所述坐标计算模块具体包括：

相机坐标计算单元，计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

所述相机坐标计算单元，计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

世界坐标计算单元，分别将所述相机坐标计算单元得到的所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

光心坐标获取单元，获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

处理单元，根据所述世界坐标计算单元得到的所述第一世界坐标、第二世界坐标以及所述光心坐标获取单元得到的光心坐标计算所述目标点的世界坐标。

本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任一项方法。

本发明还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的任一项方法。

通过本发明提供的一种点读目标识别方法、系统、存储介质及电子设备，能够带来以下至少一种有益效果：

1、本发明中，通过上下两个不同焦距的摄像头，解决了定焦广角摄像头空间分辨率低下导致在远处书本字体模糊识别不佳的问题。

2、本发明中，通过双摄像头的共同拍摄区域，通过科学计算解决了单个摄像头无法获取物体深度信息的问题。

3、本发明中，准确识别手指所指向的书本内容，防止错误点读，提高书本点读体验。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种点读目标识别方法、系统、存储介质及电子设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种点读目标识别方法的一个实施例的流程图；

图2是双摄像装置的摄像区域的示意图；

图3是用户点击区域在广角摄像区域内但在长焦摄像区域外的示意图；

图4是用户点击区域在长焦摄像区域内的示意图；

图5是本发明一种点读目标识别方法的另一个实施例的流程图；

图6是书本在书本厚度方向上的横切面的示意图；

图7是长焦摄像头和广角摄像头的共同摄像区域中任意目标点的世界坐标的计算方式的示意图；

图8是本发明一种点读目标识别方法的另一个实施例的流程图；

图9是本发明一种点读目标识别系统的一个实施例的结构示意图。

附图标号说明：

1000点读目标识别系统

1100区域标记模块 1200摄像头开启模块

1300区域获取模块

1400目标识别模块 1410图像获取单元 1420坐标计算单元 1430距离计算单元1440目标识别单元

1500厚度获取模块

1600初始化模块 1700坐标计算模块

1800曲面计算模块

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机、家教机或平板计算机之类的其他便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是具有触摸敏感表面(例如：触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、Web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本发明的一个实施例，如图1所示，一种点读目标识别方法，包括：

S100分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

具体的，本发明应用于包含如图2所示的双摄像装置的智能终端，双摄像装置包含长焦摄像头10，广角摄像头20，支架50，支架50的位置和角度不能进行调整。

确定长焦摄像头10和广角摄像头20的位置之后，分别根据长焦摄像头10和广角摄像头20的摄像范围确定对应的书本上的长焦摄像区域和广角摄像区域，其中广角摄像区域包括长焦摄像区域。

如图2所示，长焦摄像头10和广角摄像头20的摄像区域如虚线所示，长焦摄像头10的摄像区域的其中一条边缘线形成分割线40，通过分割线40将书本30分成上半区域31和下半区域32两个区域。长焦摄像头10和广角摄像头20用于采集图像，长焦摄像头10只可以拍摄书本的下半区域32，因此，下半区域32即为长焦摄像区域，广角摄像头20可以拍摄书本30的全部内容，上半区域31和下半区域32两个区域合并得到广角摄像区域。

当手指指尖出现在下半区域32时，系统打开长焦摄像头10，将手指指尖所指的内容拍摄清楚，经过长焦摄像头10的拍摄补偿，提高了远处的空间分辨率，从而准确地进行文字识别和书本点读，这就解决了空间分辨率低下导致在远处书本字体模糊识别不佳的问题；当手指指尖出现在上半区域31时，由于上半区域31距离广角摄像头20比较近，此处的空间分辨率比较高，不用打开长焦摄像头10也能准确地进行文字识别和书本点读，这也降低了系统功耗。

S200当用户进行点读操作时，开启所述广角摄像头获取用户点击区域；

具体的，检测用户是否进行点读操作，如果没有，为了降低功耗，广角摄像头和长焦摄像头处于关闭或者休眠状态，如果检测到用户进行点读操作，例如检测到用户的手指或其他点击物在点读区域移动，首先只开启广角摄像头获取用户点击区域，然后进一步识别该用户点击区域的出现位置，即判断用户点击区域是否在长焦摄像区域内，然后决定是否开启长焦摄像头。

S300若所述用户点击区域在所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

具体的，如果用户点击区域在广角摄像区域内但是在长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标。如图3所示，当检测到当手指指尖出现在上半区域31时，由于手指指尖Q点与原点O的角度β比较小，即使手指指尖悬空在空中，并没有与书本30紧密接触，手指指尖Q点在书本上的偏移距离d很小，用户理论点击处与实际点击处的误差较小，而且上半区域31比较靠近摄像头，所得的图像比较大，空间分辨率大，因此系统只根据广角摄像头获取的图像就可以准确地识别目标和书本点读。

S400若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

S500获取用户点击区域对应的书本厚度；

S600获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标。

具体的，如果用户点击区域在长焦摄像区域内，开启长焦摄像头，通过长焦摄像头和广角摄像头共同区域的图像，结合对应的书本厚度通过指尖算法识别和捕捉用户点击目标。如图4所示，系统检测到当手指指尖出现在下半区域32时，手指指尖悬空在空中，并没有与书本30紧密接触，系统会同时打开长焦摄像头10和广角摄像头20，此时系统会通过两个摄像头拍摄的共同区域以及书本30的厚度计算手指指尖P点在书本上的偏移距离d，也就是用户理论点击处E点和用户实际点击处F点的偏差，d的值作为偏移量实时补偿，从而准确地识别目标和书本点读，避免识别点读错误。

本实施例中，通过上下两个不同焦距的摄像头，解决了定焦广角摄像头空间分辨率低下导致在远处书本字体模糊识别不佳的问题，准确识别手指所指向的书本内容，防止错误点读，提高书本点读体验。

本发明的另一个实施例，是上述的实施例的优化实施例，如图5所示，本实施例与上述的实施例相比，主要改进在于，包括：

S010当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

具体的，当用户开启点读或者调整书本厚度时，例如打开用于点读的智能设备或者更换点读的书本，又或者翻动正在点读的书本的书页时，如果检测当前正在点读的书本的厚度变化，则进行点读初始化，同时开启长焦摄像头和广角摄像头获取图像，更新书本厚度。

初始化完毕之后，系统会关闭长焦摄像头，从而减少功耗。但出现书本翻页等书本厚度变化时，系统会再次同时打开长焦摄像头和广角摄像头进行计算书本打开时的厚度。

S020根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

S030根据所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

具体的，根据长焦摄像头和广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标，然后进行曲线拟合得到书本页面的曲面方程。

如图6所示，为打开后的书本30在书本厚度方向上的横切面，且所述横切面均在长焦摄像区域内，4为放置书本的水平面，书本页面33的下半区域32里在同一横切面上取N个点(N大于等于5，N越大，其准确率越高，在本例暂时N＝5，即取5个点，分别是G、J、K、L和M点)，由于这5个点都在两个摄像头拍摄的共同区域内，求出这5个点的世界坐标，进行曲线拟合计算，从而求出这5个点所处的曲线方程，由于书本是水平放置于水平面上，从而可以求出书本页面33的曲面方程。因此能求出书本页面33上的任何一点的世界坐标和其相对于水平面的高度，即打开后的书本30的厚度。

S100分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

S200当用户进行点读操作时，开启所述广角摄像头获取用户点击区域；

S300若所述用户点击区域在所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

S400若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

S500获取用户点击区域对应的书本厚度；

S600获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标。

优选地，S021根据所述长焦摄像头和所述广角摄像头的图像计算其中共同摄像区域中任意目标点的世界坐标具体包括：S022计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；S023计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；S024分别将所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；S025获取所述长焦摄像头和所述广角摄像头对应的光心坐标；S026根据所述第一世界坐标、第二世界坐标以及光心坐标计算所述目标点的世界坐标。

具体的，系统在水平面上通过标定和openCV的PNP函数，计算出长焦摄像头和广角摄像头的位姿，从而进一步计算出摄像头光心的世界坐标。如图7所示，A与B分别为长焦摄像头和广角摄像头的世界坐标，P为长焦摄像头和广角摄像头的共同摄像区域中任意一个目标点，P1为P点在长焦摄像头的图像上所映射的点，即第一映射点，P2为P点在广角摄像头的图像上所映射的点，即第二映射点。

根据相机镜头的相关参数以及映射点的像素坐标分别计算第一映射点P1和第二映射点P2在相机坐标系中对应的第一相机坐标和第二相机坐标，然后通过相机坐标系与世界坐标系之间的转换关系，将第一映射点P1和第二映射点P2在相机坐标系中的第一相机坐标和第二相机坐标转化为对应的第一世界坐标和第二世界坐标。

根据光心坐标A和第一映射点P1得到直线1，根据光心坐标B和第二映射点P2得到直线2，从而得到交点也就是共同摄像区域中任意一个目标点P的世界坐标。理论上，第一映射点P1、第二映射点P2以及P点为同一个点，但是由于存在误差，实际上三点并不完全重合，因此根据双摄像头能够更加准确定位摄像区域中的目标点。

按照上述计算长焦摄像头和广角摄像头的共同摄像区域中任意目标点的世界坐标的方法逐一计算书本厚度方向上的横切面中预设数量的点的坐标，最终得到书本页面的曲面方程。

本实施例中，通过双摄像头的共同拍摄区域，通过科学计算解决了单个摄像头无法获取物体深度信息的问题。

本发明的另一个实施例，是上述的实施例的优化实施例，如图8所示，本实施例与上述的实施例相比，主要改进在于，包括：

S100分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

S200当用户进行点读操作时，开启所述广角摄像头获取用户点击区域；

S300若所述用户点击区域在所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

S400若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

S500获取用户点击区域对应的书本厚度；

S600获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标具体包括：

S610获取所述长焦摄像头和所述广角摄像头共同区域的图像；

S620根据所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

具体的，获取长焦摄像头和广角摄像头共同区域的图像，在水平面上通过标定和openCV的PNP函数，计算出长焦摄像头和广角摄像头的位姿，从而进一步计算出摄像头光心的世界坐标。基于摄像头光心的世界坐标以及原点坐标，根据共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标。

如图4所示，A与B分别为长焦摄像头和广角摄像头的世界坐标，o为世界坐标系的原点，P为用户手指指尖或者其它点击物(例如笔等物品)的底部，根据长焦摄像头和广角摄像头共同区域的图像计算用户点击处P的坐标，通过直线BP与书本的曲面方程(即书本厚度)确定相机识别的用户理论点击处E的坐标。

S630根据所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

S640根据所述相机识别的用户理论点击处的坐标和所述偏移距离计算用户点击目标。

具体的，根据用户点击处的坐标和相机识别的用户理论点击处的坐标，结合书本厚度计算用户理论点击处与用户实际点击处的偏移距离。如图4所示，根据户点击处P的坐标、用户理论点击处E的坐标、坐标原点o以及书本厚度计算相机识别的用户理论点击处E与用户实际点击处F的偏移距离d。根据相机识别的用户理论点击处的坐标E和偏移距离d计算用户点击目标F。

优选地，S621根据所述长焦摄像头和所述广角摄像头的图像计算其中共同摄像区域中任意目标点的世界坐标具体包括：S622计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；S623计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；S624分别将所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；S625获取所述长焦摄像头和所述广角摄像头对应的光心坐标；S626根据所述第一世界坐标、第二世界坐标以及光心坐标计算所述目标点的世界坐标。

具体的，系统在水平面上通过标定和openCV的PNP函数，计算出长焦摄像头和广角摄像头的位姿，从而进一步计算出摄像头光心的世界坐标。如图7所示，A与B分别为长焦摄像头和广角摄像头的世界坐标，P为长焦摄像头和广角摄像头的共同摄像区域中任意一个目标点，P1为P点在长焦摄像头的图像上所映射的点，即第一映射点，P2为P点在广角摄像头的图像上所映射的点，即第二映射点。

根据相机镜头的相关参数以及映射点的像素坐标分别计算第一映射点P1和第二映射点P2在相机坐标系中对应的第一相机坐标和第二相机坐标，然后通过相机坐标系与世界坐标系之间的转换关系，将第一映射点P1和第二映射点P2在相机坐标系中的第一相机坐标和第二相机坐标转化为对应的第一世界坐标和第二世界坐标。

根据光心坐标A和第一映射点P1得到直线1，根据光心坐标B和第二映射点P2得到直线2，从而得到交点也就是共同摄像区域中任意一个目标点P的世界坐标。理论上，第一映射点P1、第二映射点P2以及P点为同一个点，但是由于存在误差，实际上三点并不完全重合，因此根据双摄像头能够更加准确定位摄像区域中的目标点。

按照上述计算长焦摄像头和广角摄像头的共同摄像区域中任意目标点的世界坐标的方法计算用户点击处的坐标，最终得到用户理论点击处与用户实际点击处的偏移距离。

本发明的一个实施例，如图9所示，一种点读目标识别系统1000，包括：

初始化模块1600，当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

坐标计算模块1700，所述初始化模块1600进行初始化之后，根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

曲面计算模块1800，根据所述坐标计算模块1700计算的所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

区域标记模块1100，分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

摄像头开启模块1200，当用户进行点读操作时，开启所述广角摄像头；

区域获取模块1300，所述摄像头开启模块1200开启所述广角摄像头之后，获取用户点击区域；

目标识别模块1400，若所述区域获取模块1300获取的用户点击区域在所述区域标记模块1100标记的所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

所述目标识别模块1400具体包括：

图像获取单元1410，获取所述长焦摄像头和所述广角摄像头共同区域的图像；

坐标计算单元1420，根据所述图像获取单元1410获取的所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

距离计算单元1430，根据所述坐标计算单元1420得到的所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

目标识别单元1440，根据所述坐标计算单元1420得到的所述相机识别的用户理论点击处的坐标和所述距离计算单元1430得到的所述偏移距离计算用户点击目标。

所述摄像头开启模块1200，若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

厚度获取模块1500，获取用户点击区域对应的书本厚度；

所述目标识别模块1400，获取所述摄像头开启模块1200开启所述长焦摄像头和所述广角摄像头之后拍摄的共同区域的图像，结合所述厚度获取模块1500获取的所述书本厚度通过指尖算法识别和捕捉用户点击目标。

优选地，所述坐标计算模块1700具体包括：

相机坐标计算单元1420，计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

所述相机坐标计算单元1420，计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

世界坐标计算单元1420，分别将所述相机坐标计算单元1420得到的所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

光心坐标获取单元，获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

处理单元，根据所述世界坐标计算单元1420得到的所述第一世界坐标、第二世界坐标以及所述光心坐标获取单元得到的光心坐标计算所述目标点的世界坐标。

优选地，所述坐标计算单元1420具体包括：

相机坐标计算子单元，计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

所述相机坐标计算子单元，计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

世界坐标计算子单元，分别将所述相机坐标计算子单元得到的所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

光心坐标获取子单元，获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

处理子单元，根据所述世界坐标计算子单元得到的所述第一世界坐标、第二世界坐标以及所述光心坐标获取子单元得到的光心坐标计算所述目标点的世界坐标。

本实施例中的各个模块的具体操作方式在上述对应的方法实施例中已经进行了详细描述，因此不再一一进行赘述。

本发明的一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。

本发明实现上述的实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明的一个实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种点读目标识别方法，其特征在于，包括：

分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

当用户进行点读操作时，开启所述广角摄像头获取用户点击区域；

若所述用户点击区域在所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

若所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

获取用户点击区域对应的书本厚度；

获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标。

2.根据权利要求1所述的点读目标识别方法，其特征在于，获取当前的书本厚度之前还包括：

当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

根据所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

3.根据权利要求1所述的点读目标识别方法，其特征在于，获取所述长焦摄像头和所述广角摄像头共同区域的图像，结合所述书本厚度通过指尖算法识别和捕捉用户点击目标具体包括：

获取所述长焦摄像头和所述广角摄像头共同区域的图像；

根据所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

根据所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

根据所述相机识别的用户理论点击处的坐标和所述偏移距离计算用户点击目标。

4.根据权利要求2或3所述的点读目标识别方法，其特征在于，根据所述长焦摄像头和所述广角摄像头的图像计算其中共同摄像区域中任意目标点的世界坐标具体包括：

计算目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

分别将所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

根据所述第一世界坐标、第二世界坐标以及光心坐标计算所述目标点的世界坐标。

5.一种点读目标识别系统，其特征在于，包括：

区域标记模块，分别获取并标记长焦摄像头和广角摄像头对应的书本上的长焦摄像区域和广角摄像区域，所述广角摄像区域包括所述长焦摄像区域；

摄像头开启模块，当用户进行点读操作时，开启所述广角摄像头；

区域获取模块，所述摄像头开启模块开启所述广角摄像头之后，获取用户点击区域；

目标识别模块，若所述区域获取模块获取的用户点击区域在所述区域标记模块标记的所述广角摄像区域内但在所述长焦摄像区域外，则通过指尖算法识别和捕捉用户点击目标；

所述摄像头开启模块，若所述区域获取模块获取的所述用户点击区域在所述长焦摄像区域内，开启所述长焦摄像头；

厚度获取模块，获取用户点击区域对应的书本厚度；

所述目标识别模块，获取所述摄像头开启模块开启所述长焦摄像头和所述广角摄像头之后拍摄的共同区域的图像，结合所述厚度获取模块获取的所述书本厚度通过指尖算法识别和捕捉用户点击目标。

6.根据权利要求5所述的点读目标识别系统，其特征在于，还包括：

初始化模块，当用户开启点读或者调整书本厚度时，进行点读初始化，同时开启所述长焦摄像头和所述广角摄像头；

坐标计算模块，所述初始化模块进行初始化之后，根据所述长焦摄像头和所述广角摄像头获取的共同区域的图像，计算书本厚度方向上的横切面中预设数量的点的坐标；

曲面计算模块，根据所述坐标计算模块计算的所述预设数量的点的坐标进行曲线拟合得到书本页面的曲面方程。

7.根据权利要求5所述的点读目标识别系统，其特征在于，所述目标识别模块具体包括：

图像获取单元，获取所述长焦摄像头和所述广角摄像头共同区域的图像；

坐标计算单元，根据所述图像获取单元获取的所述共同区域的图像计算用户点击处的坐标和相机识别的用户理论点击处的坐标；

距离计算单元，根据所述坐标计算单元得到的所述用户点击处的坐标和相机识别的用户理论点击处的坐标，结合所述书本厚度计算用户理论点击处与用户实际点击处的偏移距离；

目标识别单元，根据所述坐标计算单元得到的所述相机识别的用户理论点击处的坐标和所述距离计算单元得到的所述偏移距离计算用户点击目标。

8.根据权利要求6所述的点读目标识别系统，其特征在于，所述坐标计算模块具体包括：

相机坐标计算单元，计算书本厚度方向上的横切面中预设数量的点中任意一个目标点的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述目标点在所述长焦摄像头拍摄的图像上所映射的点；

所述相机坐标计算单元，计算所述目标点的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述目标点在所述广角摄像头拍摄的图像上所映射的点；

世界坐标计算单元，分别将所述相机坐标计算单元得到的所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

光心坐标获取单元，获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

处理单元，根据所述世界坐标计算单元得到的所述第一世界坐标、第二世界坐标以及所述光心坐标获取单元得到的光心坐标计算所述目标点的世界坐标。

9.根据权利要求7所述的点读目标识别系统，其特征在于，所述坐标计算单元具体包括：

相机坐标计算子单元，计算用户点击处的第一映射点在相机坐标系中的第一相机坐标，所述第一映射点为所述用户点击处在所述长焦摄像头拍摄的图像上所映射的点；

所述相机坐标计算子单元，计算所述用户点击处的第二映射点在相机坐标系中的第二相机坐标，所述第二映射点为所述用户点击处在所述广角摄像头拍摄的图像上所映射的点；

世界坐标计算子单元，分别将所述相机坐标计算子单元得到的所述第一相机坐标和所述第二相机坐标转化为第一世界坐标和第二世界坐标；

光心坐标获取子单元，获取所述长焦摄像头和所述广角摄像头对应的光心坐标；

处理子单元，根据所述世界坐标计算子单元得到的所述第一世界坐标、第二世界坐标以及所述光心坐标获取子单元得到的光心坐标计算所述用户点击处的世界坐标。

10.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。

Images