CN102289957B - 点读机及其发声方法 - Google Patents

Abstract

一种点读机，通过投影模块将处理单元从存储单元读取的信息投影到投影平面；不可见光模组发出覆盖投影平面的不可见光；摄像装置拍摄投影平面内的图像并将图像传送至处理单元；处理单元对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置，根据操作位置控制音箱发出相应的声音。所述点读机不用特制的点读笔、点读课本及特制的操作屏幕即可实现用户用手指或其他非透明物体在投影区域内的直接点读功能。而且点读内容不限于文字、图片，还可投影出动画、视频等丰富内容，实现交互娱乐功能。此外，点读内容可从网上下载并储存于存储单元，而不必购买新的点读课本，免去用户的后续支出。本发明还提供一种点读机的发声方法。

Description

点读机及其发声方法

【技术领域】

本发明涉及一种辅助教学手段，特别是涉及一种点读机及其发声方法。

【背景技术】

点读机和点读笔作为一种幼儿辅助教学工具，广受欢迎，目前已经形成了庞大的市场规模。对于点读机而言其需要特定的工作台和预先编录好的课本，当笔接触到课本上某个位置时，工作台会感应到，并读取出对应该位置的预先录制好的声音；对于点读笔而言，其需要一只特制的笔和含有编码信息的课本，当笔接触到课本时，笔内感应装置会读取课本上的编码信息并发出对应该编码的声音。这两种技术各有优缺点，点读机不需要特制的笔，但需要有一个含有感应装置的工作台；而点读笔不要特制工作台，但需要含有感应装置的笔来操作。他们共同的缺点都是需要特制的点读课本，用户需为后续课本购买付出更多的成本；而且一般点读内容均属于印刷制品，因而只能局限于静态的字体或者图案，无法展现动画和视频。

【发明内容】

鉴于上述状况，有必要针对传统的点读机需要购买点读课本而造成使用成本高的问题，提供一种点读机。

一种点读机，包括处理单元、与所述处理单元电连接的存储单元及音箱，所述点读机还包括：

投影模块，与所述处理单元电相连，将所述处理单元从所述存储单元读取的信息投影到投影平面；

不可见光模组，发出覆盖所述投影平面的不可见光；

摄像装置，与所述处理单元相连，拍摄所述投影平面内的图像并将所述图像传送至所述处理单元；

所述处理单元对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置，根据所述操作位置控制所述音箱发出相应的声音。

进一步地，所述处理单元根据所述操作位置控制所述音箱发出相应的声音的过程为：根据校正关系对所述操作位置进行处理，获得检测位置；根据所述检测位置与声音文件的对应关系，读取所述声音文件；播放所述声音文件控制所述音箱发出相应的声音。

进一步地，所述处理单元包括用于调整所述校正关系的标定模块，所述标定模块用于接收所述摄像装置拍摄的所述投影平面内的棋盘格图像；检测所述棋盘格图像内角点并排序；计算投影变换矩阵。

进一步地，所述处理单元包括用于调整所述校正关系的标定模块，所述标定模块用于接收所述摄像装置拍摄的所述投影平面内含标记点的图像；对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；根据所述操作位置和标记点的位置计算投影变换矩阵。

进一步地，所述不可见光模组为红外一字线激光器。

进一步地，所述红外一字线激光器发出所述不可见光的波长为850纳米，所述摄像装置上装有650纳米和850纳米双通滤光片。

进一步地，所述投影模块上设有反光镜，所述反光镜用来改变光线的投影方向。

同时，本发明还提供一种点读机的发声方法。

一种点读机的发声方法，包括以下步骤：

将存储的信息投影到投影平面；

发出不可见光覆盖所述投影平面；

拍摄所述投影平面内的图像；

对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；

根据所述操作位置控制音箱发出相应的声音。

进一步地，所述根据所述操作位置控制所述音箱发出相应的声音的步骤包括：根据校正关系对所述操作位置进行处理，获得检测位置；根据所述检测位置与声音文件的对应关系，读取所述声音文件；播放所述声音文件控制所述音箱发出相应的声音。

进一步地，通过对所述点读机进行标定调整所述校正关系，所述对所述点读机进行标定的步骤包括如下步骤：

在所述投影平面内显示棋盘格图像；

拍摄所述投影平面内的棋盘格图像；

检测所述棋盘格图像内角点并排序；

计算调整所述校正关系的投影变换矩阵。

进一步地，是利用角点检测算法提取出所述棋盘格图像内角点位置。

进一步地，通过对所述点读机进行标定调整所述校正关系，所述对所述点读机进行标定的步骤包括如下步骤：

在所述投影平面投影出包含标记点的图像；

拍摄所述投影平面内的图像；

对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；

根据所述操作位置和标记点的位置计算调整所述校正关系的投影变换矩阵。

进一步地，获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置，包括以下步骤：

通过所述摄像装置获取一帧图像；

找到所述图像中光斑出现的像素点位置；

计算所述像素点集的中心位置；

将所述中心位置转化为投影平面所述对应的操作位置。

进一步地，通过阈值分割和加权算法找到所述图像中光斑出现的像素点位置。

所述点读机采用投影模块将存储单元存储的内容投影到普通桌面上，并配合所提出的基于摄像装置和不可见光模组的视觉定位系统，通过处理单元处理摄像装置的视频信息，计算手指触点的操作位置，根据操作位置控制音箱发出相应的声音，实现用户用手指或其他非透明物体在投影区域内的直接点读功能，省去了专用的点读笔和点读课本，也不需要特制的操作屏幕。

【附图说明】

图1为一实施例中点读机的模块图；

图2为另一实施例中点读机的模块图；

图3为一实施例中点读机发声方法的流程图；

图4为图3所示点读机发声方法中获得用户操作位置的流程图；

图5为另一实施例中点读机发声方法的流程图；

图6为图3所示点读机发声方法中自动标定的流程图；

图7为图3所示点读机发声方法中手动标定的流程图。

【具体实施方式】

下面主要结合附图说明本发明的具体实施方式。

请参阅图1，点读机100包括存储单元110、处理单元120、投影模块130、不可见光模组140、摄像装置150及音箱160。

存储单元110用于存储电子版的教学内容如文字、图片、动画、视频、声音等文件。存储单元可为半导体存储器也可为磁盘存储器。

处理单元120与存储单元110电连接，用来读取存储单元110内存储的信息。处理单元120可以采用嵌入式处理器。处理单元和存储单元可以整合到一个芯片中，也可以是两个独立的芯片。

投影模块130与处理单元120电连接，用来投影处理单元120从存储单元110中读取出来的文字、图片、动画等信息。投影模块130为普通微型投影仪即可，LCOS(硅基液晶)或DLP(数字光处理)芯片均可用。

不可见光模组140用于发出不可见光，覆盖投影模块130投影出来的平面。不可见光模组140发出不可见光的出光平面优选为与投影平面平行并覆盖投影模块130投影出来的平面。不可见光模组140优选为红外激光模组。本实施例中，不可见光模组140为红外一字线激光器，所发出的不可见光的波长为850纳米。不可见光模组140可以在开机后一直工作，也可以与处理单元120相连，由处理单元120控制不可见光模组140是否工作。

摄像装置150与处理单元120电连接，用来拍摄投影模块130投影出来的画面并传送给处理单元120。摄像装置150为普通摄像头即可，摄像装置150的方向可以调整，使之始终能拍摄到整个投影平面。摄像装置150的拍摄方向最好为与投影平面垂直或接近垂直。

音箱160与处理单元120电连接，受处理单元120的控制发出相应的声音。

点读机100工作时，投影模块130将处理单元120从存储单元110读取的信息投影到投影平面；不可见光模组140发出不可见光，覆盖投影平面；摄像装置150拍摄投影平面内的图像并将图像传送至处理单元120；处理单元120对所述图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置，根据所述操作位置控制音箱160发出相应的声音。例如，投影模块130将香蕉的图片和文字投影在投影平面内，在用户在投影平面内点击该图片或文字时，可以获得用户点击的操作位置，根据事先设定的对应关系，可以读取香蕉的音频文件并发出朗读声音。

在另一优选的实施例中，处理单元120根据操作位置控制音箱160发出相应的声音的过程为：根据校正关系对操作位置进行处理，获得检测位置；根据检测位置与声音文件的对应关系，读取声音文件；播放声音文件控制音箱160发出相应的声音。在实际的产品中，实际投影出来的图像和理论上的图像会存在一定的变形，这种变形可以通过上述校正关系来解决，以避免出现点击的图片和实际发出的声音不对应。这种校正可以是类似于触摸屏的校正。

请参阅图2，处理单元120还包括用于调整校正关系的标定模块121。标定模块121调整校正关系的一种方式为：接收摄像装置150拍摄的投影平面内的棋盘格图像；检测棋盘格图像内角点并排序；计算调整校正关系的投影变换矩阵。所谓棋盘格图像的内角点，指的是黑白相间棋盘格图中，黑色格子相互连通的位置，譬如，一个8*8的棋盘格图具有7*7个内角点。

标定模块121调整校正关系的另一种方式为：接收摄像装置150拍摄的投影平面内含标记点的图像；对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置；根据操作位置和标记点的位置计算调整校正关系的投影变换矩阵。即在投影的图像中，加入标记点，例如十字架形状的标记点，用户点击该标记点时获得用户的操作位置，操作位置即为标记点实际投影的位置，由于实际投影出来的图像和理论上的图像会存在一定的变形，因此依据该操作位置和原本存储的理论上的标记点的位置可以对这种变形进行调整，获得计算调整校正关系的投影变换矩阵。

在本实施例中，点读机100还包括电源170。可以理解，电源170可以是外接电源或是电池电源。采用电池电源可以使点读机100在更广的范围内使用。

在本实施例中，不可以见光模组140为红外一字线激光器。可以理解，此处可以用其他红外线发射装置或是紫外光发射装置代替。

在本实施例中，不可以见光模组140发出不可见光的波长为850纳米；相应的，摄像装置150上装有650纳米和850纳米双通滤光片(图未示)。650nm为可见光波段，850nm为近红外光波段，且与850nm的激光器的光谱保持一致。标定时，采用较长的曝光时间(软件系统自动设置)摄像头可以看到投影仪投射出的标定图案，从而实现高精度的自动标定；在标定之后，系统会自动降低摄像头的曝光时间，从而使得650nm的可见光基本不被摄像头所感知，即使有部分可见光透过，也很微弱，可在图像处理中轻易去除，这样既可以滤除掉大部分可见光，又可以使得摄像头最大限度的获取指端光斑的亮度信息。

可以理解，不可见光的波长不限于850纳米，改变不可见光的波长时，双通滤光片的型号做相应的改变。

在本实施例中，投影模块130上设有反光镜(图未示)反光镜用来改变光线的投影方向。可以理解，反光镜可省略，而采用其他方式，如：旋转投影模块130来改变投影的方向。

点读机100采用投影模块130将存储单元110存储的内容投影到普通桌面上，并配合所提出的基于不可见光模组140和摄像装置150的视觉定位系统，通过处理单元120处理摄像装置的视频信息，计算手指触点的操作位置，实现用户用手指或其他非透明物体在投影区域内的直接点读功能，省去了专用的点读笔和点读课本。

请参阅图3，在一实施例中，点读机的发声方法，包括步骤：S110～S150。

步骤S110，将存储的信息投影到投影平面。在具体实施例中，处理单元120从存储单元110中读取图片、动画等信息，再通过投影模块130投影到平面。

步骤S120，发出不可见光覆盖投影平面。在具体实施例中，不可见光模组140发出覆盖投影平面的不可见光，当有非透明物体，如用户的手指触碰投影平面时，会在投影平面产生光斑。

步骤S130，拍摄投影平面内的图像，并传至处理单元120。在具体实施例中，摄像装置150拍摄投影平面的图像，并将图像传至处理单元120，图像中包含了用户的操作信息，用户用手指或者其他非透明物体点击投影平面时，会在相应的位置产生光斑。

步骤S140，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。

具体地，请参阅图4，步骤S140，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。包括步骤：S210～S240。

步骤S210，通过摄像装置150获取一帧图像。图像中包含了用户操作的信息，即用户用手指或是其他非透明物体点击投影平面时由于遮挡不可见光而产生的光斑。

步骤S220，找到图像中光斑出现的像素点位置。在具体实施例中，采用的是阈值分割和加权算法，这两种算法为优选的实施方式，本领域技术人员还可采用其他的手段达到同样的效果。

步骤S230，计算像素点集的中心位置。

步骤S240，将中心位置转化为投影平面对应的操作位置。

当执行完步骤S240后，若点读机100继续工作，则返回步骤S210，继续获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。

步骤S150，根据所述操作位置控制音箱160发出相应的声音。

根据操作位置控制音箱160发出相应的声音的步骤包括：根据校正关系对操作位置进行处理，获得检测位置；根据检测位置与声音文件的对应关系，读取声音文件；播放声音文件控制音箱160发出相应的声音。在实际的产品中，实际投影出来的图像和理论上的图像会存在一定的变形，这种变形可以通过上述校正关系来解决，以避免出现点击的图片和实际发出的声音不对应。这种校正可以是类似于触摸屏的校正。

在另一优选实施例中，图3所示点读机发声方法更具体的流程如图5所示。点读机的发声方法，包括步骤：S310～S360。

步骤S310，对点读机100进行标定。标定的目的即获得上述的校正关系，该步骤由标定模块121完成。标定完成后，只要不调整投影模块130及摄像装置150的位置，后续使用过程中不用再进行标定，当点读机100的位置变动，各组件位置调整时，需按照相同的方法再次进行标定。

具体地，请参阅图6，步骤S310对点读机100进行标定可以是自动标定，自动标定包括步骤：S410～S440。

步骤S410，在投影平面内显示棋盘格图像。在具体实施例中，棋盘格图储存于存储单元110中，由处理单元120读取并由投影模块130投影到平面内。

步骤S420，拍摄投影平面内的棋盘格图像。在具体实施例中，摄像装置150拍摄平面内的棋盘格图，并传至处理单元120。

步骤S430，检测棋盘格图像内角点并排序。在具体本实施例中，是利用角点检测算法提取出棋盘格图像内角点位置。棋盘格可以是8*8的，那么他的内角点个数即为7*7个。

步骤S440，计算调整校正关系的投影变换矩阵。

请参阅图7，步骤S310对点读机100进行标定还可以是手动标定，手动标定包括步骤：S510～S540。

步骤S510，在投影平面投影出包含标记点的图像。在具体实施例中，含标记点的图像储存于存储单元110中，由处理单元120读取并由投影模块130投影到平面内。

步骤S520，拍摄投影平面内的图像。在具体实施例中，用户依次点击标记点，在图像上留下操作信息，摄像装置150拍摄平面内含用户操作信息的含标记点的图像，并传至处理单元120。

步骤S530，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。在标定的过程中，用户操作位置的获取与步骤S140相同，都是利用一样的原理和模块。

步骤S540，根据操作位置和标记点的位置计算调整校正关系的投影变换矩阵。

上述两种标定的方式获得的标定结果用于后续的校正。

步骤S320，将存储的信息投影到投影平面。在具体实施例中，处理单元120从存储单元110中读取图片、动画等信息，再通过投影模块130投影到平面。

步骤S330，发出不可见光覆盖投影平面。在具体实施例中，不可见光模组140发出覆盖投影平面的不可见光，当有非透明物体触碰投影平面时，会在投影平面产生光斑。

步骤S340，拍摄投影平面内的图像并传至处理单元120。在具体实施例中，摄像装置150拍摄投影平面的图像，并将图像传至处理单元120，图像中包含了用户的操作信息，用户用手指或者其他非透明物体点击投影平面时，会在相应的位置产生光斑。

步骤S350，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。

请参阅图4，步骤S350，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。包括步骤：S210～S240。

步骤S210，通过摄像装置150获取一帧图像。图像中包含了用户操作的信息，即用户用手指或是其他非透明物体点击投影平面时由于遮挡不可见光而产生的光斑。

步骤S220，找到图像中光斑出现的像素点位置。在具体实施例中，采用的是阈值分割和加权算法，这两种算法为优选的实施方式，本领域技术人员还可采用其他的手段达到同样的效果。

步骤S230，计算像素点集的中心位置。

步骤S240，将中心位置转化为投影平面对应的操作位置。

当执行完步骤S240后，若点读机100继续工作，则返回步骤S210，继续获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。

步骤S360，根据所述操作位置控制音箱160发出相应的声音。

根据操作位置控制音箱160发出相应的声音的步骤包括：根据校正关系对操作位置进行处理，获得检测位置；根据检测位置与声音文件的对应关系，读取声音文件；播放声音文件控制音箱160发出相应的声音。在实际的产品中，实际投影出来的图像和理论上的图像会存在一定的变形，这种变形可以通过上述校正关系来解决，以避免出现点击的图片和实际发出的声音不对应。这种校正可以是类似于触摸屏的校正。

上述方法首先将存储的信息投影到投影平面，并发出不可见光覆盖投影平面，接着将投影平面内的图像传至处理单元120，对图像进行处理获得用户在投影平面内操作时遮挡不可见光所产生的光斑对应的操作位置。从而使点读机100不用特制的点读笔、点读课本即可实现用户用手指或其他非透明物体在投影区域内的直接点读功能，增强了点读机的实用性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (2)

1.一种点读机，包括处理单元、与所述处理单元电连接的存储单元及音箱，其特征在于，所述点读机还包括：

投影模块，与所述处理单元电相连，将所述处理单元从所述存储单元读取的信息投影到投影平面；

不可见光模组，发出覆盖所述投影平面的不可见光；

摄像装置，与所述处理单元相连，拍摄所述投影平面内的图像并将所述图像传送至所述处理单元；

所述处理单元对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置，根据所述操作位置控制所述音箱发出相应的声音；

所述处理单元根据所述操作位置控制所述音箱发出相应的声音的过程为：根据校正关系对所述操作位置进行处理，获得检测位置；根据所述检测位置与声音文件的对应关系，读取所述声音文件；播放所述声音文件控制所述音箱发出相应的声音；

所述处理单元包括用于调整所述校正关系的标定模块，所述标定模块用于接收所述摄像装置拍摄的所述投影平面内的棋盘格图像；检测所述棋盘格图像内角点并排序；计算调整所述校正关系的投影变换矩阵；或

所述标定模块接收所述摄像装置拍摄的所述投影平面内含标记点的图像；对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；根据所述操作位置和标记点的位置计算调整所述校正关系的投影变换矩阵；

所述不可以见光模组为红外一字线激光器，所述红外一字线激光器发出所述不可见光的波长为850纳米，所述摄像装置上装有650纳米和850纳米双通滤光片；

所述投影模块上设有反光镜，所述反光镜用来改变光线的投影方向。

2.一种点读机的发声方法，其特征在于，包括以下步骤：

将存储的信息投影到投影平面；

发出不可见光覆盖所述投影平面；

拍摄所述投影平面内的图像；

对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；

根据所述操作位置控制音箱发出相应的声音；

所述根据所述操作位置控制所述音箱发出相应的声音的步骤包括：根据校正关系对所述操作位置进行处理，获得检测位置；根据所述检测位置与声音文件的对应关系，读取所述声音文件；播放所述声音文件控制所述音箱发出相应的声音；通过对所述点读机进行标定调整所述校正关系，所述对所述点读机进行标定的步骤包括如下步骤：

在所述投影平面内显示棋盘格图像；

拍摄所述投影平面内的棋盘格图像；

检测所述棋盘格图像内角点并排序；

计算调整所述校正关系的投影变换矩阵；或：

在所述投影平面投影出包含标记点的图像；

拍摄所述投影平面内的图像；

对所述图像进行处理获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置；

根据所述操作位置和标记点的位置计算调整所述校正关系的投影变换矩阵；

所述的点读机发声方法利用角点检测算法提取出所述棋盘格图像内角点位置；

获得用户在所述投影平面内操作时遮挡所述不可见光所产生的光斑对应的操作位置，包括以下步骤：

通过摄像装置获取一帧图像；

找到所述图像中光斑出现的像素点位置；

计算所述像素点集的中心位置；

将所述中心位置转化为投影平面所述对应的操作位置；

所述点读机发声方法通过阈值分割和加权算法找到所述图像中光斑出现的像素点位置。