CN109003476A - 一种手指点读系统及其操作方法以及采用该系统的装置 - Google Patents

Abstract

本发明涉及一种手指点读系统及其操作方法以及采用该系统的装置，包括摄像模块，对绘本及手指进行采样，以及捕捉采样手指落在绘本上的位置；图像处理模块，对摄像模块采集的图像信息进行储存，并将摄像头捕捉到的手指和绘本的实时图像与储存的图像信息进行比对；音频处理模块，与采样的绘本进行语音匹配，并在采样手指落在绘本上时进行语音播报；中央处理模块，处理各个模块之间的通信。本发明无需婴幼儿佩戴任何设备，可以直接对手指进行识别，实现手指直接进行点读的功能；另外，用户可以自行添加不同的绘本，非常方便，丰富了绘本的内容，也节省了成本。

Description

一种手指点读系统及其操作方法以及采用该系统的装置

技术领域

本发明涉及点读机领域，更具体地说，它涉及一种手指点读系统及其操作方法以及采用该系统的装置。

背景技术

点读机是一种辅助教育设备，通过万点电磁感应定位系统与无线传感点击技术等高科技手段，将文字化的书本教材变成能按学习需要任意发声的有声教材。

点读机一般都配备点读笔，比如通过在绘本上设置光感辨识码，配合红外点读笔，红外点读笔识读到光感辨识码后，相应从服务器获取音频进行播放。

但是对于年龄较小的婴幼儿来说，还是习惯用手直接点，不会使用点读笔；而且点读笔容易遗失，也容易被小孩损坏，一旦点读笔不能使用，那点读机也就无法使用了。

公告号为CN104217197B的中国专利，公开了一种基于视觉手势的点读方法和装置，用户通过手指在书本上需点读区域画圈；摄像头捕捉手指画圈动作，图像处理模块根据轮廓分析算法获取指尖位置且得出轨迹上下左右四个方向边缘端点，根据上下左右四个端点拟合成矩形，从而对矩形区域内容进行文字或图形等内容识别；而后进行语音合成技术并将语音信息反馈给用户实现点读功能。所述装置可戴在用户头上，包括一个摄像头，安装在装置两边的骨传导耳机。该装置结合了先进的可穿戴理念，使用户在学习的时候摆脱了手持电子设备的束缚，可基于现实的普通书本获得智能点读的学习指导。

该方案虽然舍弃了点读笔，让用户可以直接用手点读，但还是需要头戴设备配合，而且需要手指进行规则的动作才能识别。对于婴幼儿来说，任何对身体有束缚的设备都是不合适的，婴幼儿很难配合的使用这些设备，而且手指也很难作出任何的规则动作，因此就需要一套配合婴幼儿天性的设备来让婴幼儿体验点读的乐趣。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种手指点读系统，无需婴幼儿佩戴任何设备，可以直接对手指动作进行识别，实现手指直接进行点读的功能。

为实现上述目的，本发明提供了如下技术方案：一种手指点读系统，包括

摄像模块，对绘本及手指进行采样，以及捕捉采样手指落在绘本上的位置；图像处理模块，对摄像模块采集的图像信息进行储存，并将摄像头捕捉到的手指和绘本的实时图像与储存的图像信息进行比对；音频处理模块，与采样的绘本进行语音匹配，并在采样手指落在绘本上时进行语音播报；中央处理模块，处理各个模块之间的通信。

使用时，摄像模块先对绘本的内容进行采样，音频处理模块根据采样的绘本内容设置相应的语音，中央处理模块把图像和语音进行匹配；摄像模块对幼儿的手指进行采样，图像处理模块对采样的手指信息进行储存。

摄像模块对准绘本实时拍摄，利用图像识别技术，当采样的手指落在采样的绘本上时，中央处理模块控制音频处理模块播报采样绘本的语音。

通过上述技术方案，用户购买本发明产品后，只需要先通过摄像模块采集幼儿的手指信息，储存手指信息后，幼儿即可通过采样过的手指进行点读，采样手指点到绘本，产品就会播报绘本内容的语音。

幼儿无需通过点读笔或其他辅助设备来点读，直接通过手指即可，非常方便和人性化；而且其他没有采样过的身体部位或物品触碰到绘本后，产品不会播报语音，可以防止误操作。

优选的，所述的图像处理模块包括：样本储存模块，用于保存采样的绘本图像信息和手指图像信息；临时储存模块，用于临时储存摄像模块实时拍摄的绘本图像和手指图像；比较模块，将临时储存模块中摄像模块实时拍摄的手指图像与样本储存模块中储存的手指图像信息进行比较，将临时储存模块中摄像模块实时拍摄的绘本图像与样本储存模块中储存的绘本图像信息进行比较。

图像处理模块利用图像识别技术，使用时，摄像模块实时拍摄绘本区域，当有手指落在绘本区域时，摄像模块实时拍摄手指照片并存入临时储存模块，比较模块将临时存入的手指照片与样本储存模块中已有的手指信息进行比对，如果不一致则删除临时储存的手指照片，进行下一次的比较；如果一致，则将摄像模块实时拍摄的绘本照片与样本储存模块中已有的绘本信息进行比对，选择绘本信息中与临时拍摄的绘本照片相同的那一张，并将绘本信息发送至中央处理模块，中央处理模块将绘本信息与语音进行匹配，音频处理模块根据匹配的信息播报相应的语音。

优选的，所述的音频处理模块包括：语音储存模块，用于录制语音并储存；样本匹配模块，将每一段语音分别与绘本图像信息进行匹配；播报模块，根据图像处理模块选定的绘本图像，选择对应的语音进行播报。

通过上述技术方案，音频处理模块可以对绘本图像信息进行匹配，并根据手指选定的绘本区域进行语音播报。

优选的，所述的摄像模块中还设置有扫描模块，用于对新的绘本信息进行采样；语音储存模块，用于录制新的语音，与新的绘本信息进行匹配。

现有技术中，绘本都是特制的，绘本中含有识别码，所以用户需要购买特定的绘本才能点读，如果绘本损坏、遗失，又要重新购买，非常不便，也增加了成本。

而上述方案中，除了购买的绘本外，由于绘本不用特制，用户可以自己添加新的绘本，可以选择一些孩子比较感兴趣的绘本，扫描后，匹配录入语音，即可进行点读。非常方便，丰富了绘本的内容，用户可以根据孩子的需要自己准备，无需担心从卖家那里买不到自己喜欢的绘本；另外也节省了成本。

本发明还提供了一种手指点读系统的操作方法，它的操作步骤如下：

1）摄像模块先对绘本的内容进行采样，并对绘本的图像信息进行保存；

2）音频处理模块将绘本对应的语音进行采样，并对绘本的语音信息进行保存；

3）中央处理模块把绘本的图像信息和绘本的语音信息进行匹配；

4）摄像模块对用户的手指进行采样，并对手指图像信息进行保存；

5）摄像模块对准绘本实时拍摄，利用图像识别技术，当采样的手指落在采样的绘本上时，中央处理模块控制音频处理模块播报采样绘本的语音，实现点读。

优选的，所述的步骤5）中，图像处理模块利用图像识别技术，对手指点读进行识别，具体步骤如下：

5.1）摄像模块实时拍摄绘本区域，当有手指落在绘本区域时，摄像模块实时拍摄手指照片并存入临时储存模块，比较模块将临时存入的手指照片与样本储存模块中已有的手指图像信息进行比对；

5.2）比对后，如果临时存入的手指照片与样本储存模块中已有的手指图像信息不一致，删除临时存入的手指照片，并进行下一次的比对；

5.3）如果临时存入的手指照片与样本储存模块中已有的手指图像信息一致，则继续比对绘本照片；把临时拍摄的手指落入的绘本照片与样本储存模块中已有的绘本图像信息进行比对，选择绘本图像信息中与临时拍摄的绘本照片相同的那一张，并将该绘本图像信息发送至中央处理模块；

5.4）中央处理模块将绘本图像信息与音频处理模块中的绘本语音信息进行匹配，音频处理模块选择对应的绘本语音信息进行播报，实现点读。

优选的，当用户需要录入新的绘本信息时，步骤如下：

6）摄像模块对新的绘本进行扫描，采样新的绘本图像信息，并存入样本储存模块中；

7）音频处理模块录制新的绘本语音信息，并存储到语音储存模块中，与新的绘本图像信息相对应；

8）中央处理模块把新的绘本的图像信息与新的绘本语音信息进行匹配；

9）当采样的手指落在新的绘本上时，播报模块就会播报新的绘本语音信息，实现点读。

优选的，当用户需要对新的绘本上的不同区域进行区分点读时，步骤如下：

10）对绘本上的不同区域划分边界，并记录每个区域在绘本上的位置信息；

11）音频处理模块对每个区域分别录制新的绘本语音信息，并存储到语音储存模块中；

12）中央处理模块把每个区域的位置信息与每个区域的绘本语音信息分别进行匹配；

13）当采样的手指落在绘本上时，摄像模块采集手指所在区域的图像信息，并发送给中央处理模块，中央处理模块根据图像信息计算分析出手指所在绘本上的位置信息，并把相应的匹配信息发送给播报模块，播报模块就会播报每个区域相应的绘本语音信息，实现点读。

有些复杂的绘本同一页上无法用一种语音完全概括，需要对不同的区域进行区分指读。通过上述技术方案，用户就可以根据绘本上的不同区域自由设置不同的语音。

本发明还提供了一种手指点读装置，安装了上述手指点读系统。

综上所述，本发明具有以下有益效果：无需婴幼儿佩戴任何设备，本发明可以直接对手指进行识别，实现手指直接进行点读的功能；另外，用户可以自行添加不同的绘本，非常方便，丰富了绘本的内容，也节省了成本。

附图说明

图1为实施例1的结构框图。

图2为实施例1的流程图。

图3为实施例4的结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例 1：

一种手指点读系统，如图1所示，包括摄像模块1、图像处理模块2、音频处理模块3、中央处理模块4以及用于给上述模块供电的电源模块。

摄像模块1用于对绘本及手指进行采样，以及捕捉采样手指落在绘本上的位置；图像处理模块2用于对摄像模块1采集的图像信息进行储存，并将摄像头捕捉到的手指和绘本的实时图像与储存的图像信息进行比对；音频处理模块3与采样的绘本进行语音匹配，并在采样手指落在绘本上时进行语音播报；中央处理模块4用于处理各个模块之间的通信。

图像处理模块2包括样本储存模块21、临时储存模块22和比较模块23。样本储存模块21用于保存采样的绘本图像信息和手指图像信息；临时储存模块22用于临时储存摄像模块1实时拍摄的绘本图像和手指图像；比较模块23将临时储存模块22中摄像模块1实时拍摄的手指图像与样本储存模块21中储存的手指图像信息进行比较，将临时储存模块22中摄像模块1实时拍摄的绘本图像与样本储存模块21中储存的绘本图像信息进行比较。

音频处理模块3包括语音储存模块31、样本匹配模块32和播报模块33。语音储存模块31用于录制语音并储存；样本匹配模块32将每一段语音分别与绘本图像信息进行匹配；播报模块33根据图像处理模块2选定的绘本图像，选择对应的语音进行播报。

中央处理模块4处理各个模块之间的通信，可以通过蓝牙、WiFi的方式，如采用AC6905A蓝牙芯片。

参见图2，本实施例的使用方法如下：

1）摄像模块1先对绘本的内容进行采样，并对绘本的图像信息进行保存；

2）音频处理模块3将绘本对应的语音进行采样，并对绘本的语音信息进行保存；

3）中央处理模块4把绘本的图像信息和绘本的语音信息进行匹配；

4）摄像模块1对用户的手指进行采样，并对手指图像信息进行保存；

5）摄像模块1对准绘本实时拍摄，利用图像识别技术，当采样的手指落在采样的绘本上时，中央处理模块4控制音频处理模块3播报采样绘本的语音，实现点读；

5.1）摄像模块1实时拍摄绘本区域，当有手指落在绘本区域时，摄像模块1实时拍摄手指照片并存入临时储存模块22，比较模块23将临时存入的手指照片与样本储存模块21中已有的手指图像信息进行比对；

5.2）比对后，如果临时存入的手指照片与样本储存模块21中已有的手指图像信息不一致，删除临时存入的手指照片，并进行下一次的比对；

5.3）如果临时存入的手指照片与样本储存模块21中已有的手指图像信息一致，则继续比对绘本照片；把临时拍摄的手指落入的绘本照片与样本储存模块21中已有的绘本图像信息进行比对，选择绘本图像信息中与临时拍摄的绘本照片相同的那一张，并将该绘本图像信息发送至中央处理模块4；

5.4）中央处理模块4将绘本图像信息与音频处理模块3中的绘本语音信息进行匹配，音频处理模块3选择对应的绘本语音信息进行播报，实现点读。

用户购买本发明产品后，只需要先通过摄像模块1采集幼儿的手指信息，储存手指信息后，幼儿即可通过采样过的手指进行点读，采样手指点到绘本，产品就会播报绘本内容的语音。

幼儿无需通过点读笔或其他辅助设备来点读，直接通过手指即可，非常方便和人性化；而且其他没有采样过的身体部位或物品触碰到绘本后，产品不会播报语音，可以防止误操作。

本实施例中，绘本可以是含有图案、文字、数字的卡片、彩页等等。

实施例 2：

本实施例与实施例1的区别在于，用户可以自行录入新的绘本信息和语音信息。摄像模块1中设置有扫描模块，用于对新的绘本信息进行采样；语音储存模块31，用于录制新的语音，与新的绘本信息进行匹配。

当用户需要录入新的绘本信息时，在实施例1的基础上，添加步骤如下：

6）摄像模块1对新的绘本进行扫描，采样新的绘本图像信息，并存入样本储存模块21中；

7）音频处理模块3录制新的绘本语音信息，并存储到语音储存模块31中，与新的绘本图像信息相对应；

8）中央处理模块4把新的绘本的图像信息与新的绘本语音信息进行匹配；

9）当采样的手指落在新的绘本上时，播报模块33就会播报新的绘本语音信息，实现点读。

目前的点读机，绘本一般都是特制的，绘本中含有识别码，所以用户需要购买特定的绘本才能点读，如果绘本损坏、遗失，又要重新购买，非常不便，也增加了成本。

而本实施例中，除了购买的绘本外，由于绘本不用特制，用户可以自己添加新的绘本，可以选择一些孩子比较感兴趣的绘本，扫描后，匹配录入语音，即可进行点读。非常方便，丰富了绘本的内容，用户可以根据孩子的需要自己准备，无需担心从卖家那里买不到自己喜欢的绘本；另外也节省了成本。

实施例3：

本实施例与实施例2的区别在于，用户可以自行录入较为复杂的绘本。

实施例2中，用户录入新的绘本一般单页只能表述一种意思，如一个数字、一种颜色、一种物品等等。如果含义比较丰富的绘本，如包含动植物彩页，扫描就不易区分具体细节。

本实施例中，在实施例2的基础上，添加步骤如下：

10）对绘本上的不同区域划分边界，并记录每个区域在绘本上的位置信息；

11）音频处理模块对每个区域分别录制新的绘本语音信息，并存储到语音储存模块中；

12）中央处理模块把每个区域的位置信息与每个区域的绘本语音信息分别进行匹配；

13）当采样的手指落在绘本上时，摄像模块采集手指所在区域的图像信息，并发送给中央处理模块，中央处理模块根据图像信息计算分析出手指所在绘本上的位置信息，并把相应的匹配信息发送给播报模块，播报模块就会播报每个区域相应的绘本语音信息，实现点读。

本实施例可以通过上述方法对绘本上不同的区域进行区分指读，用户就可以根据绘本上的不同区域自由设置不同的语音，如幼儿手指点到动物就发出动物的语音，点到植物就发出植物的语音。

实施例4：

参见图3，一种手指点读装置，用于安装实施例1-3的手指点读系统。包括本体5，本体5内设置有图像处理模块2、音频处理模块3和中央处理模块4，本体5上设有摄像头6，摄像模块1设于摄像头6内。摄像头6可调旋转角度，可以拍摄不同位置的绘本。本体5上还设有控制面板、扩音器、电源接口等常规功能设备。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (9)

1.一种手指点读系统，其特征在于：包括

摄像模块，对绘本及手指进行采样，以及捕捉采样手指落在绘本上的位置；

图像处理模块，对摄像模块采集的图像信息进行储存，并将摄像头捕捉到的手指和绘本的实时图像与储存的图像信息进行比对；

音频处理模块，与采样的绘本进行语音匹配，并在采样手指落在绘本上时进行语音播报；

中央处理模块，处理各个模块之间的通信。

2.根据权利要求1所述的一种手指点读系统，其特征在于：所述的图像处理模块包括

样本储存模块，用于保存采样的绘本图像信息和手指图像信息；

临时储存模块，用于临时储存摄像模块实时拍摄的绘本图像和手指图像；

比较模块，将临时储存模块中摄像模块实时拍摄的手指图像与样本储存模块中储存的手指图像信息进行比较，将临时储存模块中摄像模块实时拍摄的绘本图像与样本储存模块中储存的绘本图像信息进行比较。

3.根据权利要求1或2所述的一种手指点读系统，其特征在于：所述的音频处理模块包括

语音储存模块，用于录制语音并储存；

样本匹配模块，将每一段语音分别与绘本图像信息进行匹配；

播报模块，根据图像处理模块选定的绘本图像，选择对应的语音进行播报。

4.根据权利要求3所述的一种手指点读系统，其特征在于：所述的摄像模块中还设置有扫描模块，用于对新的绘本信息进行采样；语音储存模块，用于录制新的语音，与新的绘本信息进行匹配。

5.一种根据权利要求1-4任一所述的手指点读系统的操作方法，其特征在于：它 的操作步骤如下：

1）摄像模块先对绘本的内容进行采样，并对绘本的图像信息进行保存；

2）音频处理模块将绘本对应的语音进行采样，并对绘本的语音信息进行保存；

3）中央处理模块把绘本的图像信息和绘本的语音信息进行匹配；

4）摄像模块对用户的手指进行采样，并对手指图像信息进行保存；

5）摄像模块对准绘本实时拍摄，利用图像识别技术，当采样的手指落在采样的绘本上时，中央处理模块控制音频处理模块播报采样绘本的语音，实现点读。

6.根据权利要求5所述的一种手指点读系统的操作方法，其特征在于：所述的步骤5）中，图像处理模块利用图像识别技术，对手指点读进行识别，具体步骤如下：

5.1）摄像模块实时拍摄绘本区域，当有手指落在绘本区域时，摄像模块实时拍摄手指照片并存入临时储存模块，比较模块将临时存入的手指照片与样本储存模块中已有的手指图像信息进行比对；

5.2）比对后，如果临时存入的手指照片与样本储存模块中已有的手指图像信息不一致，删除临时存入的手指照片，并进行下一次的比对；

5.3）如果临时存入的手指照片与样本储存模块中已有的手指图像信息一致，则继续比对绘本照片；把临时拍摄的手指落入的绘本照片与样本储存模块中已有的绘本图像信息进行比对，选择绘本图像信息中与临时拍摄的绘本照片相同的那一张，并将该绘本图像信息发送至中央处理模块；

5.4）中央处理模块将绘本图像信息与音频处理模块中的绘本语音信息进行匹配，音频处理模块选择对应的绘本语音信息进行播报，实现点读。

7.根据权利要求5所述的一种手指点读系统的操作方法，其特征在于：当用户需要录入新的绘本信息时，步骤如下：

6）摄像模块对新的绘本进行扫描，采样新的绘本图像信息，并存入样本储存模块中；

7）音频处理模块录制新的绘本语音信息，并存储到语音储存模块中，与新的绘本图像信息相对应；

8）中央处理模块把新的绘本的图像信息与新的绘本语音信息进行匹配；

9）当采样的手指落在新的绘本上时，播报模块就会播报新的绘本语音信息，实现点读。

8.根据权利要求6或7所述的一种手指点读系统的操作方法，其特征在于：当需要对绘本上的不同区域进行区分点读时，步骤如下：

10）对绘本上的不同区域划分边界，并记录每个区域在绘本上的位置信息；

11）音频处理模块对每个区域分别录制新的绘本语音信息，并存储到语音储存模块中；

12）中央处理模块把每个区域的位置信息与每个区域的绘本语音信息分别进行匹配；

13）当采样的手指落在绘本上时，摄像模块采集手指所在区域的图像信息，并发送给中央处理模块，中央处理模块根据图像信息计算分析出手指所在绘本上的位置信息，并把相应的匹配信息发送给播报模块，播报模块就会播报每个区域相应的绘本语音信息，实现点读。

9.一种手指点读装置，其特征在于：安装了根据权利要求1-4任一所述的手指点读系统。