CN105224073A - 一种基于语音控制的点读手表及其点读方法 - Google Patents

Abstract

本发明公开一种基于语音控制的点读手表，包括手表本体和表带；本发明还公开了一种应用于所述的基于语音控制的点读手表的点读方法，包括以下步骤：(1)用户发出语音控制命令执行点读的操作；(2)用户移动手表使光圈圈取需点读的内容；(3)图像处理模块对矩形光圈圈取的区域进行智能识别，生成文本；(4)语音处理模块根据文本进行TTS语音合成，播放相应的点读内容；(5)用户可以对点读内容作进一步操作。具有既满足了用户对任意图书的点读需求，也使用户在学习中更加方便地执行点读的操作等优点。

Description

一种基于语音控制的点读手表及其点读方法

技术领域

本发明涉及一种可穿戴的电子学习用品，具体涉及一种基于语音控制的点读手表及其点读方法，本发明是一种具有语音控制系统的可识别与播放指定区域文字或图片等内容相对应的语音的可穿戴的学习用品。

背景技术

点读机作为一种将现代技术与教学需求完美结合的新型学习用品，对学生们的学习起了很大的帮助，在当前市面上非常流行，使用者也是越来越多。然而目前通用的点读机都有着一些缺点。

第一点是都需要使用特定的书本，一般是专门生产的纸质图书。这一点不仅加大了生产成本，还限制了用户的点读区域，难以满足用户对其他图书的学习需求。由于没有通过资料丰富的互联网进行知识拓展，用户想对某些内容进一步了解也不能实现，极大地限制了用户的学习效率。

第二点是操作略显繁琐，一般都需要用户使用特定的点读笔或者在机器上选择书页。当用户需要写字时还要换笔，而需要选择书页则更是繁琐。考虑到庞大的幼龄儿童用户群，点读机的操作的繁杂度无疑是越低越好。

第三点是便携性不高。无论是传统的托盘式点读机还是掌上点读机都较为笨重，就算是小巧的点读笔也不能使用户时刻记得携带，万一是突然需要使用点读，用户也只能后悔自己没有随身携带。

随着科学技术的快速发展，可以预见，点读机的发展方向将是致力于加深对用户学习的帮助，打破只有少量图书内容的限制，简化操作，提高便携性。而一种可点读任意图书的，可语音控制的，可穿戴的点读学习设备无疑能满足这些需求。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种基于语音控制的点读手表，改点读手表能够随时携带，使用方便。

本发明的另一目的在于克服现有技术的缺点与不足，提供一种应用于所述基于语音控制的点读手表的点读方法，改点读方法满足了用户对任意图书的点读需求，提高了操作便利性。

本发明的首要目的可以通过下述技术方案实现：一种基于语音控制的点读手表，包括手表本体和表带；所述手表本体包括表壳、显示屏、摄像头、激光发射器、光圈调节旋钮、麦克风、扬声器和内部处理单元；所述内部处理单元包括嵌入式微处理器模块、图像处理模块、语音处理模块和网络模块；所述表带用于将手表主体佩戴在用户的手腕上；显示屏安置在表壳上，与表壳共同构成封闭的手表主体；摄像头安置在表壳有表带侧的边沿；激光发射器安置在摄像头旁；光圈调节旋钮安置在表壳无表带侧的边沿；麦克风、扬声器、内部处理单元安置在手表主体的封闭体内部；麦克风、扬声器与语音处理模块相连接，以模拟信号作通信方式；摄像头与图像处理模块相连接，以数字信号作通信方式；激光发射器与嵌入式微处理器、光圈调节旋钮相连接，嵌入式微处理器以电平输出控制激光发射器的开关，光圈调节旋钮用机械方式控制激光发射器的发射光圈的宽度；显示屏与嵌入式微处理器模块相连接，以数字信号作通信方式；嵌入式微处理器模块与图像处理模块、语音处理模块、网络模块之间进行串口通信。

所述点读手表使用语音控制的交互方式：语音处理模块通过麦克风实时捕获用户的语音输入信息，对语音输入信息进行降噪处理后，根据关键字识别出固定的语音控制指令，并将语音控制指令发送到嵌入式微处理器模块；嵌入式微处理器模块根据语音控制指令转化为相应的控制指令，调用对应的操作函数或模块；嵌入式微处理器模块也可以发送语音回复指令到语音处理模块，命令语音处理模块通过扬声器对用户播放固定的语音回复；实现了语音控制的智能交互。

本发明的首要目的也可以通过下述技术方案实现：一种基于语音控制的点读手表，该点读手表包括手表本体和表带；手表本体包括表壳、显示屏、摄像头、激光发射器、光圈调节旋钮、麦克风、扬声器、内部处理单元；内部处理单元包括嵌入式微处理器模块、图像处理模块、语音处理模块、网络模块。

该点读手表使用语音控制的交互方式：语音处理模块通过麦克风实时捕获用户的语音输入信息，对语音输入信息进行降噪处理后，根据关键字识别出固定的语音控制指令，并将语音控制指令发送到嵌入式微处理器模块；嵌入式微处理器模块根据语音控制指令转化为相应的控制指令，调用对应的操作函数或模块；嵌入式微处理器模块也可以发送语音回复指令到语音处理模块，命令语音处理模块通过扬声器对用户播放固定的语音回复；实现了语音控制的智能交互。激光发射器可以发射光线，在平面上形成矩形的光圈。

图像处理模块可以识别摄像范围内的矩形光圈，并采用OCR文字识别技术对矩形光圈圈取的区域进行文字或图片等内容的智能识别。语音处理模块可以根据上述智能识别的结果或网络搜索结果，采用TTS技术进行语音合成，通过扬声器播放相应的语音结果。

语音处理模块可以捕获并识别用户发出的固定的语音控制命令和对用户播放固定的语音回复。所述固定的语音控制命令和固定的语音回复由系统预先设置。语音处理模块可以记录用户的语音信息并存储下来，也可以播放记录的语音信息。

网络模块可以接入WIFI网络，当嵌入式微处理器模块调用网络搜索函数时，将指定内容的搜索请求发送至局域网或互联网数据库服务器，并接收返回的搜索结果。嵌入式微处理器模块内嵌嵌入式微处理器，负责综合调控各模块通信与工作时序，调用各个模块，处理数据等。嵌入式微处理器模块实时通过显示屏显示当前的时钟和工作状态。

本发明的另一目的通过以下技术方案实现：一种应用于所述的基于语音控制的点读手表的点读方法，包括以下步骤：

(1)用户发出语音控制命令执行点读的操作；

(2)用户移动手表使光圈圈取需点读的内容；

(3)图像处理模块对矩形光圈圈取的区域进行智能识别，生成文本；

(4)语音处理模块根据文本进行TTS语音合成，播放相应的点读内容；

(5)用户可以对点读内容作进一步操作。

所述步骤(5)包括以下步骤：

(a)用户发出语音控制命令对上述点读内容作进一步操作:执行网络搜索的操作进入步骤(b)，执行跟读的操作进入步骤(d)；

(b)网络模块接入网络搜索与该内容相关的内容，返回搜索结果的文本；

(c)语音处理模块根据文本进行TTS语音合成，播放相应的点读内容；

(d)语音处理模块再一次播放点读内容后，开始记录用户的语音信息并存储下来；如果用户要再次执行跟读的操作，则重复本步骤；如果用户要发出语音控制命令执行自检的操作，则语音处理模块播放刚刚记录的语音信息，让用户听到自己的跟读的声音。

本发明的工作原理：本发明具有一个可穿戴在用户手上的智能手表，手表上安置有一个摄像头及一个激光发射器。用户可以通过语言控制智能手表，开始执行点读的操作，然后移动手表，使激光发射器发射出的矩形光圈圈取需要点读的区域；摄像头拍摄图片并由图像处理模块对矩形光圈圈取的区域进行文字或图片等内容的智能识别；语音处理模块采用语音合成技术将信息通过语音方式播放，实现点读。本发明将点读机和智能手表有机结合起来，既满足了用户对任意图书的点读需求，也使用户在学习中更加方便地执行点读的操作。

本发明相对于现有技术具有如下的优点及效果：

1、不再受限于使用特定的书本，可以点读包括纸质图书和平面显示的电子图书等任意图书指定区域的内容，满足用户对其他图书的学习需求，还可以就该内容通过互联网进行知识拓展，极大地扩展了用户的学习范围；无须生产专门的图书，节约成本。

2、可以通过语音控制对点读手表进行操作，无须使用特定的点读笔，用户只需发出语音命令，手表便能自动识别命令并工作，操作更简单，更适合学龄儿童使用。

3、可以随身携带，小巧轻便，作为手表能让用户平时记得携带，提高了便携性。

附图说明

图1为本发明基于语音控制的点读手表的外部结构示意图。

图2为本发明基于语音控制的点读手表的系统结构图。

图3为本发明基于语音控制的点读手表的点读方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，为本发明基于语音控制的点读手表的外部结构示意图，该点读手表的外部结构包括表壳101、表带102、显示屏103、摄像头104、激光发射器105和光圈调节旋钮106。

表壳101采用金属材质，与一般手表表壳无异。

表带102采用金属材质或塑料材质，用于将手表主体佩戴在用户的手腕上。

显示屏103安置在表壳101上，共同构成封闭的手表主体。

摄像头104安置在表带102的正上方，表壳101的边沿，当用户轻抬手臂并掌心朝内转动手腕时，摄像头能正面朝下拍摄。

激光发射器105安置在摄像头旁，发射出在平面上形成矩形的光线。

光圈调节旋钮106能调节矩形光圈上下两条边的距离。

如图2所述，为本发明基于语音控制的点读手表的系统结构图，本发明点读手表的系统结构包括显示屏103、摄像头104、麦克风、扬声器、嵌入式微处理器模块、语音处理模块、图像处理模块、网络模块。

麦克风、扬声器、嵌入式微处理器模块、语音处理模块、图像处理模块、网络模块都安置在手表主体的封闭体内部。其中麦克风、扬声器与语音处理模块相连接，以模拟信号作通信方式；摄像头104与图像处理模块相连接，以数字信号作通信方式；激光发射器与嵌入式微处理器、光圈调节旋钮相连接，嵌入式微处理器以电平输出控制激光发射器的开关，光圈调节旋钮用机械方式控制激光发射器的发射光圈的宽度；显示屏103与嵌入式微处理器模块相连接，以数字信号作通信方式；嵌入式微处理器模块与图像处理模块、语音处理模块、网络模块之间进行串口通信。

图像处理模块可以识别摄像范围内的矩形光圈，并采用OCR文字识别技术对矩形光圈圈取的区域进行文字或图片等内容的智能识别。

语音处理模块可以根据上述智能识别的结果或网络搜索结果，采用TTS技术进行语音合成，通过扬声器播放相应的语音结果。

语音处理模块可以捕获并识别用户发出的固定的语音控制命令和对用户播放固定的语音回复。所述固定的语音控制命令和固定的语音回复由系统预先设置。

语音处理模块可以记录用户的语音信息并存储下来，也可以播放记录的语音信息。

网络模块可以接入WIFI网络，当嵌入式微处理器模块调用网络搜索函数时，将指定内容的搜索请求发送至局域网或互联网数据库服务器，并接收返回的搜索结果。

嵌入式微处理器模块内嵌嵌入式微处理器，负责综合调控各模块通信与工作时序，调用各个模块，处理数据等。嵌入式微处理器模块实时通过显示屏103显示当前的时钟和工作状态。

如图3所示，为本发明基于语音控制的点读手表的点读方法流程图，该点读手表使用语音控制的交互方式：语音处理模块通过麦克风实时捕获用户的语音输入信息，对语音输入信息进行降噪处理后，根据关键字识别出固定的语音控制指令，并将语音控制指令发送到嵌入式微处理器模块；嵌入式微处理器模块根据语音控制指令转化为相应的控制指令，调用对应的操作函数或模块；嵌入式微处理器模块也可以发送语音回复指令到语音处理模块，命令语音处理模块通过扬声器对用户播放固定的语音回复；实现了语音控制的智能交互。

语音处理模块对语音输入信息的降噪处理利用抵消原理，使用主动降噪的方法。具体地实现可以采用两个麦克风:一个用于捕获用户的语言信息，另一个麦克风物理主动消除噪音，通过采集外界的声音，经过处理后发出与噪声相反的声波，利用抵消原理消除噪声。

语音处理模块的语音识别算法为基于HMM模型的语音识别系统，该语音识别系统的实现分为两部分，第一部分为HMM模型的训练：

(1)采集训练语音信息。训练语音由制作人员录制，语音为语音控制指令的词汇，属于特定人的声音样本；

(2)经数据采样后使用MFCC算法提取特定人的指令词汇的特征参数；

(3)使用上一步提取的特征参数进行HMM模型的训练，并得到指令词汇集模型。

第二部分为算法的识别部分：

A、采集用户语音信号。可以是样本训练人也可为非样本训练人的录音；

B、经数据采样后使用MFCC算法提取用户的词汇的特征参数；

C、使用上一步提取的特征参数进行HMM识别，与第一部分的指令模型进行匹配，得出识别的语音控制指令结果。

如图3所示，本发明基于语音控制的点读手表的点读方在语音控制后还包括以下步骤：

步骤1、用户发出语音控制命令执行点读的操作。本系统的命令都是固定的语音控制命令，由本系统预先设置，例如执行点读操作的命令可以为“Begin”。

步骤2、激光发射器105发射光线，在平面上形成矩形的光圈，用户通过移动手表和旋动光圈调节旋钮106，使光圈圈取需要点读的内容。

步骤3、用户发出确认命令，例如“OK”，图像处理模块通过摄像头104获得矩形区域内文字或图片等内容。

步骤4、图像处理模块通过OCR文字识别技术识别上述所获得的内容，解析出文本并发送给嵌入式微处理器模块。

步骤5、嵌入式微处理器模块把文本发送给语音处理模块；语音处理模块根据文本进行TTS语音合成，通过扬声器播放相应的语音结果，完成点读的操作。

步骤6、用户可以对上述点读内容作进一步操作。若需要通过互联网作知识拓展，用户可以发出语音控制命令执行网络搜索的操作，例如“Search”，执行步骤7；若需要跟读，用户可以发出语音控制命令执行跟读的操作，例如“Repeat”，进入步骤9。

步骤7、网络模块接入网络搜索与该内容相关的内容，过滤不需要的内容，将搜索结果的文本返回给嵌入式微处理器模块。

步骤8、嵌入式微处理器模块把文本发送给语音处理模块；语音处理模块根据文本进行TTS语音合成，通过扬声器播放相应的语音结果，完成网络搜索的操作。

步骤9、语音处理模块再一次播放点读内容后，开始记录用户的语音信息并存储下来。用户可以再次执行跟读的操作，说出“Repeat”，则重复步骤9。用户也可以发出语音控制命令执行自检的操作，例如“MyVoice”，语音处理模块播放刚刚记录的语音信息，让用户听到自己的跟读的声音。

本发明基于语音控制的点读手表在用户执行点读的操作时，配合摄像头和激光发射器发射的矩形光圈对用户圈取的内容进行OCR文字识别，识别后的文本内容将进行TTS语音合成并播放给用户听。用户既可以通过联网进一步了解关于圈取内容的更多信息，也可以进行跟读练习。本发明满足了用户对任意图书的点读需求，提高操作便利性，而且能够随时携带。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于语音控制的点读手表，其特征在于，包括手表本体和表带；所述手表本体包括表壳、显示屏、摄像头、激光发射器、光圈调节旋钮、麦克风、扬声器和内部处理单元；所述内部处理单元包括嵌入式微处理器模块、图像处理模块、语音处理模块和网络模块；所述表带用于将手表主体佩戴在用户的手腕上；显示屏安置在表壳上，与表壳共同构成封闭的手表主体；摄像头安置在表壳有表带侧的边沿；激光发射器安置在摄像头旁；光圈调节旋钮安置在表壳无表带侧的边沿；麦克风、扬声器、内部处理单元安置在手表主体的封闭体内部；麦克风、扬声器与语音处理模块相连接，以模拟信号作通信方式；摄像头与图像处理模块相连接，以数字信号作通信方式；激光发射器与嵌入式微处理器、光圈调节旋钮相连接，嵌入式微处理器以电平输出控制激光发射器的开关，光圈调节旋钮用机械方式控制激光发射器的发射光圈的宽度；显示屏与嵌入式微处理器模块相连接，以数字信号作通信方式；嵌入式微处理器模块与图像处理模块、语音处理模块、网络模块之间进行串口通信。

2.根据权利要求1所述的基于语音控制的点读手表，其特征在于，所述点读手表使用语音控制的交互方式：语音处理模块通过麦克风实时捕获用户的语音输入信息，对语音输入信息进行降噪处理后，根据关键字识别出固定的语音控制指令，并将语音控制指令发送到嵌入式微处理器模块；嵌入式微处理器模块根据语音控制指令转化为相应的控制指令，调用对应的操作函数或模块；嵌入式微处理器模块也可以发送语音回复指令到语音处理模块，命令语音处理模块通过扬声器对用户播放固定的语音回复；实现了语音控制的智能交互。

3.一种应用于权利要求1所述的基于语音控制的点读手表的点读方法，其特征在于，包括以下步骤：

(1)用户发出语音控制命令执行点读的操作；

(2)用户移动手表使光圈圈取需点读的内容；

(3)图像处理模块对矩形光圈圈取的区域进行智能识别，生成文本；

(4)语音处理模块根据文本进行TTS语音合成，播放相应的点读内容；

(5)用户可以对点读内容作进一步操作。

4.根据权利要求3所述的基于语音控制的点读手表的点读方法，其特征在于，所述步骤(5)包括以下步骤：

(a)用户发出语音控制命令对上述点读内容作进一步操作:执行网络搜索的操作进入步骤(b)，执行跟读的操作进入步骤(d)；

(b)网络模块接入网络搜索与该内容相关的内容，返回搜索结果的文本；

(c)语音处理模块根据文本进行TTS语音合成，播放相应的点读内容；

(d)语音处理模块再一次播放点读内容后，开始记录用户的语音信息并存储下来；如果用户要再次执行跟读的操作，则重复本步骤；如果用户要发出语音控制命令执行自检的操作，则语音处理模块播放刚刚记录的语音信息，让用户听到自己的跟读的声音。