CN111156441A - 用于辅助学习的台灯、系统和方法 - Google Patents

Abstract

本公开的实施例公开了用于辅助学习的台灯、系统和方法。该台灯的一具体实施方式包括：灯座和设置于灯座上的支架，其中，灯座内设置有控制处理器、通信单元、供电单元，支架上设置有麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元，控制处理器分别与通信单元、麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元、供电单元电连接。该台灯集合语音和图像识别能力，能够辅助学习，并具备照明功能，非常适合阅读学习场景使用。

Description

用于辅助学习的台灯、系统和方法

技术领域

本公开的实施例涉及照明设备技术领域，具体涉及用于辅助学习的台灯、系统和方法。

背景技术

在线教育行业使用设备除了平板电脑、点读机外，随着现在智能语音技术的发展，同时出现了一些语音交互和图像识别交互的硬件教育产品。

例如平板电脑增加了语音交互能力，且具备图像识别能力。学生学习时有疑问可以通过语音与设备进行交互问答。并在摄像头上增加一个反光镜的方式可拍摄桌面书本内容，再通过语音交互和图像识别，云端处理后给学生做成相应的问题提示或解答。

但平板电脑成本普遍都比较高，但是这种设备不具备阅读时的照明功能，而且设备上必须增加反光镜配件配合拍照。利用平板电脑拍照必须增加反光镜配件配合使用，拍照图像容易出现畸变，导致图像识别效果变差。还有就是光线不足时拍照效果差，同样影响图像识别效果。另外平板电脑本身是多功能的，非常容易让孩子分心，诱使孩子使用其他娱乐性的app。

简单的语音问答和图像识别也可以通过其它设备赋能实现，例如看书写作业是一般会使用台灯，可以在台灯上增加麦克风和摄像头实现语音和图像识别能力为学生提供帮助。

对于在灯具上增加智能语音交互能力,听音乐、问天气、控制灯具状态，这类类似产品已经存在，但都不具备图像识别功能。

还有一种类似于异形的带摄像头音箱方式，稍微与教育平板不同的是摄像头位置提前设计倾斜向下，可以拍摄放在桌面上书本。因为摄像头仍是有一定倾斜角度，拍摄图像一样会产生畸变问题，不利于图像识别，光线不足时仍需要其他照明设备辅助。

发明内容

本公开的实施例提出了用于辅助学习的台灯、系统和方法。

第一方面，本公开的实施例提供了一种用于辅助学习的台灯，台灯包括灯座和设置于灯座上的支架，其中，灯座内设置有控制处理器、通信单元、供电单元，支架上设置有麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元，控制处理器分别与通信单元、麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元、供电单元电连接。

在一些实施例中，支架上还设置有显示单元，与控制处理器电连接。

在一些实施例中，通信单元包括无线通信模块和/或有线通信模块。

在一些实施例中，供电单元包括直流供电单元和/或交流供电单元。

在一些实施例中，照明单元包括以下至少一种灯源：白炽灯、卤素灯、日光灯、LED灯。

在一些实施例中，摄像头单元安装在灯座的上方，向下拍照。

在一些实施例中，照明单元和摄像头单元的位置和角度可调节。

在一些实施例中，麦克风拾音单元为麦克风阵列。

在一些实施例中，台灯还设置有按键开关和/或触摸开关。

第二方面，本公开的实施例提供了一种用于辅助学习的系统，包括：云端服务器和如第一方面之一的台灯，其中，台灯通过通信单元与云端服务器进行有线和/或无线连接；云端服务器被配置成，接收台灯发送的语音和图像，进行语音识别和图像识别得到用户提出的问题，根据问题搜索相应的答案，将答案发送到台灯进行输出。

第三方面，本公开的实施例提供了一种辅助学习的方法，应用于台灯，包括：响应于检测到用户输入了唤醒词，接收用户输入的语音指令；根据语音指令拍摄用户指定的图像；将语音指令和图像上传到云端服务器，其中，云端服务器通过语音识别和图像识别确定用户提出的问题并搜索出答案后返回给台灯；响应于接收到云端服务器返回的答案，以音频或视频方式输出答案。

第四方面，本公开的实施例提供了一种辅助学习的方法，应用于云端服务器，包括：接收来自台灯的语音指令和图像；根据语音指令识别用户的意图；按照意图从图像中截取用户指向位置的片段；对片段进行文本识别得到问题；搜索问题的答案并返回给台灯。

本申请实施例提出的用于辅助学习的台灯、系统和方法，集合语音和图像识别能力，并具备照明功能，非常适合阅读学习场景使用。目前竞争对手多以平板方式，或带摄像头异型音箱方式实现。不同于我们将本就用于学习时常用的照明设备进行新的赋能方式，并通过结合提升优化了使用体验，1、结构上摄像头朝向垂直向下，成像不容易出现因角度问题导致的畸变；2、通过照明能够确保成像时的光照效果确保成像更清晰，利于图像识别。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是用于辅助学习的系统的示例性系统架构图；

图2是根据本申请的用于辅助学习的台灯的一个实施例的结构示意图；

图3是根据本公开的用于输出信息的方法的一个实施例的流程图。

图4是根据本公开的用于输出信息的方法的又一个实施例的流程图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了用于辅助学习的系统的架构图。如图1所示，用于辅助学习的系统，包括台灯10和云端服务器20。其中，台灯包括灯座和设置于灯座上的支架，其中，灯座内设置有控制处理器104、通信单元103、供电单元102，支架上设置有麦克风拾音单元105、喇叭发音单元108、摄像头单元106、照明单元101，控制处理器104分别与通信单元103、麦克风拾音单元105、喇叭发音单元108、摄像头单元106、照明单元101、供电单元102电连接。供电单元102为其它部件供电，为了简化，未画出供电单元与其它部件的连接关系。

当用户对一个目标文字或图形有疑问需要图像识别解答时，可以通过语音唤醒台灯并让台灯执行指令，拍摄手指指向的文字或图像，上传云端服务器进行图像识别，再由喇叭发声单元获取服务器云端处理的语音反馈结果，辅助对用户所需的学习内容指导。可选地，台灯可包括显示单元，用于展示视频答案。

继续参考图2，示出了用于辅助学习的台灯的结构图。台灯包括灯座和设置于灯座上的支架，其中，灯座内设置有控制处理器、通信单元、供电单元，支架上设置有麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元，控制处理器分别与通信单元、麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元、供电单元电连接。

在本实施例中，底座放置在桌面上，可以是圆形或者方形，不做限定。不需要暴露在外的部件都可安装在底座中。底座上可设置有电源按键和亮度调节按键。按键可以是物理按键也可以是触摸按键。可选地，也可通过声控控制照明的亮度，而不需要按键控制。

在本实施例中，支架包括横杆和竖杆。照明单元和摄像头单元位于横杆上。横杆距离桌面的高度可调节。可手动调节也可声控调节。竖杆上安装有麦克风拾音单元、喇叭发音单元。可选地，竖杆上还可安装显示单元。

在本实施例的一些可选的实现方式中，显示单元可以是普通屏幕，也可以是触摸屏。可用于输出云端服务器返回的答案，答案可以是图像也可以是视频。显示单元也可将摄像头拍摄结果实时显示，然后由用户进一步确认是否需要重拍。

在本实施例中，照明单元，提供阅读所需的正常照明，能够确保阅读时的光照效果，让纸面文字更清晰可见，辅助视觉感官和摄像头成像效果。

在本实施例的一些可选的实现方式中，照明单元可包括以下至少一种灯源：白炽灯、卤素灯、日光灯、LED灯。

在本实施例中，摄像头单元设置在产品上方向下拍照，拍摄效果不容易出现因拍摄角度导致的畸变问题，能够拍摄照片或视频，用户用手指指向文字或图像内容时能够识别指向位置内容。摄像头单元采集图像或视频，然后发送给控制处理器。控制处理器可对图像进行简单处理，例如裁剪，也可直接将原图或视频交由通信单元发送到云端服务器。用户可语音控制摄像头变焦，显示单元可显示摄像头的拍摄内容，用户可通过显示屏的按键调整焦距，也可语音控制摄像头放大图像等。可在显示屏上滑动来调整摄像头的角度。

在本实施例的一些可选的实现方式中，摄像头单元还可以调整角度和位置。例如在支架的横杆上滑动调整位置，通过翻转调整角度。此外，支架的高度可以调整，从而调整摄像头单元与桌面的距离。可手动调整摄像头单元的位置和角度，也可通过语音命令控制摄像头单元的调整。例如，用户可以说“摄像头调高一些”。控制处理器可以进行语音识别和语义理解，然后执行命令。语音识别和语义理解可在本地进行，也可将语音命令发送到云端服务器进行语音识别和语义理解。

在本实施例的一些可选的实现方式中，可设置至少一个摄像头，除用于拍桌面的摄像头之外还可设置拍摄用户的摄像头，方便用户进行视频课程学习。

在本实施例中，麦克风拾音单元用于采集用户的语音。然后发给控制处理器进行处理。麦克风拾音单元的位置和角度可调整。可手动调整也可通过语音指令调整。可选地，麦克风拾音单元检测到用户的语音，判断声源方向，然后将麦克风拾音单元朝向用户。

在本实施例的一些可选的实现方式中，麦克风拾音单元可以是麦克风阵列形式，能够抑制环境噪声、抑制自身回声更清晰的拾取用户人声信息，更好的做到语音识别和唤醒。

在本实施例中，喇叭发音单元能够让用户更方便的获取音频信息。喇叭发音单元的位置和角度可调整。可手动调整也可通过语音指令调整。麦克风拾音单元检测到用户的语音，判断声源方向，然后将麦克风拾音单元和喇叭发音单元朝向用户。

在本实施例中，控制处理器，主要作为对图像和音频进行处理的单元，能够执行相关算法和对设备的功能控制，处理自身获取的数据信息和服务器云端传输的数据信息。控制处理器可对麦克风拾音单元采集的语音进行语音识别处理，例如检测语音是不是唤醒词，如果是，则按用户下一步语音指令执行命令。可执行基本的照明命令，例如，“开灯”、“关灯”、“调亮点”。对于常用命令可由控制处理器本地解析，对于无法本地解析的语音命令则通过通信单元发送到云端服务器解析。当解析出拍照意图时，拍摄照片。例如用户用手指或笔指出“这个单词怎么读”。控制处理器解析出用户的问题是提问，则调用摄像头单元拍照。会将整个页面拍下来，然后将照片和语音指令一起通过通信单元发送到云端服务器，由云端服务器来进行处理返回答案。通信单元接收到答案后会交由控制处理器处理，控制处理器可根据答案的格式选择播放的设备，例如，如果接收到语音答案，则使用喇叭发音单元进行播放。如果接收到的是图像或视频答案，则可通过显示单元播放。

在本实施例中，通信单元可包括无线通信模块和/或有线通信模块。通常情况下无线通信模块就足够了。无线通信模块具备蓝牙、Wi-Fi等无线通信功能，可以直接与云端服务器进行数据通讯或借助手机等设备获取通讯数据。可通过手机配置台灯的通信单元，使其连入家庭的无线路由器中。通信单元可将语音指令和图像发送到云端服务器，再从云端服务器接收答案后交由控制处理器分配输出的设备。

在本实施例中，供电单元包括分别给以上各个部分供电。供电单元包括直流供电单元和/或交流供电单元。该台灯可以是便携式的，因此需要配置直流供电单元，例如使用电池供电或USB供电。电池可以是普通干电池，也可以是充电电池。

当用户需要对一个目标文字或图形有疑问需要图像识别解答时，可以通过语音唤醒设备并让设备执行指令，拍摄手指指向文字或图像，上传服务器云端进行图像识别，再由喇叭发声单元获取服务器云端处理的语音反馈结果，辅助对用户所需的学习内容指导。

继续参考图3，示出了根据本公开的用于辅助学习的方法的一个实施例的流程300。该用于辅助学习的方法，包括以下步骤：

步骤301，响应于检测到用户输入了唤醒词，接收用户输入的语音指令。

在本实施例中，用于辅助学习的方法的执行主体(例如图1所示的台灯)监听用户输入的语音，用于语音进行识别。语音识别人机交互方案都是需要先说一个关键词(唤醒词)来进行唤醒，确定用户有明确意向后，再打开语音识别的二次人机对话系统。这种方式通过前置一个离线的关键词识别。唤醒后接收用户输入的语音指令，进行意图识别。分为两个阶段，语音识别和语义理解。可离线进行这两个阶段，也可在线进行。需要两个服务器：语音识别服务器和语义理解服务器。语音识别服务器和语义理解服务器也可合并为一个服务器，和辅助学习系统的云端服务器共用。

语音识别服务器，用于接收台灯发送的语音，并将语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别服务器上安装有语音识别系统。语音识别系统一般分训练和解码两阶段。训练，即通过大量标注的语音数据训练声学模型。解码，即通过声学模型和语言模型将训练集外的语音数据识别成文字，训练的声学模型好坏直接影响识别的精度。

语义理解服务器，用于接收台灯或语音识别服务器发送的文字结果，并根据文字结果进行语义分析。语义分析指运用各种方法，学习与理解一段文本所表示的语义内容，任何对语言的理解都可以归为语义分析的范畴。一段文本通常由词、句子和段落来构成，根据理解对象的语言单位不同，语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。一般来说，词汇级语义分析关注的是如何获取或区别单词的语义，句子级语义分析则试图分析整个句子所表达的语义，而篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句或段落)间的语义关系。简单地讲，语义分析的目标就是通过建立有效的模型和系统，实现在各个语言单位(包括词汇、句子和篇章等)的自动语义分析，从而实现理解整个文本表达的真实语义。

步骤302，根据语音指令拍摄用户指定的图像。

在本实施例中，识别出用户指令包括拍照的意图(例如，这道题怎么做？给这页题打分等意图)后，调用摄像头拍照。可直接拍全景。识别出语音指令后摄像头可自动拍照，在屏幕中显示，如果用户没有疑义，则直接和语音命令一起发送到云端服务器。也可根据需求拍局部照片。例如用户说“这个单词怎么读”，他的手或笔会指向单词，可检测手或笔指向的位置，然后对该位置预定范围内区域拍照。用户可通过显示屏看到摄像头的取景结果，然后手动调焦或语音调焦。拍照范围可根据关键词确定，比如用户说“这个单词怎么读”，则可设置较小的范围，如果用户问“这道题怎么做”则需要较大的范围。

步骤303，将语音指令和图像上传到云端服务器。

在本实施例中，将语音指令和全景图像或局部图像上传到云端服务器。其中，云端服务器通过语音识别和图像识别确定用户提出的问题并搜索出答案后返回给台灯。云端服务器首先通过语音识别出用户的意图，然后根据意图裁剪图像。再进行图像识别，例如OCR识别出文字。将文字输入搜索引擎搜索匹配的答案。答案可以是音频文件或视频文件，也可能是图片。例如，问题是如何求解，则答案是解题过程视频。问题是打分，则答案是批阅后的答题纸图片。

步骤304，响应于接收到云端服务器返回的答案，以音频或视频方式输出答案。

在本实施例中，如果是音频文件则直接用喇叭播放。如果是视频文件或图片，则用显示屏播放。

用户阅读时可以开启设备进行照明，阅读过程中如遇到疑问需要协助时，可以通过手指指向问题文字或图像，并通过唤醒词唤醒设备，通过语音指令要求设备识别所指内容，设备通过摄像头拍照将图像信息上传至服务器云端做相应识别处理，再下行传至设备以声音或图像方式对问题做出相应的反馈。

在光线充足的情况下也可以无需开启照明的情况下辅助学习。

继续参考图4，示出了根据本公开的用于辅助学习的方法的又一个实施例的流程400。该用于辅助学习的方法，包括以下步骤：

步骤401，接收来自台灯的语音指令和图像。

在本实施例中，用于辅助学习的方法的执行主体(例如图1所示的云端服务器)可通过有线或无线通信的方式接收来自台灯的语音指令和图像。图像可以是全景图像也可以是经台灯裁剪后的图像。

步骤402，根据语音指令识别用户的意图。

在本实施例中，将语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别服务器上安装有语音识别系统。语音识别系统一般分训练和解码两阶段。训练，即通过大量标注的语音数据训练声学模型。解码，即通过声学模型和语言模型将训练集外的语音数据识别成文字，训练的声学模型好坏直接影响识别的精度。

根据文字结果进行语义分析。语义分析指运用各种方法，学习与理解一段文本所表示的语义内容，任何对语言的理解都可以归为语义分析的范畴。一段文本通常由词、句子和段落来构成，根据理解对象的语言单位不同，语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。一般来说，词汇级语义分析关注的是如何获取或区别单词的语义，句子级语义分析则试图分析整个句子所表达的语义，而篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句或段落)间的语义关系。简单地讲，语义分析的目标就是通过建立有效的模型和系统，实现在各个语言单位(包括词汇、句子和篇章等)的自动语义分析，从而实现理解整个文本表达的真实语义。例如，虽然拍的全景照片，但用户的意图是识别他指向的单词。

步骤403，按照意图从图像中截取用户指向位置的片段。

在本实施例中，根据识别出的意图进行裁剪操作。减少图像识别的工作量。例如，用户问“单词怎么读”，则可将他指向的区域中包括文字的部分裁剪下来。具体地，可将图像转换成二值图，进行边缘检测，确定裁剪位置。将单词所在的片段裁剪下来。

步骤404，对片段进行文本识别得到问题。

在本实施例中，可通过OCR等文本识别技术识别出问题。

步骤405，搜索问题的答案并返回给台灯。

在本实施例中，将文本识别结果和语音相结合，在搜索引擎中搜索答案。可预先训练各种神经网络模型来回答学习方面的问题，例如，数学模型、英语模型等。

本产品为智能教育辅助类型产品，集合语音和图像识别能力，并具备照明功能，非常适合阅读学习场景使用。目前竞争对手多以平板方式，或带摄像头异型音箱方式实现。不同于我们将本就用于学习时常用的照明设备进行新的赋能方式，并通过结合提升优化了使用体验，1、结构上摄像头朝向垂直向下，成像不容易出现因角度问题导致的畸变；2、通过照明能够确保成像时的光照效果确保成像更清晰，利于图像识别。

Claims (12)

1.一种用于辅助学习的台灯，所述台灯包括灯座和设置于所述灯座上的支架，其中，所述灯座内设置有控制处理器、通信单元、供电单元，所述支架上设置有麦克风拾音单元、喇叭发音单元、摄像头单元、照明单元，所述控制处理器分别与所述通信单元、所述麦克风拾音单元、所述喇叭发音单元、所述摄像头单元、所述照明单元、所述供电单元电连接。

2.根据权利要求1所述的台灯，其中，所述支架上还设置有显示单元，与所述控制处理器电连接。

3.根据权利要求1所述的台灯，其中，所述通信单元包括无线通信模块和/或有线通信模块。

4.根据权利要求1所述的台灯，其中，所述供电单元包括直流供电单元和/或交流供电单元。

5.根据权利要求1所述的台灯，其中，所述照明单元包括以下至少一种灯源：白炽灯、卤素灯、日光灯、LED灯。

6.根据权利要求1所述的台灯，其中，所述摄像头单元安装在所述灯座的上方，向下拍照。

7.根据权利要求1所述的台灯，其中，所述照明单元和所述摄像头单元的位置和角度可调节。

8.根据权利要求1所述的台灯，其中，所述麦克风拾音单元为麦克风阵列。

9.根据权利要求1-8之一所述的台灯，其中，所述台灯还设置有按键开关和/或触摸开关。

10.一种用于辅助学习的系统，包括：云端服务器和如权利要求1-10之一所述的台灯，其中，

所述台灯通过通信单元与云端服务器进行有线和/或无线连接；

所述云端服务器被配置成，接收所述台灯发送的语音和图像，进行语音识别和图像识别得到用户提出的问题，根据所述问题搜索相应的答案，将所述答案发送到所述台灯进行输出。

11.一种辅助学习的方法，应用于台灯，包括：

响应于检测到用户输入了唤醒词，接收所述用户输入的语音指令；

根据所述语音指令拍摄所述用户指定的图像；

将所述语音指令和所述图像上传到云端服务器，其中，所述云端服务器通过语音识别和图像识别确定所述用户提出的问题并搜索出答案后返回给台灯；

响应于接收到所述云端服务器返回的答案，以音频或视频方式输出所述答案。

12.一种辅助学习的方法，应用于云端服务器，包括：

接收来自台灯的语音指令和图像；

根据所述语音指令识别用户的意图；

按照所述意图从所述图像中截取用户指向位置的片段；

对所述片段进行文本识别得到问题；

搜索所述问题的答案并返回给所述台灯。

Images