CN109035919B - 一种协助用户解决问题的智能装置及系统 - Google Patents

Abstract

本发明公开了一种协助用户解决问题的智能装置及系统，该智能装置包括智能装置本体，还包括：语音单元，安装在智能装置本体上，在采集用户的语音数据，对语音数据进行语音识别，识别出用户所提出的问题；摄像单元，安装在智能装置本体上，在摄像区域内获取目标图像，对目标图像进行识别，识别出用户在书本上所指定的区域；处理单元，安装在智能装置本体上，结合用户所提出的问题以及在书本上所指定的区域，搜索出用户针对书本上指定区域所提出问题的答案；语音单元，安装在智能装置本体上，语音播放用户针对书本上指定区域所提出问题的答案。本发明避免出现学生以作业为由借机玩手机或平板电脑而耽误学习；还更符合学生的学习场景。

Description

一种协助用户解决问题的智能装置及系统

技术领域

本发明属于智能教育设备技术领域，特别涉及一种协助用户解决问题的智能装置及系统。

背景技术

学生在完成作业时，时常会遇到各种各样的问题。当学生遇到各种问题时，一方面，很多家长碍于工作压力，根本无法辅导孩子完成课后作业。另一方面，即使家长有时间辅导孩子学习，也会经常遇到一时半会难以解决的问题。

随着科学技术的发展，市面上出现了电子设备，例如手机、平板电脑、学习平板等，帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的智能设备上进行查询和查看。(二)脱离不了手机、平板电脑等智能设备，学生会以作业为由借机玩手机或平板电脑，耽误学习。(三)在对着电子设备说出问题时，若学生表达不清楚的问题，则没办法帮助学生解决作业问题。

发明内容

本发明的目的是提供一种协助用户解决问题的智能装置及系统，不仅脱离了手机、平板电脑等智能设备，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

本发明提供的技术方案如下：

一种协助用户解决问题的智能装置，包括智能装置本体，还包括：

语音单元，安装在所述智能装置本体上，用于在采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，安装在所述智能装置本体上，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，安装在所述智能装置本体上，与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

所述语音单元，安装在所述智能装置本体上，与所述处理单元连接，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风和扬声器、所述处理单元分别设置在所述台灯底座上。

优选的，在所述台灯底座上还设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述台灯头部上还设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置本体为一体式智能书桌本体时，所述语音单元中的麦克风和扬声器、摄像单元中的摄像头、处理单元集成在所述智能书桌本体上；

或；

当所述智能装置本体为一体式智能盒子本体时，所述语音单元的麦克风和扬声器、摄像单元中的摄像头、处理单元集成在所述智能盒子本体上。

优选的，在所述智能书桌本体或智能盒子本体上设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述智能书桌本体或智能盒子本体上设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置本体为分体式时，所述智能装置本体包括第一分体式装置本体、第二分体式装置本体；

所述摄像单元中的摄像头设置在所述第一分体式装置本体上；

所述语音单元中的麦克风和扬声器间隔设置在所述第一分体式装置本体或所述第二分体式装置本体上；

所述处理单元设置在所述第一分体式装置本体或所述第二分体式装置本体上。

优选的，在所述第二分体式装置本体上设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述第一分体式装置本体上设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

优选的，所述第一分体式装置本体安装在所述智能灯具上；所述第二分体式装置本体安装在所述智能书桌本体上。

本发明还提供一种协助用户解决问题的智能系统，包括智能装置和服务器，所述智能装置包括智能装置本体，系统还包括：

麦克风，安装在所述智能装置本体上，用于在采集用户的语音数据；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像头，安装在所述智能装置本体上，用于在摄像区域内获取目标图像；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

所述扬声器，安装在所述智能装置本体上，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部；

所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风和扬声器分别设置在所述台灯底座上。

与现有技术相比，本发明提供的一种协助用户解决问题的智能装置及系统具有以下有益效果：

1、本发明中拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑等智能设备，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

2、本发明将语音采集、语音播放答案、屏幕显示答案、投影显示答案、语音识别、目标图像识别、答案搜索等功能均在智能台灯、智能书桌、智能盒子上实现；无需服务器参与，防止在智能台灯与服务器之间通信不佳时，无法搜索出答案。

3、本发明将较为复杂的处理功能集中在服务器上，智能装置仅仅实现一些简单的功能；可以减轻智能装置信息处理任务，降低智能装置对硬件结构的要求，可以降低智能装置本身的成本。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种协助用户解决问题的智能装置及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种协助用户解决问题的智能装置的结构示意框图；

图2是本发明一种智能台灯的结构示意图；

图3是本发明一种智能书桌的结构示意图；

图4是本发明另一种智能书桌的结构示意图；

图5是本发明再一种智能书桌的结构示意图；

图6是本发明一种智能盒子的结构示意图；

图7是本发明一种协助用户解决问题的智能系统的流程示意框图；

附图标号说明：

11—语音单元 111—麦克风 112—扬声器

12—摄像单元 121—摄像头

13—处理单元

14—显示单元 141—显示屏

15—投影单元 151—投影器件

20—服务器 21—语音识别模块

22—图像识别模块 23—处理模块

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种协助用户解决问题的智能装置，包括智能装置本体，还包括：

语音单元11，安装在所述智能装置本体上，用于在采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，语音单元11包括麦克风111、与麦克风111连接的音频采集处理模块，语音识别模块；其中，麦克风111采集用户的语音数据，音频采集处理模块滤除噪音；语音识别模块结合语音识别技术对滤除噪音的语音数据进行语音识别；麦克风111与音频采集处理模块可以集成一体式，麦克风111与音频采集处理模块可以为分体式。

利用麦克风111采集用户的语音数据，语音识别模块利用语音识别技术，对语音数据进行语义识别，识别出用户所提出的文本形式问题。

例如：采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

摄像单元12，安装在所述智能装置本体上，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，摄像单元12包括摄像头121、图像识别模块，摄像头121与图像识别模块可以集成一体式；摄像头121与图像识别模块可以为分体式。

利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

图像识别模块在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理单元13，安装在所述智能装置本体上，与所述语音单元11、摄像单元12连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，所述处理单元13包括处理器；当扬声器112与音频播放处理电路为分体式，摄像头121与图像识别模块为分体式时，音频播放处理电路、图像识别模块、语音识别模块、处理单元13等集成在一块PCB板上。

所述语音单元11，安装在所述智能装置本体上，与所述处理单元13连接，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

具体的，语音单元11还包括扬声器112、与扬声器112连接的音频播放处理电路、语音合成模块；在将搜索出用户针对书本上指定区域所提出问题的文本形式答案合成语音形式答案；其中，扬声器112与音频播放处理电路可以集成一体式，扬声器112与音频播放处理电路可以为分体式。

本实施例中，在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑等智能设备，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑等智能设备，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

本实施例中，处理单元13，还可以实现以下步骤：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象。

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本发明无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

具体的，用户手指点一点或指出的区域内，可能会存在ABCD多个字，此时，将指定区域内的字都拆解出来，即A、B、C、D；另外，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书是什么年级学生应该使用的。

具体的，由于每个年级都会学习相应的生字，届时分析A属于哪个年级学习的生字，B属于哪个年级学习的生字，C属于哪个年级学习的生字，D属于哪个年级学习的生字。

例如：A属于小学一年级学习的生字，B属于小学二年级学习的生字，C 属于小学三年级学习的生字，D属于小学四年级学习的生字；学生正在使用三年级的书本。

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

此时，将所属年级信息不低于书本年级信息的C、D作为目标字；其目标词的提取过程与目标字的提取过程相同，此处不再赘述。

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。或将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

另外，也可以将所属年级信息低于书本年级信息的字或词语进行提示，供用户选择目标字或目标词。

具体的，可以在显示屏141上同时分别针对A、B进行提示，也可以分别针对A、B进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

本实施例中，结合学生正在使用的书本对应哪个年级使用的书本，以及指定区域内字或词属于哪个年级学习的；剔除早已学过的字或词，对于未学习过的字或词，学生不知道其读音或含义的可能性比较小；筛选出正在学习或还没有学习的字或词，学生不知道其读音或含义的可能性更大。这种目标字或目标词的选择方式，更接近学生的实际学习情况；大大提升用户的体验感。

当在显示屏141显示的答案中含有关键词时，提示用户针对所述关键词相关知识选择投影显示。

具体的，对语文答案进行识别，判断语文答案中是否含有关键词，可以在屏幕上提示用户是否针对该关键词相关知识采用投影显示，也可以是语音提示用户是否针对该关键词相关知识采用投影显示。

当用户针对所述关键词相关知识选择投影显示时，在投影区域投影所述用户针对所述关键词选择的相关知识。

具体的，关键词可以是图形类关键词、动物类关键词、植物类关键词等；可以通过投影显示，让用户深刻了解到关键词的含义。

本实施例中，在采用屏幕显示学科答案的过程中，遇到一些关键词所引起的特别场景，可以选择投影显示关键词的相关知识；让学生对这部分知识能够有更深刻的认知。并且，这种屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合学生阶段的学习场景。

统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式。

具体的，在展示各个学科答案时，学生选择或自定义的显示模式后，会将每个学科答案所采用的显示模式上传至服务器20，例如：语文答案采用屏幕显示，数学答案采用投影显示；利用大数据统计分析各个学科答案采用较多的显示模式，作为该学科答案的预设显示模式。

或用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

具体的，学生或家长可以自定义语文答案采用屏幕显示作为语文答案的预设显示模式，数学答案采用投影显示作为数学答案的预设显示模式等，生成一张自定义显示模式表。

根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示；所述显示模式包括屏幕显示、投影显示。

本发明可以采用多种方式定义每个学科答案的显示模式，使得每个学科答案的显示模式为最佳；以及使得每个学科答案的显示模式更加符合自身的学习习惯，具有使得显示模式具有个性化。

基于前述实施例，如图2所示，本实施例中：

当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部。

所述摄像单元12中的摄像头121设置在所述台灯头部，且所述摄像头121 的摄像方向朝向所述台灯底座一侧。

所述语音单元11中的麦克风111和扬声器112、所述处理单元13分别设置在所述台灯底座上。

本实施例中，除了上述特征外，还可以包括以下特征：

在所述台灯底座上还设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案；显示单元14包括显示屏141，显示屏141包括LED 显示屏141、液晶显示屏141、墨水显示屏141；其中，墨水显示屏141具有护眼功能。

和/或；

在所述台灯头部上还设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案；所述投影单元15包括投影器件151。

本实施例中，在智能台灯本体上的台灯头部设置投影单元15，在智能台灯本体上的台灯底座设置麦克风111、扬声器112、显示屏141等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等；其语音识别、目标图像识别、答案搜索均在智能台灯本体上实现。将以上功能均在一个智能台灯上实现，无需服务器参与，防止在智能台灯与服务器之间通信不佳时，无法搜索出答案。

当智能台灯处于照明状态，用户选择了投影方式显示答案时，可以关闭智能台灯的照明功能，进行投影显示答案；也可以调节智能台灯的亮度，增加投影显示与照明之间的色差；使得投影出来的答案显得清楚、可见。

基于前述实施例，如图3、4、5所示，本实施例中：

当所述智能装置本体为一体式智能书桌本体时，所述语音单元11中的麦克风111和扬声器112、摄像单元12中的摄像头121、处理单元13集成在所述智能书桌本体上。

具体的，当智能书桌具有高于桌面的书本放置结构或其他结构时，如图3 所示，可以将摄像头121、投影单元15设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，如图4、5所示，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头121、投影单元15的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

本智能书桌本体，除了具有上述特征外，还可以包括以下特征：

在所述智能书桌本体上设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述智能书桌本体设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

本实施例中，可以根据不同结构的书桌，采用不同的安装方式，将语音单元11、摄像单元12、处理单元13、显示单元14、投影单元15安装在不同类型书桌的不同位置。不仅可以帮助学生解决作业问题，还能避免影响书桌本身的美观。

基于前述实施例，如图6所示，本实施例中：

当所述智能装置本体为一体式智能盒子本体时，所述语音单元11的麦克风111和扬声器112、摄像单元12中的摄像头121、处理单元13集成在所述智能盒子本体上。

本智能盒子本体，除了具有上述特征外，还可以包括以下特征：

在所述智能盒子本体上设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述智能盒子本体上设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

本实施例中，将语音采集、语音播放答案、屏幕显示答案、投影显示答案等、语音识别、目标图像识别、答案搜索等功能均集中在智能盒子上。智能盒子具有便携性，无论用户位于何种场景，均可以在不同场地使用智能盒子；满足位于不同场景的不同用户需求。

另外，将摄像头121、投影单元15安装在智能盒子上时，其摄像头121可调节，可以调节摄像头121的摄像角度；投影单元15可调节，可以调节投影单元15的投影方向。

基于前述实施例，本实施例中：

当所述智能装置本体为分体式时，所述智能装置本体包括第一分体式装置本体、第二分体式装置本体；

所述摄像单元12中的摄像头121设置在所述第一分体式装置本体上。

所述语音单元11中的麦克风111和扬声器112间隔设置在所述第一分体式装置本体或所述第二分体式装置本体上。

所述处理单元13设置在所述第一分体式装置本体或所述第二分体式装置本体上。

本实施例中，除了上述特征外，还可以包括以下特征：

在所述第二分体式装置本体上设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述第一分体式装置本体上设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

所述第一分体式装置本体安装在所述智能灯具上；所述第二分体式装置本体安装在所述智能书桌本体上。

本实施例中，将摄像、投影功能安装在第一分体式装置本体上，将屏幕显示安装在第二分体式装置本体上；第一分体式装置本体安装在距离桌面有一定高度的地方(台灯或吊灯上)；方便获取学生写作业的图片；第二分体式装置本体安装在距离桌面较近的地方(例如桌面)，方便学生通过显示屏141查看答案。

其中，语音功能既可以设置在第一分体式装置本体上，也可以设置在第二分体式装置本体上。设置在第二分体式装置本体上，其语音采集及语音播放的效果会更好。

根据本发明提供的一种实施例，如图7所示，一种协助用户解决问题的智能系统，包括相互通信连接的智能装置和服务器20，所述智能装置包括智能装置本体，系统还包括：

麦克风111，安装在所述智能装置本体上，用于在采集用户的语音数据。

具体的，利用麦克风111采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，

语音识别模块21，安装在所述服务器20上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，语音识别模块21利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

摄像头121，安装在所述智能装置本体上，用于在摄像区域内获取目标图像。

利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

图像识别模块22，安装在所述服务器20上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

图像识别模块22在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理单元13，安装在所述服务器20上，与所述语音识别模块21、图像识别模块22连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

所述扬声器112，安装在所述智能装置本体上，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

具体的，将麦克风111、扬声器112、显示屏141、投影单元15设置在智能装置本体上等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等功能。将语音识别、目标图像识别、答案搜索等功能在服务器20上实现。也就是说，将较为复杂的处理功能集中在服务器20上，智能装置仅仅实现一些简单的功能；可以减轻智能装置信息处理任务，降低智能装置对硬件结构(例如CPU的处理能力)的要求，可以降低智能装置本身的成本。

本实施例中，在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑等智能设备，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑等智能设备，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

本实施例中，处理单元13，还可以实现以下步骤：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象。

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本发明无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

具体的，用户手指点一点或指出的区域内，可能会存在ABCD多个字，此时，将指定区域内的字都拆解出来，即A、B、C、D；另外，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书是什么年级学生应该使用的。

具体的，由于每个年级都会学习相应的生字，届时分析A属于哪个年级学习的生字，B属于哪个年级学习的生字，C属于哪个年级学习的生字，D属于哪个年级学习的生字。

例如：A属于小学一年级学习的生字，B属于小学二年级学习的生字，C 属于小学三年级学习的生字，D属于小学四年级学习的生字；学生正在使用三年级的书本。

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

此时，将所属年级信息不低于书本年级信息的C、D作为目标字；其目标词的提取过程与目标字的提取过程相同，此处不再赘述。

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。或将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

另外，也可以将所属年级信息低于书本年级信息的字或词语进行提示，供用户选择目标字或目标词。

具体的，可以在显示屏141上同时分别针对A、B进行提示，也可以分别针对A、B进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

本实施例中，结合学生正在使用的书本对应哪个年级使用的书本，以及指定区域内字或词属于哪个年级学习的；剔除早已学过的字或词，对于未学习过的字或词，学生不知道其读音或含义的可能性比较小；筛选出正在学习或还没有学习的字或词，学生不知道其读音或含义的可能性更大。这种目标字或目标词的选择方式，更接近学生的实际学习情况；大大提升用户的体验感。

当在显示屏141显示的答案中含有关键词时，提示用户针对所述关键词相关知识选择投影显示。

具体的，对语文答案进行识别，判断语文答案中是否含有关键词，可以在屏幕上提示用户是否针对该关键词相关知识采用投影显示，也可以是语音提示用户是否针对该关键词相关知识采用投影显示。

当用户针对所述关键词相关知识选择投影显示时，在投影区域投影所述用户针对所述关键词选择的相关知识。

具体的，关键词可以是图形类关键词、动物类关键词、植物类关键词等；可以通过投影显示，让用户深刻了解到关键词的含义。

本实施例中，在采用屏幕显示学科答案的过程中，遇到一些关键词所引起的特别场景，可以选择投影显示关键词的相关知识；让学生对这部分知识能够有更深刻的认知。并且，这种屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合学生阶段的学习场景。

统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式。

具体的，在展示各个学科答案时，学生选择或自定义的显示模式后，会将每个学科答案所采用的显示模式上传至服务器20，例如：语文答案采用屏幕显示，数学答案采用投影显示；利用大数据统计分析各个学科答案采用较多的显示模式，作为该学科答案的预设显示模式。

或用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

具体的，学生或家长可以自定义语文答案采用屏幕显示作为语文答案的预设显示模式，数学答案采用投影显示作为数学答案的预设显示模式等，生成一张自定义显示模式表。

根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示；所述显示模式包括屏幕显示、投影显示。

本发明可以采用多种方式定义每个学科答案的显示模式，使得每个学科答案的显示模式为最佳；以及使得每个学科答案的显示模式更加符合自身的学习习惯，具有使得显示模式具有个性化。

基于上述实施例，本实施例中，当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部。

所述摄像头121设置在所述台灯头部，且所述摄像头121的摄像方向朝向所述台灯底座一侧。

所述麦克风111和扬声器112分别设置在所述台灯底座上。

在所述台灯底座上还设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述台灯头部上还设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

基于上述实施例，本实施例中，当所述智能装置本体为一体式智能书桌本体时，所述麦克风111和扬声器112、摄像头121集成在所述智能书桌本体上。

或；

当所述智能装置本体为一体式智能盒子本体时，所述麦克风111和扬声器 112、摄像头121集成在所述智能盒子本体上。

在所述智能书桌本体或智能盒子本体上设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述智能书桌本体或智能盒子本体上设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

具体的，当智能书桌具有高于桌面的书本放置结构或其他结构时，如图3 所示，可以将摄像头121、投影单元15设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，如图4、5所示，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头121、投影单元15的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

基于上述实施例，本实施例中，当所述智能装置本体为分体式时，所述智能装置本体包括第一分体式装置本体、第二分体式装置本体。

所述摄像头121设置在所述第一分体式装置本体上。

所述麦克风111和扬声器112间隔设置在所述第一分体式装置本体或所述第二分体式装置本体上。

在所述第二分体式装置本体上设置有显示单元14，用于显示所述用户针对书本上指定区域所提出问题的答案。

和/或；

在所述第一分体式装置本体上设置有投影单元15，用于投影所述用户针对书本上指定区域所提出问题的答案。

所述第一分体式装置本体安装在所述智能灯具上；所述第二分体式装置本体安装在所述智能书桌本体上。

具体的，智能盒子具有便携性，无论用户位于何种场景，均可以在不同场地使用智能盒子；满足位于不同场景的不同用户需求。

基于前述实施例，本实施例中：

当所述提问所属的学科类型为几何类型或实验类型时，以三维投影方式将所述答案投射至投影区域；

当所述提问所属的学科类型为文史类型时，以平面投影方式将所述答案投射至所述投影区域。

本方案中，当提问所属学科类型为几何类型或者实验类型时，由于其对应的答案也含有立体几何图形以及一些实验器材(如滴管、试管、托盘等)，若是以平面的投影方式进行投影，可能会使答案不容易理解，达不到解答的效果，此时，本发明会以三维的投影方式进行投影，使投影的答案更容易理解；而当提问所属的学科类型为文史类型时，由于只是平面内容，智能灯具则会以二维的投影方式进行投影，使投影的内容与投影的方式相对应。

基于前述实施例，本实施例中：

判断所述答案中是否含有三维显示信息；

若所述答案中含有所述三维显示信息，以三维投影方式将所述答案投射至投影区域；

若所述答案中不含有所述三维显示信息，以平面投影方式将所述答案投射至所述投影区域。

本方案中，在获取到答案后，会判断答案中是否含有三维显示信息(例如几何图形、实验道具、地理图像等)，若有三维投影信息，则以三维投影方式进行投影，若没有，则按照平面投影方式进行投影。本方案通过对答案进行分析，选择不同的投影方式进行投影，能够使投影出的图像更加契合答案，使投影出的图像更加生动形象，学生更能直观地了解答案。

基于前述实施例，本实施例中：

当以三维投影方式将所述答案投射至投影区域，在所述投影区域上形成三维图像后，解析用户在投射出的三维图像上的编辑操作，对所述答案进行编辑，并以三维投影方式将编辑后的答案投射至所述投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

具体的，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

本方案中，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，同时为了使学生更加完整、全面地查看投影出的几何图形，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种协助用户解决问题的智能装置，包括智能装置本体，其特征在于，还包括：

语音单元，安装在所述智能装置本体上，用于在采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，安装在所述智能装置本体上，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，安装在所述智能装置本体上，与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句，第一类型是针对一道题或一句话进行提问；当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词，第二类型是针对一个字或一个词进行提问；

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息；将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词，或将所属年级信息不低于书本年级信息、且用户所选择的字或词语作为目标字或目标词；

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案；

所述语音单元，安装在所述智能装置本体上，与所述处理单元连接，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

2.根据权利要求1所述的一种协助用户解决问题的智能装置，其特征在于：

当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风和扬声器、所述处理单元分别设置在所述台灯底座上。

3.根据权利要求2所述的一种协助用户解决问题的智能装置，其特征在于：

在所述台灯底座上还设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述台灯头部上还设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

4.根据权利要求1所述的一种协助用户解决问题的智能装置，其特征在于：

当所述智能装置本体为一体式智能书桌本体时，所述语音单元中的麦克风和扬声器、摄像单元中的摄像头、处理单元集成在所述智能书桌本体上；

或；

当所述智能装置本体为一体式智能盒子本体时，所述语音单元的麦克风和扬声器、摄像单元中的摄像头、处理单元集成在所述智能盒子本体上。

5.根据权利要求4所述的一种协助用户解决问题的智能装置，其特征在于：

在所述智能书桌本体或智能盒子本体上设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述智能书桌本体或智能盒子本体上设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

6.根据权利要求1所述的一种协助用户解决问题的智能装置，其特征在于：

当所述智能装置本体为分体式时，所述智能装置本体包括第一分体式装置本体、第二分体式装置本体；

所述摄像单元中的摄像头设置在所述第一分体式装置本体上；

所述语音单元中的麦克风和扬声器间隔设置在所述第一分体式装置本体或所述第二分体式装置本体上；

所述处理单元设置在所述第一分体式装置本体或所述第二分体式装置本体上。

7.根据权利要求6所述的一种协助用户解决问题的智能装置，其特征在于：

在所述第二分体式装置本体上设置有显示单元，用于显示所述用户针对书本上指定区域所提出问题的答案；

和/或；

在所述第一分体式装置本体上设置有投影单元，用于投影所述用户针对书本上指定区域所提出问题的答案。

8.根据权利要求6或7所述的一种协助用户解决问题的智能装置，其特征在于：

所述第一分体式装置本体安装在所述智能灯具上；所述第二分体式装置本体安装在所述智能书桌本体上。

9.一种协助用户解决问题的智能系统，包括智能装置和服务器，所述智能装置包括智能装置本体，其特征在于，还包括：

麦克风，安装在所述智能装置本体上，用于在采集用户的语音数据；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像头，安装在所述智能装置本体上，用于在摄像区域内获取目标图像；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案；当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句，第一类型是针对一道题或一句话进行提问；当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词，第二类型是针对一个字或一个词进行提问；

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息；将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词，或将所属年级信息不低于书本年级信息、且用户所选择的字或词语作为目标字或目标词；

扬声器，安装在所述智能装置本体上，还用于语音播放所述用户针对书本上指定区域所提出问题的答案。

10.根据权利要求9所述的一种协助用户解决问题的智能系统，其特征在于：

当所述智能装置本体为一体式智能台灯本体时，所述智能台灯本体包括台灯底座、连接杆、台灯头部；

所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风和扬声器分别设置在所述台灯底座上。

Images