CN109241244A - 一种协助用户解决问题的交互方法、智能装置及系统 - Google Patents

Abstract

本发明属于智能教育设备领域，公开了一种协助用户解决问题的交互方法、智能装置及系统；其方法包括：采集用户的语音数据，对语音数据进行语音识别，识别出用户所提出的问题；在摄像区域内获取目标图像，对目标图像进行识别，识别出用户在书本上所指定的区域；结合用户所提出的问题以及在书本上所指定的区域，搜索出用户针对书本上指定区域所提出问题的答案；在投影区域投影用户针对书本上指定区域所提出问题的答案。本发明采用拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机，避免出现学生以作业为由借机玩手机而耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

Description

一种协助用户解决问题的交互方法、智能装置及系统

技术领域

本发明属于智能教育设备技术领域，特别涉及一种协助用户解决问题的交互方法、智能装置及系统。

背景技术

学生在完成作业时，时常会遇到各种各样的问题。当学生遇到各种问题时，一方面，很多家长碍于工作压力，根本无法辅导孩子完成课后作业。另一方面，即使家长有时间辅导孩子学习，也会经常遇到一时半会难以解决的问题。

随着科学技术的发展，市面上出现了电子设备，例如手机、平板电脑、学习平板等，帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的手机或平板电脑上进行查询和查看。(二)脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。(三)在对着手机或平板电脑说出问题时，若学生表达不清楚的问题，则没办法帮助学生解决作业问题。

发明内容

本发明的目的是提供一种协助用户解决问题的交互方法、智能装置及系统，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

本发明提供的技术方案如下：

本发明提供一种协助用户解决问题的交互方法，包括：

采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

优选的，所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案之前还包括：

提示用户选择所述答案的显示模式，所述显示模式包括屏幕显示、投影显示；

所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案具体包括：

当用户选择所述答案的显示模式为投影显示时，在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

优选的，所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案之前还包括：

根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示。

优选的，还包括：

当所述显示模式为屏幕显示时，在显示屏显示所述用户针对书本上指定区域所提出问题的答案；

当在显示屏显示的答案中含有关键词时，提示用户针对所述关键词相关知识选择投影显示；

当用户针对所述关键词相关知识选择投影显示时，在投影区域投影所述用户针对所述关键词选择的相关知识。

优选的，所述的根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示之前还包括：

统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式；

或；用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

进一步优选的，所述的结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案具体包括：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

本发明还提供一种智能装置，包括：

语音单元，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，分别与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

投影单元，与所述处理单元连接，用于投影所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头、所述投影单元中的投影仪器件分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风、所述处理单元分别设置在所述台灯底座上。

本发明还提供一种协助用户解决问题的交互系统，包括相互通信连接的智能装置和服务器，系统还包括：

麦克风，安装在所述智能装置上，用于采集用户的语音数据；

摄像头，安装在所述智能装置上，用于在摄像区域内获取目标图像；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理模块，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

投影模块，安装在所述智能装置上，用于投影所述用户针对书本上指定区域所提出问题的答案。

优选的，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头、所述投影模块分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风设置在所述台灯底座上。

与现有技术相比，本发明提供的一种协助用户解决问题的交互方法、智能装置及系统具有以下有益效果：

1、本发明中拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。

另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

同时，在利用投影方式显示答案时，相对于显示屏来说，投影区域明显大于显示屏显示区域；具有一定的护眼效果。

2、本发明针对不同场景或不同学科，学生可以随意手动选择是投影显示，还是屏幕显示；满足了不同场景或不同学科需求，不仅提高了学生的互动性，还提高了学生的体验感。

3、本发明可以采用多种方式定义每个学科答案的显示模式，使得每个学科答案的显示模式为最佳；以及使得每个学科答案的显示模式更加符合自身的学习习惯，具有使得显示模式具有个性化。

4、本发明中屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合各个学生阶段的各种学习场景。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种协助用户解决问题的交互方法、智能装置及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种协助用户解决问题的交互方法的流程示意图；

图2是本发明又一种协助用户解决问题的交互方法的流程示意图；

图3是本发明另一种协助用户解决问题的交互方法的流程示意图；

图4是本发明再一种协助用户解决问题的交互方法的流程示意图；

图5是本发明又一种协助用户解决问题的交互方法的流程示意图；

图6是本发明一种智能装置的结构示意框图；

图7是本发明一种智能装置的结构示意图；

图8是本发明一种协助用户解决问题的交互系统的结构示意框图；

附图标号说明：

10—智能装置 11—语音单元 111—麦克风

12—摄像单元 121—摄像头

13—处理单元

14—显示单元 141—显示屏

15—投影单元 151—投影器件

20—服务器 21—语音识别模块

22—图像识别模块 23—处理模块

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种协助用户解决问题的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，利用麦克风111采集用户的语音数据，利用语音识别技术，对语音数据进行语义识别，识别出用户所提出的文本形式问题。

例如：采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

S30、结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，识别出用户在书本上所指定的区域相当于识别出提问对象，利用语义理解技术在数据库中搜索用户针对提问对象提出的问题的答案。

S50、在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

具体的，投影方式包括LED投射方式、灯光投射方式、3D全息投影方式、AR投影方式。其投影区域可以是用户针对书本提出问题的指定区域；也可以是用户自定义的其他区域，例如书本以外的桌面上、墙面上等。

本实施例中，在执行以上步骤过程中，其中，可以是先执行步骤S10，再执行步骤S20；也可以是先执行步骤S20，再执行步骤S10；还可以是同时执行步骤S10、S20。在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

根据本发明提供的又一种实施例，如图2所示，一种协助用户解决问题的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S30、结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

S40、提示用户选择所述答案的显示模式，所述显示模式包括屏幕显示、投影显示。

具体的，答案是显示模式可以设置为屏幕显示，也可以设置为投影显示；在搜索出答案后，可以在显示屏141上提示用户选择显示模式，也可以以语言方式提示用户选择显示模式。

S51、当用户选择所述答案的显示模式为投影显示时，在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

本实施例中，在用户选择显示模式为投影显示后，在用户定义的投影区域内投影答案；在用户选择显示模式为屏幕显示后，若答案的篇幅过长，在显示屏141上以分页显示方式显示；显示屏141包括LED显示屏141、液晶显示屏141、墨水显示屏141；其中，墨水显示屏141具有护眼功能。针对不同场景或不同学科，学生可以随意手动选择是投影显示，还是屏幕显示；不仅提高了学生的互动性，还提高了学生的体验感。

根据本发明提供的另一种实施例，如图3所示，一种协助用户解决问题的交互方法，包括：

S01、统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式。

具体的，在展示各个学科答案时，学生选择或自定义的显示模式后，会将每个学科答案所采用的显示模式上传至服务器20，例如：语文答案采用屏幕显示，数学答案采用投影显示；利用大数据统计分析各个学科答案采用较多的显示模式，作为该学科答案的预设显示模式。

或；

S02、用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

具体的，学生或家长可以自定义语文答案采用屏幕显示作为语文答案的预设显示模式，数学答案采用投影显示作为数学答案的预设显示模式等，生成一张自定义显示模式表。

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S30、结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

S41、根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示。

S50、在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

具体的，在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，是数学书时，将显示模式切换至投影显示；是语文书时，将显示模式切换至屏幕显示。

本实施例中，可以采用多种方式定义每个学科答案的显示模式，如参考其他人针对每个学科答案的显示模式，使得每个学科答案的显示模式为最佳；用户自定义每个学科答案的显示模式，使得每个学科答案的显示模式更加符合自身的学习习惯，具有使得显示模式具有个性化。

根据本发明提供的再一种实施例，如图4所示，一种协助用户解决问题的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S30、结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

S60、当所述显示模式为屏幕显示时，在显示屏141显示所述用户针对书本上指定区域所提出问题的答案。

具体的，在一学科答案的显示模式为屏幕显示时，例如语文答案采用屏幕显示时，在显示屏141上显示语文答案。

S61、当在显示屏141显示的答案中含有关键词时，提示用户针对所述关键词相关知识选择投影显示。

具体的，对语文答案进行识别，判断语文答案中是否含有关键词，可以在屏幕上提示用户是否针对该关键词相关知识采用投影显示，也可以是语音提示用户是否针对该关键词相关知识采用投影显示。

S62、当用户针对所述关键词相关知识选择投影显示时，在投影区域投影所述用户针对所述关键词选择的相关知识。

具体的，关键词可以是图形类关键词、动物类关键词、植物类关键词等；可以通过投影显示，让用户深刻了解到关键词的含义。

本实施例中，在采用屏幕显示学科答案的过程中，遇到一些关键词所引起的特别场景，可以选择投影显示关键词的相关知识；让学生对这部分知识能够有更深刻的认知。并且，这种屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合学生阶段的学习场景。

根据本发明提供的又一种实施例，如图5所示，一种协助用户解决问题的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S31、结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

S32、针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；所述提问对象包括目标段落、目标语句、目标字、目标词。

具体的，当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

S33、结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

S50、在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

具体的，所述的从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：

从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。

或，将所属年级信息不低于书本年级信息、且用户所选择的字或词语作为目标字或目标词。

本实施例中，针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本实施例中，无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

根据本发明提供的一种实施例，如图6、7所示，一种智能装置，包括：

语音单元11，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，语音单元11包括麦克风111、与麦克风111连接的音频采集处理模块，语音识别模块；其中，麦克风111采集用户的语音数据，音频采集处理模块滤除噪音；语音识别模块结合语音识别技术对滤除噪音的语音数据进行语音识别；麦克风111与音频采集处理模块可以集成一体式，麦克风111与音频采集处理模块可以为分体式。

例如：麦克风111采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，语音识别模块利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

摄像单元12，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，摄像单元12包括摄像头121、图像处理模块，摄像头121与图像处理模块可以集成一体式；摄像头121与图像处理模块可以为分体式。

利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理单元13，分别与所述语音单元11、摄像单元12连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，当扬声器与音频播放处理电路为分体式，摄像头121与图像处理模块为分体式时，音频播放处理电路、图像处理模块、语音识别模块、处理单元13集成在一块PCB板上。

投影单元15，与所述处理单元13连接，用于投影所述用户针对书本上指定区域所提出问题的答案；所述投影单元15包括投影器件151。

具体的，投影方式包括LED投射方式、灯光投射方式、3D全息投影方式、AR投影方式。其投影区域可以是用户针对书本提出问题的指定区域；也可以是用户自定义的其他区域，例如书本以外的桌面上、墙面上等。

本实施例中，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头、所述投影单元中的投影仪器件分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风、所述处理单元分别设置在所述台灯底座上。

具体的，智能装置还可以是一体式智能书桌、一体式智能盒子，分体式智能台灯+分体式智能书桌等。

当所述智能装置本体为一体式智能书桌本体时，所述语音单元中的麦克风和扬声器、摄像单元中的摄像头、处理单元、显示单元中的显示屏、投影单元中投影器件集成在所述智能书桌本体上；

当智能书桌具有高于桌面的书本放置结构或其他结构时，可以将摄像头、投影器件设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头、投影器件的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

智能装置还包括：提示单元，与所述处理单元13、投影单元15连接，用于提示用户选择所述答案的显示模式，所述显示模式包括屏幕显示、投影显示。

具体的，答案是显示模式可以设置为屏幕显示，也可以设置为投影显示；在搜索出答案后，可以在显示屏141上提示用户选择显示模式，也可以以语言方式提示用户选择显示模式。

当用户选择所述答案的显示模式为投影显示时，所述投影单元15在投影区域投影所述用户针对书本上指定区域所提出问题的答案；当所述显示模式为屏幕显示时，在显示屏141显示所述用户针对书本上指定区域所提出问题的答案。

本实施例中，在用户选择显示模式为投影显示后，在用户定义的投影区域内投影答案；在用户选择显示模式为屏幕显示后，若答案的篇幅过长，在显示屏141上以分页显示方式显示；显示屏141包括LED显示屏141、液晶显示屏141、墨水显示屏141；其中，墨水显示屏141具有护眼功能。针对不同场景或不同学科，学生可以随意手动选择是投影显示，还是屏幕显示；不仅提高了学生的互动性，还提高了学生的体验感。

当在显示屏141显示的答案中含有关键词时，所述提示单元提示用户针对所述关键词相关知识选择投影显示；当用户针对所述关键词相关知识选择投影显示时，所述投影单元15在投影区域投影所述用户针对所述关键词选择的相关知识。

具体的，关键词可以是图形类关键词、动物类关键词、植物类关键词等；可以通过投影显示，让用户深刻了解到关键词的含义。

本实施例中，在采用屏幕显示学科答案的过程中，遇到一些关键词所引起的特别场景，可以选择投影显示关键词的相关知识；让学生对这部分知识能够有更深刻的认知。并且，这种屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合学生阶段的学习场景。

所述处理单元13还包括：统计模块，统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式。

具体的，在展示各个学科答案时，学生选择或自定义的显示模式后，会将每个学科答案所采用的显示模式上传至服务器20，例如：语文答案采用屏幕显示，数学答案采用投影显示；利用大数据统计分析各个学科答案采用较多的显示模式，作为该学科答案的预设显示模式。

所述处理单元13还包括：模式定义模块，用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

具体的，学生或家长可以自定义语文答案采用屏幕显示作为语文答案的预设显示模式，数学答案采用投影显示作为数学答案的预设显示模式等，生成一张自定义显示模式表。

所述处理单元13包括：模式切换模块，根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示。

所述处理单元13包括：类型分析模块，结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

对象提取模块，针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

答案搜索模块，结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

本实施例中，在智能装置上设置投影单元15，在智能装置上设置麦克风111、扬声器、显示屏141等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等；其语音识别、目标图像识别、答案搜索均在智能装置上实现。将以上功能均在一个智能装置上实现，无需服务器20参与，防止在智能装置与服务器20之间通信不佳时，无法搜索出答案。

当智能装置10为智能台灯时，智能台灯处于照明状态，用户选择了投影方式显示答案时，可以关闭智能台灯的照明功能，进行投影显示答案；也可以调节智能台灯的亮度，增加投影显示与照明之间的色差；使得投影出来的答案显得清楚、可见。

根据本发明提供的一种实施例，如图8所示，一种协助用户解决问题的交互系统，包括相互通信连接的智能装置10和服务器20：

麦克风111，安装在所述智能装置上，采集用户的语音数据。

如：麦克风111采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据。

摄像头121，安装在所述智能装置上，在摄像区域内获取目标图像。

利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

语音识别模块21，安装在所述服务器20上，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

语音识别模块21利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

图像识别模块22，安装在所述服务器20上，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理模块23，安装在所述服务器20上，结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

投影模块，安装在所述智能装置上，投影所述用户针对书本上指定区域所提出问题的答案。

具体的，投影方式包括LED投射方式、灯光投射方式、3D全息投影方式、AR投影方式。其投影区域可以是用户针对书本提出问题的指定区域；也可以是用户自定义的其他区域，例如书本以外的桌面上、墙面上等。

本实施例中，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头、所述投影模块分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风设置在所述台灯底座上。

具体的，智能装置还可以是一体式智能书桌、一体式智能盒子，分体式智能台灯+分体式智能书桌等。

当所述智能装置本体为一体式智能书桌本体时，所述麦克风和扬声器、摄像头、显示屏、投影模块集成在所述智能书桌本体上；

当智能书桌具有高于桌面的书本放置结构或其他结构时，可以将摄像头、投影模块中投影器件设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头、投影模块中投影器的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

所述智能装置10还包括：提示单元，与所述投影单元15连接，安装在所述智能装置上，用于提示用户选择所述答案的显示模式，所述显示模式包括屏幕显示、投影显示。

具体的，答案是显示模式可以设置为屏幕显示，也可以设置为投影显示；在搜索出答案后，可以在显示屏141上提示用户选择显示模式，也可以以语言方式提示用户选择显示模式。

当用户选择所述答案的显示模式为投影显示时，所述投影单元15在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

当所述显示模式为屏幕显示时，在显示屏141显示所述用户针对书本上指定区域所提出问题的答案。

本实施例中，在用户选择显示模式为投影显示后，在用户定义的投影区域内投影答案；在用户选择显示模式为屏幕显示后，若答案的篇幅过长，在显示屏141上以分页显示方式显示；显示屏141包括LED显示屏141、液晶显示屏141、墨水显示屏141；其中，墨水显示屏141具有护眼功能。针对不同场景或不同学科，学生可以随意手动选择是投影显示，还是屏幕显示；不仅提高了学生的互动性，还提高了学生的体验感。

当在显示屏141显示的答案中含有关键词时，所述提示单元提示用户针对所述关键词相关知识选择投影显示；当用户针对所述关键词相关知识选择投影显示时，所述投影单元15在投影区域投影所述用户针对所述关键词选择的相关知识。

具体的，关键词可以是图形类关键词、动物类关键词、植物类关键词等；可以通过投影显示，让用户深刻了解到关键词的含义。

本实施例中，在采用屏幕显示学科答案的过程中，遇到一些关键词所引起的特别场景，可以选择投影显示关键词的相关知识；让学生对这部分知识能够有更深刻的认知。并且，这种屏幕显示和投影显示相互结合，能够提高显示模式的灵活性，更符合学生阶段的学习场景。

所述处理单元13包括：模式切换模块，根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示。

所述处理单元13还包括：统计模块，统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式。

具体的，在展示各个学科答案时，学生选择或自定义的显示模式后，会将每个学科答案所采用的显示模式上传至服务器20，例如：语文答案采用屏幕显示，数学答案采用投影显示；利用大数据统计分析各个学科答案采用较多的显示模式，作为该学科答案的预设显示模式。

所述处理单元13还包括：模式定义模块，用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

具体的，学生或家长可以自定义语文答案采用屏幕显示作为语文答案的预设显示模式，数学答案采用投影显示作为数学答案的预设显示模式等，生成一张自定义显示模式表。

所述处理单元13包括：类型分析模块，结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

对象提取模块，针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

答案搜索模块，结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

本实施例中，将麦克风111、扬声器、显示屏141、投影单元15设置在智能装置本体上等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等功能。将语音识别、目标图像识别、答案搜索等功能在服务器20上实现。也就是说，将较为复杂的处理功能集中在服务器20上，智能装置仅仅实现一些简单的功能；可以减轻智能装置信息处理任务，降低智能装置对硬件结构(例如CPU的处理能力)的要求，可以降低智能装置本身的成本。

基于前述实施例，本实施例中：

判断所述答案中是否含有三维显示信息；

若所述答案中含有所述三维显示信息，以三维投影方式将所述答案投射至投影区域；

若所述答案中不含有所述三维显示信息，以平面投影方式将所述答案投射至所述投影区域。

本方案中，在获取到答案后，会判断答案中是否含有三维显示信息(例如几何图形、实验道具、地理图像等)，若有三维投影信息，则以三维投影方式进行投影，若没有，则按照平面投影方式进行投影。本方案通过对答案进行分析，选择不同的投影方式进行投影，能够使投影出的图像更加契合答案，使投影出的图像更加生动形象，学生更能直观地了解答案。

基于前述实施例，本实施例中：

当以三维投影方式将所述答案投射至投影区域，在所述投影区域上形成三维图像后，解析用户在投射出的三维图像上的编辑操作，对所述答案进行编辑，并以三维投影方式将编辑后的答案投射至所述投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

具体的，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

本方案中，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，同时为了使学生更加完整、全面地查看投影出的几何图形，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种协助用户解决问题的交互方法，其特征在于，包括：

采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

2.根据权利要求1所述的一种协助用户解决问题的交互方法，其特征在于，所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案之前还包括：

提示用户选择所述答案的显示模式，所述显示模式包括屏幕显示、投影显示；

所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案具体包括：

当用户选择所述答案的显示模式为投影显示时，在投影区域投影所述用户针对书本上指定区域所提出问题的答案。

3.根据权利要求1所述的一种协助用户解决问题的交互方法，其特征在于，所述的在投影区域投影所述用户针对书本上指定区域所提出问题的答案之前还包括：

根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示。

4.根据权利要求2或3所述的一种协助用户解决问题的交互方法，其特征在于，还包括：

当所述显示模式为屏幕显示时，在显示屏显示所述用户针对书本上指定区域所提出问题的答案；

当在显示屏显示的答案中含有关键词时，提示用户针对所述关键词相关知识选择投影显示；

当用户针对所述关键词相关知识选择投影显示时，在投影区域投影所述用户针对所述关键词选择的相关知识。

5.根据权利要求3所述的一种协助用户解决问题的交互方法，其特征在于，所述的根据所述答案对应的预设显示模式为投影显示时，将所述显示模式切换至所述投影显示之前还包括：

统计分析各个用户针对每个学科答案所采用的显示模式，生成一张默认显示模式表，所述默认显示模式表包括每个学科答案的预设显示模式；

或；

用户自定义每个学科答案对应的显示模式，生成一张自定义显示模式表，所述自定义显示模式表包括每个学科答案的预设显示模式。

6.根据权利要求1～3中任意一项所述的一种协助用户解决问题的交互方法，其特征在于，所述的结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案具体包括：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

7.一种智能装置，包括如权利要求1～6中任意一项所述的一种基于智能装置的交互方法，还包括：

语音单元，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，分别与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

投影单元，与所述处理单元连接，用于投影所述用户针对书本上指定区域所提出问题的答案。

8.根据权利要求7所述的一种智能装置，其特征在于：

当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头、所述投影单元中的投影仪器件分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风、所述处理单元分别设置在所述台灯底座上。

9.一种协助用户解决问题的交互系统，包括如权利要求1～6中任意一项所述的一种基于智能装置的交互方法，还包括相互通信连接的智能装置和服务器，系统还包括：

麦克风，安装在所述智能装置上，用于采集用户的语音数据；

摄像头，安装在所述智能装置上，用于在摄像区域内获取目标图像；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理模块，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

投影模块，安装在所述智能装置上，用于投影所述用户针对书本上指定区域所提出问题的答案。

10.根据权利要求9所述的一种协助用户解决问题的交互系统，其特征在于：

当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头、所述投影模块分别设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风设置在所述台灯底座上。