CN109243215B - 一种基于智能装置的交互方法、智能装置及系统 - Google Patents

Abstract

本发明属于智能教育设备技术领域，公开了一种基于智能装置的交互方法、智能装置及系统，该方法包括：采集用户的语音数据，对语音数据进行语音识别，识别出用户所提出的问题；在摄像区域内获取目标图像，对目标图像进行识别，识别出用户在书本上所指定的区域；结合用户所提出的问题以及在书本上所指定的区域，搜索出用户针对书本上指定区域所提出问题的答案；显示用户针对书本上指定区域所提出问题的答案。本发明采用拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机，避免出现学生以作业为由借机玩手机而耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

Description

一种基于智能装置的交互方法、智能装置及系统

技术领域

本发明属于智能教育设备技术领域，特别涉及一种基于智能装置的交互方法、智能装置及系统。

背景技术

学生在完成作业时，时常会遇到各种各样的问题。当学生遇到各种问题时，一方面，很多家长碍于工作压力，根本无法辅导孩子完成课后作业。另一方面，即使家长有时间辅导孩子学习，也会经常遇到一时半会难以解决的问题。

随着科学技术的发展，市面上出现了电子设备，例如手机、平板电脑、学习平板等，帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的手机、平板电脑上进行查询和查看。(二)脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。(三)在对着手机、平板电脑说出问题时，若学生表达不清楚的问题，则没办法帮助学生解决作业问题。

发明内容

本发明的目的是提供一种基于智能装置的交互方法、智能装置及系统，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

本发明提供的技术方案如下：

本发明提供一种基于智能装置的交互方法，包括：

采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示所述用户针对书本上指定区域所提出问题的答案。

进一步优选的，所述的显示所述用户针对书本上指定区域所提出问题的答案具体包括：

在显示屏上显示所述用户针对书本上指定区域所提出问题的答案。

进一步优选的，所述的结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案具体包括：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

进一步优选的，所述的针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象具体包括：

当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句；

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

进一步优选的，所述的从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：

从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息；

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。

进一步优选的，所述的将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词之前还包括：

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词；

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词具体包括：

将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

本发明还提供一种智能装置，包括：

语音单元，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，分别与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示单元，与所述处理单元连接，用于显示所述用户针对书本上指定区域所提出问题的答案。

进一步优选的，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风、所述显示单元中显示屏、所述处理单元分别设置在所述台灯底座上。

本发明还提供一种基于智能装置的交互系统，包括相互通信连接的智能装置和服务器，系统还包括：

麦克风，安装在所述智能装置上，用于采集用户的语音数据；

摄像头，安装在所述智能装置上，用于在摄像区域内获取目标图像；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理模块，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示模块，安装在所述智能装置上，用于显示所述用户针对书本上指定区域所提出问题的答案。

进一步优选的，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风、所述显示屏分别设置在所述台灯底座上。

与现有技术相比，本发明提供的一种基于智能装置的交互方法、智能装置及系统具有以下有益效果：

1、本发明中拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，即使学生口述不清楚问题，也可以帮助学生解决作业问题。

2、本发明针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本发明无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于智能装置的交互方法、智能装置及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于智能装置的交互方法的流程示意图；

图2是本发明又一种基于智能装置的交互方法的流程示意图；

图3是本发明中步骤S32的流程示意图；

图4是本发明另一种基于智能装置的交互方法的流程示意图；

图5是本发明再一种基于智能装置的交互方法的流程示意图；

图6是本发明一种智能装置的结构示意框图；

图7是本发明一种智能装置的结构示意图；

图8是本发明一种基于智能装置的交互系统的结构示意框图；

附图标号说明：

10—智能装置 11—语音单元 111—麦克风

12—摄像单元 121—摄像头

13—处理单元

14—显示单元 141—显示屏

20—服务器 21—语音识别模块

22—图像识别模块 23—处理模块

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种基于智能装置的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，利用麦克风111采集用户的语音数据，利用语音识别技术对语音数据进行语义识别，识别出用户所提出的文本形式问题。

例如：采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

S30、结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，识别出用户在书本上所指定的区域相当于识别出提问对象，利用语义理解技术在数据库中搜索用户针对提问对象提出的问题的答案。

S40、显示所述用户针对书本上指定区域所提出问题的答案。

具体的，在显示答案时，若答案的篇幅过长，可以以分页显示方式显示。在显示屏141上显示所述用户针对书本上指定区域所提出问题的答案；显示屏141包括LED显示屏、液晶显示屏、墨水显示屏；其中，墨水显示屏具有护眼功能。本实施例还可以以投影方式投影显示所述用户针对书本上指定区域所提出问题的答案。

本实施例中，在执行以上步骤过程中，其中，可以是先执行步骤S10，再执行步骤S20；也可以是先执行步骤S20，再执行步骤S10；还可以是同时执行步骤S10、S20。在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。

根据本发明提供的又一种实施例，如图2、3所示，一种基于智能装置的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S31、结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

S32、针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；所述提问对象包括目标段落、目标语句、目标字、目标词。

具体的，S321、当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

具体的，第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

S322、当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

S33、结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

S40、显示所述用户针对书本上指定区域所提出问题的答案。

具体的，本实施例中，针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本实施例中，无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

根据本发明提供的另一种实施例，如图4所示，一种基于智能装置的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S31、结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

S321、当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

S3221、当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

具体的，用户手指点一点或指出的区域内，可能会存在ABCD多个字，此时，将指定区域内的字都拆解出来，即A、B、C、D；另外，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书是什么年级学生应该使用的。

由于每个年级都会学习相应的生字，届时分析A属于哪个年级学习的生字，B属于哪个年级学习的生字，C属于哪个年级学习的生字，D属于哪个年级学习的生字。

例如：A属于小学一年级学习的生字，B属于小学二年级学习的生字，C属于小学三年级学习的生字，D属于小学四年级学习的生字；学生正在使用三年级的书本。

S3223、将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。

具体的，将所属年级信息不低于书本年级信息的C、D作为目标字；其目标词的提取过程与目标字的提取过程相同，此处不再赘述。

S33、结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

S40、显示所述用户针对书本上指定区域所提出问题的答案。

本实施例中，结合学生正在使用的书本对应哪个年级使用的书本，以及指定区域内字或词属于哪个年级学习的；剔除早已学过的字或词，对于未学习过的字或词，学生不知道其读音或含义的可能性比较小；筛选出正在学习或还没有学习的字或词，学生不知道其读音或含义的可能性更大。这种目标字或目标词的选择方式，更接近学生的实际学习情况；大大提升用户的体验感。

根据本发明提供的再一种实施例，如图5所示，一种基于智能装置的交互方法，包括：

S10、采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

S20、在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S31、结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

S321、当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句。

S3221、当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

S3222、当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

具体的，所属年级信息不低于书本年级信息的字存在C、D两个时，可以在显示屏上同时分别针对C、D进行提示，也可以分别针对C、D进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

S32231、将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

另外，也可以将所属年级信息低于书本年级信息的字或词语进行提示，供用户选择目标字或目标词。

具体的，可以在显示屏141上同时分别针对A、B进行提示，也可以分别针对A、B进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

S33、结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

S40、显示所述用户针对书本上指定区域所提出问题的答案。

本实施例中，向学生针对每个字或词进行提示，可以让学生选择出目标字或目标词，不仅有助于提高目标词的准确度，还能增强人机交互，提高学生的体验感。

根据本发明提供的一种实施例，如图6、7所示，一种智能装置，包括：

语音单元11，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，语音单元11包括麦克风111、扬声器、与麦克风111连接的音频采集处理模块，与扬声器连接的音频播放处理电路，语音识别模块。

其中，麦克风111采集用户的语音数据，音频采集处理模块滤除噪音；语音识别模块结合语音识别技术对滤除噪音的语音数据进行语音识别。

麦克风111与音频采集处理模块可以集成一体式，麦克风111与音频采集处理模块可以为分体式，安装在智能装置为智能台灯的台灯底座上。

扬声器与音频播放处理电路可以集成一体式，扬声器与音频播放处理电路可以为分体式，安装在智能装置为智能台灯的台灯底座上。

例如：利用麦克风111采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据，语音识别模块利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

摄像单元12，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，摄像单元12包括摄像头121、图像处理模块，摄像头121与图像处理模块可以集成一体式，安装在台灯头部上；摄像头121与图像处理模块可以为分体式，摄像头121安装在智能装置为智能台灯的台灯头部上，图像处理模块安装在智能装置为智能台灯的台灯底座上。

利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

图像处理模块在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理单元13，分别与所述语音单元11、摄像单元12连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，所述处理单元13包括处理器；当扬声器与音频播放处理电路为分体式，摄像头121与图像处理模块为分体式时，音频播放处理电路、图像处理模块、语音识别模块、处理单元13集成在一块PCB板上。

显示单元14，与所述处理单元13连接，用于显示所述用户针对书本上指定区域所提出问题的答案。

具体的，在显示答案时，若答案的篇幅过长，可以以分页显示方式显示。在显示屏141上显示所述用户针对书本上指定区域所提出问题的答案；显示单元14包括显示屏141，显示屏141包括LED显示屏、液晶显示屏、墨水显示屏；其中，墨水显示屏具有护眼功能。

在所述显示屏141上显示所述用户针对书本上指定区域所提出问题的答案。

其中，可以是语音单元先实现语音采集功能，摄像单元再实现摄像功能；也可以是摄像单元先实现摄像功能，语音单元再实现语音采集功能；还可以是摄像单元、语音单元同时分别实现摄像功能、语音采集功能。在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。

本实施例中，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像单元中的摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；所述台灯头部上还设置有投影单元中的投影器件；

所述语音单元中的麦克风和扬声器、所述显示单元中显示屏、所述处理单元分别设置在所述台灯底座上。

具体的，智能装置还可以是一体式智能书桌、一体式智能盒子，分体式智能台灯+分体式智能书桌等。

当所述智能装置本体为一体式智能书桌本体时，所述语音单元中的麦克风和扬声器、摄像单元中的摄像头、处理单元、显示单元中的显示屏、投影单元中的投影器件集成在所述智能书桌本体上；

当智能书桌具有高于桌面的书本放置结构或其他结构时，可以将摄像头、投影单元中的投影器件设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头、投影单元中的投影器件的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

本实施例中，处理单元13，还可以实现以下步骤：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象；

具体的，当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句；

第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

本实施例中，针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本实施例中，无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

具体的，用户手指点一点或指出的区域内，可能会存在ABCD多个字，此时，将指定区域内的字都拆解出来，即A、B、C、D；另外，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书是什么年级学生应该使用的。

由于每个年级都会学习相应的生字，届时分析A属于哪个年级学习的生字，B属于哪个年级学习的生字，C属于哪个年级学习的生字，D属于哪个年级学习的生字。

例如：A属于小学一年级学习的生字，B属于小学二年级学习的生字，C属于小学三年级学习的生字，D属于小学四年级学习的生字；学生正在使用三年级的书本。

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

另外，也可以将所属年级信息低于书本年级信息的字或词语进行提示，供用户选择目标字或目标词。

具体的，可以在显示屏141上同时分别针对A、B进行提示，也可以分别针对A、B进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。

具体的，将所属年级信息不低于书本年级信息的C、D作为目标字；其目标词的提取过程与目标字的提取过程相同，此处不再赘述。

或将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

本实施例中，向学生针对每个字或词进行提示，可以让学生选择出目标字或目标词，不仅有助于提高目标词的准确度，还能增强人机交互，提高学生的体验感。

本实施例中，在智能装置设置投影单元，在智能装置设置麦克风111、扬声器、显示屏141等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等；其语音识别、目标图像识别、答案搜索均在智能装置上实现。将以上功能均在一个智能装置上实现，无需服务器20参与，防止在智能装置与服务器20之间通信不佳时，无法搜索出答案。

当智能装置为智能台灯时，智能台灯处于照明状态，用户选择了投影方式显示答案时，可以关闭智能台灯的照明功能，进行投影显示答案；也可以调节智能台灯的亮度，增加投影显示与照明之间的色差；使得投影出来的答案显得清楚、可见。

根据本发明提供的一种实施例，如图8所示，一种基于智能装置的交互系统，包括相互连接的智能装置10和服务器20：

麦克风111，安装在所述智能装置上，采集用户的语音数据。

具体的，与麦克风111连接的音频采集处理模块；其中，麦克风111采集用户的语音数据，音频采集处理模块滤除噪音；麦克风111与音频采集处理模块可以集成一体式，麦克风111与音频采集处理模块可以为分体式，安装在台灯底座上。

例如：利用麦克风111采集到用户“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的语音数据。

摄像头121，安装在所述智能装置上，在摄像区域内获取目标图像。

具体的，利用摄像头121在摄像区域内拍摄含有书本的目标图像，在获取目标图像时，可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

语音识别模块21，安装在所述服务器20上，对所述语音数据进行语音识别，识别出所述用户所提出的问题。

具体的，语音识别模块21结合语音识别技术对滤除噪音的语音数据进行语音识别。语音识别模块21利用语音识别技术识别后，识别出用户提出的“这道题怎么做”或“这个字怎么读”或“这个词什么意思”等的文本形式问题。

图像识别模块22，安装在所述服务器20上，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

具体的，图像识别模块22在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。

用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

处理模块23，安装在所述服务器20上，结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案。

具体的，识别出用户在书本上所指定的区域相当于识别出提问对象，利用语义理解技术在数据库中搜索用户针对提问对象提出的问题的答案。

显示模块，安装在所述智能装置上，显示所述用户针对书本上指定区域所提出问题的答案。

在显示答案时，若答案的篇幅过长，可以以分页显示方式显示。在显示屏141上显示所述用户针对书本上指定区域所提出问题的答案；所述显示模块包括显示屏141，安装在所述智能装置上，显示所述用户针对书本上指定区域所提出问题的答案。

其中，可以是语音单元先实现语音采集功能，摄像单元再实现摄像功能；也可以是摄像单元先实现摄像功能，语音单元再实现语音采集功能；还可以是摄像单元、语音单元同时分别实现摄像功能、语音采集功能。在学生做作业的过程中，遇到不会做的题目时，学生用手指指着或点一点这道题；并同时说出“这道题怎么做”或“我不会这道题”。针对学生说出的问题以及学生在书本上指定的题目，找出并反馈题目所对应的答案。

如果是单独的拍照或语音方式来帮助学生解决作业问题，不仅存在不符合学生学习场景的缺陷外，还存在互动性差等缺陷。

另外，目前单独拍照来帮助学生解决作业问题，脱离不了手机、平板电脑，学生会以作业为由借机玩手机或平板电脑，耽误学习。单独语音来帮助学生解决作业问题，在学生存在语音表达不清楚的问题时，没办法帮助学生解决作业问题。

本实施例中，拍照+语音的方式来帮助学生解决作业问题，不仅脱离了手机、平板电脑，避免出现学生以作业为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。

本实施例中，当所述智能装置为一体式智能台灯时，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；所述台灯头部上还设置有投影单元中的投影器件；

所述麦克风、所述显示屏分别设置在所述台灯底座上。

具体的，智能装置还可以是一体式智能书桌、一体式智能盒子，分体式智能台灯+分体式智能书桌等。

当所述智能装置本体为一体式智能书桌本体时，所述麦克风和扬声器、摄像头、显示屏、投影单元中的投影器件集成在所述智能书桌本体上；

当智能书桌具有高于桌面的书本放置结构或其他结构时，可以将摄像头、投影器件设置在书本放置结构或其他结构上。

当智能书桌不存在高于桌面的书本放置结构或其他结构时，可以在智能书桌桌面上设置一个支撑结构，该支撑结构远离桌面一侧安装有用于安装摄像头、投影器件的平台。

该支撑结构的高度可以是固定不变的，也可以是可调节的。当支撑结构是可调节时，可以采用自动升降机构，也可以采用手动升降机构，自动升降机构可以利用电机进行自动升降。手动升降机构可以采用螺栓、螺纹进行手动升降。

本实施例中，处理模块23，还可以实现以下步骤：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型。

具体的，用户在针对用户在书本上指定的区域进行提问时，可能是在针对一道题进行提问，例如“这道题怎么做”或“第2题怎么做”；也可能是在针对一个字进行提问，例如“这个字怎么读”或“这个字什么意思”；也有可能是在针对一个词进行提问，例如“这个词什么意思”或“这个词的反义词是什么”等等。

针对用户对书本上指定区域提出的不同类型问题，采用不同方式从书本上指定区域中提取出提问对象。

当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句；

第一类型是针对一道题或一句话进行提问(如“这道题怎么做”或“这句话什么意思”)时，这道题目可能是一个段落，也可能是一句话；此时，只需从目标图像中提取用户提问的目标段落或目标语句即可。

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内提取出用户所指定的目标字或目标词。

具体的，第二类型是针对一个字或一个词进行提问(如“这个字怎么读”或“这个词什么意思”)时，此时，只需从目标图像中提取用户提问的目标字或目标词即可。

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案。

本实施例中，针对不同类型提问，采用不同方式提取提问对象；不仅增强了提取提问对象的灵活性；还提高了提问对象提取的准确性。另外，本实施例中，无需增加额外硬件设备，例如激光，去定义用户手指具体指向或点一点具体点到的提问对象，不仅大大简化了硬件结构，还节约了制作成本。

从书本上指定区域内提取出用户所指定的目标字或目标词具体包括：从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息。

具体的，用户手指点一点或指出的区域内，可能会存在ABCD多个字，此时，将指定区域内的字都拆解出来，即A、B、C、D；另外，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书是什么年级学生应该使用的。

由于每个年级都会学习相应的生字，届时分析A属于哪个年级学习的生字，B属于哪个年级学习的生字，C属于哪个年级学习的生字，D属于哪个年级学习的生字。

例如：A属于小学一年级学习的生字，B属于小学二年级学习的生字，C属于小学三年级学习的生字，D属于小学四年级学习的生字；学生正在使用三年级的书本。

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词。

另外，也可以将所属年级信息低于书本年级信息的字或词语进行提示，供用户选择目标字或目标词。

具体的，可以在显示屏141上同时分别针对A、B进行提示，也可以分别针对A、B进行语音提示；让用户在屏幕上点击选择哪个字作为目标字，也可以让用户说出哪个字作为目标字。

将所属年级信息不低于书本年级信息的字或词语作为目标字或目标词。

具体的，将所属年级信息不低于书本年级信息的C、D作为目标字；其目标词的提取过程与目标字的提取过程相同，此处不再赘述。

或将所属年级信息不低于书本年级信息、且用户所选择的的字或词语作为目标字或目标词。

本实施例中，向学生针对每个字或词进行提示，可以让学生选择出目标字或目标词，不仅有助于提高目标词的准确度，还能增强人机交互，提高学生的体验感。

本实施例中，将麦克风111、扬声器、显示屏141、投影单元设置在智能装置本体上等，以实现语音采集、语音播放答案、屏幕显示答案、投影显示答案等功能。将语音识别、目标图像识别、答案搜索等功能在服务器20上实现。也就是说，将较为复杂的处理功能集中在服务器20上，智能装置仅仅实现一些简单的功能；可以减轻智能装置信息处理任务，降低智能装置对硬件结构(例如CPU的处理能力)的要求，可以降低智能装置本身的成本。

基于前述实施例，本实施例中：

判断所述答案中是否含有三维显示信息；

若所述答案中含有所述三维显示信息，以三维投影方式将所述答案投射至投影区域；

若所述答案中不含有所述三维显示信息，以平面投影方式将所述答案投射至所述投影区域。

本方案中，在获取到答案后，会判断答案中是否含有三维显示信息(例如几何图形、实验道具、地理图像等)，若有三维投影信息，则以三维投影方式进行投影，若没有，则按照平面投影方式进行投影。本方案通过对答案进行分析，选择不同的投影方式进行投影，能够使投影出的图像更加契合答案，使投影出的图像更加生动形象，学生更能直观地了解答案。

基于前述实施例，本实施例中：

当以三维投影方式将所述答案投射至投影区域，在所述投影区域上形成三维图像后，解析用户在投射出的三维图像上的编辑操作，对所述答案进行编辑，并以三维投影方式将编辑后的答案投射至所述投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

具体的，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

本方案中，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，同时为了使学生更加完整、全面地查看投影出的几何图形，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于智能装置的交互方法，其特征在于，包括：

采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示所述用户针对书本上指定区域所提出问题的答案；

所述的结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案，包括：

结合用户所提出的问题以及在书本上所指定的区域，分析出所述用户针对书本上指定区域所提出问题的类型；

当用户对书本上指定区域提出问题的类型为第一类型时，从书本上指定区域内提取出用户所指定的目标段落或目标语句；

当用户对书本上指定区域提出问题的类型为第二类型时，从书本上指定区域内分解出字或词语，分析所述字或词语所属年级信息，以及该书本对应的书本年级信息；

当所属年级信息不低于书本年级信息的字或词语存在多个时，针对每个字或词语进行提示，供用户选择目标字或目标词；

将所属年级信息不低于书本年级信息、且用户所选择的字或词语作为目标字或目标词；

结合用户所提出的问题以及提问对象，搜索出用户针对书本上指定区域所提出问题的答案；所述提问对象包括目标段落、目标语句、目标字、目标词。

2.根据权利要求1所述的一种基于智能装置的交互方法，其特征在于，所述的显示所述用户针对书本上指定区域所提出问题的答案具体包括：

在显示屏上显示所述用户针对书本上指定区域所提出问题的答案。

3.一种智能装置，所述智能装置为一体式智能台灯，应用如权利要求1～2中任意一项所述的一种基于智能装置的交互方法，所述智能台灯包括台灯底座、连接杆、台灯头部，还包括：

语音单元，用于采集用户的语音数据，对所述语音数据进行语音识别，识别出所述用户所提出的问题；

摄像单元，用于在摄像区域内获取目标图像，对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理单元，分别与所述语音单元、摄像单元连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示单元，与所述处理单元连接，用于显示所述用户针对书本上指定区域所提出问题的答案；

所述摄像单元中的摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述语音单元中的麦克风、所述显示单元中显示屏、所述处理单元分别设置在所述台灯底座上。

4.一种基于智能装置的交互系统，包括如权利要求1～2中任意一项所述的一种基于智能装置的交互方法，还包括相互通信连接的智能装置和服务器，系统还包括：

麦克风，安装在所述智能装置上，用于采集用户的语音数据；

摄像头，安装在所述智能装置上，用于在摄像区域内获取目标图像；

语音识别模块，安装在所述服务器上，用于对所述语音数据进行语音识别，识别出所述用户所提出的问题；

图像识别模块，安装在所述服务器上，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

处理模块，安装在所述服务器上，与所述语音识别模块、图像识别模块连接，用于结合用户所提出的问题以及在书本上所指定的区域，搜索出所述用户针对书本上指定区域所提出问题的答案；

显示模块，安装在所述智能装置上，用于显示所述用户针对书本上指定区域所提出问题的答案；

所述智能装置为一体式智能台灯，所述智能台灯包括台灯底座、连接杆、台灯头部；

所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；

所述麦克风、所述显示屏分别设置在所述台灯底座上。

Images