CN109191939B - 一种基于智能设备的三维投影交互方法及智能设备 - Google Patents

Abstract

本发明提供了一种基于智能设备的三维投影交互方法及智能设备，当用户遇到困难时，可以指向所问问题内容，向智能设备询问解答内容，智能设备监听到用户的语音信息中含有提问信号时，会通过摄像头获取提问区域图像；然后从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；接下来智能设备会根据所述解答内容生成三维投影信息，通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。本发明在智能设备上集成了获取问题、解答问题、显示解答内容等功能，可在学生遇到学习困难时，以三维投影方式将解答内容投影出来，为学生提供及时的帮助。

Description

一种基于智能设备的三维投影交互方法及智能设备

技术领域

本发明涉及智能学习产品领域，尤指一种基于智能设备的三维投影交互方法及智能设备。

背景技术

当前环境下，我国学生的学习压力普遍比较大，每天都有成堆的作业需要完成。学生在完成作业时，时常会遇到各种各样的问题，例如生字不会读，算数不会做，这种情况下需要及时进行辅导。但是很多家长碍于工作压力，根本无法辅导孩子完成课后作业，导致很多孩子学习成绩下降。

随着科学技术的发展，市面上出现了电子设备，例如手机、平板电脑、学习平板等，帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的智能设备上进行查询和查看；(二)脱离不了手机、平板电脑等智能设备，学生会以作业为由借机玩手机或平板电脑，耽误学习；(三)在对着电子设备说出问题时，若学生表达不清楚的问题，则没办法帮助学生解决作业问题。

本发明为了在学生遇到学习困难时提供及时的帮助，让学生遇到困难时完成自主学习，因而提供了一种基于智能设备的三维投影交互方法及智能设备。

发明内容

本发明的目的是提供一种基于智能设备的三维投影交互方法及智能设备，可在学生遇到学习困难时，以三维投影方式将解答内容投影出来，为学生提供及时的帮助。

本发明提供的技术方案如下：

本发明提供了一种基于智能设备的三维投影交互方法，包括步骤：

当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像；

所述智能设备从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

所述智能设备根据所述解答内容生成三维投影信息，并通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以三维投影方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。同时三维投影方式能够带来更好的感官体验，使学生能够更加直观地了解解答内容。

优选的，还包括步骤：所述智能设备上的视线检测装置采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；

或；

所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域。

本方案中，智能设备上的视线检测装置可以检测用户的视线方向，从而使确定出的预设投影区域就在用户的注视范围内，让用户能给非常直观地了解到解答内容。

优选的，还包括步骤：所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

本方案中，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，同时为了使学生更加完整、全面地查看投影出的几何图形，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

优选的，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

优选的，还包括步骤：所述智能设备分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，并记录形成历史提问记录；

所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

本方案中，用户在询问问题后，智能设备都会记录下相关的提问内容，并且对提问内容进行分析，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点。当用户想要了解最近一段时间的学习情况时，智能设备即可根据这段时间的历史提问记录，生成相应的学习评价报告，帮助用户了解当前的学习状况。

本发明还提供了一种基于智能设备，包括：

摄像模块，用于当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像；

解析模块，与所述摄像模块电连接，用于灯具从所述摄像头获取的所述提问区域图像中解析出提问内容；

答案获取模块，与所述解析模块电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块，与所述答案获取模块电连接，用于根据所述解答内容生成三维投影信息；

投影模块，与所述投影信息生成模块电连接，用于通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以三维投影方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。同时三维投影方式能够带来更好的感官体验，使学生能够更加直观地了解解答内容。

优选的，所述智能设备还包括：

视线检测装置，还用于采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；或；视线检测装置，还用于采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域。

本方案中，智能设备上的视线检测装置可以检测用户的视线方向，从而使确定出的预设投影区域就在用户的注视范围内，让用户能给非常直观地了解到解答内容。

优选的，所述智能设备还包括：

图像编辑模块，用于所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

本方案中，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，同时为了使学生更加完整、全面地查看投影出的几何图形，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

优选的，所述智能设备还包括：

所述图像编辑模块，还用于当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

所述图像编辑模块，还用于当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

优选的，所述智能设备还包括：

分析模块，用于分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点；

记录模块，与所述分析模块电连接，用于记录所述提问内容，所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，形成历史提问记录；

报告生成模块，与所述记录模块电连接，所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

本方案中，用户在询问问题后，智能设备都会记录下相关的提问内容，并且对提问内容进行分析，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点。当用户想要了解最近一段时间的学习情况时，智能设备即可根据这段时间的历史提问记录，生成相应的学习评价报告，帮助用户了解当前的学习状况。

优选的，所述智能设备包括智能台灯，所述摄像模块和所述投影模块设置在所述智能台灯的头部，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座；或；所述智能设备包括智能壁灯，所述摄像模块和所述投影模块设置在所述智能壁灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域；或；所述智能设备包括智能吊灯，所述摄像模块和所述投影模块设置在所述智能吊灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域。

通过本发明提供的一种基于智能设备的三维投影交互方法及智能设备，能够带来以下至少一种有益效果：

本发明为了在学生遇到学习困难时，能够提供及时的帮助，在智能设备上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，只需指着不懂的问题说：“这道题怎么做”，智能设备即可采集提问区域图像，然后通过图像分析技术获取问题内容，再通过知识库获取解答内容，以三维投影方式将解答的内容投射出来，供学生学习参考。本发明中的智能台灯担任了辅导一职，为学生提供学习帮助的同时，也减少了家长的负担。同时只能灯具上的视线检测装置能够检测出用户的视线方向，使投射出来的三维图像位于用户的视线方向上，增加了用户的使用体验。本发明还提供了图像编辑的功能，有助于用户理解解答内容，加深学习印象。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于智能设备的三维投影交互方法及智能设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于智能设备的三维投影交互方法的一个实施例的流程图；

图2是本发明一种基于智能设备的三维投影交互方法的另一个实施例的流程图；

图3是本发明一种基于智能设备的三维投影交互方法的另一个实施例的流程图；

图4是本发明一种智能设备的一个实施例的结构示意图；

图5是本发明一种智能设备的另一个实施例的结构示意图；

图6是一种智能设备的结构示意图。

附图标号说明：

1-摄像模块、2-解析模块、3-答案获取模块、4-投影信息生成模块、5-投影模块、6-语音检测模块、7-报告生成模块、8-记录模块、9-视线检测装置、10- 分析模块、11-图像编辑模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明提供了一种基于智能设备的三维投影交互方法的一个实施例，如图 1所示，包括：

S1当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像；

本发明中的摄像模块可以为摄像头，可安装在智能设备上，智能设备包括智能台灯、智能吊灯、智能壁灯等等，可安装在书桌附近，使智能设备能够通过安装在本体上的摄像模块获取到书桌上书本的图像信息。

学生在学习时，若有遇到不清楚或者不会做的题目时，可用手指向不会的题目，然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备会实时采集用户的语音信息，将语音信息转化问文本信息，然后判断是否有提问关键词(如“怎么做”、“如何做”、“如何说”等)，当智能设备识别出用户的语音信息中含有提问关键词时，会分析摄像头采集到的图像，通过图像识别技术识别出手的轮廓以及手指的指向，并在手指指向区域上查找出用户想要询问的题目所在的区域，并将此区域的图像作为提问区域图像。

S2所述智能设备从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

具体的，智能设备中可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片)，可对提问区域图像进行识别，解析出图文区域图像中的提问内容，如“第四题、小明买了5斤苹果，每斤苹果3元钱，小明一共需要付多少钱？”。智能设备可根据提问内容，在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。

S3所述智能设备根据所述解答内容生成三维投影信息，并通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

具体的，智能设备上可设有投影模块，如微型投影器等。智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成三维投影信息。将投影信息投射至预设投影区域。

投影时，可通过图像识别技术，从摄像模块采集的图像信息中检测出一桌面区域，将这一区域作为预设投影区域。为了在投影时产生更好的投影效果，还可配套增加一块投影板，学生在学习时，可将投射板放置在书桌上，摄像头可通过图像识别技术自动识别出投射板的位置，同时调整投射模块的投射方向，将图像投射至投影板上。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。本方案中，当智能设备获取到解答内容后，以三维投影的方式将解答内容投射出来，不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。同时投射出来的三维图像能够带来更好的感官体验，使学生能够更加直观地了解解答内容。

本发明提供了一种基于智能设备的三维投影交互方法的一个实施例，如图 2所示，包括：

S01所述智能设备上的视线检测装置采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；或；所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；

具体的，为了方便用户查看投影出来的三维图像，可通过一视线检测装置检测用户的视线方向。本实施例中提供了两种检测用户视线方向的例子：

1、可通过视线检测装置获取人体的头部图像，通过人脸识别技术，检测出人脸上各个特征点(如鼻子、眼睛、颧骨、眉毛、嘴巴等特征点)，以及这些特征点在世界三维坐标系下的坐标，以双眼形成的直线方向为X坐标轴方向，以双眼之间的中点与鼻尖形成的直线方向为Y坐标轴方向，默认用户的眼睛为平视前方，则与X坐标轴和Y坐标轴相互垂直的方向，即可确定为视线方向所在直线。然后再以面部朝向确认出视线方向。

2、可通过视线检测装置包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。

S1当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像。

S2所述智能设备从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容。

S3所述智能设备根据所述解答内容生成三维投影信息，并通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

S4所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

具体的，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，在做实验题时，经常需要将多种器材进行组合，同时为了使学生更加完整、全面地查看投影出的几何图形，做实验时能够有更加直观的体验，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

例如，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

当触碰所述三维图像上任意两点，并且两个触碰点距离缩小时，所述智能设备解析所述编辑操作为图像缩小操作；当触碰所述三维图像上任意两点，并且两个触碰点距离变大时，所述智能设备解析所述编辑操作为图像放大操作；

当触碰所述三维图像上任一点的时间达到第四预设时间，并且触碰点移动距离大于预设距离时，所述智能设备解析所述编辑操作为作图操作；

当用户用手抓取所述三维图像中的某一图形时，所述智能设备解析出所述编辑操作为图像删除操作；而当智能设备的语音检测模块监听到用户的语音信息中包含图形添加信息时，则在三维图像中添加所述图形添加信息对应的图形，例如用户说“添加圆柱体”，智能设备在监听到这句话时，即可通过语义理解，分析出需要添加“圆柱体”这一图形。

综上所述，本实施例中结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。

本发明提供了一种基于智能设备的三维投影交互方法的一个实施例，如图 3所示，包括：

S01所述智能设备上的视线检测装置采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；或；所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域。

S02智能设备监听用户的语音信息，并检测所述语音信息中是否含有题号关键词。

S03若所述智能设备检测出所述语音信息中不含有题号关键词，则继续监听用户的语音信息。

S04若所述智能设备检测出所述语音信息中含有所述题号关键词，则识别出所述语音信息中含有提问信号，并开启摄像模块。

S11所述智能设备根据识别出的所述题号关键词，查找出所述题号关键词对应题号的目标位置，并通过所述摄像头获取所述目标位置的提问区域图像。

具体的，识别提问区域图像可分为两大步骤：1、首先通过摄像头采集到的图像中检测出书本的界面图像；2、在书本的界面图像中识别出题号关键词对应题号的目标位置，并将目标位置的图像作为提问区域图像。

为了更好地识别出桌面上的书本，可训练书本识别模型，本实施例以训练 Unet分割模型为例。将基于tensorflow深度学习框架，构建Unet分割网络。为了降低分割网络的大小，提升分割网络的效率，修改现有的轻量化mobilenet_v2 网络结构，将其用于unet网络编码部分，unet解码部分使用简单的卷积神经网络。

训练前可采集多种单一桌面图像，以及多种单一书本图像，将每一张单一桌面图像和每一张单一书本图像进行多样组合(例如将单一书本图像放置于单一书本图像上的不同位置)，得到若干单一书本图像和单一桌面图像的组合图像，然后将若干组合图像以4:1分为训练集和验证集，将训练集通过Unet分割网络进行训练，当Unet网络在训练集和测试集上的IOU(分割网络的标准度量)值都大于0.95时，得到Unet分割模型。

当摄像头获取桌面图像后，通过Unet分割模型对桌面图像进行二值分割，得到桌面图像的二值分割图，并从桌面图像的二值分割图中提取出书本的边缘，从而确定出书本的位置，从桌面图像中获取到书本的界面图像。

在界面图像中，可通过图像识别技术，查找到每一个题目的题号，然后根据题号关键词查找到相应题目的目标位置即可，从而获取到题号关键词对应题号的提问区域图像。

S2所述智能设备从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容。

S3所述智能设备根据所述解答内容生成三维投影信息，并通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

以三维投影方式进行投影，学生可以从不同角度对投影出来的三维几何图形进行理解，使遇到的问题更加容易解答。

例如，当提问内容所属学科为地理时，由于地理上很多都是关于山地、海洋、气候等研究，若是以平面投影方式来投射解答内容，可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时，若是以平面投影方式投影相关的图片，学生可能并不能完全理解各类地形地貌的特色，从而不容易区分不同地形地貌，而以三维投影方式来投射解答内容，学生能够从不同的角度对各种地貌进行观察，更容易区分不同地形地貌的特征。

S4所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

S51所述智能设备分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，并记录形成历史提问记录。

S52所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

本方案中，用户在询问问题后，智能设备都会记录下相关的提问内容，并且对提问内容进行分析，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点。当用户想要了解最近一段时间的学习情况时，智能设备即可根据这段时间的历史提问记录，生成相应的学习评价报告，帮助用户了解当前的学习状况。例如用户需要本学期数学这门学科的学习评价报告时，则可根据历史提问记录，智能设备会将本学期所问问题的历史记录提取出来，并根据每个问题的所属章节归类，所述知识点归类，评价用户在数学学科中每一章节、每一知识点的学习情况。

可选的，本实施例还包括：

所述智能设备记录所述问题内容形成提问记录，并在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

若在历史提问记录中存在与所述问题内容相似的提问记录，则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

具体的，智能设备会将用户所提问题进行记录，形成提问记录，当用户后续再问到相似的问题时，可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”，而用户以前也问过“‘更上一层楼’的上一句是____”，那么，智能设备在给用户投影解答信息后，会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域，加深用户对相似知识点的认知。

本方案中，学生问的问题都会被智能设备记录下来，形成提问记录，当下次提出相似的问题时可投射出相似问题以及解答内容，让学生回顾以前没懂的问题，加深对同一知识点的学习，巩固知识点。

如图4所示，本发明还提供了一种智能设备的一个实施例，包括：

摄像模块1，用于当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像。

解析模块2，与所述摄像模块1电连接，用于灯具从所述摄像头获取的所述提问区域图像中解析出提问内容。

答案获取模块3，与所述解析模块2电连接，用于获取所述提问内容对应的解答内容。

投影信息生成模块4，与所述答案获取模块3电连接，用于根据所述解答内容生成三维投影信息。

投影模块5，与所述投影信息生成模块4电连接，用于通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

以三维投影方式进行投影，学生可以从不同角度对投影出来的三维几何图形进行理解，使遇到的问题更加容易解答。

例如，当提问内容所属学科为地理时，由于地理上很多都是关于山地、海洋、气候等研究，若是以平面投影方式来投射解答内容，可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时，若是以平面投影方式投影相关的图片，学生可能并不能完全理解各类地形地貌的特色，从而不容易区分不同地形地貌，而以三维投影方式来投射解答内容，学生能够从不同的角度对各种地貌进行观察，更容易区分不同地形地貌的特征。

本发明中的摄像模块1可以为摄像头，可安装在智能设备上，智能设备包括智能台灯、智能吊灯、智能壁灯等等，可安装在书桌附近，使智能设备能够通过安装在本体上的摄像模块1获取到书桌上书本的图像信息。

学生在学习时，若有遇到不清楚或者不会做的题目时，可用手指向不会的题目，然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备会实时采集用户的语音信息，将语音信息转化问文本信息，然后判断是否有提问关键词(如“怎么做”、“如何做”、“如何说”等)，当智能设备识别出用户的语音信息中含有提问关键词时，会分析摄像头采集到的图像，通过图像识别技术识别出手的轮廓以及手指的指向，并在手指指向区域上查找出用户想要询问的题目所在的区域，并将此区域的图像作为提问区域图像。

具体的，智能设备中可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片)，可对提问区域图像进行识别，解析出图文区域图像中的提问内容，如“第四题、小明买了5斤苹果，每斤苹果3元钱，小明一共需要付多少钱？”。智能设备可根据提问内容，在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。

智能设备上可设有投影模块5，如微型投影器等。智能设备可根据预设的投影模板(包括：答案版块、解析版块、知识点版块)，将解答内容中相应的内容添加至投影模板的各个版块中，从而生成三维投影信息。将投影信息投射至预设投影区域。

投影时，可通过图像识别技术，从摄像模块1采集的图像信息中检测出一桌面区域，将这一区域作为预设投影区域。为了在投影时产生更好的投影效果，还可配套增加一块投影板，学生在学习时，可将投射板放置在书桌上，摄像头可通过图像识别技术自动识别出投射板的位置，同时调整投射模块的投射方向，将图像投射至投影板上。

本方案结合了学生学习时所用的必需品——灯具，在灯具上集成了获取问题、解答问题、显示解答内容等功能，在学生学习遇到困难时，能够及时为学生提供帮助。

本方案中，当智能设备获取到解答内容后，以三维投影的方式将解答内容投射出来，学生可以从不同角度对投影出来的三维几何图形进行理解，使遇到的问题更加容易解答。再例如，当提问内容所属学科为地理时，由于地理上很多都是关于山地、海洋、气候等研究，若是以平面投影方式来投射解答内容，可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时，若是以平面投影方式投影相关的图片，学生可能并不能完全理解各类地形地貌的特色，从而不容易区分不同地形地貌，而以三维投影方式来投射解答内容，学生能够从不同的角度对各种地貌进行观察，更容易区分不同地形地貌的特征。

同时，本发明不需要外接显示屏幕或者在灯具上增设显示屏幕，增加应用的广泛性。同时投射出来的三维图像能够带来更好的感官体验，使学生能够更加直观地了解解答内容。

如图5所示，本发明提供了一种智能设备的另一个实施例，包括：

视线检测装置9，还用于采集用户的头部图像，并根据所述头部图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；

或；

视线检测装置9，还用于采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域。

摄像模块1，用于当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像。

解析模块2，与所述摄像模块1电连接，用于灯具从所述摄像头获取的所述提问区域图像中解析出提问内容。

答案获取模块3，与所述解析模块2电连接，用于获取所述提问内容对应的解答内容。

投影信息生成模块4，与所述答案获取模块3电连接，用于根据所述解答内容生成三维投影信息。

投影模块5，与所述投影信息生成模块4、视线检测装置9电连接，用于通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像。

图像编辑模块11，与所述投影模块5电连接，用于所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域。

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

所述图像编辑模块11，还用于当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动。

所述图像编辑模块11，还用于当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

分析模块10，用于分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点；

记录模块8，与所述分析模块10电连接，用于记录所述提问内容，所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，形成历史提问记录；

报告生成模块7，与所述记录模块8电连接，所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

具体的，为了方便用户查看投影出来的三维图像，可通过一视线检测装置 9检测用户的视线方向。本实施例中提供了两种检测用户视线方向的例子：

1、可通过视线检测装置9获取人体的头部图像，通过人脸识别技术，检测出人脸上各个特征点(如鼻子、眼睛、颧骨、眉毛、嘴巴等特征点)，以及这些特征点在世界三维坐标系下的坐标，以双眼形成的直线方向为X坐标轴方向，以双眼之间的中点与鼻尖形成的直线方向为Y坐标轴方向，默认用户的眼睛为平视前方，则与X坐标轴和Y坐标轴相互垂直的方向，即可确定为视线方向所在直线。然后再以面部朝向确认出视线方向。

2、可通过视线检测装置9包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。

具体的，考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作，在做实验题时，经常需要将多种器材进行组合，同时为了使学生更加完整、全面地查看投影出的几何图形，做实验时能够有更加直观的体验，本方案在以三维投影方式进行投影时增加了编辑操作，用户可以在投影出来的三维图像上进行相应的编辑，以此来更好地了解学习内容。

例如，当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

当触碰所述三维图像上任意两点，并且两个触碰点距离缩小时，所述智能设备解析所述编辑操作为图像缩小操作；当触碰所述三维图像上任意两点，并且两个触碰点距离变大时，所述智能设备解析所述编辑操作为图像放大操作；

当触碰所述三维图像上任一点的时间达到第四预设时间，并且触碰点移动距离大于预设距离时，所述智能设备解析所述编辑操作为作图操作；

当用户用手抓取所述三维图像中的某一图形时，所述智能设备解析出所述编辑操作为图像删除操作；而当智能设备的语音检测模块6监听到用户的语音信息中包含图形添加信息时，则在三维图像中添加所述图形添加信息对应的图形，例如用户说“添加圆柱体”，智能设备在监听到这句话时，即可通过语义理解，分析出需要添加“圆柱体”这一图形。

用户在询问问题后，智能设备还会记录下相关的提问内容，并且对提问内容进行分析，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点。当用户想要了解最近一段时间的学习情况时，智能设备即可根据这段时间的历史提问记录，生成相应的学习评价报告，帮助用户了解当前的学习状况。例如用户需要本学期数学这门学科的学习评价报告时，则可根据历史提问记录，智能设备会将本学期所问问题的历史记录提取出来，并根据每个问题的所属章节归类，所述知识点归类，评价用户在数学学科中每一章节、每一知识点的学习情况。

可选的，本实施例中，所述智能设备中的记录模块8还记录所述问题内容形成提问记录，并在历史提问记录中查找是否存在与所述问题内容近似的提问记录；

若在历史提问记录中存在与所述问题内容相似的提问记录，则所述投影模块5将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。

具体的，智能设备会将用户所提问题进行记录，形成提问记录，当用户后续再问到相似的问题时，可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”，而用户以前也问过“‘更上一层楼’的上一句是____”，那么，智能设备在给用户投影解答信息后，会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域，加深用户对相似知识点的认知。

本方案中，学生问的问题都会被智能设备记录下来，形成提问记录，当下次提出相似的问题时可投射出相似问题以及解答内容，让学生回顾以前没懂的问题，加深对同一知识点的学习，巩固知识点。

所述智能设备包括智能台灯，所述摄像模块1和所述投影模块5设置在所述智能台灯的头部，且所述摄像模块1的摄像方向以及所述投影模块5的投射方向朝向所述智能台灯的底座；或；所述智能设备包括智能壁灯，所述摄像模块1和所述投影模块5设置在所述智能壁灯上，且所述摄像模块1的摄像方向以及所述投影模块5的投射方向朝向所述预设投影区域；或；所述智能设备包括智能吊灯，所述摄像模块1和所述投影模块5设置在所述智能吊灯上，且所述摄像模块1的摄像方向以及所述投影模块5的投射方向朝向所述预设投影区域。

如图6所示，本发明提供了一种智能台灯的示意图，所述智能台灯本体包括台灯底座、连接杆、台灯头部；所述摄像头设置在所述台灯头部，且所述摄像头的摄像方向朝向所述台灯底座一侧；所述麦克风和扬声器分别设置在所述台灯底座上。学生学习遇到困难时，可通过上述实施例中智能设备的辅助学习功能，完成自主学习。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于智能设备的三维投影交互方法，其特征在于，包括步骤：

当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像；

所述智能设备从所述摄像头获取的所述提问区域图像中解析出提问内容，并获取所述提问内容对应的解答内容；

所述智能设备根据所述解答内容生成三维投影信息，并通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像；

还包括步骤：

所述智能设备上的视线检测装置采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；包括：通过视线检测装置包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。

2.根据权利要求1所述的一种基于智能设备的三维投影交互方法，其特征在于，还包括步骤：

所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作。

3.根据权利要求2所述的一种基于智能设备的三维投影交互方法，其特征在于，所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域，此步骤具体包括：

当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

4.根据权利要求1-3中任一项所述的一种基于智能设备的三维投影交互方法，其特征在于，还包括步骤：

所述智能设备分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，并记录形成历史提问记录；

所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

5.一种智能设备，其特征在于，包括：

摄像模块，用于当智能设备监听到用户的语音信息中含有提问信号时，所述智能设备通过摄像头获取提问区域图像；

解析模块，与所述摄像模块电连接，用于灯具从所述摄像头获取的所述提问区域图像中解析出提问内容；

答案获取模块，与所述解析模块电连接，用于获取所述提问内容对应的解答内容；

投影信息生成模块，与所述答案获取模块电连接，用于根据所述解答内容生成三维投影信息；

投影模块，与所述投影信息生成模块电连接，用于通过投影部件将所述三维投影信息投射至预设投影区域，在所述预设投影区域生成三维投影信息对应的三维图像；

所述智能设备还包括：

视线检测装置，还用于采集用户的眼睛图像，并根据所述眼睛图像检测出用户的视线方向，然后在所述视线方向上确定预设投影区域；包括：通过视线检测装置包括拍摄单元，用于拍摄用户的眼睛图像并得到其变焦值，该拍摄单元具有变焦功能；角膜确定单元，其从眼睛图像中辨别角膜图像；基点指定单元，其基于所述角膜图像来指定用户的眼球中心，并且将在对象与从眼球中心到对象的垂线之间的交点指定为基点；距离测量单元，其指定指示角膜的图像的预定大小的变焦值，并且基于该变焦值来指定从角膜到对象的距离；视线移动量指定单元，其基于角膜图像的移动量来指定角膜的移动量，并且基于角膜的移动量和从角膜到对象的距离来指定在对象上的视线移动量；以及关注点指定单元，其基于基准点和视线移动量来指定关注点，从而确定出用户的视线方向。

6.根据权利要求5所述的一种智能设备，其特征在于：

所述智能设备包括智能台灯，所述摄像模块和所述投影模块设置在所述智能台灯的头部，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座；

或；所述智能设备包括智能壁灯，所述摄像模块和所述投影模块设置在所述智能壁灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域；

或；所述智能设备包括智能吊灯，所述摄像模块和所述投影模块设置在所述智能吊灯上，且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域。

7.根据权利要求5所述的一种智能设备，其特征在于，所述智能设备还包括：

图像编辑模块，用于所述智能设备解析用户在所述三维图像上的编辑操作，对所述三维投影信息进行编辑，并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域；

所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作，图像添加操作、图像删除操作；

所述图像编辑模块，还用于当触碰所述三维图像上任意点的时间达到第一预设时间时，或当触碰所述三维图像上任意至少三点时，所述智能设备解析所述编辑操作为图像拖动操作，并根据用户的图像拖动操作对三维图像进行拖动；

所述图像编辑模块，还用于当触碰所述三维图像上任意点的时间达到第二预设时间时，所述智能设备解析所述编辑操作为图像旋转操作，并根据用户的图像旋转操作对三维图像进行旋转。

8.根据权利要求5-7中任一项所述的一种智能设备，其特征在于，所述智能设备还包括：

分析模块，用于分析所述提问内容，得到所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点；

记录模块，与所述分析模块电连接，用于记录所述提问内容，所述提问内容所属的学科，所述提问内容所属学科的具体章节，以及所述提问内容所属章节的具体知识点，形成历史提问记录；

报告生成模块，与所述记录模块电连接，所述智能设备根据预设时段内的历史提问记录，生成不同学科的学习评价报告，和/或每一学科中不同章节的学习评价报告，和/或每一学科的每一章节中不同知识点的学习评价报告。

Images