CN109272997A - 一种智能设备及其投影交互方法 - Google Patents

一种智能设备及其投影交互方法 Download PDF

Info

Publication number
CN109272997A
CN109272997A CN201811015620.7A CN201811015620A CN109272997A CN 109272997 A CN109272997 A CN 109272997A CN 201811015620 A CN201811015620 A CN 201811015620A CN 109272997 A CN109272997 A CN 109272997A
Authority
CN
China
Prior art keywords
smart machine
projection
question
subject
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811015620.7A
Other languages
English (en)
Inventor
杨昊民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201811015620.7A priority Critical patent/CN109272997A/zh
Publication of CN109272997A publication Critical patent/CN109272997A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067Combinations of audio and projected visual presentation, e.g. film, slides
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

本发明提供了一种智能设备及其投影交互方法,当用户遇到困难时,可以指向所问问题内容,向智能设备询问解答内容,智能设备识别出用户的语音信息中含有提问信息时,会通过摄像模块获取提问区域图像;然后从所述摄像模块获取的所述提问区域图像中解析出提问内容,同时获取所述提问内容对应的解答内容;接下来智能设备根据所述提问内容,分析得到所述提问内容所属学科类型;再根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。本发明在智能设备上集成了获取问题、解答问题、显示解答内容等功能,智能设备可根据提问内容所属的学科类型,选择不同的投影方式进行投影,使投影的内容更加符合投影的方式。

Description

一种智能设备及其投影交互方法
技术领域
本发明涉及智能学习产品领域,尤指一种智能设备及其投影交互方法。
背景技术
当前环境下,我国学生的学习压力普遍比较大,每天都有成堆的作业需要完成。学生在完成作业时,时常会遇到各种各样的问题,例如生字不会读,算数不会做,这种情况下需要及时进行辅导。但是很多家长碍于工作压力,根本无法辅导孩子完成课后作业,导致很多孩子学习成绩下降。
随着科学技术的发展,市面上出现了电子设备,例如手机、平板电脑、学习平板等,帮助学生解决作业中遇到的问题。一种方式是利用电子设备对着书本拍摄照片后,搜索出问题的答案;另一种方式是对着电子设备说出问题,搜索出问题的答案。
以上帮助学生解决作业问题的方式,存在以下缺陷:(一)脱离学生的作业场景,在额外的智能设备上进行查询和查看;(二)脱离不了手机、平板电脑等智能设备,学生会以作业为由借机玩手机或平板电脑,耽误学习;(三)在对着电子设备说出问题时,若学生表达不清楚的问题,则没办法帮助学生解决作业问题。
本发明为了在学生遇到学习困难时提供及时的帮助,让学生遇到困难时完成自主学习,因而提供了一种智能设备及其投影交互方法。
发明内容
本发明的目的是提供一种智能设备及其投影交互方法,可根据提问内容所属的学科类型,选择不同的投影方式进行投影,使投影的内容更加符合投影的方式。
本发明提供的技术方案如下:
本发明提供了一种智能设备的投影交互方法,包括步骤:
当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像;
所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容,并获取所述提问内容对应的解答内容;
所述智能设备根据所述提问内容,分析得到所述提问内容所属学科类型;
所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
本方案结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。本方案中,当智能设备获取到解答内容后,以投影的方式将解答内容投射出来,不需要外接显示屏幕或者在灯具上增设显示屏幕,增加应用的广泛性。同时只能灯具可针对不同的学科类型,选择更佳的投影方式投影。
优选的,所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域,此步骤具体包括:
当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
本方案中,当提问内容所属学科类型为几何类型或者实验类型时,由于其对应的解答内容也含有立体几何图形以及一些实验器材(如滴管、试管、托盘等),若是以平面的投影方式进行投影,可能会使解答内容不容易理解,达不到解答的效果,此时,本发明中的智能设备会以三维的投影方式进行投影,使投影的解答内容更容易理解;而当提问内容所属的学科类型为文史类型时,由于只是平面内容,智能设备则会以二维的投影方式进行投影,使投影的内容与投影的方式相对应。
优选的,还包括步骤:
所述智能设备判断所述解答内容中是否含有三维显示信息;
若所述解答内容中含有所述三维显示信息,所述智能设备则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
若所述解答内容中不含有所述三维显示信息,所述智能设备则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
本方案中,智能设备在获取到解答内容后,会判断解答内容中是否含有三维显示信息(例如几何图形、实验道具、地理图像等),若有三维投影信息,智能设备则以三维投影方式进行投影,若没有,则按照平面投影方式进行投影。本方案通过对解答内容进行分析,选择不同的投影方式进行投影,能够使投影出的图像更加契合解答内容,使投影出的图像更加生动形象,学生更能直观地了解解答内容。
优选的,还包括步骤:
当所述智能设备通过投影部件,以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
本方案中,考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作,同时为了使学生更加完整、全面地查看投影出的几何图形,本方案在以三维投影方式进行投影时增加了编辑操作,用户可以在投影出来的三维图像上进行相应的编辑,以此来更好地了解学习内容。
优选的,当智能设备识别用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像,此步骤之前还包括步骤:
智能设备监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
若所述智能设备检测出所述语音信息中含有所述题号关键词,则开启所述摄像模块;
所述智能设备通过摄像模块获取提问区域图像具体包括:
所述智能设备根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块获取所述目标位置的提问区域图像。
本方案中,智能设备可监听用户的语音信息,当用户的语音信息含有题号关键词时,即通过摄像模块获取相应的提问区域图像。例如,用户可以说:“第五题怎么做?”当智能设备监听到这句话时,可提取出题号关键词,并通过图像识别技术识别到第五题的位置,获取第五题的图像作为提问区域图像。通过这种方式,智能设备能够非常准确地获取用户想要提出的问题,同时,在识别出用户的语音信息中含有提问信息时,再开启摄像模块,而不是实时开启摄像模块,能够减小摄像模块的功耗。
本发明还提供了一种智能设备,包括:
摄像模块,用于当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像;
解析模块,与所述摄像模块电连接,用于从所述摄像模块获取的所述提问区域图像中解析出提问内容;
答案获取模块,与所述解析模块电连接,用于获取所述提问内容对应的解答内容;
分析模块,与所述解析模块电连接,用于根据所述提问内容,分析得到所述提问内容所属学科类型;
投影模块,分别与所述答案获取模块、所述分析模块电连接,用于根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
本方案结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。本方案中,当智能设备获取到解答内容后,以投影的方式将解答内容投射出来,不需要外接显示屏幕或者在灯具上增设显示屏幕,增加应用的广泛性。同时只能灯具可针对不同的学科类型,选择更佳的投影方式投影。
优选的,所述投影模块,还用于当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
所述投影模块,还用于当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
本方案中,当提问内容所属学科类型为几何类型或者实验类型时,由于其对应的解答内容也含有立体几何图形以及一些实验器材(如滴管、试管、托盘等),若是以平面的投影方式进行投影,可能达不到解答的效果,此时,本发明中的智能设备会以三维的投影方式进行投影;而当提问内容所属的学科类型为文史类型时,由于只是平面内容,智能设备则会以二维的投影方式进行投影。
优选的,所述智能设备还包括:
判断模块,用于判断所述解答内容中是否含有三维显示信息;
所述投影模块,还与所述判断模块电连接,用于若所述解答内容中含有所述三维显示信息,则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
所述投影模块,还用于若所述解答内容中不含有所述三维显示信息,则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
本方案中,智能设备在获取到解答内容后,会判断解答内容中是否含有三维显示信息(例如几何图形、实验道具、地理图像等),若有三维投影信息,智能设备则以三维投影方式进行投影,若没有,则按照平面投影方式进行投影。本方案通过对解答内容进行分析,选择不同的投影方式进行投影,能够使投影出的图像更加契合解答内容,使投影出的图像更加生动形象,学生更能直观地了解解答内容。
优选的,所述智能设备还包括:
图像编辑模块,用于当所述投影模块以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
本方案中,考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作,同时为了使学生更加完整、全面地查看投影出的几何图形,本方案在以三维投影方式进行投影时增加了编辑操作,用户可以在投影出来的三维图像上进行相应的编辑,以此来更好地了解学习内容。
优选的,所述智能设备还包括:
语音检测模块,用于监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
所述语音检测模块,还用于若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
所述摄像模块,还用于根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块获取所述目标位置的提问区域图像。
本方案中,智能设备可监听用户的语音信息,当用户的语音信息含有题号关键词时,即通过摄像模块获取相应的提问区域图像。例如,用户可以说:“第五题怎么做?”当智能设备监听到这句话时,可提取出题号关键词,并通过图像识别技术识别到第五题的位置,获取第五题的图像作为提问区域图像。通过这种方式,智能设备能够非常准确地获取用户想要提出的问题,同时,在识别出用户的语音信息中含有提问信息时,再开启摄像模块,而不是实时开启摄像模块,能够减小摄像模块的功耗。
优选的,所述智能设备包括智能台灯,所述摄像模块和所述投影模块设置在所述智能台灯的头部,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座一侧;
或;所述智能设备包括智能壁灯,所述摄像模块和所述投影模块设置在所述智能壁灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧;
或;所述智能设备包括智能吊灯,所述摄像模块和所述投影模块设置在所述智能吊灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧。
通过本发明提供的一种智能设备及其投影交互方法,能够带来以下至少一种有益效果:
本发明为了在学生遇到学习困难时,能够提供及时的帮助,在智能设备上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,只需指着不懂的问题说:“这道题怎么做”,智能设备即可采集提问区域图像,然后通过图像分析技术获取问题内容,再通过知识库获取解答内容,并根据提问内容所述学科的不同,以不同的投影方式将解答的内容投射出来,供学生学习参考。由此,智能设备投影出来的图像更加符合学科特性,例如在投影几何内容时即可通过三维投影方式进行投影,在投影文字内容时即可通过平面投影方式进行投影。另外,智能台灯担任了辅导一职,为学生提供学习帮助的同时,也减少了家长的负担。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种智能设备及其投影交互方法的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种智能设备的投影交互方法的一个实施例的流程图;
图2是本发明一种智能设备的投影交互方法的另一个实施例的流程图;
图3是本发明一种智能设备的投影交互方法的另一个实施例的流程图;
图4是本发明一种智能设备的一个实施例的结构示意图;
图5是本发明一种智能设备的另一个实施例的结构示意图;
图6是一种智能设备的结构示意图。
附图标号说明:
1-摄像模块、2-解析模块、3-答案获取模块、4-投影信息生成模块、5-投影模块、6-语音检测模块、7-控制模块、8-记录模块、9-查找模块、10-判断模块、11-图像编辑模块、12-分析模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
如图1所示,本发明提供了一种智能设备的投影交互方法的一个实施例,包括:
S1当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像;
本发明中的摄像模块可以为摄像头,可安装在智能设备上,智能设备包括智能台灯、智能吊灯、智能壁灯等等,可安装在书桌附近,使智能设备能够通过安装在本体上的摄像模块获取到书桌上书本的图像信息。
学生在学习时,若有遇到不清楚或者不会做的题目,可用手指向不会的题目,然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备会实时采集用户的语音信息,将语音信息转化问文本信息,然后判断是否有提问关键词(如“怎么做”、“如何做”、“如何说”等),当智能设备识别出用户的语音信息中含有提问关键词时,会分析摄像头采集到的图像,通过图像识别技术识别出手的轮廓以及手指的指向,并在手指指向区域上查找出用户想要询问的题目所在的区域,将此区域的图像作为提问区域图像。
S2所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容,并获取所述提问内容对应的解答内容;
具体的,智能设备中可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片),可对提问区域图像进行识别,解析出图文区域图像中的提问内容,如“第四题、小明买了5斤苹果,每斤苹果3元钱,小明一共需要付多少钱?”。智能设备可根据提问内容,在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。
智能设备从知识库中获取提问内容对应的解答内容时,可通过提问内容的题号、或者提问内容所在页的页码,或者提问内容所在页面的位置,匹配出相应的书籍,然后查找这一书籍中所述提问内容对应的解答内容即可。
S3所述智能设备根据所述提问内容,分析得到所述提问内容所属学科类型;
智能终端可对提问内容进行语义理解,分析出所述提问内容所属的学科类型;也可通过提问内容中的学科关键词进行学科的匹配,例如,若题目中出现化学式时,可判断出提问内容为化学类别,若题目中出现大量英文时,可判断出提问内容为英语类别;再或者,也可以通过提问内容的题号,或者提问内容所在页的页码,或者提问内容所在页面的位置,匹配出相应的书籍,然后根据此书籍所述的学科类别,确定出提问内容的学科类别。
S4所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
具体的,本实施例为了使投影的方式更加符合提问内容所属学科的特性,在投影时会自动选择相应的投影方式进行投影。例如,当提问内容所属的学科为英语时,由于英语都是文字型答案,因此用平面投影的方式进行投影能够达到更好的观看效果;而当提问内容所属的学科为几何学时,由于几何图形是立体图形,若是以平面投影方式进行投影,会对学生理解答案造成一定的困难,达不到为学生提供解题的目的;而以三维投影方式进行投影,学生可以从不同角度对投影出来的三维几何图形进行理解,使遇到的问题更加容易解答。再例如,当提问内容所属学科为地理时,由于地理上很多都是关于山地、海洋、气候等研究,若是以平面投影方式来投射解答内容,可能无法让学生有直观的体验。如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时,若是以平面投影方式投影相关的图片,学生可能并不能完全理解各类地形地貌的特色,从而不容易区分不同地形地貌,而以三维投影方式来投射解答内容,学生能够从不同的角度对各种地貌进行观察,更容易区分不同地形地貌的特征。
投影时,可通过图像识别技术,从摄像模块采集的图像信息中检测出一桌面区域,将这一区域作为预设投影区域。为了在投影时产生更好的投影效果,还可配套增加一块投影板,学生在学习时,可将投射板放置在书桌上,摄像头可通过图像识别技术自动识别出投射板的位置,同时调整投射模块的投射方向,将图像投射至投影板上。
综上所述,本方案结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。本方案中,当智能设备获取到解答内容后,以投影的方式将解答内容投射出来,不需要外接显示屏幕或者在灯具上增设显示屏幕,增加应用的广泛性。同时只能灯具可针对不同的学科类型,选择更佳的投影方式投影。
如图2所示,本发明提供了一种智能设备的投影交互方法的另一个实施例,包括:
S011智能设备监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
当学生在学习或做题的过程中遇到问题时,可说:“第一题怎么做”等类似提问语。智能设备中的语音检测模块包括麦克风,可获取用户的语音信息,在获取到用户的语音信息后,语音检测模块会将用户的语音信息转换为文本信息;然后判断文本信息中是否含有题号关键词(例如“第一题”、“思考题”等关键词)。
S012若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
S013若所述智能设备检测出所述语音信息中含有所述题号关键词,并开启所述摄像模块;
本方案中并非实时开启摄像模块,而是在满足特定条件下才开启摄像模块,降低了摄像模块的能耗。
S11所述智能设备根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块获取所述目标位置的提问区域图像。
具体的,识别提问区域图像可分为两大步骤:1、首先通过摄像头采集到的图像中检测出书本的界面图像;2、在书本的界面图像中识别出题号关键词对应题号的目标位置,并将目标位置的图像作为提问区域图像。
为了更好地识别出桌面上的书本,可训练书本识别模型,本实施例以训练Unet分割模型为例。将基于tensorflow深度学习框架,构建Unet分割网络。为了降低分割网络的大小,提升分割网络的效率,修改现有的轻量化mobilenet_v2网络结构,将其用于unet网络编码部分,unet解码部分使用简单的卷积神经网络。
训练前可采集多种单一桌面图像,以及多种单一书本图像,将每一张单一桌面图像和每一张单一书本图像进行多样组合(例如将单一书本图像放置于单一书本图像上的不同位置),得到若干单一书本图像和单一桌面图像的组合图像,然后将若干组合图像以4:1分为训练集和验证集,将训练集通过Unet分割网络进行训练,当Unet网络在训练集和测试集上的IOU(分割网络的标准度量)值都大于0.95时,得到Unet分割模型。
当摄像头获取桌面图像后,通过Unet分割模型对桌面图像进行二值分割,得到桌面图像的二值分割图,并从桌面图像的二值分割图中提取出书本的边缘,从而确定出书本的位置,从桌面图像中获取到书本的界面图像。
在界面图像中,可通过图像识别技术,查找到每一个题目的题号,然后根据题号关键词查找到相应题目的目标位置即可,从而获取到题号关键词对应题号的提问区域图像。
S2所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容,并获取所述提问内容对应的解答内容;
本实施例中,智能设备从提问区域图像中解析出提问内容后,可将提问内容发送至服务器,在服务器端可预先储存知识库,服务器会根据提问内容,在知识库中查找相应的解答内容,并将解答内容返回到智能设备,本技术方案中,智能设备上不需要储存知识库的相关数据,降低了对智能设备储存器的要求,从而减少了智能设备的制造成本。
S3所述智能设备根据所述提问内容,分析得到所述提问内容所属学科类型;
S4所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
优选的,所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域,此步骤具体包括:当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
S5当所述智能设备通过投影部件,以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
具体的,考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作,在做实验题时,经常需要将多种器材进行组合,同时为了使学生更加完整、全面地查看投影出的几何图形,做实验时能够有更加直观的体验,本方案在以三维投影方式进行投影时增加了编辑操作,用户可以在投影出来的三维图像上进行相应的编辑,以此来更好地了解学习内容。
例如,当触碰所述三维图像上任意点的时间达到第一预设时间时,或当触碰所述三维图像上任意至少三点时,所述智能设备解析所述编辑操作为图像拖动操作,并根据用户的图像拖动操作对三维图像进行拖动;
当触碰所述三维图像上任意点的时间达到第二预设时间时,所述智能设备解析所述编辑操作为图像旋转操作,并根据用户的图像旋转操作对三维图像进行旋转。
当触碰所述三维图像上任意两点,并且两个触碰点距离缩小时,所述智能设备解析所述编辑操作为图像缩小操作;当触碰所述三维图像上任意两点,并且两个触碰点距离变大时,所述智能设备解析所述编辑操作为图像放大操作;
当触碰所述三维图像上任一点的时间达到第四预设时间,并且触碰点移动距离大于预设距离时,所述智能设备解析所述编辑操作为作图操作;
当用户用手抓取所述三维图像中的某一图形时,所述智能设备解析出所述编辑操作为图像删除操作;而当智能设备的语音检测模块监听到用户的语音信息中包含图形添加信息时,则在三维图像中添加所述图形添加信息对应的图形,例如用户说“添加圆柱”,智能设备在监听到这句话时,即可通过语义理解,分析出需要添加“圆柱体”这一图形,并投影出圆柱体。
综上所述,本实施例中结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。
本实施例中,学生在做题遇到困难时,只需要说出不会的题号即可,智能设备即可通过图像分析技术识别出用户想要询问的问题,并获取到相应的解答内容。
智能设备获取到解答内容后,以投影的方式将解答内容投射出来,不需要外接显示屏幕或者在灯具上增设显示屏幕,增加应用的广泛性。同时只能灯具可针对不同的学科类型,选择更佳的投影方式投影。
同时本实施例考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作。为了使学生更加完整、全面地查看投影出的几何图形以及其他三维效果图,更好地理解解答内容,本方案在以三维投影方式进行投影时增加了编辑操作,用户可以在投影出来的三维图像上进行相应的编辑,以此来更好地了解学习内容。
如图3所示,本发明提供了一种智能设备的投影交互方法的另一个实施例,包括步骤:
S021智能设备监听用户的语音信息,并检测所述语音信息中是否含有提问关键词;
当学生在学习或做题的过程中遇到问题时,可用手指向不懂的题目,然后说:“这道题如何做”或“第一题怎么做”等类似提问语。智能设备中的语音检测模块包括麦克风,可获取用户的语音信息,同时将用户的语音信息转换为文本信息;然后判断文本信息中是否含有提问关键词(例如“怎么做”、“如何做”等关键词)。
S022若所述智能设备检测出所述语音信息中不含有提问关键词,则继续监听用户的语音信息;
S023若所述智能设备检测出所述语音信息中含有所述提问关键词,则开启摄像模块;在打开摄像模块后,以检测到书本的边缘为界,获取书本的界面图像;
所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容,并获取所述提问内容对应的解答内容;
S61所述智能设备判断所述解答内容中是否含有三维显示信息;
例如,可在编辑程序时,引入判断:当所述解答内容中包含几何图形、实验器材、地理信息等需要进行三维显示的信息时,即判断出所述解答内容中含有三维显示信息。
S62若所述解答内容中含有所述三维显示信息,所述智能设备则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
S63若所述解答内容中不含有所述三维显示信息,所述智能设备则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
本实施例可根据解答内容选择不同的投影方式,提高投影的效果。例如,当解答内容中含有三维几何图形、实验器材等三维显示信息时,由于几何图形是立体图形,若是以平面投影方式进行投影,会对学生理解答案造成一定的困难,达不到为学生提供解题的目的,以三维投影方式进行投影,学生可以从不同角度对投影出来的三维几何图形进行理解,使遇到的问题更加容易解答。而当解答内容为文字、公式时等二维显示信息时,因此用平面投影的方式进行投影能够达到更好的观看效果。
优选的,本发明还包括步骤:所述智能设备记录所述问题内容形成提问记录,并在历史提问记录中查找是否存在与所述问题内容近似的提问记录;若在历史提问记录中存在与所述问题内容相似的提问记录,则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。
具体的,智能设备会将用户所提问题进行记录,形成提问记录,当用户后续再问到相似的问题时,可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”,而用户以前也问过“‘更上一层楼’的上一句是____”,那么,智能设备在给用户投影解答信息后,会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域,加深用户对相似知识点的认知。
本发明还提供了一种智能设备的一个实施例,如图4所示,所述智能设备包括:
摄像模块1,用于当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块1获取提问区域图像;
解析模块2,与所述摄像模块1电连接,用于从所述摄像模块1获取的所述提问区域图像中解析出提问内容;
答案获取模块3,与所述解析模块2电连接,用于获取所述提问内容对应的解答内容;
分析模块12,与所述解析模块2电连接,用于根据所述提问内容,分析得到所述提问内容所属学科类型;
投影模块5,分别与所述答案获取模块3、所述分析模块12电连接,用于根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
具体的,本发明中的摄像模块1可以为摄像头,可安装在智能设备上,智能设备包括智能台灯、智能吊灯、智能壁灯等等,可安装在书桌附近,使智能设备能够通过安装在本体上的摄像模块1获取到书桌上书本的图像信息。
学生在学习时,若有遇到不清楚或者不会做的题目时,可用手指向不会的题目,然后说“这道题怎么做”或“第一题怎么做”等类似提问语。智能设备上的麦克风会实时采集用户的语音信息,将语音信息转化问文本信息,然后判断是否有提问关键词(如“怎么做”、“如何做”、“如何说”等),当智能设备识别出用户的语音信息中含有提问关键词时,会分析摄像头采集到的图像,通过图像识别技术识别出手的轮廓以及手指的指向,并在手指指向区域上查找出用户想要询问的题目所在的区域,并将此区域的图像作为提问区域图像。
具体的,智能设备中的解析模块2可集成有图像处理芯片(例如FH8510图像处理芯片或者FMS6502图像处理芯片),可对提问区域图像进行识别,解析出图文区域图像中的提问内容,如“第四题、小明买了5斤苹果,每斤苹果3元钱,小明一共需要付多少钱?”。智能设备可根据提问内容,在预先储存的知识库中查找出提问内容对应的解答内容(包括题目解析、详细的解答步骤等)。
智能设备中的答案获取模块3从知识库中获取提问内容对应的解答内容时,可通过提问内容的题号、或者提问内容所在页的页码,或者提问内容所在页面的位置,匹配出相应的书籍,然后通过查找这一书籍中所述提问内容对应的解答内容即可。
智能终端可对提问内容进行语义理解,分析出所述提问内容所属的学科类型;也可通过提问内容中的学科关键词进行学科的匹配,例如,若题目中出现化学式时,可判断出提问内容为化学类别,若题目中出现大量英文时,可判断出提问内容为英语类别;再或者,也可以通过提问内容的题号,或者提问内容所在页的页码,或者提问内容所在页面的位置,匹配出相应的书籍,然后根据此书籍所述的学科类别,确定出提问内容的学科类别。
智能设备上可设有投影模块5,如微型投影器等。本实施例为了使投影的方式更加符合提问内容所属学科的特性,在投影时会自动选择相应的投影方式进行投影。例如,当提问内容所属的学科为英语时,由于英语都是文字型答案,因此用平面投影的方式进行投影能够达到更好的观看效果;而当提问内容所属的学科为几何学时,由于几何图形是立体图形,若是以平面投影方式进行投影,会对学生理解答案造成一定的困难,达不到为学生提供解题的目的,以三维投影方式进行投影,学生可以从不同角度对投影出来的三维几何图形进行理解,使遇到的问题更加容易解答。再例如,当提问内容所属学科为地理时,由于地理上很多都是关于山地、海洋、气候等研究,若是以平面投影方式来投射解答内容,可能无法让学生有直观的体验,如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时,若是以平面投影方式投影相关的图片,学生可能并不能完全理解各类地形地貌的特色,从而不容易区分不同地形地貌,而以三维投影方式来投射解答内容,用户能够从不同的角度对各种地貌进行观察,更容易区分不同地形地貌的特征。
投影时,可通过图像识别技术,从摄像模块1采集的图像信息中检测出一桌面区域,将这一区域作为预设投影区域。为了在投影时产生更好的投影效果,还可配套增加一块投影板,学生在学习时,可将投射板放置在书桌上,摄像头可通过图像识别技术自动识别出投射板的位置,同时调整投射模块的投射方向,将图像投射至投影板上。
综上所述,本方案结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。本方案中,当智能设备获取到解答内容后,以投影的方式将解答内容投射出来,不需要外接显示屏幕或者在灯具上增设显示屏幕,增加应用的广泛性。同时只能灯具可针对不同的学科类型,选择更佳的投影方式投影。
如图5所示,本发明提供了一种智能设备的另一个实施例,包括:
语音检测模块6,用于监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
所述语音检测模块6,还用于若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
控制模块7,用于与所述语音检测模块6电连接,用于当所述语音检测模块6识别出用户的语音信息中含有题号关键词时,开启所述摄像模块1;
所述摄像模块1,用于根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块1获取所述目标位置的提问区域图像。
解析模块2,与所述摄像模块1电连接,用于从所述摄像模块1获取的所述提问区域图像中解析出提问内容;
答案获取模块3,与所述解析模块2电连接,用于获取所述提问内容对应的解答内容;
分析模块12,与所述解析模块2电连接,用于根据所述提问内容,分析得到所述提问内容所属学科类型;
投影模块5,分别与所述答案获取模块3、所述分析模块12电连接,用于根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
优选的,所述投影模块5,还用于当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;所述投影模块5,还用于当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
投影信息生成模块4,与所述答案获取模块、所述投影模块电连接,用于在投影模块5进行投影前,将解答信息生成相应的投影信息。当提问内容所属的学科类型为几何类型或实验类型时,将解答内容生成三维投影信息;以便所述投影模块5根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
当提问内容所属的学科类型为文史类型时,将解答内容生成平面投影信息;以便所述投影模块5根据所述解答内容生成平面投影信息,以平面投影方式将所述三维投影信息投射至预设投影区域;
图像编辑模块11,用于当所述投影模块5以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
当学生在学习或做题的过程中遇到问题时,可说:“第一题怎么做”等类似提问语。智能设备中的语音检测模块6包括麦克风,可获取用户的语音信息,在获取到用户的语音信息后,语音检测模块6会将用户的语音信息转换为文本信息;然后判断文本信息中是否含有题号关键词(例如“第一题”、“思考题”等关键词)。
若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;若所述智能设备检测出所述语音信息中含有所述题号关键词,则开启所述摄像模块1;本方案中并非实时开启摄像模块1,而是在满足特定条件下才开启摄像模块1,降低了摄像模块1的能耗。
具体的,识别提问区域图像可分为两大步骤:1、首先通过摄像头采集到的图像中检测出书本的界面图像;2、在书本的界面图像中识别出题号关键词对应题号的目标位置,并将目标位置的图像作为提问区域图像。
为了更好地识别出桌面上的书本,可训练书本识别模型,本实施例以训练Unet分割模型为例。将基于tensorflow深度学习框架,构建Unet分割网络。为了降低分割网络的大小,提升分割网络的效率,修改现有的轻量化mobilenet_v2网络结构,将其用于unet网络编码部分,unet解码部分使用简单的卷积神经网络。
训练前可采集多种单一桌面图像,以及多种单一书本图像,将每一张单一桌面图像和每一张单一书本图像进行多样组合(例如将单一书本图像放置于单一书本图像上的不同位置),得到若干单一书本图像和单一桌面图像的组合图像,然后将若干组合图像以4:1分为训练集和验证集,将训练集通过Unet分割网络进行训练,当Unet网络在训练集和测试集上的IOU(分割网络的标准度量)值都大于0.95时,得到Unet分割模型。
当摄像头获取桌面图像后,通过Unet分割模型对桌面图像进行二值分割,得到桌面图像的二值分割图,并从桌面图像的二值分割图中提取出书本的边缘,从而确定出书本的位置,从桌面图像中获取到书本的界面图像。
在界面图像中,可通过图像识别技术,查找到每一个题目的题号,然后根据题号关键词查找到相应题目的目标位置即可,从而获取到题号关键词对应题号的提问区域图像。
本实施例中,智能设备从提问区域图像中解析出提问内容后,可将提问内容发送至服务器,在服务器端可储存有知识库,服务器会根据提问内容,在知识库中查找相应的解答内容,并将解答内容返回到智能设备,本技术方案中,智能设备上不需要储存知识库的相关数据,降低了对智能设备储存器的要求,从而减少了智能设备的制造成本。
考虑学生在做几何题时会经常有作图、连辅助线、添加其他图形等操作,在做实验题时,经常需要将多种器材进行组合,同时为了使学生更加完整、全面地查看投影出的几何图形,做实验时能够有更加直观的体验,本方案在以三维投影方式进行投影时增加了编辑操作,用户可以在投影出来的三维图像上进行相应的编辑,以此来更好地了解学习内容。
例如,当触碰所述三维图像上任意点的时间达到第一预设时间时,或当触碰所述三维图像上任意至少三点时,所述智能设备解析所述编辑操作为图像拖动操作,并根据用户的图像拖动操作对三维图像进行拖动;
当触碰所述三维图像上任意点的时间达到第二预设时间时,所述智能设备解析所述编辑操作为图像旋转操作,并根据用户的图像旋转操作对三维图像进行旋转。
当触碰所述三维图像上任意两点,并且两个触碰点距离缩小时,所述智能设备解析所述编辑操作为图像缩小操作;当触碰所述三维图像上任意两点,并且两个触碰点距离变大时,所述智能设备解析所述编辑操作为图像放大操作;
当触碰所述三维图像上任一点的时间达到第四预设时间,并且触碰点移动距离大于预设距离时,所述智能设备解析所述编辑操作为作图操作;
当用户用手抓取所述三维图像中的某一图形时,所述智能设备解析出所述编辑操作为图像删除操作;而当智能设备的语音检测模块6监听到用户的语音信息中包含图形添加信息时,则在三维图像中添加所述图形添加信息对应的图形,例如用户说“添加圆柱体”,智能设备在监听到这句话时,即可通过语义理解,分析出需要添加“圆柱体”这一图形。
综上所述,本实施例中结合了学生学习时所用的必需品——灯具,在灯具上集成了获取问题、解答问题、显示解答内容等功能,在学生学习遇到困难时,能够及时为学生提供帮助。
本发明还提供了一种智能设备的另一个实施例,包括:
语音检测模块6,用于监听用户的语音信息,并检测所述语音信息中是否含有提问关键词;
所述语音检测模块6,还用于若所述智能设备检测出所述语音信息中不含有提问关键词,则继续监听用户的语音信息;
控制模块7,与所述语音检测模块6电连接,用于当识别出所述语音信息中含有提问关键词时,开启摄像模块1。
摄像模块1,用于当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块1获取提问区域图像;
解析模块2,与所述摄像模块1电连接,用于从所述摄像模块1获取的所述提问区域图像中解析出提问内容;
答案获取模块3,与所述解析模块2电连接,用于获取所述提问内容对应的解答内容;
判断模块10,用于判断所述解答内容中是否含有三维显示信息;
所述投影模块5,还与所述判断模块10电连接,用于若所述解答内容中含有所述三维显示信息,则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
所述投影模块5,还用于若所述解答内容中不含有所述三维显示信息,则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
例如,可在编辑程序时,引入判断:当所述解答内容中包含几何图形、实验器材、地理信息等需要进行三维显示的信息时,即判断出所述解答内容中含有三维显示信息本实施例可根据解答内容选择不同的投影方式,提高了投影的效果。例如,当提问内容所属的学科为英语时,由于英语都是文字型答案,因此用平面投影的方式进行投影能够达到更好的观看效果;而当提问内容所属的学科为几何学时,由于几何图形是立体图形,若是以平面投影方式进行投影,会对学生理解答案造成一定的困难,达不到为学生提供解题的目的,以三维投影方式进行投影,学生可以从不同角度对投影出来的三维几何图形进行理解,使遇到的问题更加容易解答。再例如,当提问内容所属学科为地理时,由于地理上很多都是关于山地、海洋、气候等研究,若是以平面投影方式来投射解答内容,可能无法让学生有直观的体验,如学生在理解喀斯特地貌、丹霞地貌、海岸地貌、冰川地貌等地形时,若是以平面投影方式投影相关的图片,学生可能并不能完全理解各类地形地貌的特色,从而不容易区分不同地形地貌,而以三维投影方式来投射解答内容,用户能够从不同的角度对各种地貌进行观察,更容易区分不同地形地貌的特征。
优选的,所述智能设备还包括:
记录模块8,用于记录所述问题内容形成提问记录;
查找模块9,与所述记录模块8电连接,用于在历史提问记录中查找是否存在与所述问题内容近似的提问记录;
所述投射模块,与所述查找模块9电连接,还用于若在历史提问记录中存在与所述问题内容相似的提问记录,则将所述相似的提问记录对应的提问内容以及解答内容投射至所述预设投影区域。
具体的,智能设备会将用户所提问题进行记录,形成提问记录,当用户后续再问到相似的问题时,可将相近的问题以及解答内容推送给用户。例如当用户所闻的问题内容为“‘百日依山尽’的下一句是____”,而用户以前也问过“‘更上一层楼’的上一句是____”,那么,智能设备在给用户投影解答信息后,会将相似的提问记录对应的提问内容以及解答内容都投射到预设投影区域,加深用户对相似知识点的认知。
所述智能设备包括智能台灯,所述摄像模块和所述投影模块设置在所述智能台灯的头部,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座;或;所述智能设备包括智能壁灯,所述摄像模块和所述投影模块设置在所述智能壁灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域;或;所述智能设备包括智能吊灯,所述摄像模块和所述投影模块设置在所述智能吊灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域。
如图6所示,本发明提供了一种智能台灯的示意图,所述智能台灯本体包括台灯底座、连接杆、台灯头部;所述摄像头设置在所述台灯头部,且所述摄像头的摄像方向朝向所述台灯底座一侧;所述麦克风和扬声器分别设置在所述台灯底座上。学生学习遇到困难时,可通过上述实施例中智能设备的辅助学习功能,完成自主学习。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种智能设备的投影交互方法,其特征在于,包括步骤:
当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像;
所述智能设备从所述摄像模块获取的所述提问区域图像中解析出提问内容,并获取所述提问内容对应的解答内容;
所述智能设备根据所述提问内容,分析得到所述提问内容所属学科类型;
所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
2.根据权利要求1所述的一种智能设备的投影交互方法,其特征在于,所述智能设备根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域,此步骤具体包括:
当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
3.根据权利要求1所述的一种智能设备的投影交互方法,其特征在于,还包括步骤:
所述智能设备判断所述解答内容中是否含有三维显示信息;
若所述解答内容中含有所述三维显示信息,所述智能设备则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
若所述解答内容中不含有所述三维显示信息,所述智能设备则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
4.根据权利要求1所述的一种智能设备的投影交互方法,其特征在于,还包括步骤:
当所述智能设备通过投影部件,以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
5.根据权利要求1-4中任一项所述的一种智能设备的投影交互方法,其特征在于,当智能设备识别用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像,此步骤之前还包括步骤:
智能设备监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
若所述智能设备检测出所述语音信息中含有所述题号关键词,则开启所述摄像模块;
所述智能设备通过摄像模块获取提问区域图像具体包括:
所述智能设备根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块获取所述目标位置的提问区域图像。
6.一种智能设备,其特征在于,包括:
摄像模块,用于当智能设备识别出用户的语音信息中含有提问信息时,所述智能设备通过摄像模块获取提问区域图像;
解析模块,与所述摄像模块电连接,用于从所述摄像模块获取的所述提问区域图像中解析出提问内容;
答案获取模块,与所述解析模块电连接,用于获取所述提问内容对应的解答内容;
分析模块,与所述解析模块电连接,用于根据所述提问内容,分析得到所述提问内容所属学科类型;
投影模块,分别与所述答案获取模块、所述分析模块电连接,用于根据所述提问内容所属的学科类型,选择相应的投影方式将所述解答内容投射至所述预设投影区域。
7.根据权利要求6所述的一种智能设备,其特征在于:
所述智能设备包括智能台灯,所述摄像模块和所述投影模块设置在所述智能台灯的头部,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述智能台灯的底座一侧;
或;所述智能设备包括智能壁灯,所述摄像模块和所述投影模块设置在所述智能壁灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧;
或;所述智能设备包括智能吊灯,所述摄像模块和所述投影模块设置在所述智能吊灯上,且所述摄像模块的摄像方向以及所述投影模块的投射方向朝向所述预设投影区域一侧。
8.根据权利要求6所述的一种智能设备,其特征在于:
所述投影模块,还用于当所述提问内容所属的学科类型为几何类型或实验类型时,所述智能设备根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
所述投影模块,还用于当所述提问内容所属的学科类型为文史类型时,所述智能设备根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域;
所述智能设备还包括:
语音检测模块,用于监听用户的语音信息,并检测所述语音信息中是否含有题号关键词;
所述语音检测模块,还用于若所述智能设备检测出所述语音信息中不含有题号关键词,则继续监听用户的语音信息;
控制模块,用于与所述语音检测模块电连接,用于当所述语音检测模块识别出用户的语音信息中含有题号关键词时,开启所述摄像模块;
所述摄像模块,还用于根据识别出的所述题号关键词,查找出所述题号关键词对应题号的目标位置,并通过所述摄像模块获取所述目标位置的提问区域图像。
9.根据权利要求6所述的一种智能设备,其特征在于,所述智能设备还包括:
判断模块,用于判断所述解答内容中是否含有三维显示信息;
所述投影模块,还与所述判断模块电连接,用于若所述解答内容中含有所述三维显示信息,则根据所述解答内容生成三维投影信息,以三维投影方式将所述三维投影信息投射至预设投影区域;
所述投影模块,还用于若所述解答内容中不含有所述三维显示信息,则根据所述解答内容生成平面投影信息,以平面投影方式将所述平面投影信息投射至所述预设投影区域。
10.根据权利要求6-9中任一项所述的一种智能设备,其特征在于,所述智能设备还包括:
图像编辑模块,用于当所述投影模块以三维投影方式将所述三维投影信息投射至预设投影区域,在所述投影区域上形成三维图像后,所述智能设备解析用户在投射出的三维图像上的编辑操作,对所述三维投影信息进行编辑,并以三维投影方式将编辑后的三维投影信息投射至所述预设投影区域;
所述编辑操作包括图像放大操作、图像缩小操作、作图操作、图像旋转操作、图像拖动操作,图像添加操作、图像删除操作。
CN201811015620.7A 2018-08-31 2018-08-31 一种智能设备及其投影交互方法 Pending CN109272997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811015620.7A CN109272997A (zh) 2018-08-31 2018-08-31 一种智能设备及其投影交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811015620.7A CN109272997A (zh) 2018-08-31 2018-08-31 一种智能设备及其投影交互方法

Publications (1)

Publication Number Publication Date
CN109272997A true CN109272997A (zh) 2019-01-25

Family

ID=65187067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811015620.7A Pending CN109272997A (zh) 2018-08-31 2018-08-31 一种智能设备及其投影交互方法

Country Status (1)

Country Link
CN (1) CN109272997A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754812A (zh) * 2019-01-30 2019-05-14 华南理工大学 一种基于卷积神经网络的防录音攻击检测的声纹认证方法
CN110956135A (zh) * 2019-12-02 2020-04-03 易海艳 一种远程在线教育管理系统
CN111008588A (zh) * 2019-12-02 2020-04-14 易海艳 一种基于物联网的远程教育管理方法
CN111081088A (zh) * 2019-05-10 2020-04-28 广东小天才科技有限公司 一种听写字词收录方法及电子设备
CN112184501A (zh) * 2019-07-02 2021-01-05 广东小天才科技有限公司 远程辅导方法及装置、终端设备、计算机可读存储介质
CN116110263A (zh) * 2023-03-02 2023-05-12 广东天波教育科技有限公司 基于电子学生证的答题方法、系统、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361429A (zh) * 2015-11-30 2016-03-02 华南理工大学 基于多通道交互的智能学习平台及其交互方法
JP2016038820A (ja) * 2014-08-08 2016-03-22 キヤノン株式会社 画像処理装置および制御プログラム
CN105930487A (zh) * 2016-04-29 2016-09-07 广东小天才科技有限公司 应用于移动终端的题目搜索方法及装置
CN106228982A (zh) * 2016-07-27 2016-12-14 华南理工大学 一种基于教育服务机器人的交互式学习系统与交互方法
CN106599028A (zh) * 2016-11-02 2017-04-26 华南理工大学 一种基于视频图像处理的书本内容搜索匹配方法
CN206516322U (zh) * 2017-03-09 2017-09-22 湖南工业职业技术学院 一种创业宣传装置
US20180241986A1 (en) * 2016-03-09 2018-08-23 Tencent Technology (Shenzhen) Company Limited Image processing method and device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038820A (ja) * 2014-08-08 2016-03-22 キヤノン株式会社 画像処理装置および制御プログラム
CN105361429A (zh) * 2015-11-30 2016-03-02 华南理工大学 基于多通道交互的智能学习平台及其交互方法
US20180241986A1 (en) * 2016-03-09 2018-08-23 Tencent Technology (Shenzhen) Company Limited Image processing method and device
CN105930487A (zh) * 2016-04-29 2016-09-07 广东小天才科技有限公司 应用于移动终端的题目搜索方法及装置
CN106228982A (zh) * 2016-07-27 2016-12-14 华南理工大学 一种基于教育服务机器人的交互式学习系统与交互方法
CN106599028A (zh) * 2016-11-02 2017-04-26 华南理工大学 一种基于视频图像处理的书本内容搜索匹配方法
CN206516322U (zh) * 2017-03-09 2017-09-22 湖南工业职业技术学院 一种创业宣传装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754812A (zh) * 2019-01-30 2019-05-14 华南理工大学 一种基于卷积神经网络的防录音攻击检测的声纹认证方法
CN111081088A (zh) * 2019-05-10 2020-04-28 广东小天才科技有限公司 一种听写字词收录方法及电子设备
CN112184501A (zh) * 2019-07-02 2021-01-05 广东小天才科技有限公司 远程辅导方法及装置、终端设备、计算机可读存储介质
CN110956135A (zh) * 2019-12-02 2020-04-03 易海艳 一种远程在线教育管理系统
CN111008588A (zh) * 2019-12-02 2020-04-14 易海艳 一种基于物联网的远程教育管理方法
CN116110263A (zh) * 2023-03-02 2023-05-12 广东天波教育科技有限公司 基于电子学生证的答题方法、系统、电子设备及存储介质
CN116110263B (zh) * 2023-03-02 2024-01-26 广东天波教育科技有限公司 基于电子学生证的答题方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109272997A (zh) 一种智能设备及其投影交互方法
CN109191940A (zh) 一种基于智能设备的交互方法及智能设备
CN109005632A (zh) 一种辅助学习方法及智能台灯
CN103781522B (zh) 用于生成并加入经验共享的方法和系统
US11410570B1 (en) Comprehensive three-dimensional teaching field system and method for operating same
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
CN109191939A (zh) 一种基于智能设备的三维投影交互方法及智能设备
CN104253904A (zh) 一种实现点读学习的方法及智能手机
CN105894873A (zh) 一种面向智能机器人的儿童教学方法和装置
CN110446063A (zh) 视频封面的生成方法、装置及电子设备
CN109243215A (zh) 一种基于智能装置的交互方法、智能装置及系统
KR102156440B1 (ko) 시각언어 기반의 영상주석 자동 생성 장치 및 방법
CN109035919A (zh) 一种协助用户解决问题的智能装置及系统
CN108737530A (zh) 一种内容分享方法及系统
CN105654532A (zh) 一种照片拍摄及处理方法及系统
CN113569037A (zh) 一种消息处理方法、装置以及可读存储介质
CN102855317A (zh) 一种基于演示视频的多模式索引方法及系统
CN109377795A (zh) 一种智能设备的学习交互方法及智能设备
CN111539408A (zh) 基于拍照识物的智能点读方案
CN107479906A (zh) 基于Cordova的跨平台在线教育移动终端
CN110245253A (zh) 一种基于环境信息的语义交互方法及系统
CN108766077A (zh) 一种台灯、基于台灯的辅助学习方法及装置
CN109272983A (zh) 用于亲子教育的双语切换装置
CN116028647A (zh) 基于知识图谱的融合教育智能评语方法及系统
CN110008314A (zh) 一种意图解析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication