CN109933650B - 一种作业中图片题目的理解方法及系统 - Google Patents

Abstract

本发明提供了一种作业中图片题目的理解方法及系统，其方法包括：采集用户学习过程中的学习图像；保存学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；当用户处理图片题目时，获取用户的语音信息；根据获取语音信息时的时间点和图像信息的时间信息，确定用户发出语音信息时对应的目标图像信息；将目标图像信息和图片题目库中的图片题目进行比对，得到目标图像信息对应的意图关键词；根据语音信息获取语音关键词；根据意图关键词和语音关键词确定图片题目的意图，搜索图片题目的答案以及推荐相关题目。本发明结合语音和图片解析辅助小学生理解作业中图片题目的意图，从而推荐相关资料。

Description

一种作业中图片题目的理解方法及系统

技术领域

本发明涉及语音及图片解析技术领域，尤指一种作业中图片题目的理解方法及系统。

背景技术

随着智能设备的发展，生活中方方面面都变得越来越便捷。例如对于小学生做作业，由于家长时间精力有限，可能不能每次都辅导自己的孩子写作业，因此通过智能设备辅导小学生完成作业，一方面减轻家长的负担，另一方面比起教导水平不一的家长，智能设备能够给与小学生更加贴切的辅导。

常见的辅导作业的智能设备通常是根据小学生的语音提问寻找相应的答案，但是有时候低年级的学生在作业过程中使用语音产品会产生一个弊端，作业经常会是图片的形式，如看图写话作文，小学生无法准确用语音来描述图片中的信息，导致语音产品在解析语义过程中使用受限，而当前的纯图像识别率比较低，也不能准确解析出图片题的意图。因此，有必要发明一种作业中图片题目的理解方法及系统解决上述问题。

发明内容

本发明的目的是提供一种作业中图片题目的理解方法及系统，实现通过结合语音和图片解析辅助小学生理解作业中图片题目的意图，从而推荐相关资料的目的。

本发明提供的技术方案如下：

本发明提供一种作业中图片题目的理解方法，包括：

根据图片题目建立图片题目库；

采集用户学习过程中的学习图像；

保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

当用户处理图片题目时，获取用户的语音信息；

根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

根据所述语音信息获取语音关键词；

根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

进一步的，根据图片题目建立图片题目库具体包括：

获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。

进一步的，采集用户学习过程中的学习图像具体包括：

当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

进一步的，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目具体包括：

将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

根据所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

进一步的，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目包括：

将所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

重新计算每一个意图关键词的权重。

本发明还提供一种作业中图片题目的理解系统，其特征在于，包括：

图库建立模块，根据图片题目建立图片题目库；

图像采集模块，采集用户学习过程中的学习图像；

存储模块，保存所述图像采集模块采集的所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

语音获取模块，当用户处理图片题目时，获取用户的语音信息；

处理模块，根据所述语音获取模块获取所述语音信息时的时间点和所述存储模块存储的图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

比对模块，将所述处理模块确定所述目标图像信息和所述图库建立模块建立的图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

关键词分析模块，分析所述语音获取模块获取的所述语音信息得到语音关键词；

意图分析模块，根据所述比对模块得到的所述意图关键词和所述关键词分析模块得到的所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

进一步的，所述图库建立模块具体包括：

信息获取单元，获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

标注单元，标注所述信息获取单元获取的所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

图库建立单元，根据所述信息获取单元获取的所述图片信息、所述来源信息以及所述标注单元获取的所述意图关键词建立图片题目库。

进一步的，所述图像采集模块具体包括：

图像采集单元，当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

所述图像采集单元，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

进一步的，所述意图分析模块具体包括：

比对单元，将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

意图分析单元，根据所述比对单元确定的所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

进一步的，还包括：

更新模块，将所述关键词分析模块得到的所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

计算模块，重新计算所述更新模块更新后每一个意图关键词的权重。

通过本发明提供的一种作业中图片题目的理解方法及系统，能够带来以下至少一种有益效果：

1、本发明中，结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词两个方面确定目标图像信息中包含的图片题目的意图，从而确保能够准确解析出图片题目的意图。

2、本发明中，收集获取作业中所有的图片题目的图片信息、来源信息以及意图关键词，从而建立题目库，以便于比对用户做作业实时遇到的图片题目，识别其意图。

3、本发明中，基于用户眼睛的视线的方向以及用户点击处确定用户当前正在处理的题目，然后通过摄像头实时获取采集用户学习时的学习图像，以便及时找到用户有疑问的图片题目。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种作业中图片题目的理解方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种作业中图片题目的理解方法的一个实施例的流程图；

图2是本发明一种作业中图片题目的理解方法的另一个实施例的流程图；

图3是本发明一种作业中图片题目的理解方法的另一个实施例的流程图；

图4是本发明一种作业中图片题目的理解方法的另一个实施例的流程图；

图5是本发明一种作业中图片题目的理解系统的一个实施例的结构示意图；

图6是本发明一种作业中图片题目的理解系统的另一个实施例的结构示意图。

附图标号说明：

100图片题目的理解系统

110图库建立模块 111信息获取单元 112标注单元 113图库建立单元

120图像采集模块 121图像采集单元

130存储模块

140语音获取模块 150处理模块 160比对模块

170关键词分析模块

180意图分析模块 181比对单元182意图分析单元

185更新模块

190计算模块

具体实施方式

为了能够更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对照说明书附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并且获得其他的实施方式。

为了使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明的一个实施例，如图1所示，一种作业中图片题目的理解方法，包括：

S100根据图片题目建立图片题目库；

S200采集用户学习过程中的学习图像；

S300保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

S400当用户处理图片题目时，获取用户的语音信息；

S500根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

S600将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

S700根据所述语音信息获取语音关键词；

S800根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

具体的，本实施例中，本发明应用于用户的作业包含图片题目，例如看图说话时，由于表达能力有限，无法准确对图片进行描述。首先系统收集作业中所有的图片题目建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。

当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像，可以是设置固定周期采集学习图像，也可以是设定某种触发机制采集学习图像。将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，用户对该图片题目会进行一定的描述，但是可能描述不太准确与全面，因此获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。

分析获取到的语音信息得到对应的语音关键词，通过分词技术对语音信息中的句子进行分词，得到分词和分词对应的分词词性，根据分词和分词词性确定连续句子中分词的连接词，分析连接词前后的句子的句式结构，得到语音信息中句子的分词之间的连接关系，根据分词、分词词性以及连接关系生成语音信息中句子对应的正则表达式，然后从中选取语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。如果目标图像信息和图片题目库中的所有的图片题目比对都不符合，说明该目标图像信息中包含的图片题目没有被收集在图片题目库中，因此可以让用户人工识别该目标图像信息中包含的图片题目，并录入到图片题目库中进行更新。

结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词确定目标图像信息中包含的图片题目的意图，一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词两个方面确定目标图像信息中包含的图片题目的意图，从而确保能够准确解析出图片题目的意图。

本发明的另一个实施例，是上述的实施例的优化实施例，如图2所示，包括：

S110获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

S120标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

S130根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。

S200采集用户学习过程中的学习图像；

S300保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

S400当用户处理图片题目时，获取用户的语音信息；

S500根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

S600将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

S700根据所述语音信息获取语音关键词；

S800根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

具体的，本实施例中，收集所有年级和学科的作业中所有的图片题目图片信息以及来源信息，来源信息包括作业的年级信息以及学科信息，标注图片题目的意图关键词，也就是通过关键词对图片题目进行描述，最初标注意图关键词并不能联想到所有的关键词，因此，如果后续过程中有新的关键词可以进行关联，可以随时或者固定周期进行更新。对意图关键词进行加权，对于初始标注意图关键词时，由于每一个意图关键词都没有被提及过，因此初始状态每个意图关键词的权重可以设置为相同，或者用户自己判断为每一个意图关键词分配权重比。根据图片信息、来源信息以及意图关键词建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。

当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像，将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。同时，分析获取到的语音信息得到对应的语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。

结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词确定目标图像信息中包含的图片题目的意图，一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明收集获取作业中所有的图片题目的图片信息、来源信息以及意图关键词，从而建立题目库，以便于比对用户做作业实时遇到的图片题目，识别其意图。

本发明的另一个实施例，是上述的实施例的优化实施例，如图3所示，包括：

S100根据图片题目建立图片题目库；

S210当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

S220识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

S300保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

S400当用户处理图片题目时，获取用户的语音信息；

S500根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

S600将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

S700根据所述语音信息获取语音关键词；

S800根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

具体的，本实施例中，系统收集作业中所有的图片题目建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。

当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像。当用户在进行学习时，通常习惯于用手指或者手中的笔等物品点击当前正在处理的题目，以便于集中注意力，因此当用户点击作业时，摄像头采集用户点击处的作业信息作为学习图像。另一方面，即便有的用户没有上述点击题目的习惯，但是用户的眼睛必然注视着当前正在处理的题目，因此识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。然后将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。同时，分析获取到的语音信息得到对应的语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。

结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词确定目标图像信息中包含的图片题目的意图，一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明中基于用户眼睛的视线的方向以及用户点击处确定用户当前正在处理的题目，然后通过摄像头实时获取采集用户学习时的学习图像，以便及时找到用户有疑问的图片题目。

本发明的另一个实施例，是上述的实施例的优化实施例，如图4所示，包括：

S110获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

S120标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

S130根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。

S200采集用户学习过程中的学习图像；

S300保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

S400当用户处理图片题目时，获取用户的语音信息；

S500根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

S600将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

S700根据所述语音信息获取语音关键词；

S810将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

S820根据所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

S850将所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

S900重新计算每一个意图关键词的权重。

具体的，本实施例中，系统收集作业中所有的图片题目建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像，将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。同时，分析获取到的语音信息得到对应的语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。

将语音关键词和意图关键词进行比对，当某一个语音关键词和意图关键词比对相符则可以确定相应的语音关键词的关键词权重，然后比较每个语音关键词的关键词权重，选择权重比靠前的一定数量的语音关键词确定图片题目的意图，如果存在某一个语音关键词和意图关键词比对都不相符，说明该语音关键词并没有被收录在意图关键词中，因此将其添加至意图关键词中，然后重新计算每一个意图关键词的权重。最后一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明中通过将语音关键词和意图关键词进行比对确定每个语音关键词的关键词权重，然后选取语音关键词确定图片题目的意图，从而有方向地为用户提供学习辅导。

本发明的一个实施例，如图5所示，一种作业中图片题目的理解系统100，包括：

图库建立模块110，根据图片题目建立图片题目库；

图像采集模块120，采集用户学习过程中的学习图像；

存储模块130，保存所述图像采集模块120采集的所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

语音获取模块140，当用户处理图片题目时，获取用户的语音信息；

处理模块150，根据所述语音获取模块140获取所述语音信息时的时间点和所述存储模块130存储的图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

比对模块160，将所述处理模块150确定所述目标图像信息和所述图库建立模块110建立的图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

关键词分析模块170，分析所述语音获取模块140获取的所述语音信息得到语音关键词；

意图分析模块180，根据所述比对模块160得到的所述意图关键词和所述关键词分析模块170得到的所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

具体的，本实施例中，本发明应用于用户的作业包含图片题目，例如看图说话时，由于表达能力有限，无法准确对图片进行描述。首先系统收集作业中所有的图片题目建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。

当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像，可以是设置固定周期采集学习图像，也可以是设定某种触发机制采集学习图像。将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，用户对该图片题目会进行一定的描述，但是可能描述不太准确与全面，因此获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。

分析获取到的语音信息得到对应的语音关键词，通过分词技术对语音信息中的句子进行分词，得到分词和分词对应的分词词性，根据分词和分词词性确定连续句子中分词的连接词，分析连接词前后的句子的句式结构，得到语音信息中句子的分词之间的连接关系，根据分词、分词词性以及连接关系生成语音信息中句子对应的正则表达式，然后从中选取语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。如果目标图像信息和图片题目库中的所有的图片题目比对都不符合，说明该目标图像信息中包含的图片题目没有被收集在图片题目库中，因此可以让用户人工识别该目标图像信息中包含的图片题目，并录入到图片题目库中进行更新。

结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词确定目标图像信息中包含的图片题目的意图，一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词两个方面确定目标图像信息中包含的图片题目的意图，从而确保能够准确解析出图片题目的意图。

本发明的另一个实施例，是上述的实施例的优化实施例，如图6所示，包括：

图库建立模块110，根据图片题目建立图片题目库；

所述图库建立模块110具体包括：

信息获取单元111，获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

标注单元112，标注所述信息获取单元111获取的所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

图库建立单元113，根据所述信息获取单元111获取的所述图片信息、所述来源信息以及所述标注单元112获取的所述意图关键词建立图片题目库。

图像采集模块120，采集用户学习过程中的学习图像；

所述图像采集模块120具体包括：

图像采集单元121，当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

所述图像采集单元121，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

存储模块130，保存所述图像采集模块120采集的所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

语音获取模块140，当用户处理图片题目时，获取用户的语音信息；

处理模块150，根据所述语音获取模块140获取所述语音信息时的时间点和所述存储模块130存储的图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

比对模块160，将所述处理模块150确定所述目标图像信息和所述图库建立模块110建立的图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

关键词分析模块170，分析所述语音获取模块140获取的所述语音信息得到语音关键词；

意图分析模块180，根据所述比对模块160得到的所述意图关键词和所述关键词分析模块170得到的所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

所述意图分析模块180具体包括：

比对单元181，将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

意图分析单元182，根据所述比对单元确定的所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

更新模块185，将所述关键词分析模块170得到的所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

计算模块190，重新计算所述更新模块185更新后每一个意图关键词的权重。

具体的，本实施例中，收集所有年级和学科的作业中所有的图片题目图片信息以及来源信息，来源信息包括作业的年级信息以及学科信息，标注图片题目的意图关键词，也就是通过关键词对图片题目进行描述，最初标注意图关键词并不能联想到所有的关键词，因此，如果后续过程中有新的关键词可以进行关联，可以随时或者固定周期进行更新。对意图关键词进行加权，对于初始标注意图关键词时，由于每一个意图关键词都没有被提及过，因此初始状态每个意图关键词的权重可以设置为相同，或者用户自己判断为每一个意图关键词分配权重比。根据图片信息、来源信息以及意图关键词建立题目库，便于比对用户做作业实时遇到的图片题目，识别其意图。

当用户使用智能设备辅助学习时，与智能设备相关联的摄像头实时采集用户学习过程中的学习图像。当用户在进行学习时，通常习惯于用手指或者手中的笔等物品点击当前正在处理的题目，以便于集中注意力，因此当用户点击作业时，摄像头采集用户点击处的作业信息作为学习图像。另一方面，即便有的用户没有上述点击题目的习惯，但是用户的眼睛必然注视着当前正在处理的题目，因此识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。然后将采集的图像信息都进行保存，并且获取每一个学习图像采集的时间信息，按照时间信息对相应的图像信息进行标记，由此方便后续按照时间进行查找。

当用户做作业碰到图片题目时，获取用户的语音信息，并且确定获取语音信息的时间点，将时间点和保存的图像信息的时间信息进行比对，确定用户发出语音信息时采集到的图像信息，将该对应的图像信息作为目标图像信息。同时，分析获取到的语音信息得到对应的语音关键词。

将确定的目标图像信息和建立的图片题目库中的所有的图片题目逐一地进行比对，确定目标图像信息中包含的是作业中的哪一道图片作业，从而根据图片题目库中的信息确定对应的意图关键词。

将语音关键词和意图关键词进行比对，当某一个语音关键词和意图关键词比对相符则可以确定相应的语音关键词的关键词权重，然后比较每个语音关键词的关键词权重，选择权重比靠前的一定数量的语音关键词确定图片题目的意图，如果存在某一个语音关键词和意图关键词比对都不相符，说明该语音关键词并没有被收录在意图关键词中，因此将其添加至意图关键词中，然后重新计算每一个意图关键词的权重。最后一方面搜索该图片题目的解析供用户参考，另一方面推荐相关度高的类似的图片题目供用户联系拓展。

本发明收集获取作业中所有的图片题目的图片信息、来源信息以及意图关键词，从而建立题目库，以便于比对用户做作业实时遇到的图片题目，识别其意图。基于用户眼睛的视线的方向以及用户点击处确定用户当前正在处理的题目，然后通过摄像头实时获取采集用户学习时的学习图像，以便及时找到用户有疑问的图片题目。通过将语音关键词和意图关键词进行比对确定每个语音关键词的关键词权重，然后选取语音关键词确定图片题目的意图，从而有方向地为用户提供学习辅导。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种作业中图片题目的理解方法，其特征在于，包括：

根据图片题目的图片信息、来源信息以及意图关键词建立图片题目库；

采集用户学习过程中的学习图像；

保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

当用户处理图片题目时，获取用户的语音信息；

根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

根据所述语音信息获取语音关键词；

根据所述意图关键词在意图关键词中的关键词权重和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

2.根据权利要求1所述的作业中图片题目的理解方法，其特征在于，根据图片题目的图片信息、来源信息以及意图关键词建立图片题目库具体包括：

获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。

3.根据权利要求1所述的作业中图片题目的理解方法，其特征在于，采集用户学习过程中的学习图像具体包括：

当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

4.根据权利要求2所述的作业中图片题目的理解方法，其特征在于，根据所述意图关键词在意图关键词中的关键词权重和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目具体包括：

将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

根据所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

5.根据权利要求4所述的作业中图片题目的理解方法，其特征在于，根据所述意图关键词在意图关键词中的关键词权重和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目之后包括：

将所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

重新计算每一个意图关键词的权重。

6.一种作业中图片题目的理解系统，其特征在于，包括：

图库建立模块，根据图片题目的图片信息、来源信息以及意图关键词建立图片题目库；

图像采集模块，采集用户学习过程中的学习图像；

存储模块，保存所述图像采集模块采集的所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；

语音获取模块，当用户处理图片题目时，获取用户的语音信息；

处理模块，根据所述语音获取模块获取所述语音信息时的时间点和所述存储模块存储的图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；

比对模块，将所述处理模块确定所述目标图像信息和所述图库建立模块建立的图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；

关键词分析模块，分析所述语音获取模块获取的所述语音信息得到语音关键词；

意图分析模块，根据所述比对模块得到的所述意图关键词在意图关键词中的关键词权重和所述关键词分析模块得到的所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

7.根据权利要求6所述的作业中图片题目的理解系统，其特征在于，所述图库建立模块具体包括：

信息获取单元，获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；

标注单元，标注所述信息获取单元获取的所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；

图库建立单元，根据所述信息获取单元获取的所述图片信息、所述来源信息以及所述标注单元获取的所述意图关键词建立图片题目库。

8.根据权利要求6所述的作业中图片题目的理解系统，其特征在于，所述图像采集模块具体包括：

图像采集单元，当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，

所述图像采集单元，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。

9.根据权利要求7所述的作业中图片题目的理解系统，其特征在于，所述意图分析模块具体包括：

比对单元，将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；

意图分析单元，根据所述比对单元确定的所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

10.根据权利要求9所述的作业中图片题目的理解系统，其特征在于，还包括：

更新模块，将所述关键词分析模块得到的所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；

计算模块，重新计算所述更新模块更新后每一个意图关键词的权重。

Images