CN112183402B - 一种信息处理的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种信息处理的方法、装置、电子设备及存储介质，其中，该方法包括：获取待解答题目内容；待解答题目内容中包含题干内容和待解析图片；对待解析图片进行文本解析，得到与待解析图片对应的文本信息；基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果。本公开通过对题目中图片内容的语义识别实现对整个题目完整语义的理解，确保了解题结果的准确性。

Description

一种信息处理的方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种信息处理的方法、装置、电子设备及存储介质。

背景技术

目前，随着人工智能(Artificial Intelligence，AI)技术的不断发展，有关AI的应用领域也越来越广泛。以教育AI方面的应用为例，自动化解题技术作为这一应用的研究热门，受到越来越多的关注。

这里，实现自动解题的关键在于正确理解题意，一般计算机在理解题意时，是对题目信息中的文本内容进行语义识别，而有些题目信息中会包含图片，对于这样的题目信息，如果只是针对其中的文本内容进行语义识别，会导致语义识别不全或错误。

发明内容

本公开实施例至少提供一种信息处理的方案，通过对题目中图片内容的语义识别实现对整个题目完整语义的理解，确保了解题结果的准确性。

第一方面，本公开实施例提供了一种信息处理的方法，所述方法包括：

获取待解答题目内容；所述待解答题目内容中包含题干内容和待解析图片；

对所述待解析图片进行文本解析，得到与所述待解析图片对应的文本信息；

基于所述文本信息以及所述待解答题目内容中的所述题干内容，对所述待解答题目内容进行解答，得到解题结果。

在一种可能的实施方式中，所述对所述待解析图片进行文本解析，得到与所述待解析图片对应的文本信息，包括：

对所述待解析图片进行特征提取，得到第一图片特征信息；

基于所述第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从所述预设素材库中查找与所述待解析图片对应的目标类素材图片样本；

基于查找到的所述目标类素材图片样本对应的文本标注信息，确定与所述待解析图片对应的文本信息。

在一种可能的实施方式中，所述基于所述第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从所述预设素材库中查找与所述待解析图片对应的目标类素材图片样本，包括：

针对预设素材库中的每类素材图片样本，计算该类素材图片样本的第二图片特征信息与所述第一图片特征信息之间的特征相似度；

从各类素材图片样本中选取特征相似度最大的一类素材图片样本；

基于选取的所述一类素材图片样本，确定与所述待解析图片对应的目标类素材图片样本。

在一种可能的实施方式中，按照如下步骤确定所述预设素材库：

获取各个解析图片样本；每个所述解析图片样本包含在对应的解析题目样本中；

针对所述各个解析图片样本中的每个所述解析图片样本，对该解析图片样本进行文本标注，得到表征该解析图片样本所包含实物的属性特征的文本标注信息；

基于每个所述解析图片样本的文本标注信息对所述各个解析图片样本进行聚类，得到多类解析图片样本；

建立各类解析图片样本与各个实物的标识信息之间的对应关系；

基于建立的所述对应关系构建所述预设素材库。

在一种可能的实施方式中，按照如下步骤确定每类解析图片样本对应的第二图片特征信息：

针对每类解析图片样本，将该类解析图片样本中多个解析图片样本的属性特征进行特征融合，得到该类解析图片样本对应的第二图片特征信息。

在一种可能的实施方式中，所述基于所述文本信息以及所述待解答题目内容中的所述题干内容，对所述待解答题目内容进行解答，得到解题结果，包括：

从所述待解答题目内容中的题干内容中查找与所述文本信息匹配的第一目标题干内容；以及，确定与所述文本信息对应的所述待解析图片所关联的第二目标题干内容；

基于查找的所述第一目标题干内容以及确定的所述第二目标题干内容对所述待解答题目内容进行解答，得到解题结果。

在一种可能的实施方式中，所述确定与所述文本信息对应的所述待解析图片所关联的第二目标题干内容，包括：

将与所述文本信息对应的所述待解析图片之间的距离小于预设阈值的图片范围，作为题干搜索范围；

确定在所述题干搜索范围内是否搜索到题干内容；

若是，则将搜索到的题干内容确定为所述第二目标题干内容。

第二方面，本公开实施例还提供了一种信息处理的装置，所述装置包括：

内容获取模块，用于获取待解答题目内容；所述待解答题目内容中包含题干内容和待解析图片；

文本解析模块，用于对所述待解析图片进行文本解析，得到与所述待解析图片对应的文本信息；

题目解析模块，用于基于所述文本信息以及所述待解答题目内容中的所述题干内容，对所述待解答题目内容进行解答，得到解题结果。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的信息处理的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一所述的信息处理的方法的步骤。

采用上述信息处理的方案，其首先可以对待解答题目内容中的待解析图片进行文本解析，以得到对应的文本信息，而后即可以基于该文本信息以及待解答题目内容中的题干内容对该待解答题目内容进行解答，得到解题结果。上述信息处理的方案，在对包含有待解析图片的待解答题目内容进行解答的过程中，可以先基于待解析图片解析出对应的文本信息，然后结合待解答题目内容中的题干内容，以及从待解析图片中解析出的文本信息，可以实现对整个待解答题目内容的语义的完整理解，进而可以基于理解的完整的语义，生成正确的解题结果。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例一所提供的一种信息处理的方法的流程图；

图2示出了本公开实施例一所提供的信息处理的方法的应用示意图；

图3示出了本公开实施例一所提供的信息处理的方法中，确定文本信息具体方法的流程图；

图4示出了本公开实施例一所提供的信息处理的方法中，确定解题结果具体方法的流程图；

图5示出了本公开实施例二所提供的一种信息处理的装置的示意图；

图6示出了本公开实施例三所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，一般计算机在理解题意时，是对题目信息中的文本内容进行语义识别，而有些题目信息中会包含图片，对于这样的题目信息，如果只是针对其中的文本内容进行语义识别，会导致语义识别不全或错误。

基于上述研究，本公开至少提供了一种信息处理的方案，通过对题目中图片内容的语义识别实现对整个题目完整语义的理解，确保了解题结果的准确性。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种信息处理的方法进行详细介绍，本公开实施例所提供的信息处理的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该信息处理的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为服务器为例对本公开实施例提供的信息处理的方法加以说明。

实施例一

参见图1所示，为本公开实施例提供的信息处理的方法的流程图，方法包括步骤S101～S103，其中：

S101、获取待解答题目内容；待解答题目内容中包含题干内容和待解析图片。

S102、对待解析图片进行文本解析，得到与待解析图片对应的文本信息；

S103、基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果。

这里，为了便于理解本公开实施例提供的信息处理的方法，首先对该信息处理的方法进行详细介绍。本公开实施例提供的信息处理的方法主要可以应用于自动解题领域，特别是对于包含有图片的题目的解答应用中。考虑到现有的自动求解器在进行题目解答的过程中，可以自动获取文本特征信息，并能够生成训练数据集中不存在的新求解表达式，也即，现有的自动解题方法可以是在确定文本语义的情况下对其进行自动分析，从而实现题目解答。然而，对于包含有图片的题目而言，由于无法很好的了解图片语义而导致无法很好的解读题目中的关键信息。

以图2所示的一个包含有图片的题目为例，该题目对应的文字部分包含“拿50块钱买一盏台灯后，还可以买几本台历？”，图片部分包括一盏台灯和一本台历，且图片展示部分还可以对应有相应的价格信息：23元和9元。针对这一题目而言，如果采用上述提供的自动解题方法进行解题，由于图片部分无法很好的进行解析，进一步导致无法获知对应的价格信息，也即，该题目的语义识别不完整，这将导致最终无法进行题目解答或者得出准确的解答结果。

正是为了解决上述问题，本公开实施例才提供了一种信息处理的方法，通过对题目中图片的文本解析实现了对整个题目的语义理解，确保了解题结果的准确性。

其中，上述待解答题目内容主要包含题干内容和待解析图片。这里以图2所示的题目作为待解答题目内容为例进行说明。这里的题干内容可以指的是与解题相关的关键词信息，如，50块钱这一总价，一盏台灯，几本台历等，这里的待解析图片可以是台灯，也可以是台历。

针对待解析图片而言，本公开实施例可以对该待解析图片进行文本解析，以确定对应的文本信息。这里的文本解析主要指的是可以解析出图片的语义信息。以上述台灯图片作为待解析图片为例，这里的文本解析可以是解析出该台灯图片所对应的物品名称、物品属性等信息。

在具体应用中，可以基于预先训练好的语义分割模型对待解析图片进行语义分析，以直接确定与待解析图片对应的文本信息。除此之外，本公开实施例还可以基于设置的预设素材库进行图片特征信息的对比，以间接通过预设素材库记录的相关文本信息来确定与待解析图片对应的文本信息。

本公开实施例中，在解析出与待解析图片对应的文本信息的情况下，即可以结合待解答题目内容中的题干内容对待解答题目内容进行解答，从而得到解题结果。

这里，仍以上述图2所示的题目作为待解答题目内容为例进行说明，在解析出台灯图片的文本信息以及台历图片的文本信息之后，即可以结合待解答题目内容中的题干内容，例如，23元的台灯以及9元的台历，对整个待解答题目内容进行解析。

本公开实施例提供的信息处理的方法，可以基于预先训练好的题目解答模型、上述解析出的文本信息以及相关题干信息自动生成解题结果。上述题目解答模型可以是基于对各解析题目样本预先设置的题干标注以及解答步骤等相关内容预先训练的，这样，将解析出图片的文本信息以及待解答题目内容中的题干内容输入到训练好的题目解答模型中即可以得到对应的解题结果，这里的解题结果可以是有关题目的具体解答步骤。

考虑到文本解析对于上述题目解答的关键作用，接下来可以结合图3进行具体说明。

如图3所示，上述确定与待解析图片对应的文本信息的过程具体包括如下步骤：

S301、对待解析图片进行特征提取，得到第一图片特征信息；

S302、基于第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从预设素材库中查找与待解析图片对应的目标类素材图片样本；

S303、基于查找到的目标类素材图片样本对应的文本标注信息，确定与待解析图片对应的文本信息。

这里，首先可以基于特征信息比对的方式从预设素材库中查找到与待解析图片对应的目标类素材图片样本，而后可以基于该目标类素材图片样本对应的文本标注信息来确定对待解析图片进行解析所得到的文本信息。

其中，有关预设素材库可以是按照相似解析图片样本聚类后所记录的有关各类解析图片样本与各个实物的标识信息之间的对应关系。具体可以按照如下步骤来实现：

步骤一、获取各个解析图片样本；每个解析图片样本包含在对应的解析题目样本中；

步骤二、针对各个解析图片样本中的每个解析图片样本，对该解析图片样本进行文本标注，得到表征该解析图片样本所包含实物的属性特征的文本标注信息；

步骤三、基于每个解析图片样本的文本标注信息对各个解析图片样本进行聚类，得到多类解析图片样本；

步骤四、建立各类解析图片样本与各个实物的标识信息之间的对应关系；

步骤五、基于建立的对应关系构建预设素材库。

这样，在针对待解析图片进行特征比对的情况下，即可以将该待解析图片的第一图片特征信息与各类解析图片样本的第二图片特征信息之间进行对比，基于对比结果可以从各类解析图片样本中查找出目标类素材图片样本，而后，可以基于上述各类解析图片样本与各个实物的标识信息之间的对应关系确定与该目标类解析图片样本对应的实物。

由于在进行相似解析图片样本聚类的过程中，参照的可以是表征解析图片样本所包含实物的属性特征的文本标注信息，因此，在确定与目标类解析图片样本对应的实物的情况下，可以基于上述有关实物的属性信息确定目标类素材图片样本对应的文本标注信息，从而可以进一步确定对待解析图片进行解析所得到的文本信息。

为了便于理解上述文本解析的过程，这里仍以上述图2所示的题目作为待解答题目内容为例进行说明，在确定台灯图片作为待解析图片的情况下，可以从预设素材库的各类素材图片样本中查找出与台灯相关的目标类素材图片样本，该目标类素材图片样本所包括的各个素材图片样本对应的实物可以是台灯、落地灯、灯泡等等，基于对上述各实物所预先标注的文本标识信息即可以确定出目标类素材图片样本对应的文本标识信息，可以是上述实物名称台灯、落地灯、灯泡等的集合。

需要说明的是，本公开实施例中可以基于各个解析题目样本来确定属于预设素材库的解析图片样本。这里的解析图片样本可以是人工从解析题目样本中截取的，还可以是基于图像识别技术从解析题目样本识别得到的，本公开实施例对此不做具体的限制。

本公开实施例中，可以按照如下步骤从预设素材库中查找与待解析图片对应的目标类素材图片样本：

步骤一、针对预设素材库中的每类素材图片样本，计算该类素材图片样本的第二图片特征信息与第一图片特征信息之间的特征相似度；

步骤二、从各类素材图片样本中选取特征相似度最大的一类素材图片样本；

步骤三、基于选取的一类素材图片样本，确定与待解析图片对应的目标类素材图片样本。

这里，针对预设素材库中聚类后的各类素材图片样本，可以确定每类素材图片样本与待解析图片之间的相似度，这里，可以选取出相似度最大的一类素材图片样本作为与待解析图片对应的目标类素材图片样本。

其中，有关每类素材图片样本与待解析图片之间的相似度可以基于该类素材图片样本的第二图片特征信息与第一图片特征信息之间的特征相似度来确定，也即，特征相似度越大，对应样本之间的相似度也就越高。

在具体应用中，可以基于预先训练的相似度模型来确定上述特征相似度，还可以基于余弦相似度来确定，在此不做具体的限制。

需要说明的是，本公开实施例中，有关每类素材图片样本对应的第二图片特征信息可以是基于该类解析图片样本中多个解析图片样本的属性特征进行特征融合后所确定的，融合后的特征很大程度上可以表征该类解析图片样本的相关特征。

本公开实施例在按照上述文本解析方法从待解析图片中解析出文本信息后，即可以基于文本信息以及待解答题目内容中的题干内容对待解答题目内容进行解答，得到解题结果。如图4所示，上述对题目进行解析的过程具体可以包括如下步骤：

S401、从待解答题目内容中的题干内容中查找与文本信息匹配的第一目标题干内容；以及，确定与文本信息对应的待解析图片所关联的第二目标题干内容；

S402、基于查找的第一目标题干内容以及确定的第二目标题干内容对待解答题目内容进行解答，得到解题结果。

这里，本公开实施例一方面可以从待解答题目内容中的题干内容中查找与文本信息匹配的第一目标题干内容，仍以图2所示的题目作为待解答题目内容为例进行说明，在确定台灯图片作为待解析图片、且解析出的文本信息为台灯、落地灯等内容的情况下，可以从整个待解答题目内容中查找是台灯以及对应的台灯数量等第一目标题干内容，除此之外，另一方面，还可以确定与文本信息对应的待解析图片所关联的第二目标题干内容，如图2中台灯图片的下方所示的23元这一第二目标题干内容。

基于上述第一目标题干内容以及第二目标题干内容即可以按照上述描述内容所指出的题目解答模型来进行待解答题目内容的解答，有关具体的解题过程参照上述描述，在此不再赘述。

这里，在确定与文本信息对应的待解析图片所关联的第二目标题干内容时，可以是以距离待解析图片之间的距离小于预设阈值的图片范围作为题干搜索范围进行题干内容的搜索，也即，可以将距离一个待解析图片比较近的题干信息作为关联信息参与到题目解析的过程中，从而进一步实现了解析过程的自动化以及智能化。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与信息处理的方法对应的信息处理的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述信息处理的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

实施例二

参照图5所示，为本公开实施例提供的一种信息处理的装置的示意图，装置包括：内容获取模块501、文本解析模块502、题目解析模块503；其中，

内容获取模块501，用于获取待解答题目内容；待解答题目内容中包含题干内容和待解析图片；

文本解析模块502，用于对待解析图片进行文本解析，得到与待解析图片对应的文本信息；

题目解析模块503，用于基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果。

本公开实施例在对包含有待解析图片的待解答题目内容进行解析的过程中，可以先基于待解析图片解析出对应的文本信息，然后结合待解答题目内容中的题干内容，以及从待解析图片中解析出的文本信息，可以实现对整个待解答题目内容的语义的完整理解，进而可以基于理解的完整的语义，生成正确的解题结果。

在一种可能的实施方式中，文本解析模块502，用于按照以下步骤对待解析图片进行文本解析，得到与待解析图片对应的文本信息：

对待解析图片进行特征提取，得到第一图片特征信息；

基于第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从预设素材库中查找与待解析图片对应的目标类素材图片样本；

基于查找到的目标类素材图片样本对应的文本标注信息，确定与待解析图片对应的文本信息。

在一种可能的实施方式中，文本解析模块502，用于按照以下步骤基于第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从预设素材库中查找与待解析图片对应的目标类素材图片样本：

针对预设素材库中的每类素材图片样本，计算该类素材图片样本的第二图片特征信息与第一图片特征信息之间的特征相似度；

从各类素材图片样本中选取特征相似度最大的一类素材图片样本；

基于选取的一类素材图片样本，确定与待解析图片对应的目标类素材图片样本。

在一种可能的实施方式中，文本解析模块502，用于按照如下步骤确定预设素材库：

获取各个解析图片样本；每个解析图片样本包含在对应的解析题目样本中；

针对各个解析图片样本中的每个解析图片样本，对该解析图片样本进行文本标注，得到表征该解析图片样本所包含实物的属性特征的文本标注信息；

基于每个解析图片样本的文本标注信息对各个解析图片样本进行聚类，得到多类解析图片样本；

建立各类解析图片样本与各个实物的标识信息之间的对应关系；

基于建立的对应关系构建预设素材库。

在一种可能的实施方式中，文本解析模块502，用于按照如下步骤确定每类解析图片样本对应的第二图片特征信息：

针对每类解析图片样本，将该类解析图片样本中多个解析图片样本的属性特征进行特征融合，得到该类解析图片样本对应的第二图片特征信息。

在一种可能的实施方式中，题目解析模块503，用于按照以下步骤基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果：

从待解答题目内容中的题干内容中查找与文本信息匹配的第一目标题干内容；以及，确定与文本信息对应的待解析图片所关联的第二目标题干内容；

基于查找的第一目标题干内容以及确定的第二目标题干内容对待解答题目内容进行解答，得到解题结果。

在一种可能的实施方式中，题目解析模块503，用于按照以下步骤确定与文本信息对应的待解析图片所关联的第二目标题干内容：

将与文本信息对应的待解析图片之间的距离小于预设阈值的图片范围，作为题干搜索范围；

确定在题干搜索范围内是否搜索到题干内容；

若是，则将搜索到的题干内容确定为第二目标题干内容。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

实施例三

本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备结构示意图，包括：处理器601、存储器602、和总线603。存储器602存储有处理器601可执行的机器可读指令(比如，图5中的信息处理的装置中内容获取模块501、文本解析模块502、题目解析模块503对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行时执行如下处理：

获取待解答题目内容；待解答题目内容中包含题干内容和待解析图片；

对待解析图片进行文本解析，得到与待解析图片对应的文本信息；

基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果。

在一种可能的实施方式中，上述处理器601执行的指令中，对待解析图片进行文本解析，得到与待解析图片对应的文本信息，包括：

对待解析图片进行特征提取，得到第一图片特征信息；

基于第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从预设素材库中查找与待解析图片对应的目标类素材图片样本；

基于查找到的目标类素材图片样本对应的文本标注信息，确定与待解析图片对应的文本信息。

在一种可能的实施方式中，上述处理器601执行的指令中，基于第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从预设素材库中查找与待解析图片对应的目标类素材图片样本，包括：

针对预设素材库中的每类素材图片样本，计算该类素材图片样本的第二图片特征信息与第一图片特征信息之间的特征相似度；

从各类素材图片样本中选取特征相似度最大的一类素材图片样本；

基于选取的一类素材图片样本，确定与待解析图片对应的目标类素材图片样本。

在一种可能的实施方式中，上述处理器601执行的指令中，按照如下步骤确定预设素材库：

获取各个解析图片样本；每个解析图片样本包含在对应的解析题目样本中；

针对各个解析图片样本中的每个解析图片样本，对该解析图片样本进行文本标注，得到表征该解析图片样本所包含实物的属性特征的文本标注信息；

基于每个解析图片样本的文本标注信息对各个解析图片样本进行聚类，得到多类解析图片样本；

建立各类解析图片样本与各个实物的标识信息之间的对应关系；

基于建立的对应关系构建预设素材库。

在一种可能的实施方式中，上述处理器601执行的指令中，按照如下步骤确定每类解析图片样本对应的第二图片特征信息：

针对每类解析图片样本，将该类解析图片样本中多个解析图片样本的属性特征进行特征融合，得到该类解析图片样本对应的第二图片特征信息。

在一种可能的实施方式中，上述处理器601执行的指令中，基于文本信息以及待解答题目内容中的题干内容，对待解答题目内容进行解答，得到解题结果，包括：

从待解答题目内容中的题干内容中查找与文本信息匹配的第一目标题干内容；以及，确定与文本信息对应的待解析图片所关联的第二目标题干内容；

基于查找的第一目标题干内容以及确定的第二目标题干内容对待解答题目内容进行解答，得到解题结果。

在一种可能的实施方式中，上述处理器601执行的指令中，确定与文本信息对应的待解析图片所关联的第二目标题干内容，包括：

将与文本信息对应的待解析图片之间的距离小于预设阈值的图片范围，作为题干搜索范围；

确定在题干搜索范围内是否搜索到题干内容；

若是，则将搜索到的题干内容确定为第二目标题干内容。

上述指令的具体执行过程可以参考本公开实施例中所述的信息处理的方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例一中所述的信息处理的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例一所提供的信息处理的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例一中所述的信息处理的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种信息处理的方法，其特征在于，所述方法包括：

获取待解答题目内容；所述待解答题目内容中包含题干内容和待解析图片；

对所述待解析图片进行特征提取，得到第一图片特征信息；

基于所述第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从所述预设素材库中查找与所述待解析图片对应的目标类素材图片样本；

基于查找到的所述目标类素材图片样本对应的文本标注信息，确定与所述待解析图片对应的文本信息；

从所述待解答题目内容中的题干内容中查找与所述文本信息匹配的第一目标题干内容；以及，确定与所述文本信息对应的所述待解析图片所关联的第二目标题干内容；

基于查找的所述第一目标题干内容以及确定的所述第二目标题干内容，对所述待解答题目内容进行解答，得到解题结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从所述预设素材库中查找与所述待解析图片对应的目标类素材图片样本，包括：

针对预设素材库中的每类素材图片样本，计算该类素材图片样本的第二图片特征信息与所述第一图片特征信息之间的特征相似度；

从各类素材图片样本中选取特征相似度最大的一类素材图片样本；

基于选取的所述一类素材图片样本，确定与所述待解析图片对应的目标类素材图片样本。

3.根据权利要求1或2所述的方法，其特征在于，按照如下步骤确定所述预设素材库：

获取各个解析图片样本；每个所述解析图片样本包含在对应的解析题目样本中；

针对所述各个解析图片样本中的每个所述解析图片样本，对该解析图片样本进行文本标注，得到表征该解析图片样本所包含实物的属性特征的文本标注信息；

基于每个所述解析图片样本的文本标注信息对所述各个解析图片样本进行聚类，得到多类解析图片样本；

建立各类解析图片样本与各个实物的标识信息之间的对应关系；

基于建立的所述对应关系构建所述预设素材库。

4.根据权利要求3所述的方法，其特征在于，按照如下步骤确定每类解析图片样本对应的第二图片特征信息：

针对每类解析图片样本，将该类解析图片样本中多个解析图片样本的属性特征进行特征融合，得到该类解析图片样本对应的第二图片特征信息。

5.根据权利要求1所述的方法，其特征在于，所述确定与所述文本信息对应的所述待解析图片所关联的第二目标题干内容，包括：

将与所述文本信息对应的所述待解析图片之间的距离小于预设阈值的图片范围，作为题干搜索范围；

确定在所述题干搜索范围内是否搜索到题干内容；

若是，则将搜索到的题干内容确定为所述第二目标题干内容。

6.一种信息处理的装置，其特征在于，所述装置包括：

内容获取模块，用于获取待解答题目内容；所述待解答题目内容中包含题干内容和待解析图片；

文本解析模块，用于对所述待解析图片进行特征提取，得到第一图片特征信息；基于所述第一图片特征信息以及预设素材库中每类解析图片样本对应的第二图片特征信息，从所述预设素材库中查找与所述待解析图片对应的目标类素材图片样本；基于查找到的所述目标类素材图片样本对应的文本标注信息，确定与所述待解析图片对应的文本信息；

题目解析模块，用于从所述待解答题目内容中的题干内容中查找与所述文本信息匹配的第一目标题干内容；以及，确定与所述文本信息对应的所述待解析图片所关联的第二目标题干内容；基于查找的所述第一目标题干内容以及确定的所述第二目标题干内容，对所述待解答题目内容进行解答，得到解题结果。

7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的信息处理的方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至5任一所述的信息处理的方法的步骤。

Images