CN104331437B - 生成图片描述信息的方法和装置 - Google Patents

Abstract

本发明提出一种生成图片描述信息的方法和装置，该生成图片描述信息的方法包括获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息。该方法能够丰富图片的描述信息，并使得描述信息更灵活自然。

Description

生成图片描述信息的方法和装置

技术领域

本发明涉及信息技术领域，尤其涉及一种生成图片描述信息的方法和装置。

背景技术

当前的电子设备中，照相功能使用简单方便，人们可以方便的采用照相功能拍摄图片。随着互联网云盘的发展，越来越多的人们喜欢将一部分资料上传到云端进行存储，其中，上传的资源包括图片。

随着上传的图片越来越多，为了避免凌乱和没有条理，需要对上传的图片生成相关的描述信息，例如，对图片进行分类并生成标题摘要信息，或者对某张图片生成描述信息。

相关技术中，可以根据图片的拍摄时间进行分类，生成时间抽的相册集，标题摘要信息就是分类对应的拍摄时间；要对一张图片生成描述信息时，会提取这张图片中的物体和物体之间的位置关系，生成的描述信息就是对物体和该地点信息的描述信息。

但是，这种生成描述信息的方式信息内容不丰富并且生成的描述信息过于生硬。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种生成图片描述信息的方法，该方法可以丰富图片的描述信息，并使得描述信息更灵活自然。

本发明的另一个目的在于提出一种生成图片描述信息的装置。

为达到上述目的，本发明第一方面实施例提出的生成图片描述信息的方法，包括：获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息。

本发明第一方面实施例提出的生成图片描述信息的方法，通过获取图片描述特征信息，并根据该图片描述特征信息生成图片的描述信息，该图片描述特征信息是根据图片的历史描述信息确定的，由于历史描述信息是丰富的资源，因此，可以实现当前图片的描述信息更丰富，另外，当前图片的描述信息不限于根据当前图片自身获取，而是根据图片描述特征信息获取，可以实现描述信息的灵活自然。

为达到上述目的，本发明第二方面实施例提出的生成图片描述信息的装置，包括：获取模块，用于获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；分析模块，用于获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；匹配模块，用于根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；生成模块，用于根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息。

本发明第二方面实施例提出的生成图片描述信息的装置，通过获取图片描述特征信息，并根据该图片描述特征信息生成图片的描述信息，该图片描述特征信息是根据图片的历史描述信息确定的，由于历史描述信息是丰富的资源，因此，可以实现当前图片的描述信息更丰富，另外，当前图片的描述信息不限于根据当前图片自身获取，而是根据图片描述特征信息获取，可以实现描述信息的灵活自然。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的图片描述信息的展示方法的流程示意图；

图2是本发明实施例中获取的流程示意图；

图3a是本发明实施例中收集的对一组图片的历史标题摘要信息的示意图；

图3b是本发明实施例中收集的对单张图片的历史描述信息的示意图；

图4a是本发明实施例中对应一种当前处理的一组图片生成的标题摘要信息的示意图；

图4b是本发明实施例中对应一种当前处理的单张图片生成的描述信息的示意图；

图5是本发明另一实施例提出的生成图片描述信息的方法的流程示意图；

图6a本发明实施例中对应另一种当前处理的一组图片生成的标题摘要信息的示意图；

图6b本发明实施例中对应另一种当前处理的一组图片生成的标题摘要信息的示意图；

图7是本发明另一实施例提出的生成图片描述信息的方法的流程示意图；

图8是本发明实施例中关联特征信息的示意图；

图9a是本发明实施例中对应另一种当前处理的单张图片生成的描述信息的示意图；

图9b是本发明实施例中对应另一种当前处理的单张图片生成的描述信息的示意图；

图10是本发明另一实施例提出的生成图片描述信息的装置的结构示意图；

图11是本发明另一实施例提出的生成图片描述信息的装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的图片描述信息的展示方法的流程示意图，该方法包括：

S11：获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的。

其中，图片描述特征信息可以包括：一组图片的标题摘要信息的通用模板和特定实例，或者，单张图片的描述信息。

可以理解的是，在S11之前，该方法还可以包括获取图片描述特征信息的步骤，参见图2，获取图片描述特征信息可以包括：

S21：收集语料，所述语料包括图片资源和与所述图片资源对应的文本资源。

其中，可以在web上进行数据挖掘，收集语料。在Web上存在着大量的图片和文本数据，这为标题摘要生成和图片描述生成提供了大量的语料。

对于旅游类的图片，可以在旅游类的网站上进行数据挖掘，收集语料。例如，参见图3a，可以收集到关于标题摘要信息31的语料，又例如，参见图3b，可以收集到关于单张图片的描述信息32的语料。

S22：从所述语料中提取图片资源和对应的文本资源。

其中，语料可以包括图片资源以及文本资源，例如，图3a包括一组图片以及该组图片的标题摘要信息，又例如，图3b包括单张图片以及对应的描述信息。通过对语料进行图片和文本的提取，可以获取图片资源和文本资源，并且，保持图片资源与文本资源的对应关系。

S23：根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，并保存所述图片描述特征信息。

其中，图片描述信息可以包括通用模板和特定实例，或者包括：图片与文本的关联特征信息，其中，通用模板和特定实例可以根据文本资源生成，关联特征信息可以根据文本特征信息和图片特征信息生成，文本特征信息可以根据文本资源生成，图片特征信息可以根据图片资源生成。

通用模板和特定实例可以用于生成一组图片的标题摘要信息，关联特征信息可以用于生成当前图片的对单张图片的描述信息，通用模板和特定实例以及关联特征信息的具体获取方法可以参见后续实施例的描述。

S12：获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片。

其中，当前图片可以是一组图片，或者单张图片，相应的，要生成的描述信息可以是一组图片的标题摘要信息，或者，也可以是单张图片的标题摘要信息。

如果当前图片是一组图片，当前图片的特征信息可以包括：一组图片的时间和/或地点信息，或者，对一组图片的时间和/或地点进行推理后得到的信息，例如，根据时间推理得到的季节信息等。

如果当前图片是单张图片，当前图片的特征信息可以包括：对单张图片进行特征提取后得到的特征向量，例如，提取单张图片的时间信息和地点信息，之后，由单张图片的时间信息和地点信息组成特征向量。

S13：根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息。

如果当前图片是一组图片，则可以从通用模板和特定实例中，获取与当前处理的一组图片匹配的通用模板和/或特定实例。或者，

如果当前图片是单张图片，则可以根据该单张图片的特征向量以及关联特征信息，获取与该特征向量对应的文本特征信息。

S14：根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息。

如果当前图片是一组图片，找到匹配的通用模板和/或特定实例后，可以从中选择出最终的通用模板和/或特定实例，例如，根据预设算法自动选择，或者，将匹配的通用模板和/或特定实例显示给用户，由用户自己选择。在得到最终的通用模板和/或特定实例后，可以将当前处理的一组图片的特征信息与最终的通用模板和/或特定实例进行组合，得到一组图片的标题摘要信息。例如，最终选择的通用模板是：[时间]一起走过的风景，假设该一组图片的特征信息是时间，时间具体为2014年9月5日-2014年9月5日，则可以生成如图4a所示的标题摘要信息41。

如果当前图片是单张图片，找到对应的文本特征信息后，可以获取该文本特征信息所在的文本资源，再从该文本资源中选择出候选文本，再根据单张图片的特征向量与候选文本的相似度，确定最终选择的候选文本，将该候选文本确定为单张图片的描述信息。例如，参见图4b，对应每张图片给出了单张图片的描述信息42。

另外，可以理解的是，上述生成的标题摘要信息或者单张图片的描述信息可以再进行人为修改。

本实施例通过获取图片描述特征信息，并根据该图片描述特征信息生成图片的描述信息，该图片描述特征信息是根据图片的历史描述信息确定的，由于历史描述信息是丰富的资源，因此，可以实现当前图片的描述信息更丰富，另外，当前图片的描述信息不限于根据当前图片自身获取，而是根据图片描述特征信息获取，可以实现描述信息的灵活自然。

图5是本发明另一实施例提出的生成图片描述信息的方法的流程示意图，该实施例以生成一组图片的标题摘要信息为例，该方法包括：

S51：进行线下挖掘，获取通用模板和特定实例。

标题摘要知识挖掘是线下模块，其输入是挖掘的用户评论资源。挖掘的目标是生成两类知识：一是通用模板，一是特定实例，其中，可以根据语料频次信息挖掘出高频的通用模板与特定实例。

通用模版：识别出文本资源中某些共性的特征，如：地点、时间等，将其抽象成模板的形式。例如，通用模板可以如表1所示：

表1

原始语料	抽取模板
		[北京、上海、深圳等]·回忆	[LOC]·回忆
[三亚、大连等]·美景	[LOC]·美景
		[春天、夏天等]之旅	[Season]之旅

特定实例：对于不能进行抽象的描述，和某个具体属性相关联，如表2所示：

表2

实例	特点
		桂林山水甲天下	桂林
呼伦贝尔大草原	呼伦贝尔
		大漠烽烟	敦煌

在线下挖掘获取通用模板和特定实例后，可以进行线上处理，得到一组图片的标题摘要信息，线上处理过程可以包括：

S52：对当前要处理的一组图片进行推理。

其中，可以对当前要处理的一组图片进行推理，得到特征信息，例如，可以根据当前处理的一组图片的拍摄时间确定该组图片的季节等；或者，直接从当前处理的一组图片中获取特征信息，例如，获取当前处理的一组图片的地点信息。

S53：根据推理结果和线下挖掘的信息进行模板解析与匹配。

在所述通用模板和所述特定实例中，获取符合所述一组图片的特征信息的通用模板和/或特定实例，并将所述符合的通用模板和/特定实例确定为与所述当前图片匹配的图片描述特征信息。

例如，可以根据推理结果，如图片的季节，对线下挖掘的知识进行解析与匹配，获取标题摘要信息的候选信息，线下挖掘的知识包括：通用模板和特定实例。

通用模板例如包括：

醉美[LOC]

[LOC]·美景

邂逅[LOC]·遇见美好

[LOC][Period]游

其中，LOC表示图片拍摄地点，Period表示图片拍摄时间。

S54：进行组合策略，得到一组图片的标题摘要信息。

可以根据预设算法，从所述符合的通用模板和/特定实例中选择预设个数的通用模板和/或特定实例；将所述选择的通用模板和/或特定实例与所述一组图片的特征信息进行组合，得到所述一组图片的标题摘要信息。

例如，可以设置通用模板和特定实例的比例，之后找到相应比例的符合条件的通用模板和特定实例，之后，可以根据预设算法进行选择或者根据用户选择得到最终选择的通用模板和/或特定实例，再将一组图片的特征信息与最终选择的通用模板和/或特定实例进行组合，得到一组图片的标题摘要信息。

例如，最终选择的模板是：[Period]小桥·流水·人家，假设当前处理的一组图片的拍摄时间是2002年12月27日到2014年9月12日，则可以生成如图6a所示的标题摘要信息61。

又例如，最终选择的模板是：[Period]秋天的童话，假设当前处理的一组图片的拍摄时间是2014年9月5日到2014年9月5日，则可以生成如图6b所示的标题摘要信息62。

本实施例通过线下对大量数据进行挖掘，并根据挖掘后的信息生成标题摘要信息，可以生成更丰富和灵活自然的标题摘要信息；并且在选择最终的模板之前可以获取多个候选模板，从而为用户提供可供选择的内容，满足用户个性化需求。

图7是本发明另一实施例提出的生成图片描述信息的方法的流程示意图，该实施例以生成单张图片的描述信息为例，该方法包括：

S71：进行线下挖掘，获取图片与文本的关联特征信息。

其中，如图2所示，获取语料后，可以从语料中提取图片资源和文本资源，从图片资源中获取图片特征信息，从文本资源中获取文本特征信息，再根据图片特征信息和文本特征信息得到图片与文本的关联特征信息。

图片—文本关联特征挖掘是对Web上的图片和文本语料分别提取，并将二者关系进行关联，是对单独图片特征的扩充。

图片特征挖掘：对挖掘的有代表性的图片可以大体识别出图片中所包含事物的类别，如：山、大海、湖泊、草原、建筑等；

文本特征挖掘：对语料中有关图片的描述及评论的文本数据进行统计分析。对文本语料进行初步过滤后，根据每条文本对应的图片类别统计图片识别类别下的关键词频次信息，并将其转化为图片分类类别下词频-反文档频率(Term Frequency–InverseDocument Frequency，TF-IDF)特征。

图片与文本的关联特征信息：生成如下的图像与文本的对应关系，而且二者关系是可以通过统计计算将以度量，图片与文本的关联特征信息可以如图8所示。

经过图片—文本关联特征表示之后，对挖掘文本语料而言都会有其自身的图片识别分类特征及基于文本特征转化后的图片特征。

在线下挖掘获取关联特征，可以进行线上处理，得到单张图片的描述信息，线上处理过程可以包括：

S72：获取当前处理的单张图片的特征向量。

可以对用户输入图片进行图片分析，将识别出的图片分类特征及图片中的地理位置信息、时间等信息共同组织成一个多维的特征向量。

S73：进行特征匹配。

可以根据所述关联特征信息，获取与所述单张图片的特征信息对应的文本特征信息，并将所述文本特征信息确定为与所述当前图片匹配的图片描述特征信息。

例如，单张图片的特征向量中的元素包括草原，则对应的文本特征信息可以包括：草原，牛羊，牧场等。

S74：相似度计算，确定单张图片的描述信息。

在获取对应的文本特征信息后，可以从所述特征向量对应的文本特征信息所属的文本资源中，获取候选文本；计算所述特征向量与所述候选文本的相似度数值；根据所述相似度数值从大到小的顺序，对所述候选文本进行排序；从所述排序后的候选文本中按照从前到后的顺序选择预设个数的候选文本，将所述选择的候选文本确定为所述当前图片的描述信息。

例如，对应的文本特征信息包括：草原，牛羊，牧场等，每个文本特征信息会对应一个文本资源类，例如，草原对应草原的文本资源类，该文本资源类中是包含草原的文本，类似的，牛羊对应的文本资源类是包含牛羊的文本。

可以从这些文本资源类中根据预设算法选择出候选文本，再计算当前处理的单张图片的特征向量与候选文本的相似度，例如，可以根据欧式距离确定相似度数值，之后再根据相似度数据得到最终的候选文本，将最终的候选文件确定为单张图片的描述信息。

参见图9a和图9b，分别给出了关于乌镇的一组图片中的每个单张图片的描述信息91，以及关于丽江的一组图片中的每个单张图片的描述信息92。

本实施例通过线下对大量数据进行挖掘，并根据挖掘后的信息生成单张图片的描述信息，可以生成更丰富和灵活自然的描述信息；并且为用户提供可供选择的内容，满足用户个性化需求。

图10是本发明另一实施例提出的生成图片描述信息的装置的结构示意图，该装置100包括获取模块101，分析模块102，匹配模块103和生成模块104。

获取模块101用于获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；

其中，图片描述特征信息可以包括：一组图片的标题摘要信息的通用模板和特定实例，或者，单张图片的描述信息。

参见图11，该装置100还可以包括：

收集模块105，用于收集语料，所述语料包括图片资源和与所述图片资源对应的文本资源；

其中，可以在web上进行数据挖掘，收集语料。在Web上存在着大量的图片和文本数据，这为标题摘要生成和图片描述生成提供了大量的语料。

对于旅游类的图片，可以在旅游类的网站上进行数据挖掘，收集语料。例如，参见图3a，可以收集到关于标题摘要信息31的语料，又例如，参见图3b，可以收集到关于单张图片的描述信息32的语料。

提取模块106，用于从所述语料中提取图片资源和对应的文本资源；

其中，语料可以包括图片资源以及文本资源，例如，图3a包括一组图片以及该组图片的标题摘要信息，又例如，图3b包括单张图片以及对应的描述信息。通过对语料进行图片和文本的提取，可以获取图片资源和文本资源，并且，保持图片资源与文本资源的对应关系。

确定模块107，用于根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，并保存所述图片描述特征信息。

其中，图片描述信息可以包括通用模板和特定实例，或者包括：图片与文本的关联特征信息，其中，通用模板和特定实例可以根据文本资源生成，关联特征信息可以根据文本特征信息和图片特征信息生成，文本特征信息可以根据文本资源生成，图片特征信息可以根据图片资源生成。

通用模板和特定实例可以用于生成一组图片的标题摘要信息，关联特征信息可以用于生成当前图片的对单张图片的描述信息。

分析模块102用于获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；

其中，当前图片可以是一组图片，或者单张图片，相应的，要生成的描述信息可以是一组图片的标题摘要信息，或者，也可以是单张图片的标题摘要信息。

如果当前图片是一组图片，当前图片的特征信息可以包括：一组图片的时间和/或地点信息，或者，对一组图片的时间和/或地点进行推理后得到的信息，例如，根据时间推理得到的季节信息等。

如果当前图片是单张图片，当前图片的特征信息可以包括：对单张图片进行特征提取后得到的特征向量，例如，提取单张图片的时间信息和地点信息，之后，由单张图片的时间信息和地点信息组成特征向量。

匹配模块103用于根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；

如果当前图片是一组图片，则可以从通用模板和特定实例中，获取与当前处理的一组图片匹配的通用模板和/或特定实例。或者，

如果当前图片是单张图片，则可以根据该单张图片的特征向量以及关联特征信息，获取与该特征向量对应的文本特征信息。

生成模块104用于根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息。

如果当前图片是一组图片，找到匹配的通用模板和/或特定实例后，可以从中选择出最终的通用模板和/或特定实例，例如，根据预设算法自动选择，或者，将匹配的通用模板和/或特定实例显示给用户，由用户自己选择。在得到最终的通用模板和/或特定实例后，可以将当前处理的一组图片的特征信息与最终的通用模板和/或特定实例进行组合，得到一组图片的标题摘要信息。例如，最终选择的通用模板是：[时间]一起走过的风景，假设该一组图片的特征信息是时间，时间具体为2014年9月5日-2014年9月5日，则可以生成如图4a所示的标题摘要信息41。

如果当前图片是单张图片，找到对应的文本特征信息后，可以获取该文本特征信息所在的文本资源，再从该文本资源中选择出候选文本，再根据单张图片的特征向量与候选文本的相似度，确定最终选择的候选文本，将该候选文本确定为单张图片的描述信息。例如，参见图4b，对应每张图片给出了单张图片的描述信息42。

另外，可以理解的是，上述生成的标题摘要信息或者单张图片的描述信息可以再进行人为修改。

可选的，当所述当前图片是一组图片时，所述图片描述特征信息包括：通用模板和特定实例，所述确定模块107具体用于：

根据所述文本资源，生成一组图片的标题摘要信息的通用模板和特定实例。

标题摘要知识挖掘是线下模块，其输入是挖掘的用户评论资源。挖掘的目标是生成两类知识：一是通用模板，一是特定实例，其中，可以根据语料频次信息挖掘出高频的通用模板与特定实例。

通用模版：识别出文本资源中某些共性的特征，如：地点、时间等，将其抽象成模板的形式。例如，通用模板可以如表1所示。

特定实例：对于不能进行抽象的描述，和某个具体属性相关联，如表2所示。

所述匹配模块103具体用于：

在所述通用模板和所述特定实例中，获取符合所述一组图片的特征信息的通用模板和/或特定实例，并将所述符合的通用模板和/特定实例确定为与所述当前图片匹配的图片描述特征信息。

其中，可以对当前要处理的一组图片进行推理，得到特征信息，例如，可以根据当前处理的一组图片的拍摄时间确定该组图片的季节等；或者，直接从当前处理的一组图片中获取特征信息，例如，获取当前处理的一组图片的地点信息。

在所述通用模板和所述特定实例中，获取符合所述一组图片的特征信息的通用模板和/或特定实例，并将所述符合的通用模板和/特定实例确定为与所述当前图片匹配的图片描述特征信息。

例如，可以根据推理结果，如图片的季节，对线下挖掘的知识进行解析与匹配，获取标题摘要信息的候选信息，线下挖掘的知识包括：通用模板和特定实例。

通用模板例如包括：

醉美[LOC]

[LOC]·美景

邂逅[LOC]·遇见美好

[LOC][Period]游

其中，LOC表示图片拍摄地点，Period表示图片拍摄时间。

所述生成模块104具体用于：

根据预设算法，从所述符合的通用模板和/特定实例中选择预设个数的通用模板和/或特定实例；

将所述选择的通用模板和/或特定实例与所述一组图片的特征信息进行组合，得到所述一组图片的标题摘要信息。

可以根据预设算法，从所述符合的通用模板和/特定实例中选择预设个数的通用模板和/或特定实例；将所述选择的通用模板和/或特定实例与所述一组图片的特征信息进行组合，得到所述一组图片的标题摘要信息。

例如，可以设置通用模板和特定实例的比例，之后找到相应比例的符合条件的通用模板和特定实例，之后，可以根据预设算法进行选择或者根据用户选择得到最终选择的通用模板和/或特定实例，再将一组图片的特征信息与最终选择的通用模板和/或特定实例进行组合，得到一组图片的标题摘要信息。

例如，最终选择的模板是：[Period]小桥·流水·人家，假设当前处理的一组图片的拍摄时间是2002年12月27日到2014年9月12日，则可以生成如图6a所示的标题摘要信息61。

又例如，最终选择的模板是：[Period]秋天的童话，假设当前处理的一组图片的拍摄时间是2014年9月5日到2014年9月5日，则可以生成如图6b所示的标题摘要信息62。

可选的，当所述当前图片是单张图片时，所述图片描述特征信息包括：图片与文本的关联特征信息，所述确定模块107具体用于：

根据所述文本资源获取文本特征信息；

根据所述图片资源获取图片特征信息；

根据所述文本特征信息和所述图片特征信息获取图片与文本的关联特征信息。

其中，如图2所示，获取语料后，可以从语料中提取图片资源和文本资源，从图片资源中获取图片特征信息，从文本资源中获取文本特征信息，再根据图片特征信息和文本特征信息得到图片与文本的关联特征信息。

图片—文本关联特征挖掘是对Web上的图片和文本语料分别提取，并将二者关系进行关联，是对单独图片特征的扩充。

图片特征挖掘：对挖掘的有代表性的图片可以大体识别出图片中所包含事物的类别，如：山、大海、湖泊、草原、建筑等；

文本特征挖掘：对语料中有关图片的描述及评论的文本数据进行统计分析。对文本语料进行初步过滤后，根据每条文本对应的图片类别统计图片识别类别下的关键词频次信息，并将其转化为图片分类类别下词频-反文档频率(Term Frequency–InverseDocument Frequency，TF-IDF)特征。

图片与文本的关联特征信息：生成如下的图像与文本的对应关系，而且二者关系是可以通过统计计算将以度量，图片与文本的关联特征信息可以如图8所示。

经过图片—文本关联特征表示之后，对挖掘文本语料而言都会有其自身的图片识别分类特征及基于文本特征转化后的图片特征。

所述匹配模块103具体用于：

根据所述关联特征信息，获取与所述单张图片的特征信息对应的文本特征信息，并将所述文本特征信息确定为与所述当前图片匹配的图片描述特征信息。

可以对用户输入图片进行图片分析，将识别出的图片分类特征及图片中的地理位置信息、时间等信息共同组织成一个多维的特征向量。

可以根据所述关联特征信息，获取与所述单张图片的特征信息对应的文本特征信息，并将所述文本特征信息确定为与所述当前图片匹配的图片描述特征信息。

例如，单张图片的特征向量中的元素包括草原，则对应的文本特征信息可以包括：草原，牛羊，牧场等。

所述单张图片的特征信息是根据所述单张图片获取的特征向量，所述生成模块104具体用于：

从所述特征向量对应的文本特征信息所属的文本资源中，获取候选文本；

计算所述特征向量与所述候选文本的相似度数值；

根据所述相似度数值从大到小的顺序，对所述候选文本进行排序；

从所述排序后的候选文本中按照从前到后的顺序选择预设个数的候选文本，将所述选择的候选文本确定为所述当前图片的描述信息。

在获取对应的文本特征信息后，可以从所述特征向量对应的文本特征信息所属的文本资源中，获取候选文本；计算所述特征向量与所述候选文本的相似度数值；根据所述相似度数值从大到小的顺序，对所述候选文本进行排序；从所述排序后的候选文本中按照从前到后的顺序选择预设个数的候选文本，将所述选择的候选文本确定为所述当前图片的描述信息。

例如，对应的文本特征信息包括：草原，牛羊，牧场等，每个文本特征信息会对应一个文本资源类，例如，草原对应草原的文本资源类，该文本资源类中是包含草原的文本，类似的，牛羊对应的文本资源类是包含牛羊的文本。

可以从这些文本资源类中根据预设算法选择出候选文本，再计算当前处理的单张图片的特征向量与候选文本的相似度，例如，可以根据欧式距离确定相似度数值，之后再根据相似度数据得到最终的候选文本，将最终的候选文件确定为单张图片的描述信息。

参见图9a和图9b，分别给出了关于乌镇的一组图片中的每个单张图片的描述信息91，以及关于丽江的一组图片中的每个单张图片的描述信息92。

本实施例通过获取图片描述特征信息，并根据该图片描述特征信息生成图片的描述信息，该图片描述特征信息是根据图片的历史描述信息确定的，由于历史描述信息是丰富的资源，因此，可以实现当前图片的描述信息更丰富，另外，当前图片的描述信息不限于根据当前图片自身获取，而是根据图片描述特征信息获取，可以实现描述信息的灵活自然。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种生成图片描述信息的方法，其特征在于，包括：

获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；

获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；

根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；

根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息；

其中，所述获取预先保存的图片描述特征信息之前，所述方法还包括：

收集语料，所述语料包括图片资源和与所述图片资源对应的文本资源；

从所述语料中提取图片资源和对应的文本资源；

根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，并保存所述图片描述特征信息。

2.根据权利要求1所述的方法，其特征在于，当所述当前图片是一组图片时，所述图片描述特征信息包括：通用模板和特定实例，所述根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，包括：

根据所述文本资源，生成一组图片的标题摘要信息的通用模板和特定实例。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息，包括：

在所述通用模板和所述特定实例中，获取符合所述一组图片的特征信息的通用模板和/或特定实例，并将所述符合的通用模板和/特定实例确定为与所述当前图片匹配的图片描述特征信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，包括：

根据预设算法，从所述符合的通用模板和/特定实例中选择预设个数的通用模板和/或特定实例；

将所述选择的通用模板和/或特定实例与所述一组图片的特征信息进行组合，得到所述一组图片的标题摘要信息。

5.根据权利要求1所述的方法，其特征在于，当所述当前图片是单张图片时，所述图片描述特征信息包括：图片与文本的关联特征信息，所述根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，包括：

根据所述文本资源获取文本特征信息；

根据所述图片资源获取图片特征信息；

根据所述文本特征信息和所述图片特征信息获取图片与文本的关联特征信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息，包括：

根据所述关联特征信息，获取与所述单张图片的特征信息对应的文本特征信息，并将所述文本特征信息确定为与所述当前图片匹配的图片描述特征信息。

7.根据权利要求6所述的方法，其特征在于，所述单张图片的特征信息是根据所述单张图片获取的特征向量，所述根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，包括：

从所述特征向量对应的文本特征信息所属的文本资源中，获取候选文本；

计算所述特征向量与所述候选文本的相似度数值；

根据所述相似度数值从大到小的顺序，对所述候选文本进行排序；

从所述排序后的候选文本中按照从前到后的顺序选择预设个数的候选文本，将所述选择的候选文本确定为所述当前图片的描述信息。

8.一种生成图片描述信息的装置，其特征在于，包括：

获取模块，用于获取预先保存的图片描述特征信息，所述图片描述特征信息是根据图片的历史描述信息确定的；

分析模块，用于获取要进行处理的当前图片，并对所述当前图片进行分析，得到所述当前图片的特征信息，所述当前图片是一组图片或者单张图片；

匹配模块，用于根据所述图片描述特征信息和所述当前图片的特征信息，获取与所述当前图片匹配的图片描述特征信息；

生成模块，用于根据所述匹配的图片描述特征信息，生成所述当前图片的描述信息，所述当前图片的描述信息包括：一组图片的标题摘要信息，或者，单张图片的描述信息；

所述生成图片描述信息的装置还包括：

收集模块，用于收集语料，所述语料包括图片资源和与所述图片资源对应的文本资源；

提取模块，用于从所述语料中提取图片资源和对应的文本资源；

确定模块，用于根据所述图片资源和/或所述文本资源，生成所述图片描述特征信息，并保存所述图片描述特征信息。

9.根据权利要求8所述的装置，其特征在于，当所述当前图片是一组图片时，所述图片描述特征信息包括：通用模板和特定实例，所述确定模块具体用于：

根据所述文本资源，生成一组图片的标题摘要信息的通用模板和特定实例。

10.根据权利要求9所述的装置，其特征在于，所述匹配模块具体用于：

在所述通用模板和所述特定实例中，获取符合所述一组图片的特征信息的通用模板和/或特定实例，并将所述符合的通用模板和/特定实例确定为与所述当前图片匹配的图片描述特征信息。

11.根据权利要求10所述的装置，其特征在于，所述生成模块具体用于：

根据预设算法，从所述符合的通用模板和/特定实例中选择预设个数的通用模板和/或特定实例；

将所述选择的通用模板和/或特定实例与所述一组图片的特征信息进行组合，得到所述一组图片的标题摘要信息。

12.根据权利要求8所述的装置，其特征在于，当所述当前图片是单张图片时，所述图片描述特征信息包括：图片与文本的关联特征信息，所述确定模块具体用于：

根据所述文本资源获取文本特征信息；

根据所述图片资源获取图片特征信息；

根据所述文本特征信息和所述图片特征信息获取图片与文本的关联特征信息。

13.根据权利要求12所述的装置，其特征在于，所述匹配模块具体用于：

根据所述关联特征信息，获取与所述单张图片的特征信息对应的文本特征信息，并将所述文本特征信息确定为与所述当前图片匹配的图片描述特征信息。

14.根据权利要求13所述的装置，其特征在于，所述单张图片的特征信息是根据所述单张图片获取的特征向量，所述生成模块具体用于：

从所述特征向量对应的文本特征信息所属的文本资源中，获取候选文本；

计算所述特征向量与所述候选文本的相似度数值；

根据所述相似度数值从大到小的顺序，对所述候选文本进行排序；

从所述排序后的候选文本中按照从前到后的顺序选择预设个数的候选文本，将所述选择的候选文本确定为所述当前图片的描述信息。