CN113407708A - 提要生成方法、信息生成及信息推荐方法、装置及设备 - Google Patents
提要生成方法、信息生成及信息推荐方法、装置及设备 Download PDFInfo
- Publication number
- CN113407708A CN113407708A CN202010188121.9A CN202010188121A CN113407708A CN 113407708 A CN113407708 A CN 113407708A CN 202010188121 A CN202010188121 A CN 202010188121A CN 113407708 A CN113407708 A CN 113407708A
- Authority
- CN
- China
- Prior art keywords
- nodes
- information
- text
- description information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000010586 diagram Methods 0.000 claims description 37
- 238000013139 quantization Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 21
- 230000002596 correlated effect Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 18
- 239000010410 layer Substances 0.000 description 17
- 239000000284 extract Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
公开了一种提要生成方法、信息生成方法、装置及设备。根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图，节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系；使用提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；基于提要预测结果确定集合的提要。由此，通过引入图像信息，可以丰富信息源，根据额外的信息源使得可以生成信息更加丰富的提要；并且基于同时根据对象的文本描述信息和图像描述信息构建的关系图，可以生成相关性高且有吸引性的提要。
Description
技术领域
本公开涉及信息推荐领域，特别是涉及一种提要生成方法、信息生成及信息推荐方法、装置及设备。
背景技术
对于包括多个对象的集合，在用户浏览集合中的对象之前，如何向用户展示该集合的提要，使用户能够通过提要快速了解集合中的对象，是信息推荐领域亟需解决的一个问题。
以商品信息推荐领域中的主题推荐为例，主题推荐是目前广受欢迎的一种信息推荐方式。在主题推荐场景中，系统会一次性地给用户推荐多个具有共同主题的信息。以商品推荐为例，假设一位女士对裙子感兴趣，那么系统会推荐给她一个有关裙子的主题，在这个主题中有各式各样的裙子供其挑选，以让用户更有针对性地对比和购买商品。此外，也可以将需要互相搭配的商品组合成一个主题，例如在一个关于“收纳”的主题中包含的商品可以是花瓶、储物架、照片墙、多宝格等等具有相同功能的商品。
主题推荐能够节省用户时间，同时也能提高信息被用户接受的概率，因此是非常重要的功能。例如，针对商品的主题推荐能节省用户搜寻相关商品、搭配商品的时间，同时也能让商家一次性卖出更多的商品。
主题推荐需要一个提要让用户快速对主题内的对象有一个认知。即，用户需要通过提要快速了解主题内部大概是什么，以及需不需要进一步的点击。
好的提要应该和主题内的信息保持一致。例如推荐的主题是“裙子”，那么生成的提要就不能是大衣。以往的提要生成方法中仅使用商品标题作为输入源，商品标题中存在许多噪音词，会影响生成的提要的准确性。
因此，仍需要一种能够提升生成提要与主题内信息一致性的信息生成方案。
发明内容
本公开要解决的一个技术问题是提供一种能够提升生成信息与集合中对象信息一致性的信息生成方案，例如提供一种能够提升生成提要与主题内信息一致性的提要生成方案。
根据本公开的第一个方面，提供了一种提要生成方法，包括：根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图，节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系；使用提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；基于提要预测结果确定集合的提要。
根据本公开的第二个方面，提供了一种信息推荐方法，包括：确定向用户推荐的具有同一主题的多个对象的集合；使用第一方面所述的提要生成方法确定集合的提要；输出提要；以及响应于用户针对提要的操作，输出集合中的对象。
根据本公开的第三个方面，提供了一种信息生成方法，包括：根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点间的连线组成的关系图，节点用于表征取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系；使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；基于信息预测结果确定集合的信息。
根据本公开的第四个方面，提供了一种提要生成装置，包括：构建模块，用于根据集合中对象的文本描述信息和/或图像描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系；提要预测模块，用于使用标题预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；确定模块，用于基于提要预测结果确定集合的提要。
根据本公开的第五个方面，提供了一种信息推荐装置，包括：信息推荐模块，用于确定向用户推荐的具有同一主题的多个对象的集合；提要生成模块，用于使用第一方面所述的提要生成方法确定集合的提要；以及第一输出模块，用于输出提要；以及第二输出模块，用于响应于用户针对提要的操作，输出集合中的对象。
根据本公开的第六个方面，提供了一种信息生成装置，包括：构建模块，用于根据集合中对象的第一类型描述信息和/或第二类型描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系；信息预测模块，用于使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；确定模块，用于基于信息预测结果确定集合的信息。
根据本公开的第七个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一方面至第三方面中任一方面所述的方法。
根据本公开的第八个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一方面至第三方面中任一方面所述的方法。
由此，以生成的提要为标题为例，通过引入图像信息，可以丰富信息源，根据额外的信息源使得可以生成信息更加丰富的标题；并且基于同时根据对象的文本描述信息和图像描述信息构建的关系图，可以生成相关性高且有吸引性的标题。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了文本图的构建流程示意图。
图2示出了图像图的构建流程示意图。
图3示出了异构图的构建流程示意图。
图4示出了基于Dual-Graph2seq模型生成提要的示意性流程图。
图5示出了基于Hetero-Graph2seq模型生成提要的示意性流程图。
图6示出了根据本公开一个实施例的信息生成方法的示意性流程图。
图7示出了根据本公开一个实施例的提要生成装置的结构框图。
图8示出了根据本公开一个实施例的信息推荐装置的结构框图。
图9示出了根据本公开一个实施例的信息生成装置的结构框图。
图10示出了根据本公开一个实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
下面以主题推荐场景为例，就集合的提要的生成过程进行示意性说明。其中，提要用于表征集合中对象的共性，可以视为集合的摘要。提要的展示形式可以包括但不限于文本、图片、视频等多种信息格式。
一、关系图的构建
一般来说，对象的文本描述信息中具有较多噪音单词，不利于生成高一致性的标题，反而对象的图像描述信息和对象是高度相关的。于是，本公开引入了对象的图像描述信息，图像描述信息和对象的文本描述信息一起，作为信息源来确定属于同一主题的多个对象的标题。其中，图像描述信息可以是指对象的静态化的图片信息，也可以是指对象的视频信息。可选地，图像描述信息还可以是指基于OCR(Optical Character Recognition，光学字符识别)技术对图像进行识别后的描述信息。
属于同一主题的多个对象，是指适于一次性向用户推荐的具有一个共同主题的对象的集合。确定属于同一主题的多个对象的提要，也即确定集合的提要。其中，主题可以是用于表征对象类别的主题，也可以是用于表征对象所具备的功能的主题。对象用于表征向用户推荐的信息，可以是但不限于商品、阅读物(如文章、资讯等)等多种形式的信息。
为了发现集合中对象的共性，可以根据集合中对象的文本描述信息和图像描述信息，构建用于表征集合中对象间的关联关系的关系图。文本描述信息是指对象的文本形式的描述信息，图像描述信息是指对象的图像形式的描述信息。以对象是商品为例，文本描述信息可以是指商品标题，图像描述信息可以是指但不限于商品图片和/或商品视频。
下面首先就关系图的构建过程进行示意性说明。
可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图，节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系。
作为示例，可以构建如下三种类型的关系图。
1、文本图
可以根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的关系图(为了便于区分，可以称为第一关系图)。
第一关系图中的节点均为文本类型的节点(也即文本节点)，因此第一关系图也可以称为文本图。文本节点用于表征取自文本描述信息的文本。
图1示出了文本图的构建流程示意图。
如图1所示，首先可以从集合中对象的文本描述信息中提取一个或多个文本，作为文本节点。其中可以根据文本在文本描述信息中出现的频次，提取频次大于预定数值的文本作为文本节点，也可以根据基于预定方式得到的文本的重要程度，提取重要程度大于预定数值或重要程度排名靠前的文本作为文本节点。
以对象为商品、文本描述信息为商品标题为例，商品标题中有大量的无关噪声词，为了避免噪声词的标题生成造成影响，可以从商品标题中提取关键词作为文本节点，如可以将集合中所有商品标题中词频大于1的单词作为关键词。
在得到文本节点后，可以挖掘文本节点之间的关联关系，将具有关联关系的文本节点用连线连接。具体可以根据多种方式判断文本节点间是否存在关联关系。例如，可以将出现在同一对象的文本描述信息中的两个文本节点用连线连接，即如果两个文本节点所表征的文本出现在一个对象的文本描述信息中，那么可以将这两个文本节点进行连边。再例如，也可以将相关性大于第一阈值的两个文本节点用连线连接，关于文本节点间相关性的计算方式，本公开不再赘述，如可以通过计算文本节点所表征的文本间的文本相似度的方式，确定文本节点间的相关性。
如此可以构建由文本节点以及文本节点之间的连线组成的文本图。
可选地，还可以确定连线的权重，权重用于表征连线两端的文本节点之间的关联关系的亲密程度。以根据文本节点所表征的文本是否出现在同一对象的文本描述信息中确定文本节点间的连线为例，权重可以与两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，即如果两个文本的共现频率越高那么两者之间的关系也就越亲密。以根据文本节点之间的相关性确定文本节点间的连线为例，权重可以与相关性的大小正相关。
2、图像图
可以根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的关系图(为了便于区分，可以称为第二关系图)。
第二关系图中的节点均为图像节点，因此第二关系图也可以称为图像图。其中，图像节点用于表征取自图像描述信息的图像。
图2示出了图像图的构建流程示意图。
如图2所示，首先可以从集合中对象的图像描述信息中提取一个或多个图像，作为图像节点。对象的图像描述信息可以包括对象的一个或多个图像，可以根据对象的图像描述信息中图像的排列次序，提取排列在前的图像作为图像节点；也可以根据基于预定方式得到的图像的重要程度，提取重要程度大于预定数值或重要程度排名靠前的图像作为图像节点。其中，图像可以是指静态化的图片，也可以是指动态化的视频。
在得到图像节点后，可以挖掘图像节点之间的关联关系，将具有关联关系的图像节点用连线连接。具体可以根据多种方式判断图像节点间是否存在关联关系。例如，可以将文本描述信息中具有相同文本的两个图像节点用连线连接，即如果两个图像节点所对应的对象的文本描述信息中具有相同的文本，那么可以将这两个图像节点进行连边。再例如，也可以将相似度大于第二阈值的两个图像节点用连线连接，关于图像节点间相似度的计算方式，本公开不再赘述，如可以通过计算图像节点所表征的图像间的图像相似度的方式，确定图像节点间的相似度。
如此可以构建由图像节点以及图像节点之间的连线组成的图像图。
可选地，还可以确定连线的权重，权重用于表征连线两端的图像节点的关联关系的亲密程度。以根据图像节点所对应的对象的文本描述信息中是否具有相同的文本确定图像节点间的连线为例，权重可以与相同文本的个数正相关，即如果两个图像节点对应的对象的文本描述信息中相同文本的个数越多，那么两者之间的关系也就越亲密，权重也就越大。以根据图像节点之间的相似度确定图像节点间的连线为例，权重可以与相似度的大小正相关。
3、异构图
可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图。不同于文本图、图像图，此处构造的关系图中的节点包括文本节点和图像节点这两种类型的节点。因此，此处构建的关系图可以称为异构图。其中，文本节点用于表征取自文本描述信息的文本。图像节点用于表征取自图像描述信息的图像。
图3示出了异构图的构建流程示意图。
如图3所示，首先可以从集合中对象的文文本描述信息中提取一个或多个文本，作为文本节点；并从集合中对象的图像描述信息中提取一个或多个图像，作为图像节点。文本节点、图像节点的先后生成顺序，本公开不做限定。关于文本节点、图像节点的生成方式可以参见上文相关描述，此处不再赘述。
在得到文本节点和图像节点后，可以挖掘节点之间的关联关系，将具有关联关系的节点用连线连接。
作为示例，可以将文本描述信息中具有相同文本的两个对象所对应的图像节点分别与相同文本对应的文本节点用连线连接。由此，在异构图中，文本节点作为桥梁显式地构建了图像节点之间的关系。
以对象为商品、文本描述信息为商品标题、图像描述信息为商品图片为例，如果商品A的标题与商品B的标题之间共享有关键词W，那么就连接商品A的图片节点I_a与关键词W和商品B的图片节点I_b与W。在异构图中，商品的图片和商品的关键词同时是图中的节点，文本信息(关键词)作为桥梁显式的建模了商品图片之间的关系。
二、关系图中可用信息的向量化表示
关系图中的可用信息包括图中的节点以及节点间的关联关系。可用信息的向量化表示，也即可用信息的特征的向量化表示。
可以获取关系图中节点的向量化表示(为了便于区分，可以称为第一向量化表示)，并获取关系图中节点间的关联关系的向量化表示(为了便于区分，可以称为第二向量化表示)。
第一向量化表示可以用于表征提取的节点的特征，即第一向量化表示可以视为节点的特征的向量化表示。第二向量化表示可以用于表征提取的关联关系的特征，即第二向量化表示可以视为节点间关联关系的特征的向量化表示。其中，第二向量化表示可以用于表征节点间是否具有关联关系以及关联关系的紧密程度，第二向量化表示的获取过程不是本公开的侧重点，此处不再赘述。下面仅就文本节点和图像节点的向量化表示的获取过程进行示例性说明。
1、文本节点
在节点用于表征取自文本描述信息的文本(即节点为文本节点)的情况下，可以将文本的词向量作为节点的第一向量化表示。另外，也可以使用其他方式将对象的其他文本信息添加到节点的向量化表示中，以获得更好的性能。即，第一向量化表示除了包括文本节点所表征的文本的词向量外，还可以包括其他文本信息(如上下文信息)的词向量。
2、图像节点
在节点用于表征取自图像描述信息的图像(即节点为图像节点)的情况下，可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。
作为示例，特征提取组件可以包括残差网络(ResNet)和多层感知器(MLP)，残差网络的输出为多层感知器的输入。例如，残差网络可以采用ResNet50，即可以使用ResNet50作为特征提取器来提取图像节点所表征的图像(如商品图片)的特征。具体来说，可以使用在ImageNet(图片集)上预训练过的ResNet50网络，并且ResNet50网络的参数可以根据商品的类目再进行调整(如微调)。然后对所有的图片提取最后一层pooling(池化层)之后的2048维特征。提取的特征可以接着被送进一个MLP(多层感知器)中，在后续的训练，可以只训练这个MLP，
MLP＝W2*ReLU(W1*Xi)
上述公式中W1W2是可训练的参数矩阵，Xi是使用ResNet50提取的特征，ReLU是激活函数。
三、提要生成方式
可以使用预先训练好的提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果。基于提要预测结果可以确定集合的提要。提要预测结果可以是指提要预测模型组件输出的概率最大的预测结果，可以直接将标题预测模型组件输出的预测结果作为集合的提要，也可以对标题预测模型组件输出的预测结果进行调整，将调整后的结果作为集合的提要。其中，提要用于表征集合中对象的共性，可以视为集合的摘要。提要的展示形式可以包括但不限于文本、图片、视频等多种信息格式。例如，所生成的提要可以视为集合的标题，标题的展示形式可以包括但不限于文本、图片、视频等多种信息格式。
提要预测模型组件可以采用但不限于sequence-to-sequence(序列到序列)模型架构。由此，提要预测模型组件可以包括编码组件和解码组件，编码组件的输入为第一向量化表示和第二向量化表示，编码组件的输出为解码组件的输入。
解码组件可以采用基于注意力机制(Attention)的循环神经网络结构(RNN)，即解码组件可以包括注意力(Attention)结构和循环神经网络结构(RNN)，注意力结构用于确定解码时编码组件的输出中不同部分的权重分配，循环神经网络结构用于基于权重分配生成解码结果。关于解码组件的解码原理，不是本公开的侧重点，因此不再展开描述。
为了能够准确地提取关系图中节点和节点间关联关系的特征，编码组件可以采用图卷积神经网络结构(Graph Convolution Network，GCN)，利用GCN从关系图中提取特征。
图卷积神经网络结构包括预定层数的特征提取单元。其中，相邻两层特征提取单元中在后的特征提取单元的输入依赖于在前的特征提取单元的输出、关系图中至少部分节点的特征向量组成的矩阵以及节点之间的关联关系的矩阵。
作为示例，图卷积神经网络结构包括l+1层特征提取单元，l为大于或等于0的整数，第l+1层特征提取单元可以采用如下方式提取特征：
其中，
A为用于表征节点之间的关联关系的矩阵，I为单位矩阵，Hl表示第l层提取的特征，输入层H0＝X，X为由关系图中至少部分节点的特征向量组成的矩阵，
为
的度矩阵，Wl+1为第l+1层的参数，σ为激活函数。
为了缓解GCN中的over-smoothing(过平滑)问题，可以在层与层之间加入残差连接。即，相邻两层特征提取单元之间为残差连接。关于层间加入的残差连接的具体形式本公开不再赘述。
作为示例，在加入残差连接的情况下，编码组件的输出可以表示为：
gout＝tanh(Wogl+1)；
gl+1＝Hl+1+gl，
其中，gl+1为经过l+1层图编码层得到的表示，gl为经过l层图编码层得到的表示，gl +1再送入一个全连接层以及激活函数tanh得到用于解码端的表示gout。
如上文所述，构建的关系图可以分为同构图(文本图、图像图)和异构图。异构图中同时存在图像节点和文本节点，对于异构图，使用GCN可以直接提取异构图中图像节点和文本节点的跨模态信息。
在构建的关系图为由文本图和图像图组成的同构图的情况下，为了能够使用来自图像和文本的信息，编码组件除了可以包括第一图卷积神经网络结构和第二图卷积神经网络结构，还可以包括信息融合组件。其中，第一图卷积神经网络结构用于从第一关系图(即文本图)中提取特征，第二图卷积神经网络结构用于从第二关系图(即图像图)中提取特征。信息融合组件用于整合第一图卷积神经网络结构的输出和第二图卷积神经网络结构的输出。信息融合组件的输出作为解码组件的输入。
换言之，针对同构图(文本图和图像图)和异构图，本公开提出了两种不同模型结构的提要预测模型组件。为了便于区分，这两种提要预测模型组件可以分别称为Dual-Graph2seq模型和Hetero-Graph2seq模型。
1、Dual-Graph2seq模型
Dual-Graph2seq模型包括编码组件和解码组件。其中编码组件包括第第一图卷积神经网络结构和第二图卷积神经网络结构以及信息融合组件。关于图卷积神经网络结构、解码组件可以参见上文相关描述，此处不再赘述。
图4示出了基于Dual-Graph2seq模型生成提要的示意性流程图。
如图4所示，可以利用图编码技术分别对文本图和图像图进行编码，编码结果可以进行信息融合，融合后的编码信息可以作为解码部分的输入，输入解码组件。
本公开可以使用门控(Adaptive Gate)机制控制文本图和图像图的编码信息的融合；也可以直接将文本图的编码结果和图像图的编码结果连接，然后使用注意力(Attention)机制得到用作解码的context(上下文)向量；还可以在图编码后使用多头注意力机制(Multi-headAttention)实现文本图和图像图的编码信息的融合；还可以使用pooling(池化)的方法对文本图的编码结果和图像图的编码结果进行处理，以得到用于解码的context向量。
2、Hetero-Graph2seq模型
Hetero-Graph2seq模型包括编码组件和解码组件。其中编码组件包括图卷积神经网络结构。关于图卷积神经网络结构、解码组件可以参见上文相关描述，此处不再赘述。
图5示出了基于Hetero-Graph2seq模型生成提要的示意性流程图。
如图5所示，可以通过图编码技术(如GCN)直接对异构图中图像和文本中的跨模态信息进行编码，编码结果可以作为解码组件的输入。其中解码组件可以基于注意力机制进行解码。
综上，如果仅仅使用文本信息很容易拟合到噪声单词上，生成与主题不一致的标题，而图像信息较为纯洁，与对象高度相关，加入图像信息一定程度上可以起到抗过拟合的作用。因此，通过引入图像信息，可以丰富信息源，根据额外的信息源使得可以生成信息更加丰富的提要。
并且为了发现集合中对象的共性，本公开同时基于对象的文本描述信息和图像描述信息，构建关系图，并使用图编码技术提取特征，以便生成相关性高且有吸引性的提要。
作为示例，在生成提要的同时，还可以输出集合中对象对生成提要的贡献程度，例如可以输出生成的提要来自集合中一个或多个对象的比例。由此，通过展示输出提要与集合中对象的比例关系，使得用户还能够进一步了解集合中对象与提要的紧密程度。
本公开还提出了一种信息推荐方法，包括：确定向用户推荐的具有同一主题的多个对象的集合；使用上文述及的提要生成方法确定集合的标题；输出提要；以及响应于用户针对提要的操作，输出集合中的对象。
本公开还可以实现为一种信息生成方法，可以根据集合中对象的第一类型描述信息和第二类型描述描述信息，确定集合的信息。所确定的信息可以用于表征集合中对象所共有的特性。即，所确定的信息可以视为集合中对象所共有的特性的信息表示。例如这里所确定的信息可以是指能够反映集合中对象的提要的信息，也即上文述及的提要。由此用户可以通过所确定的信息快速了解集合中的对象。
作为示例，可以根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点间的连线组成的关系图，节点用于表征取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系；使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；基于信息预测结果确定集合的信息。
第一类型描述信息和第二类型描述信息是指格式不同的信息。例如，第一类型描述信息可以是指文本形式的描述信息(也即上文述及的文本描述信息)，第二类型描述信息可以是指图像形式的描述信息(也即上文述及的图像描述信息)。其中，图像形式的描述信息可以进一步细分为图片描述信息、视频描述信息。由此，第一类型描述信息、第二类型描述信息可以是取自文本、图片、视频等多种类型描述信息中的任意两种。
第一类型信息的信息格式与第一类型描述信息的信息格式相同，以第一类型描述信息为文本描述信息为例，第一类型信息为文本。相应地，第二类型信息的信息格式与第二类型描述信息的信息格式相同，以第二类型描述信息为图像描述信息为例，第一类型信息为图像。
关于信息生成方法的具体实现过程可以参见上文相关描述，下面以第一类型描述信息为文本描述信息，第二类型描述信息为图像描述信息，所生成的信息为文本为例，就信息生成方法的实现流程做示意性说明。
图6示出了根据本公开一个实施例的文本生成方法的示意性流程图。
如图6所示，首先可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图。关系图中的节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，关系图中的连线用于表征节点之间的关联关系。关于关系图的构建过程可以参见上文相关描述，此处不再赘述。
在构建完成关系图后，可以使用文本预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到文本预测结果。关于文本预测模型组件的结构及预测原理，可以参见上文述及的标题预测模型组件，即可以将标题预测模型组件视为一种特殊的文本预测模型组件。
最后可以基于文本预测结果确定集合的文本。在确定了集合的文本后，可以向用户呈现该文本，以便于用户通过该文本快速了解集合中的对象。
图7示出了根据本公开一个实施例的提要生成装置的结构框图。其中，提要生成装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。
下面就提要生成装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1至图5的相关描述，这里不再赘述。
参见图7，提要生成装置700包括构建模块710、提要预测模块720以及确定模块730。
构建模块710用于根据集合中对象的文本描述信息和/或图像描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系。
构建模块710可以根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的第一关系图，文本节点用于表征取自文本描述信息的文本；并且构建模块710可以根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的第二关系图，图像节点用于表征取自图像描述信息的图像。
在构建第一关系图时，构建模块710可以从文本描述信息中提取一个或多个文本，作为文本节点；将出现在同一对象的文本描述信息中的两个文本节点用连线连接，并且/或者将相关性大于第一阈值的两个文本节点用连线连接。
在构建第二关系图时，构建模块710可以从图像描述信息中提取一个或多个图像，作为图像节点；将文本描述信息中具有相同文本的两个图像节点用连线连接，并且/或者将相似度大于第二阈值的两个图像节点用连线连接。
提要生成装置700还可以包括权重确定模块。权重确定模块可以用于确定第一关系图和/或第二关系图中连续的权重。对于第一关系图而言，权重与两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，并且/或者权重与相关性正相关。对于第二关系图而言，权重与相同文本的个数正相关，并且/或者权重与相似度正相关。
构建模块710还可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图(即上文述及的异构图)，关系图中的节点分为文本节点和图像节点，文本节点用于表征取自文本描述信息的文本，图像节点用于表征取自图像描述信息的图像。
在构建异构图时，构建模块710可以从文本描述信息中提取一个或多个文本，作为文本节点；从图像描述信息中提取一个或多个图像，作为图像节点；将文本描述信息中具有相同文本的两个对象所对应的图像节点分别与相同文本对应的文本节点用连线连接。
提要预测模块720用于使用提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果。关于提要预测模型组件的结构可以参见上文相关描述，此处不再赘述。
确定模块730用于基于提要预测结果确定集合的提要。例如，提要预测模块720可以输出预测概率最大的文本，确定模块630可以直接将提要预测模块720输出的文本作为集合的提要，也可以对提要预测模块720输出的文本进行调整，将调整后的文本作为集合的提要。
提要生成装置700还可以包括第一获取模块和/第二获取模块。第一获取模块用于获取节点的第一向量化表示，第二获取模块用于获取节点间关联关系的第二向量化表示。
在节点用于表征取自文本描述信息的文本的情况下，第一获取模块可以将文本的词向量作为节点的第一向量化表示。
在节点用于表征取自图像描述信息的图像的情况下，第一获取模块可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。关于特征提取组件的结构可以参见上文相关描述，此处不再赘述。
图8示出了根据本公开一个实施例的信息推荐装置的结构框图。其中，信息推荐装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。
下面就信息推荐装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。
参见图8，信息推荐装置800包括信息推荐模块810、提要生成模块820、第一输出模块830以及第二输出模块840。
信息推荐模块810用于确定向用户推荐的具有同一主题的多个对象的集合。集合中的对象是指适于一次性向用户推荐的具有一个共同主题的对象的集合。其中，主题可以是用于表征对象类别的主题，也可以是用于表征对象所具备的功能的主题。对象用于表征向用户推荐的信息，可以是但不限于商品、阅读物(如文章、资讯等)等多种形式的信息。
提要生成模块820用于使用上文述及的提要生成方法确定集合的提要。提要生成模块820对应于上文述及的提要生成装置，关于提要生成模块820的结构及生成提要的过程可以参见上文结合图7的说明。
第一输出模块830用于输出提要。用户可以针对提要执行点击操作以访问提要所对应的集合中的对象。第二输出模块840可以响应于用户针对提要的操作，输出集合中的对象。
图9示出了根据本公开一个实施例的信息生成装置的结构框图。其中，信息生成装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图9所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。
下面就信息生成装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1至图6的相关描述，这里不再赘述。
参见图9，信息生成装置900包括构建模块910、信息预测模块920以及确定模块930。
构建模块910用于根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系。
构建模块910可以根据集合中对象的第一类型描述信息，构建由第一类型节点(如文本节点)和第一类型节点之间的连线组成的第一关系图，文本节点用于表征取自文本描述信息的文本；并且构建模块910可以根据集合中对象的第二类型描述信息，构建由第二类型节点(如图像节点)和第二类型节点之间的连线组成的第二关系图，第二类型节点用于表征取自第二类型描述信息的第二类型信息。
在构建第一关系图时，构建模块910可以从第一类型描述信息中提取一个或多个第一类型信息，作为第一类型节点；将出现在同一对象的第一类型描述信息中的两个第一类型节点用连线连接，并且/或者将相关性大于第一阈值的两个第一类型节点用连线连接。
在构建第二关系图时，构建模块910可以从第二类型描述信息中提取一个或多个第二类型信息，作为第二类型节点；将第一类型描述信息中具有相同第一类型信息的两个第二类型节点用连线连接，并且/或者将相似度大于第二阈值的两个第二类型节点用连线连接。
信息生成装置900还可以包括权重确定模块。权重确定模块可以用于确定第一关系图和/或第二关系图中连续的权重。对于第一关系图而言，权重与两个第一类型节点所表征的第一类型信息出现在相同对象的第一类型描述信息中的次数正相关，并且/或者权重与相关性正相关。对于第二关系图而言，权重与相同第一类型信息的个数正相关，并且/或者权重与相似度正相关。
构建模块910还可以根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点之间的连线组成的关系图(如上文述及的异构图)，关系图中的节点分为第一类型节点和第二类型节点(如上文述及的文本节点和图像节点)，第一类型节点用于表征取自第一类型描述信息的第一类型信息，第二类型节点用于表征取自第二类型描述信息的第二类型信息。
在构建异构图时，构建模块910可以从第一类型描述信息中提取一个或多个第一类型信息，作为第一类型节点；从第二类型描述信息中提取一个或多个第二类型信息，作为第二类型节点；将第一类型描述信息中具有相同第一类型信息的两个对象所对应的第二类型节点分别与相同第一类型信息对应的第一类型节点用连线连接。
信息预测模块920用于使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果。关于信息预测模型组件的结构可以参见上文相关描述，此处不再赘述。
确定模块930用于基于信息预测结果确定集合的信息。以信息预测结果为文本为例，信息预测模块920可以输出预测概率最大的文本，确定模块930可以直接将信息预测模块920输出的文本作为集合的提要，也可以对信息预测模块920输出的文本进行调整，将调整后的文本作为集合的提要。
信息生成装置900还可以包括第一获取模块和/第二获取模块。第一获取模块用于获取节点的第一向量化表示，第二获取模块用于获取节点间关联关系的第二向量化表示。
以第一类型描述信息为文本描述信息为例，在节点用于表征取自文本描述信息的文本的情况下，第一获取模块可以将文本的词向量作为节点的第一向量化表示。
以第二类型描述信息为图像描述信息为例，在节点用于表征取自图像描述信息的图像的情况下，第一获取模块可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。关于特征提取组件的结构可以参见上文相关描述，此处不再赘述。
图10示出了根据本公开一实施例可用于实现上述方法的计算设备的结构示意图。
参见图10，计算设备1000包括存储器1010和处理器1020。
处理器1020可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1020可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1020可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的提要生成方法或信息推荐方法或信息生成方法。
上文中已经参考附图详细描述了根据本公开的提要生成方法、信息推荐方法、信息生成方法、提要生成装置、信息推荐装置、信息生成装置及计算设备。
此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (26)
1.一种提要生成方法，包括：
根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图，所述节点用于表征取自所述文本描述信息的文本或取自所述图像描述信息的图像，所述连线用于表征节点之间的关联关系；
使用提要预测模型组件对所述节点的第一向量化表示和所述节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；
基于所述提要预测结果确定所述集合的提要。
2.根据权利要求1所述的提要生成方法，其中，
所述提要预测模型组件包括编码组件和解码组件，所述编码组件的输入为所述第一向量化表示和所述第二向量化表示，所述解码组件的输入为所述编码组件的输出。
3.根据权利要求2所述的提要生成方法，其中，
所述编码组件包括图卷积神经网络结构，所述图卷积神经网络结构用于从所述关系图中提取特征。
4.根据权利要求3所述的提要生成方法，其中，所述图卷积神经网络结构包括预定层数的特征提取单元，相邻两层特征提取单元中在后的特征提取单元的输入依赖于在前的特征提取单元的输出、所述关系图中至少部分节点的特征向量组成的矩阵以及所述节点之间的关联关系的矩阵。
5.根据权利要求4所述的提要生成方法，其中，
相邻两层特征提取单元之间为残差连接。
6.根据权利要求2所述的提要生成方法，其中，
所述解码组件包括注意力结构和循环神经网络结构，所述注意力结构用于确定解码时所述编码组件的输出中不同部分的权重分配，所述循环神经网络结构用于基于所述权重分配生成解码结果。
7.根据权利要求2所述的提要生成方法，其中，构建由节点和节点之间的连线组成的关系图的步骤包括：
根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的第一关系图，所述文本节点用于表征取自所述文本描述信息的文本；
根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的第二关系图，所述图像节点用于表征取自所述图像描述信息的图像。
8.根据权利要求7所述的提要生成方法，其中，构建由文本节点和文本节点之间的连线组成的第一关系图的步骤包括：
从所述文本描述信息中提取一个或多个文本，作为文本节点；
将出现在同一对象的文本描述信息中的两个文本节点用连线连接，并且/或者将相关性大于第一阈值的两个文本节点用连线连接。
9.根据权利要求8所述的提要生成方法，还包括：
确定所述连线的权重，所述权重与所述两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，并且/或者所述权重与所述相关性正相关。
10.根据权利要求7所述的提要生成方法，其中，构建由图像节点和图像节点之间的连线组成的第二关系图的步骤包括：
从所述图像描述信息中提取一个或多个图像，作为图像节点；
将文本描述信息中具有相同文本的两个图像节点用连线连接，并且/或者将相似度大于第二阈值的两个图像节点用连线连接。
11.根据权利要求10所述的提要生成方法，还包括：
确定所述连线的权重，所述权重与所述相同文本的个数正相关，并且/或者所述权重与所述相似度正相关。
12.根据权利要求7所述的提要生成方法，其中，
所述编码组件包括第一图卷积神经网络结构和第二图卷积神经网络结构，所述第一图卷积神经网络结构用于从所述第一关系图中提取特征，所述第二图卷积神经网络结构用于从所述第二关系图中提取特征。
13.根据权利要求12所述的提要生成方法，其中，
所述编码组件还包括信息融合组件，用于整合所述第一图卷积神经网络结构的输出和所述第二图卷积神经网络结构的输出，
所述信息融合组件的输出作为所述解码组件的输入。
14.根据权利要求1所述的提要生成方法，其中，构建由节点和节点之间的连线组成的关系图的步骤包括：
根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图，所述关系图中的节点分为文本节点和图像节点，所述文本节点用于表征取自所述文本描述信息的文本，所述图像节点用于表征取自所述图像描述信息的图像。
15.根据权利要求14所述的提要生成方法，其中，构建由节点和节点之间的连线组成的关系图的步骤包括：
从所述文本描述信息中提取一个或多个文本，作为文本节点；
从所述图像描述信息中提取一个或多个图像，作为图像节点；
将所述文本描述信息中具有相同文本的两个对象所对应的图像节点分别与所述相同文本对应的文本节点用连线连接。
16.根据权利要求1所述的提要生成方法，还包括：
获取所述节点的第一向量化表示；以及/或者
获取所述关联关系的第二向量化表示。
17.根据权利要求16所述的提要生成方法，其中，获取所述节点的第一向量化表示的步骤包括：
在所述节点用于表征取自所述文本描述信息的文本的情况下，将所述文本的词向量作为所述节点的第一向量化表示；并且/或者
在所述节点用于表征取自所述图像描述信息的图像的情况下，使用特征提取组件提取所述图像的特征，作为所述节点的第一向量化表示。
18.根据权利要求17所述的提要生成方法，其中，所述特征提取组件包括残差网络和多层感知器，所述残差网络的输出为所述多层感知器的输入。
19.根据权利要求1至18中任一项所述的提要生成方法，其中，
所述对象为商品，所述文本描述信息为商品提要，所述图像描述信息为商品图片。
20.一种信息推荐方法，包括：
确定向用户推荐的具有同一主题的多个对象的集合；
使用权利要求1至19中任一项所述的主题生成方法确定所述集合的提要；
输出所述提要；以及
响应于用户针对所述提要的操作，输出所述集合中的对象。
21.一种信息生成方法，包括：
根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点间的连线组成的关系图，所述节点用于表征取自所述第一类型描述信息的第一类型信息或取自所述第二类型描述信息的第二类型信息，所述连线用于表征节点之间的关联关系；
使用信息预测模型组件对所述节点的第一向量化表示和所述节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；
基于所述信息预测结果确定所述集合的信息。
22.一种提要生成装置，包括：
构建模块，用于根据集合中对象的文本描述信息和/或图像描述信息，构建由节点和节点之间的连线组成的关系图，所述节点为取自所述文本描述信息的文本或取自所述图像描述信息的图像，所述连线用于表征节点之间的关联关系；
提要预测模块，用于使用提要预测模型组件对所述节点的第一向量化表示和所述节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；
确定模块，用于基于所述提要预测结果确定所述集合的提要。
23.一种信息推荐装置，包括：
信息推荐模块，用于确定向用户推荐的具有同一主题的多个对象的集合；
标题生成模块，用于使用权利要求1至19中任一项所述的提要生成方法确定所述集合的提要；以及
第一输出模块，用于输出所述提要；以及
第二输出模块，用于响应于用户针对所述提要的操作，输出所述集合中的对象。
24.一种信息生成装置，包括：
构建模块，用于根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点之间的连线组成的关系图，所述节点为取自所述第一类型描述信息的信息或取自所述第二类型描述信息的信息，所述连线用于表征节点之间的关联关系；
信息预测模块，用于使用信息预测模型组件对所述节点的第一向量化表示和所述节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；
确定模块，用于基于所述信息预测结果确定所述集合的信息。
25.一种计算设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至21中任何一项所述的方法。
26.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至21中任何一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010188121.9A CN113407708A (zh) | 2020-03-17 | 2020-03-17 | 提要生成方法、信息生成及信息推荐方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010188121.9A CN113407708A (zh) | 2020-03-17 | 2020-03-17 | 提要生成方法、信息生成及信息推荐方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113407708A true CN113407708A (zh) | 2021-09-17 |
Family
ID=77677393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010188121.9A Pending CN113407708A (zh) | 2020-03-17 | 2020-03-17 | 提要生成方法、信息生成及信息推荐方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113407708A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114356084A (zh) * | 2021-12-24 | 2022-04-15 | 阿里巴巴（中国）有限公司 | 图像处理方法、系统及电子设备 |
| CN115496061A (zh) * | 2022-09-30 | 2022-12-20 | 内蒙古财经大学 | 一种神经网络标题生成模型 |
| CN117763239A (zh) * | 2024-01-10 | 2024-03-26 | 人民网股份有限公司 | 信息推荐方法及装置、计算设备、计算机存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035132A (zh) * | 2006-03-09 | 2007-09-12 | 国际商业机器公司 | 用于rss内容管理的方法和系统 |
| US20100284625A1 (en) * | 2009-05-07 | 2010-11-11 | Microsoft Corporation | Computing Visual and Textual Summaries for Tagged Image Collections |
| JP2014219853A (ja) * | 2013-05-09 | 2014-11-20 | 株式会社ミクシィ | ソーシャルサービスのサーバ |
| GB201615373D0 (en) * | 2015-11-11 | 2016-10-26 | Adobe Systems Inc | Structured knowledge modeling, extraction and localization from images |
| US20180336183A1 (en) * | 2017-05-22 | 2018-11-22 | International Business Machines Corporation | Deep Embedding for Natural Language Content Based on Semantic Dependencies |
| CN108920641A (zh) * | 2018-07-02 | 2018-11-30 | 北京理工大学 | 一种信息融合个性化推荐方法 |
| CN109451757A (zh) * | 2016-06-21 | 2019-03-08 | 品点预测股份有限公司 | 在保持用户匿名的同时使用机器学习从行为数据预测心理度量简档 |
| CN110083741A (zh) * | 2019-04-11 | 2019-08-02 | 中国科学技术大学 | 文本与图像联合建模的面向人物的视频摘要提取方法 |
| EP3557503A1 (en) * | 2018-04-20 | 2019-10-23 | Facebook, Inc. | Generating personalized content summaries for users |
| CN110580489A (zh) * | 2018-06-11 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 一种数据对象的分类系统、方法以及设备 |
-
2020
- 2020-03-17 CN CN202010188121.9A patent/CN113407708A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035132A (zh) * | 2006-03-09 | 2007-09-12 | 国际商业机器公司 | 用于rss内容管理的方法和系统 |
| US20100284625A1 (en) * | 2009-05-07 | 2010-11-11 | Microsoft Corporation | Computing Visual and Textual Summaries for Tagged Image Collections |
| JP2014219853A (ja) * | 2013-05-09 | 2014-11-20 | 株式会社ミクシィ | ソーシャルサービスのサーバ |
| GB201615373D0 (en) * | 2015-11-11 | 2016-10-26 | Adobe Systems Inc | Structured knowledge modeling, extraction and localization from images |
| CN109451757A (zh) * | 2016-06-21 | 2019-03-08 | 品点预测股份有限公司 | 在保持用户匿名的同时使用机器学习从行为数据预测心理度量简档 |
| US20180336183A1 (en) * | 2017-05-22 | 2018-11-22 | International Business Machines Corporation | Deep Embedding for Natural Language Content Based on Semantic Dependencies |
| EP3557503A1 (en) * | 2018-04-20 | 2019-10-23 | Facebook, Inc. | Generating personalized content summaries for users |
| CN110580489A (zh) * | 2018-06-11 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 一种数据对象的分类系统、方法以及设备 |
| CN108920641A (zh) * | 2018-07-02 | 2018-11-30 | 北京理工大学 | 一种信息融合个性化推荐方法 |
| CN110083741A (zh) * | 2019-04-11 | 2019-08-02 | 中国科学技术大学 | 文本与图像联合建模的面向人物的视频摘要提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| 冀振燕;姚伟娜;皮怀雨;: "个性化图像检索和推荐", 北京邮电大学学报, no. 03 * |
| 张随远;薛源海;俞晓明;刘悦;程学旗;: "多文档短摘要生成技术研究", 广西师范大学学报(自然科学版), no. 02, 25 April 2019 (2019-04-25) * |
| 赵小虎;尹良飞;赵成龙;: "基于全局-局部特征和自适应注意力机制的图像语义描述算法", 浙江大学学报(工学版), no. 01 * |
| 邓珍荣;张宝军;蒋周琴;黄文明;: "融合word2vec和注意力机制的图像描述模型", 计算机科学, no. 04 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114356084A (zh) * | 2021-12-24 | 2022-04-15 | 阿里巴巴（中国）有限公司 | 图像处理方法、系统及电子设备 |
| CN115496061A (zh) * | 2022-09-30 | 2022-12-20 | 内蒙古财经大学 | 一种神经网络标题生成模型 |
| CN117763239A (zh) * | 2024-01-10 | 2024-03-26 | 人民网股份有限公司 | 信息推荐方法及装置、计算设备、计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210390700A1 (en) | Referring image segmentation | |
| CN108509465B (zh) | 一种视频数据的推荐方法、装置和服务器 | |
| US20200380027A1 (en) | Multi-Modal Differential Search with Real-Time Focus Adaptation | |
| CN113407708A (zh) | 提要生成方法、信息生成及信息推荐方法、装置及设备 | |
| CN110121110B (zh) | 视频质量评估方法、设备、视频处理设备及介质 | |
| Nie et al. | Multimodal learning toward micro-video understanding | |
| CN113554129B (zh) | 场景图的生成方法和生成装置 | |
| CN111274981B (zh) | 目标检测网络构建方法及装置、目标检测方法 | |
| CN112464100B (zh) | 信息推荐模型训练方法、信息推荐方法、装置及设备 | |
| CN116303459A (zh) | 处理数据表的方法及系统 | |
| CN116601626A (zh) | 个人知识图谱构建方法、装置及相关设备 | |
| CN114020999A (zh) | 一种电影社交网络的社区结构检测方法及系统 | |
| CN114238692A (zh) | 一种面向网络直播的视频大数据精准检索方法及系统 | |
| CN116975615A (zh) | 基于视频多模态信息的任务预测方法和装置 | |
| CN116933854B (zh) | 图像生成模型的处理方法、装置、设备和存储介质 | |
| CN110909021A (zh) | 查询改写模型的构建方法、装置及其应用 | |
| CN110321565B (zh) | 基于深度学习的实时文本情感分析方法、装置及设备 | |
| CN116069905A (zh) | 图像文本模型处理方法及图像文本检索系统 | |
| CN116521990A (zh) | 物料处理的方法、装置、电子设备和计算机可读介质 | |
| CN112241490A (zh) | 分类处理及数据搜索方法、装置、电子设备、智能音箱 | |
| Bordes et al. | An introduction to vision-language modeling | |
| CN115186085A (zh) | 回复内容处理方法以及媒体内容互动内容的交互方法 | |
| CN114781390A (zh) | 一种方面级情感分析方法及装置 | |
| CN110969187B (zh) | 一种图谱迁移的语义分析方法 | |
| CN111914920A (zh) | 一种基于稀疏编码的相似性图像检索方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40058758 Country of ref document: HK |