CN113157910B - 商品描述文本生成方法、装置及存储介质 - Google Patents
商品描述文本生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113157910B CN113157910B CN202110467920.4A CN202110467920A CN113157910B CN 113157910 B CN113157910 B CN 113157910B CN 202110467920 A CN202110467920 A CN 202110467920A CN 113157910 B CN113157910 B CN 113157910B
- Authority
- CN
- China
- Prior art keywords
- commodity
- attention
- title
- keyword
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003993 interaction Effects 0.000 claims abstract description 69
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003345 natural gas Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/258—Heading extraction; Automatic titling; Numbering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种商品描述文本生成方法、装置及存储介质。该方法包括：获取商品标题以及商品关键描述词；将商品标题输入文本生成模型中的编码器、关键描述词输入文本生成模型中的注意力交互模块，以得到文本生成模型输出的商品描述文本，编码器用于通过注意力机制对商品标题进行权重编码，注意力交互模块用于通过注意力对齐机制将权重编码的结果与商品关键描述词进行注意力交互对齐，文本生成模型中的解码器用于基于权重编码以及经过注意力交互对齐后的编码生成包括商品标题的商品描述文本。本公开提供的技术方案能够将关键描述词融入到商品标题中，确保了商品描述文本是在商品关键信息基础上生成的，提升了商品描述文本与商品的相关性。
Description
技术领域
本公开涉及自然语言处理技术领域，尤其涉及一种商品描述文本生成方法、装置及存储介质。
背景技术
目前，随着电子商务的快速发展，人们对高质量商品有越来越多的需求，而商品描述文本能够解决人们如何在海量的商品中挑选出心仪的商品的问题，但是如何生成高质量的商品描述文本就成为了一个必须要考虑的问题。手动生成商品描述文本虽然质量较高但是费时费力，自动生成商品描述文本也会存在撰写质量不高的问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种商品描述文本生成方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种商品描述文本生成方法，包括：
获取商品标题以及商品关键描述词；
将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本；
获取所述文本生成模型输出的商品描述文本。
可选地，所述编码器具体用于将所述商品标题经过不同的权重矩阵映射成多个子维度，并在对每个所述子维度分别计算自注意力后，将多个所述自注意力的计算结果进行拼接，得到所述商品标题的权重编码结果。
可选地，所述解码器包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键词指导所述商品描述文本的生成。
可选地，所述编码层以及神经网络前馈层，所述编码层、所述自注意力-解码层、所述关键词注意力-解码层以及所述标题编码-解码层均包括注意力计算层。
可选地，所述注意力交互模块以及所述注意力计算层采用的计算方式为多头注意力计算。
可选地，所述文本生成模型还包括与所述解码器相连的复制模块，用于比较所述解码器的解码概率结果与所述标题编码-解码层的注意力计算结果，并在确定所述编码器在任一时序输出的词的解码概率结果小于对应的注意力计算结果的情况下，则根据该注意力计算结果从商品标题内选择对应的词输出作为所述商品描述文本内的词。
可选地，所述文本生成模型的训练包括：
获取商品标题样本以及与所述商品标题样本对应的商品描述文本样本；
通过如下方式中的至少一种构建商品关键描述词样本：
将所述商品描述文本样本与预设的商品属性词库进行词匹配，得到所述商品描述文本样本中与所述商品属性词库相匹配的属性词，所述商品关键描述词样本包括所述属性词；
对所述商品标题样本和所述商品描述文本样本进行公共字串提取，所述商品关键描述词样本包括提取到的公共字串词；
通过命名实体识别方法识别所述商品标题中的命名实体词，所述商品关键描述词样本包括提取到的命名实体词；
根据所述商品标题样本、所述商品描述文本样本、以及所述商品关键描述词样本对模型进行训练，并将训练完成的模型作为所述文本生成模型。
可选地，所述模型的损失函数为如下交叉熵损失函数：
其中，x为所述商品标题，k为所述商品关键描述词，yt为所述模型在t时序的输出，N为输出序列长度，y1，y2，……，yt-1为所述模型在t时序以前的输出。
根据本公开实施例的第二方面，提供一种商品描述文本生成装置，包括：
获取模块，被配置为获取商品标题以及商品关键描述词；
处理模块，被配置为将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本；
结果获得模块，用于获取所述文本生成模型输出的商品描述文本。
根据本公开实施例的第三方面，提供一种商品描述文本生成装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取商品标题以及商品关键描述词；
将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本；
获取所述文本生成模型输出的商品描述文本。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
采用上述技术方案，首先，获取商品标题以及商品关键描述词，接着，将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块。其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本。如此，无需人工撰写即可自动生成商品描述文本，并且由于注意力交互模块能够将关键描述词融入到商品标题中，确保了商品描述文本是在商品关键信息基础上生成的，提升了商品描述文本与商品的相关性，进而提升了生成的商品描述文本的合理性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种商品描述文本生成方法的流程示意图。
图2是根据一示例性实施例示出的一种编码器的结构示意图。
图3是根据一示例性实施例示出的一种注意力交互模块的结构示意图。
图4是根据一示例性实施例示出的一种解码器的结构示意图。
图5是根据一示例性实施例示出的一种文本生成模型的结构示意图。
图6是根据一示例性实施例示出的一种文本生成模型的使用过程图。
图7是根据一示例性实施例示出的一种商品描述文本生成装置的框图。
图8是根据一示例性实施例示出的另一种用于商品描述文本生成装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了使本领域技术人员更加容易理解本公开实施例提供的方案相比相关技术存在的改进，下面首先对相关技术进行说明：
相关技术针对商品描述文本的生成，通常是直接将商品属性词输入到预训练模型中用于生成文本，其中获取商品属性词的方法是对商品描述文本分词，再构建共现词典检索库。该方法存在两个问题：1.商品描述中不一定包含商品核心词。比如：“将空间和物品合理精致的组合，让空间稳重而气度非凡，双开门柜规整宽敞，各种规格的鞋都能轻松容纳。”该文本是描述“鞋柜”，但文本中并不包含该词，因此仅通过抽取描述文本中的关键词作为输入，可能会导致模型生成的文本描述“主体”错误。2.模型输入为商品关键描述词序列，当包含商品核心词时，模型直接将商品核心词和属性关键词同等对待，导致商品描述文本的流畅性较差。
本公开实施例提供一种商品描述文本生成方法，能够将商品标题作为商品核心词，并以商品核心词为基础确定商品描述文本生成对应的商品，再辅以商品具体的属性词(例如下文所述的商品关键描述词)来生成和该商品特点相关的文本。
具体地，图1是根据一示例性实施例示出的一种商品描述文本生成方法的流程图，如图1所示，该商品描述文本生成方法可以应用于运行有文本生成模型的电子设备中，包括以下步骤：
在步骤S1中，获取商品标题以及商品关键描述词。
其中，该商品标题例如可以是商品的名称、数量等，该商品关键描述词例如可以是商品的属性，例如，颜色属性、功能属性、材质属性等。
在本公开实施例中，可以通过抽取式方法但不限于通过此方法来获取商品标题以及商品关键描述词。例如，该商品标题也可以为人工输入的商品标题。本公开并不限制提取商品标题以及关键词的方法。
在步骤S2中，将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块。
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述入文本生成模型还包括解码器，用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本。
这里，注意力交互模块能够将商品关键描述词和商品标题通过注意力融合，使得商品标题的权重信息发生改变，该权重信息包含了商品关键描述词的信息。这样，在通过解码器解码时，就能以商品标题为基础，辅以商品关键描述词解码生成商品描述文本，提升了商品描述文本与商品的相关性，进而提升了生成的商品描述文本的合理性。
在步骤S3中，获取所述文本生成模型输出的商品描述文本。
可选地，所述编码器具体用于将所述商品标题经过不同的权重矩阵映射成多个子维度，并在对每个所述子维度分别计算自注意力后，将多个所述自注意力的计算结果进行拼接，得到所述商品标题的权重编码结果。
这里，所述编码器可以包括注意力计算层，用于进行上述自注意力计算。示例地，图2是根据一示例性实施例示出的一种编码器1的结构示意图。如图2所示，该编码器1中可以包括编码层11以及神经网络前馈层12，该编码层11包括多头自注意力计算层111以及全连接层112，其中，多头自注意力计算层111以及全连接层112之间可以采用层归一化和残差相连(图中未示出)，神经网络前馈层12包括两个全连接层121，在具体实施时，该编码器1中的编码层可以为多个，例如为六个，图2中仅以一个编码层11进行示意。
基于图2，该编码器1可以通过多头自注意力的计算方式对输入的商品标题进行权重编码，即将输入的商品标题经过不同的权重矩阵映射成多个子维度，并在对每个所述子维度分别计算自注意力后，将多个所述自注意力的计算结果进行拼接，得到所述商品标题的权重编码结果。上述多头自注意力的计算方式可参照如下公式(1)和(2)：
其中Q，K，V均为编码器的输入向量，h为注意力头数，WQ,WK,WV,WO为权重矩阵。自注意力计算方式采用缩放点积注意力，其中Q＇，K＇，V＇为经权重矩阵映射后的向量，dk为模型隐层维度，通过dk维度缩放使得编码器1在模型训练过程中的反向传播梯度更稳定。
图3是根据一示例性实施例示出的一种注意力交互模块2的结构示意图。如图3所示，注意力交互模块2中可以包括多头注意力计算层21。这样，在上述公式(1)和(2)所示的计算过程的基础上，注意力交互模块2可以进行如下计算，以将商品标题和商品关键描述词进行注意力对齐，得到和关键词相关的商品信息
其中，Xkeys为商品关键描述词，Xtitle_enc为商品标题编码后的表示，为商品标题和关键词注意力交互后的结果。具体的多头注意力计算过程和公式(1)和(2)相同。
在一种可能的实现方式中，解码器可以包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键词指导所述商品描述文本的生成。
这里，所述自注意力-解码层、关键词注意力-解码层以及标题编码-解码层均可以包括注意力计算层。示例地，图4是根据一示例性实施例示出的一种解码器3的结构示意图。如图4所示，解码器3包括自注意力-解码层31、关键词注意力-解码层32、标题编码-解码层33、以及神经网络前馈层34四个层，其中，自注意力-解码层31包括多头自注意力计算层311，关键词注意力-解码层32包括多头注意力计算层321，标题编码-解码层33包括多头注意力计算层331。这样，相比于现有的解码器结构，本公开实施例在解码器中增加了标题编码-解码层33，从而能够将编码器的输入和解码器的输出执行多头自注意力操作，这样，能够增强解码器的输出与编码器输入的关联性，确保了解码器是在输入到编码器中的商品标题的基础上，输出的商品描述文本。其中，解码器的各层之间同样可以采用层归一化和残差连接(图4中未示出)。关键词注意力-解码层32以及标题编码-解码层33之间的计算过程可参照如下公式(4)和(5)：
其中，公式(4)为关键词注意力-解码层32进行的多头注意力计算，其中，Xkey_dec为关键词注意力-解码层的计算结果，公式(5)为标题编码-解码层33进行的多头注意力计算，其中，Xtitle_dec为标题编码-解码层33的计算结果，为解码器第i层的输出(其中，第1层为自注意力-解码层31，第2层为关键词注意力-解码层32)。这样，解码器3的关键词注意力-解码层32通过将商品关键描述词融合到解码器3中，使得解码器3能够在商品标题的权重编码的基础上，利用商品关键描述词指导生成和商品特点相关的描述文本。此外，在解码器3的自注意力-解码层31的计算中，可以采用mask(掩码)偏移操作确保当前字符的输出只依赖于其之前时刻的输入。
值得说明的是，图2、图3和图4中均是以多头注意力计算方式进行举例说明，在实际实施时，也可以使用单头注意力计算方式、平均注意力计算方式等，本公开实施例采用多头注意力计算方式能够有效防止过拟合的情况发生。
在一种可能的实现方式中，所述文本生成模型还包括与所述解码器相连的复制模块，用于比较所述解码器的解码概率结果与所述标题编码-解码层的注意力计算结果，并在确定所述编码器在任一时序输出的词的解码概率结果小于对应的注意力计算结果的情况下，则根据该注意力计算结果从商品标题内选择对应的词输出作为所述商品描述文本内的词。
图5是结合图2-图4提供的一种文本生成模型的结构示意图，如图5中所示，文本生成模型包括与解码器3相连的复制模块4，该复制模块4能够对解码器3的输出结果进行再次过滤，例如通过一个门控机制选择当前输出是采用解码输出结果还是对原商品标题的复制结果，这个过程其实是一个概率选择过程，因为解码器3可能输出很多与商品不相关或者无法识别的词，该类词通常具有很低的解码相对概率，通过与标题注意力做一个比较，能够在商品标题里选择注意力结果更高的词进行输出，这样复制模块4既可以解码器3输出无法识别的词的问题，也可以进一步保证生成的商品描述文本与商品的相关性。上述门控机制的计算方式可参照如下公式(7)和(8)：
其中，pgen为门控注意力结果，为解码器最后一层第t个时序的输出，wg,bg为训练参数，σ为sigmoid函数，将门控注意力映射到0-1之间的值，用于决定选择解码输出结果还是复制商品标题。Pvocab为解码器输出最终结果，at为第t个时序的标题-解码注意力。P(y)为经过门控选择后的最终概率分布。
采用该种实现方式，使得文本生成模型能够在商品标题的基础上，辅以关键描述词生成商品描述文本，并且通过复制模块的门控机制，进一步确保了文本生成模型的最终输出的商品描述文本的准确性。
本公开实施例还提供一种文本生成模型的训练方法。示例地，该文本生成模型可以采用交叉熵损失函数，训练目标是使得生成的文本最大程度地接近预测真实目标序列，其中，该交叉熵损失函数的计算方式可参照如下公式(9)：
其中，x为所述商品标题，k为所述商品关键描述词，yt为所述模型在t时序的输出，N为输出序列长度，y1，y2，……，yt-1为所述模型在t时序以前的输出。
具体地，所述文本生成模型的训练方法步骤可以包括：
获取商品标题样本以及与所述商品标题样本对应的商品描述文本样本；
通过如下方式中的至少一种构建商品关键描述词样本：
将所述商品描述文本样本与预设的商品属性词库进行词匹配，得到所述商品描述文本样本中与所述商品属性词库相匹配的属性词，所述商品关键描述词样本包括所述属性词；
对所述商品标题样本和所述商品描述文本样本进行公共字串提取，所述商品关键描述词样本包括提取到的公共字串词；
通过命名实体识别方法识别所述商品标题中的命名实体词，所述商品关键描述词样本包括提取到的命名实体词；
根据所述商品标题样本、所述商品描述文本样本、以及所述商品关键描述词样本对模型进行训练，并将训练完成的模型作为所述文本生成模型。
示例地，商品标题样本和对应的商品描述文本样本例如可以从网页中获取。获取到的样本示例如表1所示：
表1
进一步地，在获取到商品标题样本和对应的商品描述文本样本后，本公开实施例可以采用如下至少一种方法生成商品关键描述词样本：
一、词库匹配。即构建商品的属性词库，该属性词库例如包含商品颜色，功能，材质等方面的词。将属性词库和商品描述文本样本进行匹配，以从属性词库中抽取到与商品相关的属性词，通过词库匹配的方式能够更简便快捷的从文本中抽取出商品关键描述词。
二、公共子串抽取。考虑到商品标题中也可能包含商品的部分属性词，本公开实施例可以通过对商品标题样本和商品描述文本样本做公共子串抽取，在将方式一和方式二结合使用的情况下，方式二能够弥补属性词库中包含的属性词覆盖不全面的问题。
三、商品核心词识别。由于很多商品标题中可能包含许多和商品核心属性无关的其他词，因此，本公开实施例还可以通过命名实体识别方法识别商品标题样本中的商品核心词，并将该商品核心词也作为商品关键描述词，进一步提高了商品关键描述词的全面性。
进一步地，将商品标题样本和商品关键描述词样本作为模型训练时的输入，具体地，可以将商品标题样本的词向量、词在文本中的片段标识以及位置编码三个向量的叠加输入编码器，并将商品关键描述词样本的词向量、词在文本中的片段标识以及位置编码三个向量的叠加输入注意力交互模块。此外，将商品描述文本样本输入至解码器中，作为模型训练过程中的真值。更具体地，输入模型的各个样本的各个词之间可以用[SEP]分隔，例如商品标题的输入格式可以为：[CLS]商品标题[SEP]，商品描述文本样本的输入格式可以为：[CLS]商品参考描述文本[SEP]。
示例地，对于商品标题样本“vatti华帝天然气燃气热水器家用13升恒温强排式”，通过属性词库匹配关键词例如为：“美观工作显示屏智能磨砂透光恒温”，通过公共子串提取得到的关键词例如为：“华帝13升”，商品核心词识别：“热水器”。对应的商品描述文本样本例如为：“华帝智能热水器，恒温守护温暖沐浴。智能浴缸模式，快速放水，享受无需长久等候。低压启动，轻松使用多种用水环境。13升容量，一厨两卫多点供水。led动态显示屏，工作状态，一目了然。透光磨砂挡板，美观又耐用。”
则商品标题样本的输入格式即可以为：[CLS]vatti华帝天然气燃气热水器家用13升恒温强排式[SEP]；
商品关键描述词样本的输入格式即可以为：[CLS]美观[SEP]显示屏[SEP]智能[SEP]磨砂[SEP]透光[SEP]恒温[SEP]华帝[SEP]13升[SEP]热水器[SEP]；
商品描述文本样本的输入格式即可以为：[CLS]华帝智能热水器，恒温守护温暖沐浴。智能浴缸模式，快速放水，享受无需长久等候。低压启动，轻松使用多种用水环境。13升容量，一厨两卫多点供水。led动态显示屏，工作状态，一目了然。透光磨砂挡板，美观又耐用。[SEP]。
训练过程中文本生成模型依次学习商品描述文本样本的下一个字符，例如对于第一个字符[CLS]，模型需要预测“华”，对于第二个字符，模型预测“帝”，直到最后一个字符。文本生成模型预测输出的商品描述文本例如为：华帝恒温燃气热水器，13升大容量，满足一家人的洗浴需求，智能恒温系统，工作状态一目了然，led显示屏，美观大气。并且通过模型不断更新参数，文本生成模型最终预测输出的商品描述文本能够最大程度地接近商品描述文本样本。
本公开实施例中，模型训练的停止条件例如可以是训练次数达到预设的次数阈值，也可以在文本生成模型输出的商品描述文本达到预设的评价指标条件时停止。该评价指令条件例如采用精确率Bleu和召回率Rouge两个指标，以客观衡量商品描述文本的生成效果。发明人经过试验，在1000条测试集的基础上，文本生成模型训练取得的效果为：blue：25.0，rouge1：54.8，rouge2：34.2，rouge3：42.0。下表2是发明人的模型训练效果：
表2
由表2可以看出，采用本公开实施例提供的技术方案生成的商品描述文本相比相关技术在文本流畅性、全面性、与商品之间的相关性方面均有提升。
图6是根据一示例性实施例示出的一种文本生成模型的使用过程图。如图6所示，例如，在按照上述模型训练方法对文本生成模型后，在使用过程中可以首先获取用户输入的商品标题以及若干商品关键描述词。在一种可能的实现方式中，为了避免商品标题中包含多个商品词而对模型造成混淆，因此可以采用命名实体识别模型识别出商品标题中的商品核心词，并将该商品核心词也作为商品关键描述词。然后将商品标题输入文本生成模型的编码器中，将商品关键描述词输入文本生成模型的注意力交互模块中，具体地商品标题和商品关键描述词的输入方式可以模型训练阶段的输入方式相同，而解码器端可以输入[CLS]。这样，文本生成模型可以依次输出用于描述商品的预测字符，直到输出[SEP]字符或者达到设定的最大描述文本长度则停止，得到最终的商品描述文本。
基于同一发明构思，本公开实施例还提供一种商品描述文本生成装置，用于执行上述方法实施例提供的方法步骤，图7是根据一示例性实施例示出的一种商品描述文本生成装置7的框图。如图7所示，该商品描述文本生成装置7可以包括：
获取模块71，被配置为获取商品标题以及商品关键描述词；
处理模块72，被配置为将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本；
结果获得模块73，用于获取所述文本生成模型输出的商品描述文本。
采用上述装置，该装置首先获取商品标题以及商品关键描述词，接着，将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块。其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本。如此，无需人工撰写即可自动生成商品描述文本，并且由于注意力交互模块能够将关键描述词融入到商品标题中，确保了商品描述文本是在商品关键信息基础上生成的，提升了商品描述文本与商品的相关性，进而提升了生成的商品描述文本的合理性。
可选地，所述编码器具体用于将所述商品标题经过不同的权重矩阵映射成多个子维度，并在对每个所述子维度分别计算自注意力后，将多个所述自注意力的计算结果进行拼接，得到所述商品标题的权重编码结果。
可选地，所述解码器包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键词指导所述商品描述文本的生成。
可选地，所述编码层以及神经网络前馈层，所述编码层、所述自注意力-解码层、所述关键词注意力-解码层以及所述标题编码-解码层均包括注意力计算层。
可选地，所述注意力交互模块以及所述注意力计算层采用的计算方式为多头注意力计算。
可选地，所述文本生成模型还包括与所述解码器相连的复制模块，用于比较所述解码器的解码概率结果与所述标题编码-解码层的注意力计算结果，并在确定所述编码器在任一时序输出的词的解码概率结果小于对应的注意力计算结果的情况下，则根据该注意力计算结果从商品标题内选择对应的词输出作为所述商品描述文本内的词。
可选地，所述文本生成模型的训练包括：
获取商品标题样本以及与所述商品标题样本对应的商品描述文本样本；
通过如下方式中的至少一种构建商品关键描述词样本：
将所述商品描述文本样本与预设的商品属性词库进行词匹配，得到所述商品描述文本样本中与所述商品属性词库相匹配的属性词，所述商品关键描述词样本包括所述属性词；
对所述商品标题样本和所述商品描述文本样本进行公共字串提取，所述商品关键描述词样本包括提取到的公共字串词；
通过命名实体识别方法识别所述商品标题中的命名实体词，所述商品关键描述词样本包括提取到的命名实体词；
根据所述商品标题样本、所述商品描述文本样本、以及所述商品关键描述词样本对模型进行训练，并将训练完成的模型作为所述文本生成模型。
可选地，所述模型的损失函数为如下交叉熵损失函数：
其中，x为所述商品标题，k为所述商品关键描述词，yt为所述模型在t时序的输出，N为输出序列长度，y1，y2，……，yt-1为所述模型在t时序以前的输出。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的商品描述文本生成方法的步骤。
本公开实施例还提供一种商品描述文本生成装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取商品标题以及商品关键描述词；
将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本；
获取所述文本生成模型输出的商品描述文本。
上述商品描述文本生成装置可以作为电商平台服务器的一部分，也可以作为电商商家终端的一部分，还可以作为用户终端的一部分，该用户终端例如可以为移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。图8是根据一示例性实施例示出的一种用于商品描述文本生成装置8的框图，该用于商品描述文本生成装置8例如可以为用户终端的一部分。参照图8，商品描述文本生成装置8可以包括以下一个或多个组件：处理组件81，存储器82，电力组件83，多媒体组件84，音频组件85，输入/输出(I/O)的接口86，传感器组件87，以及通信组件88。
处理组件81通常控制商品描述文本生成装置8的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件81可以包括一个或多个处理器810来执行指令，以完成上述的商品描述文本生成方法的全部或部分步骤。此外，处理组件81可以包括一个或多个模块，便于处理组件81和其他组件之间的交互。例如，处理组件81可以包括多媒体模块，以方便多媒体组件811和处理组件81之间的交互。
存储器82被配置为存储各种类型的数据以支持在商品描述文本生成装置8的操作。这些数据的示例包括用于在商品描述文本生成装置8上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器82可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件83为商品描述文本生成装置8的各种组件提供电力。电力组件83可以包括电源管理系统，一个或多个电源，及其他与为商品描述文本生成装置8生成、管理和分配电力相关联的组件。
多媒体组件84包括在所述商品描述文本生成装置8和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件84包括一个前置摄像头和/或后置摄像头。当商品描述文本生成装置8处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件85被配置为输出和/或输入音频信号。例如，音频组件85包括一个麦克风(MIC)，当商品描述文本生成装置8处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器82或经由通信组件88发送。在一些实施例中，音频组件85还包括一个扬声器，用于输出音频信号。
I/O接口86为处理组件81和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件87包括一个或多个传感器，用于为商品描述文本生成装置8提供各个方面的状态评估。例如，传感器组件87可以检测到商品描述文本生成装置8的打开/关闭状态，组件的相对定位，例如所述组件为商品描述文本生成装置8的显示器和小键盘，传感器组件87还可以检测商品描述文本生成装置8或商品描述文本生成装置8一个组件的位置改变，用户与商品描述文本生成装置8接触的存在或不存在，商品描述文本生成装置8方位或加速/减速和商品描述文本生成装置8的温度变化。传感器组件87可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件87还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件87还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件88被配置为便于商品描述文本生成装置8和其他设备之间有线或无线方式的通信。商品描述文本生成装置8可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件88经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件88还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，商品描述文本生成装置8可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的商品描述文本生成方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器82，上述指令可由商品描述文本生成装置8的处理器810执行以完成上述的商品描述文本生成方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的商品描述文本生成方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种商品描述文本生成方法，其特征在于，包括：
获取商品标题以及商品关键描述词；
将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本，所述解码器包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键描述词指导所述商品描述文本的生成；
获取所述文本生成模型输出的商品描述文本。
2.根据权利要求1所述的方法，其特征在于，所述编码器具体用于将所述商品标题经过不同的权重矩阵映射成多个子维度，并在对每个所述子维度分别计算自注意力后，将多个所述自注意力的计算结果进行拼接，得到所述商品标题的权重编码结果。
3.根据权利要求1所述的方法，其特征在于，所述编码器包括编码层以及神经网络前馈层，所述编码层、所述自注意力-解码层、所述关键词注意力-解码层以及所述标题编码-解码层均包括注意力计算层。
4.根据权利要求3所述的方法，其特征在于，所述注意力交互模块以及所述注意力计算层采用的计算方式为多头注意力计算。
5.根据权利要求1所述的方法，其特征在于，所述文本生成模型还包括与所述解码器相连的复制模块，用于比较所述解码器的解码概率结果与所述标题编码-解码层的注意力计算结果，并在确定所述编码器在任一时序输出的词的解码概率结果小于对应的注意力计算结果的情况下，则根据该注意力计算结果从商品标题内选择对应的词输出作为所述商品描述文本内的词。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述文本生成模型的训练包括：
获取商品标题样本以及与所述商品标题样本对应的商品描述文本样本；
通过如下方式中的至少一种构建商品关键描述词样本：
将所述商品描述文本样本与预设的商品属性词库进行词匹配，得到所述商品描述文本样本中与所述商品属性词库相匹配的属性词，所述商品关键描述词样本包括所述属性词；
对所述商品标题样本和所述商品描述文本样本进行公共字串提取，所述商品关键描述词样本包括提取到的公共字串词；
通过命名实体识别方法识别所述商品标题中的命名实体词，所述商品关键描述词样本包括提取到的命名实体词；
根据所述商品标题样本、所述商品描述文本样本、以及所述商品关键描述词样本对模型进行训练，并将训练完成的模型作为所述文本生成模型。
7.根据权利要求6所述的方法，其特征在于，所述模型的损失函数为如下交叉熵损失函数：
其中，x为所述商品标题，k为所述商品关键描述词，yt为所述模型在t时序的输出，N为输出序列长度，y1，y2，……，yt-1为所述模型在t时序以前的输出。
8.一种商品描述文本生成装置，其特征在于，包括：
获取模块，被配置为获取商品标题以及商品关键描述词；
处理模块，被配置为将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本，所述解码器包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键描述词指导所述商品描述文本的生成；
结果获得模块，用于获取所述文本生成模型输出的商品描述文本。
9.一种商品描述文本生成装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取商品标题以及商品关键描述词；
将所述商品标题输入文本生成模型中的编码器、所述关键描述词输入所述文本生成模型中的注意力交互模块；
其中，所述编码器用于通过注意力机制对所述商品标题进行权重编码，所述注意力交互模块用于通过注意力对齐机制将所述权重编码的结果与所述商品关键描述词进行注意力交互对齐，所述文本生成模型中的解码器用于基于所述权重编码以及经过所述注意力交互对齐后的编码生成包括所述商品标题的商品描述文本，所述解码器包括自注意力-解码层、关键词注意力-解码层、标题编码-解码层以及神经网络前馈层，所述关键词注意力-解码层的输入包括经过所述基于所述注意力交互对齐后的编码以及所述自注意力-解码层的输出，所述标题编码-解码层的输入包括所述权重编码以及所述关键词注意力-解码层的输出，使得所述解码器能够在所述商品标题的基础上，利用所述关键描述词指导所述商品描述文本的生成；
获取所述文本生成模型输出的商品描述文本。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110467920.4A CN113157910B (zh) | 2021-04-28 | 2021-04-28 | 商品描述文本生成方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110467920.4A CN113157910B (zh) | 2021-04-28 | 2021-04-28 | 商品描述文本生成方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113157910A CN113157910A (zh) | 2021-07-23 |
| CN113157910B true CN113157910B (zh) | 2024-05-10 |
Family
ID=76872021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110467920.4A Active CN113157910B (zh) | 2021-04-28 | 2021-04-28 | 商品描述文本生成方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157910B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018549A (zh) * | 2022-06-17 | 2022-09-06 | 广州华多网络科技有限公司 | 广告文案生成方法及其装置、设备、介质、产品 |
| CN115270778B (zh) * | 2022-08-25 | 2023-10-17 | 北京达佳互联信息技术有限公司 | 标题简化方法、装置、设备和存储介质 |
| CN118132752B (zh) * | 2024-05-06 | 2024-08-06 | 浙江口碑网络技术有限公司 | 商品描述词的分类方法以及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018108856A1 (de) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Tiefes verstärktes Modell für abstrahierungsfähige Verdichtung |
| CN110209801A (zh) * | 2019-05-15 | 2019-09-06 | 华南理工大学 | 一种基于自注意力网络的文本摘要自动生成方法 |
| CN110738026A (zh) * | 2019-10-23 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 用于生成描述文本的方法和设备 |
| CN111209725A (zh) * | 2018-11-19 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种文本信息生成方法、装置以及计算设备 |
| CN111401081A (zh) * | 2018-12-14 | 2020-07-10 | 波音公司 | 神经网络机器翻译方法、模型及模型形成方法 |
| CN111581923A (zh) * | 2020-04-29 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 文案生成方法、装置、设备和计算机可读存储介质 |
| CN111597819A (zh) * | 2020-05-08 | 2020-08-28 | 河海大学 | 一种基于关键词的大坝缺陷图像描述文本生成方法 |
| CN111597326A (zh) * | 2019-02-21 | 2020-08-28 | 北京京东尚科信息技术有限公司 | 生成商品描述文本的方法及装置 |
| CN111783466A (zh) * | 2020-07-15 | 2020-10-16 | 电子科技大学 | 一种面向中文病历的命名实体识别方法 |
| CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
-
2021
- 2021-04-28 CN CN202110467920.4A patent/CN113157910B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018108856A1 (de) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Tiefes verstärktes Modell für abstrahierungsfähige Verdichtung |
| CN111209725A (zh) * | 2018-11-19 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种文本信息生成方法、装置以及计算设备 |
| CN111401081A (zh) * | 2018-12-14 | 2020-07-10 | 波音公司 | 神经网络机器翻译方法、模型及模型形成方法 |
| CN111597326A (zh) * | 2019-02-21 | 2020-08-28 | 北京京东尚科信息技术有限公司 | 生成商品描述文本的方法及装置 |
| CN110209801A (zh) * | 2019-05-15 | 2019-09-06 | 华南理工大学 | 一种基于自注意力网络的文本摘要自动生成方法 |
| CN110738026A (zh) * | 2019-10-23 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 用于生成描述文本的方法和设备 |
| CN111581923A (zh) * | 2020-04-29 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 文案生成方法、装置、设备和计算机可读存储介质 |
| CN111597819A (zh) * | 2020-05-08 | 2020-08-28 | 河海大学 | 一种基于关键词的大坝缺陷图像描述文本生成方法 |
| CN111783466A (zh) * | 2020-07-15 | 2020-10-16 | 电子科技大学 | 一种面向中文病历的命名实体识别方法 |
| CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Sentiment analysis model based on self-attention and charactor-level embedding;Hongbin Xia et al.;IEEE Access;20201008;全文 * |
| 基于深度神经网络的文本生成方法研究;陈雪雯;中国优秀硕士学位论文全文数据库;20190815;I138-1272 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113157910A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113157910B (zh) | 商品描述文本生成方法、装置及存储介质 | |
| CN112926339B (zh) | 文本相似度确定方法、系统、存储介质以及电子设备 | |
| CN110781305A (zh) | 基于分类模型的文本分类方法及装置，以及模型训练方法 | |
| CN107291690A (zh) | 标点添加方法和装置、用于标点添加的装置 | |
| CN111832316B (zh) | 语义识别的方法、装置、电子设备和存储介质 | |
| CN108958503A (zh) | 输入方法和装置 | |
| CN112328793B (zh) | 评论文本数据的处理方法、装置及存储介质 | |
| CN107918496A (zh) | 一种输入纠错方法和装置、一种用于输入纠错的装置 | |
| CN112836058B (zh) | 医疗知识图谱建立方法及装置、医疗知识图谱查询方法及装置 | |
| CN114266840A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110633470A (zh) | 命名实体识别方法、装置及存储介质 | |
| CN116166843B (zh) | 基于细粒度感知的文本视频跨模态检索方法和装置 | |
| CN113095085A (zh) | 文本的情感识别方法、装置、电子设备和存储介质 | |
| CN112036195A (zh) | 机器翻译方法、装置及存储介质 | |
| CN112948565A (zh) | 人机对话方法、装置、电子设备及存储介质 | |
| CN111274389B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN108241438B (zh) | 一种输入方法、装置和用于输入的装置 | |
| CN109977390A (zh) | 一种生成文本的方法及装置 | |
| CN110858100B (zh) | 联想候选词生成方法及装置 | |
| KR20210050484A (ko) | 정보 처리 방법, 장치 및 저장 매체 | |
| CN113923517B (zh) | 一种背景音乐生成方法、装置及电子设备 | |
| CN115017324A (zh) | 实体关系抽取方法、装置、终端及存储介质 | |
| CN115688685A (zh) | 文本处理方法、装置、电子设备及存储介质 | |
| CN113157923B (zh) | 实体分类方法、装置及可读存储介质 | |
| CN114429599A (zh) | 类目分类方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |