CN107844469A - 基于词向量查询模型的文本简化方法 - Google Patents
基于词向量查询模型的文本简化方法 Download PDFInfo
- Publication number
- CN107844469A CN107844469A CN201711012677.7A CN201711012677A CN107844469A CN 107844469 A CN107844469 A CN 107844469A CN 201711012677 A CN201711012677 A CN 201711012677A CN 107844469 A CN107844469 A CN 107844469A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- vector
- decoder
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000015654 memory Effects 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000013461 design Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公布了一种基于词向量查询模型的文本简化方法，基于序列到序列模型，在解码时参照注意力机制得到解码器的隐状态和所有词汇的词向量的相关度，作为下一步待生成的词语的可能性的度量；包括：设计文本编码器，对原文本进行压缩；设计文本简化解码生成器，循环地在每一时刻计算当前的隐层向量和上下文向量；求得词表中每个词的检索相关度，输出当前时刻预测的词语，获得一段完整的经过简化的文本；训练生成简化文本的模型，最小化预测的词语与实际目标词语的对数似然；训练后即生成完整的简化文本。本发明能够提高生成文本的质量和准确度，且大幅减少现有方法的参数个数，降低训练时间和内存占用。
Description
技术领域
本发明属于自然语言处理技术领域，涉及文本简化方法，具体涉及一种基于词向量查询模型的文本简化方法。
背景技术
许多现有的文本简化算法使用基于序列到序列(sequence-to-sequence)的生成模型，这些文本简化算法基于深度学习技术，从神经网络机器翻译算法演化而来，通过观察大规模的源语言到目标语言的训练语料对，经过一定时间的训练后，可以自动对文本进行简化。但是，由于传统的序列到序列算法在解码器中生成词的时候，只是通过一个大矩阵乘法的方式将隐层表征映射到词汇列表中，词语的语义并没有被充分利用。而且，通过一个大的矩阵来进行映射使得整个网络结构中使用了数量巨大的参数(词汇量一般会很大)，导致模型训练和收敛的速度变慢，训练时间长，占用较多内存资源，文本简化的效率低下。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于词向量查询模型的文本简化方法，通过改进经典的序列到序列(sequence-to-sequence)模型解决文本简化问题。使用本发明方法，在简化过程中生成的词语与原句更具有语义相关性，且能使模型参数更快的收敛，进而加快了训练速度。
本发明提供的技术方案是：
一种基于词向量查询模型的文本简化方法，在序列到序列(sequence-to-sequence)的模型的基础上，通过在解码时参照注意力机制得到解码器的隐状态和所有词汇的词向量的相关度，将隐状态和相关度作为下一步待生成的词语的可能性的度量；通过改进经典序列到序列算法中的生成算法，以检索词向量的方式产生目标输出；再通过训练最大化标准答案与预测词语的负对数似然函数，由此生成完整的经过简化的文本；包括如下步骤：
A.设计文本编码器，利用深度循环神经网络(Recurrent Neural Network)对原文本进行压缩，得到原文本的每个时刻的隐层向量表示，记为ht，即原文本经文本编码器进行压缩后得到的一系列信息；
B.设计简化文本解码生成器，在第一个时刻输入原文本的最后一个时刻的隐层向量hn和起始句子开始的标识符，利用深度循环神经网络(Recurrent Neural Network)循环地在每一时刻计算当前状态下简化文本解码生成器当前的隐层向量st和文本编码器得到的对源文本每一时刻的隐层表示通过注意力机制获得的上下文向量ct，表示为式1:
式1～式2中，hi为第i时刻的隐层向量；hj为第j时刻的隐层向量；N为原文本中字词的个数；
C.利用文本编码器得到的上下文向量ct和简化文本解码生成器当前的隐层状态st，经过网络结构求得词表中每个词的检索相关度p(yt)：
qt＝tanh(Wc[st；ct]) (式3)
P(yt)＝softmax(f(qt,ei)) (式5)
其中，Wc和Wa是可训练的参数矩阵，st是t时刻解码器的隐层向量，ct是t时刻通过注意力机制获得的上下文向量，ei是词表中第i个词的词向量。
根据检索相关度p(yt)输出当前时刻预测的词语yt：
yt＝argmax(Wost) (式6)
其中，Wo是可训练的参数矩阵，st是t时刻解码器的隐层向量。
循环重复式(1)到式(6)的操作，直至生成一个保留的结束符号，即为一段完整的经过简化的文本；
D.在训练生成简化文本的模型(文本编码器和简化文本解码生成器)时，需要最小化步骤C预测的词语yt与人工标注的参考词语的对数似然。模型的训练使用亚当(Adam)优化算法。在训练过程中，先随机选取训练数据中的若干个样本，对这些样本依照文本编码器和简化文本解码生成器计算目标函数，目标函数表示为：
其中，为训练数据中的正确简化文本，p(yt)为简化文本解码生成器预测出简化文本的概率。训练的目标是最大化模型的目标函数：先计算目标函数的梯度，再使用亚当(Adam)优化算法依照梯度更新模型的参数。
E.每在训练数据集上训练一轮后，在另外的测试数据集上进行测试，当在测试数据集上生成的文本达到最佳准确率时(即达到最好效果时)停止训练，并保留式(1)到式(6)中的模型参数作为优选的模型参数，即可得到训练好的文本编码器和简化文本解码生成器。
利用上述训练好的文本编码器和简化文本解码生成器，即可对待简化文本数据进行简化，生成与原句更具有语义相关性的词语，快速得到完整的简化文本。
作为一种优选方案，步骤A的实现方法为使用深度神经网络中的长短时记忆网络(LSTM)，在开始时刻输入原文本中的一个字到长短时记忆网络(LSTM)，将这个字压缩成一个向量，然后将压缩后得到的向量传入下一时刻；下一时刻循环神经网络输入上一时刻的压缩向量和原文本的下一个字，将二者压缩成新的向量传入下一时刻；在压缩完所有文本后得到的每一时刻的编码向量，即是文本解码器在解码时需要的信息；
作为一种优选方案，所述步骤B的实现方法采用深度神经网络中的长短时记忆网络(LSTM)。长短时记忆网络(LSTM)在第一个时刻输入一个开始的标识符，然后在接下来的每一时刻通过检索相关度的方式，对比所有词汇的词向量和当前时刻解码器的隐藏层表示及编码器隐藏层的上下文表示，输出当前时刻依照式(5)算出的分数最高的词，经过一定时刻后输出结束的标识符，简化文本解码生成器即可生成一段完整的简化文本。
作为一种优选方案，所述步骤C的实现方式为：使用鲁昂(Luong)方式的注意力机制，首先按照经典的序列到序列模型中的方法，获得基于注意力机制的源文本的上下文向量ct，之后将ct和解码器当前的隐藏层状态st合并，经过矩阵乘法的线性转化和非线性操作，得到对当前状态的描述，以这个状态与词汇表中的所有词向量对比相关度，得到每个词的相关度得分，这个分数可以使用向量内积或者双向线性变换的方式得到。最后得分最高的词语被作为当前时刻应该输出的词。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于词向量检索模型的文本简化生成方法，通过对比所有词汇的词向量与当前状态的相关度，得到当前输出可能性最大的词；再通过训练来最大化标准目标文本与实际预测文本的负对数似然度，最终学习得到生成简化文本的模型。使用本发明技术方案生成简化文本，能够提高生成文本的质量和准确度，并且与经典序列到序列方法相比，大幅减少了参数个数，进而降低了训练时间和内存占用。
附图说明
图1是本发明提供的简化文本方法的流程框图。
图2是本发明实施例中简化文本实施过程的示意图；
其中，ht为文本编码器第t时刻的隐层向量，ct是t时刻通过注意力机制获得的上下文向量，st是t时刻简化文本解码生成器的隐层向量；当输入文本为“此番测验犹如刀山火海”时，文本编码器将文本压缩成隐层向量ht和上下文向量ct，然后简化文本解码生成器依照隐层向量ht和上下文向量ct对词表中的词向量进行查询，依次生成“测验”、“很”、“难”，形成简化文本。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于词向量检索模型的文本简化生成方法，图1是本发明提供方法的流程框图，图2是本发明具体实施示意图，通过改进经典序列到序列算法中的生成算法，以检索词向量的方式产生目标输出；再通过训练最大化标准答案与预测词语的负对数似然，由此生成完整的经过简化的文本。
以下实施例以简化维基百科中的文字为例，原文如下：
“Depending on the context,another closely-related meaning ofconstituent is that of a citizen residing in the area governed,represented,orotherwise served by a politician；sometimes this is restricted to citizens whoelected the politician.”
经过本发明的文本简化方法，生成的文字如下：
“Depending on the context,another closely-related meaning ofconstituent is that of a citizen who lives
in the area governed,represented,or otherwise served by a politician；sometimes the word is restricted
to citizens who elected the politician.”
采用本发明方法，可按以下步骤实施：
A.设计文本编码器，利用深度神经网络将原文本进行压缩，得到每个时刻对应的编码向量；具体方式为使用深度神经网络中的长短时记忆网络模型，将上述维基百科文本的每个词依次输入网络，得到每个时刻对应的隐层表示ht。
具体地，使用深度神经网络中的长短时记忆网络(LSTM)，在开始时刻输入原文本中的一个字词到长短时记忆网络(LSTM)，将这个字词压缩成一个向量，然后将压缩后得到的向量传入下一时刻；下一时刻循环神经网络输入上一时刻的压缩向量和原文本的下一个字词，将二者压缩成新的向量传入下一时刻；在压缩完所有文本后得到的每一时刻的编码向量，即是简化文本解码器在解码时需要的信息；本实施例的时刻数为句子的字词个数；每个时刻对应的隐层向量为长短时记忆网络(LSTM)将字词压缩成的向量。
B.设计简化文本解码生成器，通过长短时记忆网络在第一个时刻输入一个开始的标识符，然后在接下来的每一时刻通过检索相关度的方式，对比所有词汇的词向量和当前时刻解码器的隐藏层表示及编码器隐藏层的上下文表示，输出当前时刻最符合的词，经过一定时刻后输出结束的标识符，解码生成器即可生成一段完整的简化文本。具体方式为先使用深度神经网络中的长短时记忆网络模型，输入文本编码器生成的编码向量，然后生成文本的第一个词“depending”，利用生成完第一个词后解码器的隐层状态，结合编码器得到的源文本的上下文向量，以检索词向量的方式，得到第二个词“on”，依次类推直到生成一个代表句子结束的标识符，这样就能得到一段生成的经过简化的文本。
C.在优化文本编码器和简化文本解码生成器的模型参数(即式1到式6中的参数)时，最大化步骤B得到的预测文本与人工标注的参考文本的负对数似然。目标函数具体表示如式7：
其中，为训练数据中的正确简化文本，p(yt)为解码生成器预测出简化文本的概率。训练的目标是最大化模型的目标函数：先计算目标函数的梯度，再使用亚当(Adam)优化算法依照梯度更新模型的参数。
D.简化文本解码生成器生成的文本即为本方法所需生成的简化文本。
本发明具体实施中，文本编码器所用的循环神经网络的参数为词向量维度256，隐藏层维度256；解码生成器的参数与文本编码器一致且共享词向量，即词向量维度256，隐藏层维度256，生成词表大小限制到为50000最常用的单词。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (5)
1.一种基于词向量查询模型的文本简化方法，基于序列到序列模型，通过在解码时参照注意力机制得到解码器的隐状态和所有词汇的词向量的相关度，作为下一步待生成的词语的可能性的度量；通过改进经典序列到序列算法的生成算法，以检索词向量的方式产生目标输出；再通过训练最大化标准答案与预测词语的负对数似然函数，由此生成完整的经过简化的文本；包括如下步骤：
A.设计文本编码器，利用深度循环神经网络对原文本进行压缩，得到原文本的每个时刻的隐层向量表示，记为ht，ht即为原文本经文本编码器进行压缩后得到的一系列信息；
B.设计简化文本解码生成器，在第一个时刻输入原文本最后一个时刻的隐层向量hn和起始句子开始的标识符，利用深度循环神经网络循环地在每一时刻计算当前状态下简化文本解码生成器当前的隐层向量st和文本编码器得到的对原文本每一时刻的隐层表示通过注意力机制获得的上下文向量ct，表示为式1:
式1～式2中，hi为第i时刻的隐层向量；hj为第j时刻的隐层向量；N为为原文本中字词的个数；
C.利用文本编码器得到的上下文向量ct和文本简化解码器当前的隐层状态st，通过式3～式5求得词表中每个词的检索相关度p(yt)：
qt＝tanh(Wc[st；ct]) (式3)
p(yt)＝softmax(f(qt,ei)) (式5)
其中，Wc和Wa是可训练的参数矩阵；st是t时刻解码器的隐层向量；ct是t时刻通过注意力机制获得的上下文向量；ei是词表中第i个词的词向量；
根据检索相关度p(yt)输出当前时刻预测的词语yt：
yt＝ar gmax(Wost) (式6)
其中，Wo是可训练的参数矩阵；st是t时刻解码器的隐层向量；
循环执行上述(式1)到(式6)的操作，得到多个连续的词，直至生成一个保留的结束符号，即得到一段完整的经过简化的文本；
D.在训练文本编码器和简化文本解码生成器时，最小化步骤C预测的词语yt与人工标注的参考词语的对数似然函数；在训练过程中，先随机选取训练数据中的多个样本，对样本依照文本编码器和简化文本解码生成器计算目标函数；目标函数表示为式7：
其中，为训练数据中的正确简化文本；p(yt)为简化文本解码生成器预测出简化文本的概率；训练的目标是最大化模型的目标函数：先计算目标函数的梯度，再使用亚当(Adam)优化算法依照梯度更新模型的参数；
E.每在训练数据集上训练一轮后，在测试数据集上进行测试；当在测试数据集上生成的文本达到最佳准确率时停止训练，并保留(式1)到(式6)中的模型参数作为优选的模型参数；
利用上述训练好的文本编码器和简化文本解码生成器对待简化文本数据进行简化，生成与原文本更具有语义相关性的词语，快速得到完整的简化文本。
2.如权利要求1所述基于词向量查询模型的文本简化方法，其特征是，步骤A所述深度循环神经网络具体采用长短时记忆网络LSTM，在开始时刻输入原文本中的一个字到长短时记忆网络LSTM，将这个字压缩成一个向量，然后将压缩后得到的向量传入下一时刻；下一时刻循环神经网络输入上一时刻的压缩向量和原文本的下一个字，将二者压缩成新的向量传入下一时刻；在压缩完所有文本后得到的每一时刻的编码向量，即是文本解码器在解码时需要的信息。
3.如权利要求1所述基于词向量查询模型的文本简化方法，其特征是，步骤B所述深度循环神经网络具体采用长短时记忆网络LSTM；长短时记忆网络LSTM在第一个时刻输入一个开始的标识符，然后在接下来的每一时刻通过检索相关度，对比所有词汇的词向量和当前时刻简化文本解码生成器的隐藏层表示及文本编码器隐藏层的上下文表示，输出当前时刻最符合的词，直至输出结束的标识符，解码生成器即生成一段完整的简化文本。
4.如权利要求1所述基于词向量查询模型的文本简化方法，其特征是，步骤C具体使用鲁昂Luong方式的注意力机制，首先按照经典序列到序列模型中的方法，获得基于注意力机制的源文本的上下文向量ct，之后将ct和简化文本解码生成器当前的隐藏层状态st合并，经过矩阵乘法的线性转化和非线性操作，得到对当前状态的描述，以当前状态与词汇表中的所有词向量对比相关度，得到每个词的相关度得分；将最后得分最高的词语作为当前时刻应该输出的词。
5.如权利要求4所述基于词向量查询模型的文本简化方法，其特征是，所述每个词的相关度得分具体使用向量内积或双向线性变换方法得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711012677.7A CN107844469B (zh) | 2017-10-26 | 2017-10-26 | 基于词向量查询模型的文本简化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711012677.7A CN107844469B (zh) | 2017-10-26 | 2017-10-26 | 基于词向量查询模型的文本简化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107844469A true CN107844469A (zh) | 2018-03-27 |
| CN107844469B CN107844469B (zh) | 2020-06-26 |
Family
ID=61662762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711012677.7A Expired - Fee Related CN107844469B (zh) | 2017-10-26 | 2017-10-26 | 基于词向量查询模型的文本简化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107844469B (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 摘要文本生成方法、装置和计算机设备 |
| CN108763198A (zh) * | 2018-05-11 | 2018-11-06 | 北京理工大学 | 一种生成式的学术论文中相关工作的自动产生方法 |
| CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及系统 |
| CN108804495A (zh) * | 2018-04-02 | 2018-11-13 | 华南理工大学 | 一种基于增强语义的自动文本摘要方法 |
| CN108846130A (zh) * | 2018-06-29 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种问题文本生成方法、装置、设备和介质 |
| CN109033094A (zh) * | 2018-07-18 | 2018-12-18 | 五邑大学 | 一种基于序列到序列神经网络模型的文言文白话文互译方法及系统 |
| CN109062937A (zh) * | 2018-06-15 | 2018-12-21 | 北京百度网讯科技有限公司 | 训练描述文本生成模型的方法、生成描述文本的方法及装置 |
| CN109145105A (zh) * | 2018-07-26 | 2019-01-04 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
| CN109190109A (zh) * | 2018-07-26 | 2019-01-11 | 中国科学院自动化研究所 | 融合用户信息生成评论摘要的方法及装置 |
| CN109241536A (zh) * | 2018-09-21 | 2019-01-18 | 浙江大学 | 一种基于深度学习自注意力机制的句子排序方法 |
| CN109325103A (zh) * | 2018-10-19 | 2019-02-12 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及系统 |
| CN109597884A (zh) * | 2018-12-28 | 2019-04-09 | 北京百度网讯科技有限公司 | 对话生成的方法、装置、存储介质和终端设备 |
| CN109635302A (zh) * | 2018-12-17 | 2019-04-16 | 北京百度网讯科技有限公司 | 一种训练文本摘要生成模型的方法和装置 |
| CN109858004A (zh) * | 2019-02-12 | 2019-06-07 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| CN110033022A (zh) * | 2019-03-08 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 文本的处理方法、装置和存储介质 |
| CN110188353A (zh) * | 2019-05-28 | 2019-08-30 | 百度在线网络技术（北京）有限公司 | 文本纠错方法及装置 |
| CN110377902A (zh) * | 2019-06-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110727695A (zh) * | 2019-09-29 | 2020-01-24 | 浙江大学 | 面向新型供电城轨列车数据运维的自然语言查询解析方法 |
| CN110857100A (zh) * | 2018-08-09 | 2020-03-03 | 通用汽车环球科技运作有限责任公司 | 使用神经网络对上下文信息进行嵌入式编码的方法 |
| CN110866095A (zh) * | 2019-10-10 | 2020-03-06 | 重庆金融资产交易所有限责任公司 | 一种文本相似度的确定方法及相关设备 |
| CN110969024A (zh) * | 2018-09-30 | 2020-04-07 | 北京奇虎科技有限公司 | 一种查询语句的改写方法及装置 |
| CN110990578A (zh) * | 2018-09-30 | 2020-04-10 | 北京奇虎科技有限公司 | 一种改写模型的构建方法及装置 |
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111046138A (zh) * | 2019-11-15 | 2020-04-21 | 北京三快在线科技有限公司 | 推荐理由生成方法、装置、电子设备及存储介质 |
| CN111191451A (zh) * | 2019-12-30 | 2020-05-22 | 苏州思必驰信息科技有限公司 | 中文语句简化方法和装置 |
| CN111259768A (zh) * | 2020-01-13 | 2020-06-09 | 清华大学 | 基于注意力机制的结合自然语言的图像目标定位方法 |
| WO2020119069A1 (zh) * | 2018-12-13 | 2020-06-18 | 平安科技（深圳）有限公司 | 基于自编码神经网络的文本生成方法、装置、终端及介质 |
| CN111368966A (zh) * | 2018-12-25 | 2020-07-03 | 北京嘀嘀无限科技发展有限公司 | 工单描述生成方法、装置、电子设备及可读存储介质 |
| CN111783444A (zh) * | 2019-04-02 | 2020-10-16 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
| WO2021093871A1 (zh) * | 2019-11-14 | 2021-05-20 | 中国科学院深圳先进技术研究院 | 文本的查询方法、文本查询装置以及计算机存储介质 |
| CN113033534A (zh) * | 2021-03-10 | 2021-06-25 | 北京百度网讯科技有限公司 | 建立票据类型识别模型与识别票据类型的方法、装置 |
| CN113779277A (zh) * | 2021-01-22 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 用于生成文本的方法和装置 |
| US20220215177A1 (en) * | 2018-07-27 | 2022-07-07 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Method and system for processing sentence, and electronic device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502985A (zh) * | 2016-10-20 | 2017-03-15 | 清华大学 | 一种用于生成标题的神经网络建模方法及装置 |
-
2017
- 2017-10-26 CN CN201711012677.7A patent/CN107844469B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502985A (zh) * | 2016-10-20 | 2017-03-15 | 清华大学 | 一种用于生成标题的神经网络建模方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| SUN, XU等: "Predicting Chinese abbreviations from definitions: An empirical learning approach using support vector regression", 《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》 * |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804495A (zh) * | 2018-04-02 | 2018-11-13 | 华南理工大学 | 一种基于增强语义的自动文本摘要方法 |
| CN108427771B (zh) * | 2018-04-09 | 2020-11-10 | 腾讯科技（深圳）有限公司 | 摘要文本生成方法、装置和计算机设备 |
| CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 摘要文本生成方法、装置和计算机设备 |
| CN108763198A (zh) * | 2018-05-11 | 2018-11-06 | 北京理工大学 | 一种生成式的学术论文中相关工作的自动产生方法 |
| CN108763198B (zh) * | 2018-05-11 | 2021-06-22 | 北京理工大学 | 一种生成式的学术论文中相关工作的自动产生方法 |
| CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及系统 |
| CN108763504B (zh) * | 2018-05-30 | 2020-07-24 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及系统 |
| CN109062937A (zh) * | 2018-06-15 | 2018-12-21 | 北京百度网讯科技有限公司 | 训练描述文本生成模型的方法、生成描述文本的方法及装置 |
| US11157698B2 (en) | 2018-06-15 | 2021-10-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method of training a descriptive text generating model, and method and apparatus for generating descriptive text |
| CN108846130A (zh) * | 2018-06-29 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种问题文本生成方法、装置、设备和介质 |
| CN108846130B (zh) * | 2018-06-29 | 2021-02-05 | 北京百度网讯科技有限公司 | 一种问题文本生成方法、装置、设备和介质 |
| CN109033094A (zh) * | 2018-07-18 | 2018-12-18 | 五邑大学 | 一种基于序列到序列神经网络模型的文言文白话文互译方法及系统 |
| CN109190109B (zh) * | 2018-07-26 | 2020-09-29 | 中国科学院自动化研究所 | 融合用户信息生成评论摘要的方法及装置 |
| CN109145105B (zh) * | 2018-07-26 | 2021-11-30 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
| CN109190109A (zh) * | 2018-07-26 | 2019-01-11 | 中国科学院自动化研究所 | 融合用户信息生成评论摘要的方法及装置 |
| CN109145105A (zh) * | 2018-07-26 | 2019-01-04 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
| US20220215177A1 (en) * | 2018-07-27 | 2022-07-07 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Method and system for processing sentence, and electronic device |
| CN110857100A (zh) * | 2018-08-09 | 2020-03-03 | 通用汽车环球科技运作有限责任公司 | 使用神经网络对上下文信息进行嵌入式编码的方法 |
| CN109241536B (zh) * | 2018-09-21 | 2020-11-06 | 浙江大学 | 一种基于深度学习自注意力机制的句子排序方法 |
| CN109241536A (zh) * | 2018-09-21 | 2019-01-18 | 浙江大学 | 一种基于深度学习自注意力机制的句子排序方法 |
| CN110990578A (zh) * | 2018-09-30 | 2020-04-10 | 北京奇虎科技有限公司 | 一种改写模型的构建方法及装置 |
| CN110969024A (zh) * | 2018-09-30 | 2020-04-07 | 北京奇虎科技有限公司 | 一种查询语句的改写方法及装置 |
| CN109325103B (zh) * | 2018-10-19 | 2020-12-04 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及系统 |
| CN109325103A (zh) * | 2018-10-19 | 2019-02-12 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及系统 |
| US11487952B2 (en) | 2018-12-13 | 2022-11-01 | Ping An Technology (Shenzhen) Co., Ltd. | Method and terminal for generating a text based on self-encoding neural network, and medium |
| WO2020119069A1 (zh) * | 2018-12-13 | 2020-06-18 | 平安科技（深圳）有限公司 | 基于自编码神经网络的文本生成方法、装置、终端及介质 |
| CN109635302B (zh) * | 2018-12-17 | 2022-06-10 | 北京百度网讯科技有限公司 | 一种训练文本摘要生成模型的方法和装置 |
| CN109635302A (zh) * | 2018-12-17 | 2019-04-16 | 北京百度网讯科技有限公司 | 一种训练文本摘要生成模型的方法和装置 |
| CN111368966A (zh) * | 2018-12-25 | 2020-07-03 | 北京嘀嘀无限科技发展有限公司 | 工单描述生成方法、装置、电子设备及可读存储介质 |
| CN111368966B (zh) * | 2018-12-25 | 2023-11-21 | 北京嘀嘀无限科技发展有限公司 | 工单描述生成方法、装置、电子设备及可读存储介质 |
| CN109597884A (zh) * | 2018-12-28 | 2019-04-09 | 北京百度网讯科技有限公司 | 对话生成的方法、装置、存储介质和终端设备 |
| CN109858004A (zh) * | 2019-02-12 | 2019-06-07 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| CN109858004B (zh) * | 2019-02-12 | 2023-08-01 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| CN110033022A (zh) * | 2019-03-08 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 文本的处理方法、装置和存储介质 |
| CN111783444B (zh) * | 2019-04-02 | 2023-07-25 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
| CN111783444A (zh) * | 2019-04-02 | 2020-10-16 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
| CN110188353B (zh) * | 2019-05-28 | 2021-02-05 | 百度在线网络技术（北京）有限公司 | 文本纠错方法及装置 |
| CN110188353A (zh) * | 2019-05-28 | 2019-08-30 | 百度在线网络技术（北京）有限公司 | 文本纠错方法及装置 |
| CN110377902B (zh) * | 2019-06-21 | 2023-07-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110377902A (zh) * | 2019-06-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 描述文本生成模型的训练方法和装置 |
| CN110727695A (zh) * | 2019-09-29 | 2020-01-24 | 浙江大学 | 面向新型供电城轨列车数据运维的自然语言查询解析方法 |
| CN110727695B (zh) * | 2019-09-29 | 2022-05-03 | 浙江大学 | 面向新型供电城轨列车数据运维的自然语言查询解析方法 |
| CN110866095A (zh) * | 2019-10-10 | 2020-03-06 | 重庆金融资产交易所有限责任公司 | 一种文本相似度的确定方法及相关设备 |
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111046907B (zh) * | 2019-11-02 | 2023-10-27 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| WO2021093871A1 (zh) * | 2019-11-14 | 2021-05-20 | 中国科学院深圳先进技术研究院 | 文本的查询方法、文本查询装置以及计算机存储介质 |
| CN111046138B (zh) * | 2019-11-15 | 2023-06-27 | 北京三快在线科技有限公司 | 推荐理由生成方法、装置、电子设备及存储介质 |
| CN111046138A (zh) * | 2019-11-15 | 2020-04-21 | 北京三快在线科技有限公司 | 推荐理由生成方法、装置、电子设备及存储介质 |
| CN111191451A (zh) * | 2019-12-30 | 2020-05-22 | 苏州思必驰信息科技有限公司 | 中文语句简化方法和装置 |
| CN111191451B (zh) * | 2019-12-30 | 2024-02-02 | 思必驰科技股份有限公司 | 中文语句简化方法和装置 |
| CN111259768A (zh) * | 2020-01-13 | 2020-06-09 | 清华大学 | 基于注意力机制的结合自然语言的图像目标定位方法 |
| CN113779277A (zh) * | 2021-01-22 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 用于生成文本的方法和装置 |
| CN113033534A (zh) * | 2021-03-10 | 2021-06-25 | 北京百度网讯科技有限公司 | 建立票据类型识别模型与识别票据类型的方法、装置 |
| CN113033534B (zh) * | 2021-03-10 | 2023-07-25 | 北京百度网讯科技有限公司 | 建立票据类型识别模型与识别票据类型的方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107844469B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844469A (zh) | 基于词向量查询模型的文本简化方法 | |
| CN106126507B (zh) | 一种基于字符编码的深度神经翻译方法及系统 | |
| CN107168945B (zh) | 一种融合多特征的双向循环神经网络细粒度意见挖掘方法 | |
| CN111241294B (zh) | 基于依赖解析和关键词的图卷积网络的关系抽取方法 | |
| CN104298651B (zh) | 一种基于深度学习的生物医学命名实体识别和蛋白质交互关系抽取在线方法 | |
| CN109597997B (zh) | 基于评论实体、方面级情感分类方法和装置及其模型训练 | |
| CN109472024A (zh) | 一种基于双向循环注意力神经网络的文本分类方法 | |
| CN109492227A (zh) | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 | |
| CN109948152A (zh) | 一种基于lstm的中文文本语法纠错模型方法 | |
| CN109522411A (zh) | 一种基于神经网络的写作辅助方法 | |
| CN108446275A (zh) | 基于注意力双层lstm的长文本情感倾向性分析方法 | |
| CN108170736A (zh) | 一种基于循环注意力机制的文档快速扫描定性方法 | |
| CN108108449A (zh) | 一种面向医疗领域的基于多源异构数据问答系统及该系统的实现方法 | |
| CN109003601A (zh) | 一种针对低资源土家语的跨语言端到端语音识别方法 | |
| CN109635124A (zh) | 一种结合背景知识的远程监督关系抽取方法 | |
| CN111242033B (zh) | 一种基于视频和文字对判别分析的视频特征学习方法 | |
| CN104598611B (zh) | 对搜索条目进行排序的方法及系统 | |
| CN109977234A (zh) | 一种基于主题关键词过滤的知识图谱补全方法 | |
| CN109101235A (zh) | 一种软件程序的智能解析方法 | |
| CN111858932A (zh) | 基于Transformer的多重特征中英文情感分类方法及系统 | |
| CN110210016A (zh) | 基于风格引导的双线性神经网络虚假新闻检测方法及系统 | |
| CN107798624A (zh) | 一种软件问答社区中的技术标签推荐方法 | |
| CN107291836A (zh) | 一种基于语义相关度模型的中文文本摘要获取方法 | |
| CN112183058B (zh) | 基于bert句子向量输入的诗词生成方法及装置 | |
| CN111400494B (zh) | 一种基于GCN-Attention的情感分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200626 |