CN110083826A - 一种基于Transformer模型的老汉双语对齐方法 - Google Patents
一种基于Transformer模型的老汉双语对齐方法 Download PDFInfo
- Publication number
- CN110083826A CN110083826A CN201910215271.1A CN201910215271A CN110083826A CN 110083826 A CN110083826 A CN 110083826A CN 201910215271 A CN201910215271 A CN 201910215271A CN 110083826 A CN110083826 A CN 110083826A
- Authority
- CN
- China
- Prior art keywords
- word
- vector
- sentence
- encoder
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 10
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于Transformer模型的老汉双语对齐方法，属于自然语言处理和机器学习技术领域。双语语料库最为作为自然语言研究领域的重要语言资源，语言信息处理的研究深入，在语料的获取，处理有了长足的进步。本发明首先将篇章级对齐的语料作为输入，由于老挝语与中文的句子排序大致是一致的，所以可以先将篇章级的语料处理为单个的对齐语句，之后将对齐的语句进行拆分。之后将这些对齐的语句进行分词，将分词的词语作为Encoder的输入，通过保留Encoder编码器对输入序列的中间输出结果，训练一个模型来对这些输入进行选择性地学习并且在模型输出时将输出序列进行关联，从而从双语语料库中抽取出平行句对。本发明在老挝语平行句对抽取上有一定的研究意义。
Description
技术领域
本发明涉及一种基于Transformer模型的老汉双语对齐方法，属于自然语言处理和机器学习技术领域。
背景技术
双语语料是统计机器翻译、跨语言检索、双语词典构建等研究领域的重要基础资源，双语语料的数量与质量很大程度上影响甚至决定了相关任务的最终结果。而平行句对的挖掘则是构建双语语料的关键技术，因而具有重要的研究价值。很多情况下，双语语料我们可以获得，但是得到的文本通常并不是以句子为单位对齐的，例如有些是以段落或者按照整篇文章来对齐的。这种情况下，就需要将这些不是以句子为单位对齐的语料整理成句子对齐格式，从而进行平行句对的抽取。
发明内容
本发明要解决的技术问题是提供一种基于Transformer模型的老汉双语对齐方法，用于解决从汉语-老挝语的对齐语料中抽取对齐语句,能够有效提高句子对齐的准确率.
本发明采用的技术方案是：一种基于Transformer模型的老汉双语对齐方法，具体步骤如下：
Step1，将汉-老双语语料预处理后进行数据集划分，其中，已对齐的训练集占90％，乱序测试集占10％；
Step2，根据训练集以及测试集的句子，经过分词，统计其中的互异的词组，以及每个词组出现的次数，并按照出现次数的多少，从大到小排序；
Step3，将分好词的源语言句子进行词嵌入Embedding的单词转换词向量，转换词向量之后进入到positional-encoding部分，对输入的单词的词嵌入加上一个新的向量，即位置向量，来表示单词的位置信息；
Step4，将经过位置信息标识的向量输入multi-headed attention部分，其中包括多个Encoder，每个Encoder中在self-Attention中，词向量通过与训练的权值矩阵相乘，得到Q/K/V矩阵，即Qurey/Key/Value矩阵，同时，为每个Encoder独立维护一套Q/K/V权值矩阵，为Decoder使用；
Step5，通过Encoder的multi-headed attention部分，我们将得到的多个Q/K/V矩阵，把这些矩阵组合形成一个最终的Z矩阵，其中包含了所有的Q/K/V权值，在Decoder部分，在Z的矩阵中找到相关K/V的权值带入Decoder的“Encoder-Decoder attention”层中计算，通过Encoder部分的位置表示信息，最终得出一个向量的集合，通过最终的线性层linear和softmax层，通过概率选取最高的索引，然后找到一一对应的单词作为输出，最终得出译文。
具体地，所述step1中所述的对齐片段为双语对齐语句。
具体地，所述step2所述的分词是指通过python编码，通过电子老挝语字典，对最初老挝语句子分词，使用jieba库，对中文进行分词。
具体地，所述step3中，词嵌入是指将老挝语以及中文通过编码，将文字信息转化为计算机能够识别的数字信息，同时能够对词语空间降维。
具体地，所述step3中，positional-encoding用将p位置映射为一个dpos维的位置向量，这个向量的第i个元素的数值为PE2i(p)，使用的公式如下：
具体地，所述step4中，multi-headed attention将Q/K/V通过参数矩阵映射一下，然后再做Attention，并将每次的结果保存，Attention的映射函数如下：
其中，Q,K,V是源语句子通过分词之后，对Encoder部分为单词创建的三个向量，这些向量是通过词嵌入之后，乘以训练过程创建的3个不同矩阵而产生的，而dK是K的向量维度，KT为K向量的转置。
具体地，所述步骤step5由于前馈神经网络中，只能接受一个矩阵，所以将multi-headed attention端得到的多个Q/K/V矩阵通过一个初始矩阵Wo，组合成为一个矩阵Z，并输入下面的前馈神经网络，公式如下：
MultiHead(Q,K,V)＝Concat(head1,…,heαdn)
其中，Wii Q、为训练时的权值矩阵。
具体地，所述步骤step5线性层linear将得到的向量集合映射为一个logits向量，softmax层将logits向量转换成概率，通过概率得到对应的映射。
具体地，所述步骤step5在通过索引得到最高的概率之后，从映照表中得到的一一对应的输出词，组合起来之后，即为最终的对齐的语句。
具体地，所述step1中的预处理，是指通过python编码，将句子中的噪声数据除去。
本发明的有益效果是：
(1)该基于Transformer模型的从老汉双语篇章级对齐语料中抽取对齐语句的方法中，该模型主要是Seq2Seq的Attention机制的完善，抛弃了传统Seq2Seq的RNN/LSTM/GRU的结构来做句对齐的工作，相较于之前的模型，框架更加简便。
(2)该基于Transformer模型的从老汉双语篇章级对齐语料中抽取对齐语句的方法中，融入老挝语语法特征以及中文的语法特征，通过深度学习可以自动识别出来，相比于人工识别，速度更快，泛化性更强，省时省力。
(3)该基于Transformer模型的从老汉双语篇章级对齐语料中抽取对齐语句的方法中，使用了深度学习算法，相较于传统统计方法，在特征提取的效果上有了比较不错的提高。同时还较之于创痛的RNN/LSTM/GRU算法，降低了计算的复杂度。
附图说明
图1为本发明中的流程图；
图2为本发明所使用的Encoder-Decoder结构的组成；
图3是本发明所使用的multi-headed attention基本结构图；
图4是具体Encoder和Decoder的内部结构。
具体实施方式
下面结合附图和具体实施例，对本发明做进一步的说明。
实施例1：如图1-4所示，一种基于Transformer模型的老汉双语对齐方法，具体步骤如下：
Step1，将汉-老双语语料预处理后进行数据集划分，其中，已对齐的训练集占90％，乱序测试集占10％；
Step2，根据训练集以及测试集的句子，经过分词，统计其中的互异的词组，以及每个词组出现的次数，并按照出现次数的多少，从大到小排序；
Step3，将分好词的源语言句子进行词嵌入Embedding的单词转换词向量，转换词向量之后进入到positional-encoding部分，对输入的单词的词嵌入加上一个新的向量，即位置向量，来表示单词的位置信息；
Step4，将经过位置信息标识的向量输入multi-headed attention部分，其中包括多个Encoder，每个Encoder中在self-Attention中，词向量通过与训练的权值矩阵相乘，得到Q/K/V矩阵，即Qurey/Key/Value矩阵，同时，为每个Encoder独立维护一套Q/K/V权值矩阵，为Decoder使用；
Step5，通过Encoder的multi-headed attention部分，我们将得到的多个Q/K/V矩阵，把这些矩阵组合形成一个最终的Z矩阵，其中包含了所有的Q/K/V权值，在Decoder部分，在Z的矩阵中找到相关K/V的权值带入Decoder的“Encoder-Decoder attention”层中计算，通过Encoder部分的位置表示信息，最终得出一个向量的集合，通过最终的线性层linear和softmax层，通过概率选取最高的索引，然后找到一一对应的单词作为输出，最终得出译文。
进一步地，所述step1中所述的对齐片段为双语对齐语句。
进一步地，所述step2所述的分词是指通过python编码，通过电子老挝语字典，对最初老挝语句子分词，使用jieba库，对中文进行分词。
进一步地，所述step3中，词嵌入是指将老挝语以及中文通过编码，将文字信息转化为计算机能够识别的数字信息，同时能够对词语空间降维。
进一步地，所述step3中，positional-encoding用将p位置映射为一个dpos维的位置向量，这个向量的第i个元素的数值为Pe2i(p)，使用的公式如下：
进一步地，所述step4中，multi-headed attention将Q/K/V通过参数矩阵映射一下，然后再做Attention，并将每次的结果保存，Attention的映射函数如下：
其中，Q,K,V是源语句子通过分词之后，对Encoder部分为单词创建的三个向量，这些向量是通过词嵌入之后，乘以训练过程创建的3个不同矩阵而产生的，而dK是K的向量维度，KT为K向量的转置。
进一步地，所述步骤step5由于前馈神经网络中，只能接受一个矩阵，所以将multi-headed attention端得到的多个Q/K/V矩阵通过一个初始矩阵Wo，组合成为一个矩阵Z，并输入下面的前馈神经网络，公式如下：
MultiHead(Q,K,V)＝Concat(head1,…,headn)
其中，Wii Q、为训练时的权值矩阵。
进一步地，所述步骤step5线性层linear将得到的向量集合映射为一个logits向量，softmax层将logits向量转换成概率，通过概率得到对应的映射。
进一步地，所述步骤step5在通过索引得到最高的概率之后，从映照表中得到的一一对应的输出词，组合起来之后，即为最终的对齐的语句。
进一步地，所述step1中的预处理，是指通过python编码，将句子中的噪声数据除去。
需要说明的是，图2和图3中左下角老挝语的中文译文是“老师教书”。
双语语料库最为作为自然语言研究领域的重要语言资源，语言信息处理的研究深入，在语料的获取，处理有了长足的进步。本发明主要融合了老挝语语言学特征到算法模型中，在模型的使用中选择了多种模型融合的方法，提高识别精度，本模型基于Attention机制(注意力机制)，使用Encoder-Decoder(编码器-解码器)结构。首先将篇章级对齐的语料作为输入，由于老挝语与中文的句子排序大致是一致的，所以可以先将篇章级的语料处理为单个的对齐语句，之后将对齐的语句进行拆分。之后将这些对齐的语句进行分词，将分词的词语作为Encoder的输入，通过保留Encoder编码器对输入序列的中间输出结果，训练一个模型来对这些输入进行选择性地学习并且在模型输出时将输出序列进行关联，从而从双语语料库中抽取出平行句对。本发明在老挝语平行句对抽取上有一定的研究意义。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于Transformer模型的老汉双语对齐方法，其特征在于：具体步骤如下：
Step1，将汉-老双语语料预处理后进行数据集划分，其中，已对齐的训练集占90％，乱序测试集占10％；
Step2，根据训练集以及测试集的句子，经过分词，统计其中的互异的词组，以及每个词组出现的次数，并按照出现次数的多少，从大到小排序；
Step3，将分好词的源语言句子进行词嵌入Embedding的单词转换词向量，转换词向量之后进入到positional-encoding部分，对输入的单词的词嵌入加上一个新的向量，即位置向量，来表示单词的位置信息；
Step4，将经过位置信息标识的向量输入multi-headed attention部分，其中包括多个Encoder，每个Encoder中在self-Attention中，词向量通过与训练的权值矩阵相乘，得到Q/K/V矩阵，即Qurey/Key/Value矩阵，同时，为每个Encoder独立维护一套Q/K/V权值矩阵，为Decoder使用；
Step5，通过Encoder的multi-headed attention部分，我们将得到的多个Q/K/V矩阵，把这些矩阵组合形成一个最终的Z矩阵，其中包含了所有的Q/K/V权值，在Decoder部分，在Z的矩阵中找到相关K/V的权值带入Decoder的“Encoder-Decoder attention”层中计算，通过Encoder部分的位置表示信息，最终得出一个向量的集合，通过最终的线性层linear和softmax层，通过概率选取最高的索引，然后找到一一对应的单词作为输出，最终得出译文。
2.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step1中所述的对齐片段为双语对齐语句。
3.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step2所述的分词是指通过python编码，通过电子老挝语字典，对最初老挝语句子分词，使用jieba库，对中文进行分词。
4.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step3中，词嵌入是指将老挝语以及中文通过编码，将文字信息转化为计算机能够识别的数字信息，同时能够对词语空间降维。
5.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step3中，positional-encoding用将p位置映射为一个dpos维的位置向量，这个向量的第i个元素的数值为PE2i(p)，使用的公式如下：
6.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step4中，multi-headed attention将Q/K/V通过参数矩阵映射一下，然后再做Attention，并将每次的结果保存，Attention的映射函数如下：
其中，Q,K,V是源语句子通过分词之后，对Encoder部分为单词创建的三个向量，这些向量是通过词嵌入之后，乘以训练过程创建的3个不同矩阵而产生的，而dK是K的向量维度，KT为K向量的转置。
7.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述步骤step5由于前馈神经网络中，只能接受一个矩阵，所以将multi-headedattention端得到的多个Q/K/V矩阵通过一个初始矩阵Wo，组合成为一个矩阵Z，并输入下面的前馈神经网络，公式如下：
headi＝Attention(QWi Q,KWi K,VWi V)
MultiHead(Q,K,V)＝Concat(head1,…,headn)
其中，Wi Q、Wi K、Wi V为训练时的权值矩阵。
8.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述步骤step5线性层linear将得到的向量集合映射为一个logits向量，softmax层将logits向量转换成概率，通过概率得到对应的映射。
9.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述步骤step5在通过索引得到最高的概率之后，从映照表中得到的一一对应的输出词，组合起来之后，即为最终的对齐的语句。
10.根据权利要求1所述的一种基于Transformer模型的老汉双语对齐方法，其特征在于：所述step1中的预处理，是指通过python编码，将句子中的噪声数据除去。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910215271.1A CN110083826A (zh) | 2019-03-21 | 2019-03-21 | 一种基于Transformer模型的老汉双语对齐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910215271.1A CN110083826A (zh) | 2019-03-21 | 2019-03-21 | 一种基于Transformer模型的老汉双语对齐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110083826A true CN110083826A (zh) | 2019-08-02 |
Family
ID=67413364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910215271.1A Pending CN110083826A (zh) | 2019-03-21 | 2019-03-21 | 一种基于Transformer模型的老汉双语对齐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110083826A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688312A (zh) * | 2019-09-26 | 2020-01-14 | 山东浪潮人工智能研究院有限公司 | 一种基于Transformer的软件缺陷预测方法 |
| CN110717341A (zh) * | 2019-09-11 | 2020-01-21 | 昆明理工大学 | 一种以泰语为枢轴的老-汉双语语料库构建方法及装置 |
| CN111125344A (zh) * | 2019-12-23 | 2020-05-08 | 北大方正集团有限公司 | 相关词推荐方法和装置 |
| CN111680169A (zh) * | 2020-06-03 | 2020-09-18 | 国网内蒙古东部电力有限公司 | 一种基于bert模型技术的电力科技成果数据抽取方法 |
| CN111680163A (zh) * | 2020-04-21 | 2020-09-18 | 国网内蒙古东部电力有限公司 | 一种面向电力科技成果的知识图谱可视化方法 |
| CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
| WO2021027257A1 (zh) * | 2019-08-15 | 2021-02-18 | 创新先进技术有限公司 | 计算机执行的、利用神经网络进行语言处理的方法及装置 |
| CN112947930A (zh) * | 2021-01-29 | 2021-06-11 | 南通大学 | 一种基于Transformer的Python伪代码自动生成方法 |
| CN113076398A (zh) * | 2021-03-30 | 2021-07-06 | 昆明理工大学 | 基于双语词典映射指导的跨语言信息检索方法 |
| US11210474B2 (en) | 2019-08-15 | 2021-12-28 | Advanced New Technologies Co., Ltd. | Language processing using a neural network |
| US11468246B2 (en) | 2019-07-22 | 2022-10-11 | Capital One Services, Llc | Multi-turn dialogue response generation with template generation |
| CN115687031A (zh) * | 2022-11-15 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种告警描述文本的生成方法、装置、设备及介质 |
| US11574250B2 (en) | 2020-08-12 | 2023-02-07 | International Business Machines Corporation | Classification of erroneous cell data |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549629A (zh) * | 2018-03-19 | 2018-09-18 | 昆明理工大学 | 一种结合相似度和图匹配的老-汉双语句子对齐方法 |
| CN109145315A (zh) * | 2018-09-05 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
| CN109190131A (zh) * | 2018-09-18 | 2019-01-11 | 北京工业大学 | 一种基于神经机器翻译的英语单词及其大小写联合预测方法 |
| CN109272262A (zh) * | 2018-11-26 | 2019-01-25 | 广州努比互联网科技有限公司 | 一种自然语言特征的分析方法 |
| CN109344413A (zh) * | 2018-10-16 | 2019-02-15 | 北京百度网讯科技有限公司 | 翻译处理方法和装置 |
| CN109492232A (zh) * | 2018-10-22 | 2019-03-19 | 内蒙古工业大学 | 一种基于Transformer的增强语义特征信息的蒙汉机器翻译方法 |
-
2019
- 2019-03-21 CN CN201910215271.1A patent/CN110083826A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549629A (zh) * | 2018-03-19 | 2018-09-18 | 昆明理工大学 | 一种结合相似度和图匹配的老-汉双语句子对齐方法 |
| CN109145315A (zh) * | 2018-09-05 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
| CN109190131A (zh) * | 2018-09-18 | 2019-01-11 | 北京工业大学 | 一种基于神经机器翻译的英语单词及其大小写联合预测方法 |
| CN109344413A (zh) * | 2018-10-16 | 2019-02-15 | 北京百度网讯科技有限公司 | 翻译处理方法和装置 |
| CN109492232A (zh) * | 2018-10-22 | 2019-03-19 | 内蒙古工业大学 | 一种基于Transformer的增强语义特征信息的蒙汉机器翻译方法 |
| CN109272262A (zh) * | 2018-11-26 | 2019-01-25 | 广州努比互联网科技有限公司 | 一种自然语言特征的分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| TAMER ALKHOULI等: "On the Alignment Problem In Multi-Head Attention-Based Neural Machine Translation", 《PROCEEDINGS OF THE THIRD CONFERENCE ON MACHINE TRANSLATION(WMT)》 * |
| 周兰江等: "融合句法特征的汉-老双语词语对齐算法研究", 《软件导刊》 * |
| 林哲辉等: "新闻领域双语语料建设与句子对齐方法的研究", 《电脑与信息技术》 * |
| 韩锐: "汉老双语命名实体识别及对齐方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11816442B2 (en) | 2019-07-22 | 2023-11-14 | Capital One Services, Llc | Multi-turn dialogue response generation with autoregressive transformer models |
| US11651163B2 (en) | 2019-07-22 | 2023-05-16 | Capital One Services, Llc | Multi-turn dialogue response generation with persona modeling |
| US11487954B2 (en) | 2019-07-22 | 2022-11-01 | Capital One Services, Llc | Multi-turn dialogue response generation via mutual information maximization |
| US11468246B2 (en) | 2019-07-22 | 2022-10-11 | Capital One Services, Llc | Multi-turn dialogue response generation with template generation |
| US11615255B2 (en) | 2019-07-22 | 2023-03-28 | Capital One Services, Llc | Multi-turn dialogue response generation with autoregressive transformer models |
| US11816439B2 (en) | 2019-07-22 | 2023-11-14 | Capital One Services, Llc | Multi-turn dialogue response generation with template generation |
| US11210474B2 (en) | 2019-08-15 | 2021-12-28 | Advanced New Technologies Co., Ltd. | Language processing using a neural network |
| WO2021027257A1 (zh) * | 2019-08-15 | 2021-02-18 | 创新先进技术有限公司 | 计算机执行的、利用神经网络进行语言处理的方法及装置 |
| CN110717341B (zh) * | 2019-09-11 | 2022-06-14 | 昆明理工大学 | 一种以泰语为枢轴的老-汉双语语料库构建方法及装置 |
| CN110717341A (zh) * | 2019-09-11 | 2020-01-21 | 昆明理工大学 | 一种以泰语为枢轴的老-汉双语语料库构建方法及装置 |
| CN110688312A (zh) * | 2019-09-26 | 2020-01-14 | 山东浪潮人工智能研究院有限公司 | 一种基于Transformer的软件缺陷预测方法 |
| CN111125344B (zh) * | 2019-12-23 | 2023-09-05 | 新方正控股发展有限责任公司 | 相关词推荐方法和装置 |
| CN111125344A (zh) * | 2019-12-23 | 2020-05-08 | 北大方正集团有限公司 | 相关词推荐方法和装置 |
| CN111680163A (zh) * | 2020-04-21 | 2020-09-18 | 国网内蒙古东部电力有限公司 | 一种面向电力科技成果的知识图谱可视化方法 |
| CN111680169A (zh) * | 2020-06-03 | 2020-09-18 | 国网内蒙古东部电力有限公司 | 一种基于bert模型技术的电力科技成果数据抽取方法 |
| CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
| US11574250B2 (en) | 2020-08-12 | 2023-02-07 | International Business Machines Corporation | Classification of erroneous cell data |
| CN112947930A (zh) * | 2021-01-29 | 2021-06-11 | 南通大学 | 一种基于Transformer的Python伪代码自动生成方法 |
| CN112947930B (zh) * | 2021-01-29 | 2024-05-17 | 南通大学 | 一种基于Transformer的Python伪代码自动生成方法 |
| CN113076398B (zh) * | 2021-03-30 | 2022-07-29 | 昆明理工大学 | 基于双语词典映射指导的跨语言信息检索方法 |
| CN113076398A (zh) * | 2021-03-30 | 2021-07-06 | 昆明理工大学 | 基于双语词典映射指导的跨语言信息检索方法 |
| CN115687031A (zh) * | 2022-11-15 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种告警描述文本的生成方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110083826A (zh) | 一种基于Transformer模型的老汉双语对齐方法 | |
| CN111444721B (zh) | 一种基于预训练语言模型的中文文本关键信息抽取方法 | |
| CN110083831B (zh) | 一种基于BERT-BiGRU-CRF的中文命名实体识别方法 | |
| CN109635124A (zh) | 一种结合背景知识的远程监督关系抽取方法 | |
| CN109492227A (zh) | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 | |
| CN112541343B (zh) | 基于词对齐的半监督对抗学习跨语言摘要生成方法 | |
| CN108829684A (zh) | 一种基于迁移学习策略的蒙汉神经机器翻译方法 | |
| CN109871535A (zh) | 一种基于深度神经网络的法语命名实体识别方法 | |
| CN109783809B (zh) | 一种从老挝-汉语篇章级对齐语料中抽取对齐语句的方法 | |
| CN110147451B (zh) | 一种基于知识图谱的对话命令理解方法 | |
| CN110598221A (zh) | 利用生成对抗网络构造蒙汉平行语料提高蒙汉翻译质量的方法 | |
| CN110414009B (zh) | 基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置 | |
| CN112231472B (zh) | 融入领域术语词典的司法舆情敏感信息识别方法 | |
| CN111046670B (zh) | 基于毒品案件法律文书的实体及关系联合抽取方法 | |
| CN109284400A (zh) | 一种基于Lattice LSTM和语言模型的命名实体识别方法 | |
| CN110134946A (zh) | 一种针对复杂数据的机器阅读理解方法 | |
| CN113673254B (zh) | 基于相似度保持的知识蒸馏的立场检测方法 | |
| CN113468895B (zh) | 一种基于解码器输入增强的非自回归神经机器翻译方法 | |
| CN114169312A (zh) | 一种针对司法裁判文书的两阶段混合式自动摘要方法 | |
| CN110362820A (zh) | 一种基于Bi-LSTM算法的老汉双语平行句子抽取方法 | |
| CN109657039A (zh) | 一种基于双层BiLSTM-CRF的工作履历信息抽取方法 | |
| CN115545033A (zh) | 融合词汇类别表征的中文领域文本命名实体识别方法 | |
| CN115859164A (zh) | 一种基于prompt的建筑实体识别并分类方法及系统 | |
| CN111199152A (zh) | 一种基于标签注意力机制的命名实体识别方法 | |
| CN112949284A (zh) | 一种基于Transformer模型的文本语义相似度预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |