CN113887251A - 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 - Google Patents
一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 Download PDFInfo
- Publication number
- CN113887251A CN113887251A CN202111151158.5A CN202111151158A CN113887251A CN 113887251 A CN113887251 A CN 113887251A CN 202111151158 A CN202111151158 A CN 202111151158A CN 113887251 A CN113887251 A CN 113887251A
- Authority
- CN
- China
- Prior art keywords
- meta
- chinese
- mongolian
- translation
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 73
- 238000007906 compression Methods 0.000 title claims abstract description 37
- 230000006835 compression Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000004821 distillation Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013144 data compression Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Abstract
一种结合Meta‑KD框架和细粒度压缩的蒙汉机器翻译方法,对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分,利用Meta‑KD框架进行汉英翻译的学习,对BERT语言模型进行训练,然后根据元蒸馏算法使学生模型在元教师的指导下学习,得到用于蒙汉翻译的可迁移知识,结合细粒度压缩方法,在学生模型上进行蒙汉翻译的训练验证。本发明通过Meta‑KD的框架进行数据集的训练,更适合进行小语种的翻译,得到更准确翻译结果;而细粒度的压缩使得训练好的模型具有更快的训练速度。然后,本发明结合细粒度压缩的方法,通过信息熵对信息表示进行细粒度压缩,从而达到模型加速推断的目的。
Description
技术领域
本发明属于人工智能技术领域,涉及机器翻译,特别涉及一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法。
背景技术
机器翻译是借助计算机自动地将一种自然语言(源语言)转化为含义相同的另外一种自然语言(目标语言)的过程,它依赖平行语料库规模以及质量。
蒙语属于小语种,故此蒙汉翻译的语料库规模小,训练出来的模型不够理想。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,以解决小规模语料库的蒙汉机器翻译水平。
为了实现上述目的,本发明采用的技术方案是:
一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,包括如下步骤:
步骤1,对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分,得到汉英训练集、汉英验证集和汉英测试集,以及蒙汉训练集、蒙汉验证集和蒙汉测试集;
步骤2,利用Meta-KD框架进行汉英翻译的学习,在Meta-KD框架下,对BERT语言模型进行训练,然后根据元蒸馏算法使学生模型在元教师的指导下学习,得到用于蒙汉翻译的可迁移知识;
步骤3,结合细粒度压缩方法,在学生模型上进行蒙汉翻译的训练验证,即利用步骤2学习到的可迁移知识进行蒙汉翻译的训练验证。
所述步骤1中,采用数据压缩算法BPE将中文语料进行字粒度切分预处理操作;采用英文预处理工具Standford-ner对英文语料进行词预处理操作;采用字节对编码对蒙古文语料进行字词预处理,将蒙古文切分为比词级粒度更小的粒度。
所述Meta-KD框架通过训练汉英翻译领域的元教师来帮助学习蒙汉翻译领域的学生模型,首先在汉英领域数据集训练,通过使用域损坏丢失来获取汉英翻译领域的元知识,学生模型通过来自元教师的指导来解决蒙汉翻译领域数据集中的任务。
所述Meta-KD框架由元教师学习和元蒸馏组成,在所述元教师学习中,将BERT语言模型作为基础学习器进行文本分类任务,将汉英训练集D={sj,yj}中的第j个汉语样本sj输入BERT语言模型中进行编码,yj为对应的英语翻译结果,计算每个汉语样本sj的原型分数Sj,使用原型分数Sj作为权重来分配给每个汉语样本sj,以定义元教师的交叉熵损失,并利用域损坏丢失来增加元教师学习可迁移知识的能力,从而在汉英翻译领域学习了一个元教师;
在元蒸馏过程,使用小规模BERT语言模型作为学生模型,引入元教师的可迁移知识的蒸馏损失,在元教师的指导下用学生模型解决蒙汉翻译的训练任务。
所述步骤3中,将信息熵作为BERT语言模型不同注意力层的注意力权重所包含的信息量大小的衡量指标,通过细粒度压缩对Transformer模型的编码器中每一层注意力的查询表示Q和键表示K进行信息压缩,从而在译文质量不发生明显改变的情况下提升Transformer翻译模型的推断速度。
所述步骤3中,细粒度压缩方法是通过信息熵对信息表示进行细粒度压缩,从而达到加速推断的目的。
与现有的蒙汉机器翻译方法相比,本发明通过Meta-KD的框架进行数据集的训练,更适合进行小语种的翻译,得到更准确翻译结果;而细粒度的压缩使得训练好的模型具有更快的训练速度。然后,本发明结合细粒度压缩的方法,通过信息熵对信息表示进行细粒度压缩,从而达到模型加速推断的目的。
附图说明
图1是本发明翻译流程示意图。
图2是本发明Meta-KD的框架图。
图3是本发明元蒸馏概述和用于KD的神经结构图。
图4是本发明融合Transformer框架。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示,一种结合Meta-KD的框架模型和细粒度压缩的蒙汉翻译方法,包括:
步骤1,对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分,得到汉英训练集、汉英验证集和汉英测试集,以及蒙汉训练集、蒙汉验证集和蒙汉测试集。具体如下:
1)对中文语料,借鉴数据压缩算法BPE,将进行字粒度切分,并在字间加入空格进行分字,然后输出到新的文本;
2)对英文语料,用英文预处理工具Standford-ner进行词预处理操作。
3)对蒙古文语料,采用字节对编码进行字词预处理,将蒙古文切分为比词级粒度更小的粒度。例如,对于下文的蒙古文(汉语意思为“衷心祝贺”),处理前后对比如下:
步骤2,利用Meta-KD框架进行汉英翻译的学习,在Meta-KD框架下,对预训练的BERT语言模型进行训练,然后根据元蒸馏算法使学生模型在元教师的指导下学习,得到用于蒙汉翻译的可迁移知识。
本步骤的原理在于,利用Meta-KD框架将已经预训练好的开源BERT语言模型作为基础学习器进行文本分类任务,BERT语言模型由Transformer模型的编码器堆叠而成,Transformer模型的主体是基于自注意力机制构造的编码器和解码器。将源语言句子输入已经训练好的开源BERT语言模型,输出包含该句子语义信息的语义表示向量,再将此语义表示向量融入Transformer模型的编码器中。具体地,Transformer模型的编码器中加入BERT注意力模块,可将BERT语言模型的输出直接当作每一层编码器中BERT注意力模块的输入,并随机初始化BERT注意力模块参数,接收BERT语言模型的输出,从而将中文的语义信息融入编码器,引入更多的语义信息。编码器中的自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,捕捉数据或特征的内部相关性。
Meta-KD(元知识蒸馏)框架通过训练汉英翻译领域的元教师来帮助学习蒙汉翻译领域的学生模型。参考图2,该框架由元教师学习和元蒸馏两部分组成。首先在汉英领域数据集训练,通过使用域损坏丢失来获取汉英翻译领域的元知识,学生模型通过来自元教师模型的指导来解决蒙汉翻译领域数据集中的任务。为了提高学生模型的蒸馏能力,元蒸馏通过最小化中间层,输出层和可迁移知识的蒸馏损失,并结合领域知识加权技术。
具体地,在元教师学习中:
将BERT语言模型作为基础学习器进行文本分类任务,将汉英训练集D={sj,yj}中的第j个汉语样本sj输入BERT语言模型中进行编码,yj为对应的英语翻译结果,定义h(sj)为字符嵌入的平均池化,即L为样本输入BERT后得到的编码最大序列长度。
计算每个汉语样本sj的原型分数Sj,Sj=αcos(Ym,h(sj)),其中cos是余弦相似函数,α是预定义的超参数。
元教师应该从汉英翻译的实例中学习更多,对于文本分类任务,使用原型分数Sj作为权重来分配给每个样本sj,以定义元教师的交叉熵损失。
除了交叉熵损失外,利用域损坏丢失来增加元教师学习可迁移知识的能力。在原始的BERT语言模型基础上再构建一个子网络:
hd(sj)=tanh(h(sj)+εD(sj))ω+β
其中εD(sj)为|h(sj)|维度的领域,ω,β为子网络的参数。
汉英的语料库的样本域损坏丢失定义为
τ(sj)=-logδ(hd(sj))
τnor(sj)是文本分类任务的正常交叉熵损失,元教师的总损失是τ(sj)和τnor(sj)的加权组合,λ1是表示域损坏丢失对整体损失的影响大小。
至此,在汉英翻译领域学习了一个元教师,元教师学习的汉英翻译领域里的可迁移知识在监督蒙汉翻译的模型时具有更好的泛化能力。
在元蒸馏中:
用较小规模的BERT模型作为学生模型,元蒸馏框架如图3所示,令τembed(W,E,sj),τhi(W,E,sj),τattn(W,E,sj)分别是输入嵌入,元教师学习中的BERT模型(元教师模型)和元蒸馏中的较小规模的BERT模型(学生模型)的隐藏状态和注意力矩阵的MSE损失。λpred(W,E,sj)是输出层的软交叉熵损失,KD(蒸馏)的总损失为所有的损失之和。
τKD=∑(τembed(W,E,sj)+τhid(W,E,sj)+τattn(W,En,sj)+τpred(W,E,sj))
由此得到了KD损失的完整形式,τ′KD是获得可迁移知识的整体损失,其中γ2是表示可迁移知识的损失对整体损失的影响,如下所示:
τ′KD=∑λj(τembed(W,E,sj)+τhid(W,E,sj)+τattn(W,E,sj)+τpred(W,E,sj))+γ2τtKD(W,E,sj)
步骤3,结合细粒度压缩方法,在元教师的指导下,在学生模型上进行蒙汉翻译的训练验证,即利用步骤2学习到的可迁移知识进行蒙汉翻译的训练验证。
其中,细粒度压缩方法是通过信息熵对信息表示进行细粒度压缩,具体地,将信息熵作为BERT语言模型不同注意力层的注意力权重所包含的信息量大小的衡量指标,通过细粒度压缩对Transformer模型的编码器中每一层注意力的查询表示Q和键表示K进行信息压缩,从而在译文质量不发生明显改变的情况下提升Transformer翻译模型的推断速度。
细粒度表示维度如下:
其中,为细粒度表示维度,W(E)为细粒度表示维度函数,γ为映射比例的下界,用来表示空间的压缩程度;E表示Transformer翻译模型的注意力层的信息量,Emin和Emax为所有层中信息量的最小值和最大值,Emax计算公式如下:
公式中wk为压缩前查询表示Q和键表示K的维度。进一步地,可将BERT语言模型以注意力机制融入Transformer模型的每一层编码器中,将细粒度压缩方法融入Transformer模型的解码器中,如图4所示。
为使本发明的蒙汉翻译流程更清楚,以下句蒙古语为例将翻译过程进行详细描述。
将实数向量和可迁移知识作为输入,利用Transformer模型进行翻译,解码器将该向量反向解码的到对应的汉语句子,注意力机制使得解码器联系蒙古语的上下文,例如,与此蒙语最相关的汉语是衷心祝贺!
最后对翻译的结果进行BLEU评测。
得到完整的汉语翻译译文为:“衷心祝贺!”
综上,本发明在进行蒙汉翻译的过程中,通过使用Meta-KD框架进行模型压缩,应对了大的模型参数以及长的推理的瓶颈,在翻译准确度的同时降低模型尺寸和计算开销;通过使用细粒度压缩的方法使得模型能够有更快的训练速度。
Claims (6)
1.一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,包括如下步骤:
步骤1,对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分,得到汉英训练集、汉英验证集和汉英测试集,以及蒙汉训练集、蒙汉验证集和蒙汉测试集;
步骤2,利用Meta-KD框架进行汉英翻译的学习,在Meta-KD框架下,对BERT语言模型进行训练,然后根据元蒸馏算法使学生模型在元教师的指导下学习,得到用于蒙汉翻译的可迁移知识;
步骤3,结合细粒度压缩方法,在学生模型上进行蒙汉翻译的训练验证,即利用步骤2学习到的可迁移知识进行蒙汉翻译的训练验证。
2.根据权利要求1所述结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,所述步骤1中,采用数据压缩算法BPE将中文语料进行字粒度切分预处理操作;采用英文预处理工具Standford-ner对英文语料进行词预处理操作;采用字节对编码对蒙古文语料进行字词预处理,将蒙古文切分为比词级粒度更小的粒度。
3.根据权利要求1所述结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,所述Meta-KD框架通过训练汉英翻译领域的元教师来帮助学习蒙汉翻译领域的学生模型进行训练,元教师学习首先在汉英数据集学习,通过使用域损坏丢失来获取汉英翻译领域的元知识,学生模型通过来自元教师的指导来解决蒙汉翻译领域数据集中的任务。
4.根据权利要求1所述结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,所述Meta-KD框架由元教师学习和元蒸馏组成,在所述元教师学习中,将大规模BERT语言模型作为基础学习器进行文本分类任务,将汉英训练集D={sj,yj}中的第j个汉语样本sj输入BERT语言模型中进行编码,yj为对应的英语翻译结果,计算每个汉语样本sj的原型分数Sj,使用原型分数Sj作为权重来分配给每个汉语样本sj,以定义元教师的交叉熵损失,并利用域损坏丢失来增加元教师学习可迁移知识的能力,从而在汉英翻译领域学习了一个元教师;
在所述元蒸馏,使用小规模BERT语言模型作为学生模型,引入元教师的可迁移知识的蒸馏损失,在元教师的指导下用学生模型解决蒙汉翻译的训练任务。
5.根据权利要求1所述结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,所述步骤3中,将信息熵作为BERT语言模型不同注意力层的注意力权重所包含的信息量大小的衡量指标,通过细粒度压缩对Transformer模型的编码器中每一层注意力的查询表示Q和键表示K进行信息压缩,从而在译文质量不发生明显改变的情况下提升Transformer翻译模型的推断速度。
6.根据权利要求1的所述结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法,其特征在于,所述步骤3中,细粒度压缩方法是通过信息熵对信息表示进行细粒度压缩,从而达到加速推断的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111151158.5A CN113887251B (zh) | 2021-09-29 | 2021-09-29 | 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111151158.5A CN113887251B (zh) | 2021-09-29 | 2021-09-29 | 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113887251A true CN113887251A (zh) | 2022-01-04 |
CN113887251B CN113887251B (zh) | 2024-07-05 |
Family
ID=79007954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111151158.5A Active CN113887251B (zh) | 2021-09-29 | 2021-09-29 | 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113887251B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115099988A (zh) * | 2022-06-28 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 模型训练方法、数据处理方法、设备及计算机介质 |
CN116070643A (zh) * | 2023-04-03 | 2023-05-05 | 武昌理工学院 | 一种古文到英文的固定风格翻译方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101680872A (zh) * | 2007-04-13 | 2010-03-24 | 塞昆纳姆股份有限公司 | 序列比较分析方法和系统 |
CN107818181A (zh) * | 2017-11-27 | 2018-03-20 | 深圳市华成峰科技有限公司 | 基于Plcient交互式引擎的索引方法及其系统 |
WO2020191391A2 (en) * | 2019-03-21 | 2020-09-24 | Illumina, Inc. | Artificial intelligence-based sequencing |
CN112347795A (zh) * | 2020-10-04 | 2021-02-09 | 北京交通大学 | 机器翻译质量评估方法、装置、设备及介质 |
CN112395891A (zh) * | 2020-12-03 | 2021-02-23 | 内蒙古工业大学 | 一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法 |
US20210142164A1 (en) * | 2019-11-07 | 2021-05-13 | Salesforce.Com, Inc. | Multi-Task Knowledge Distillation for Language Model |
-
2021
- 2021-09-29 CN CN202111151158.5A patent/CN113887251B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101680872A (zh) * | 2007-04-13 | 2010-03-24 | 塞昆纳姆股份有限公司 | 序列比较分析方法和系统 |
CN107818181A (zh) * | 2017-11-27 | 2018-03-20 | 深圳市华成峰科技有限公司 | 基于Plcient交互式引擎的索引方法及其系统 |
WO2020191391A2 (en) * | 2019-03-21 | 2020-09-24 | Illumina, Inc. | Artificial intelligence-based sequencing |
US20210142164A1 (en) * | 2019-11-07 | 2021-05-13 | Salesforce.Com, Inc. | Multi-Task Knowledge Distillation for Language Model |
CN112347795A (zh) * | 2020-10-04 | 2021-02-09 | 北京交通大学 | 机器翻译质量评估方法、装置、设备及介质 |
CN112395891A (zh) * | 2020-12-03 | 2021-02-23 | 内蒙古工业大学 | 一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法 |
Non-Patent Citations (3)
Title |
---|
潘崇煜;黄健;郝建国;龚建兴;张中杰;: "融合零样本学习和小样本学习的弱监督学习方法综述", 系统工程与电子技术, no. 10, 16 September 2020 (2020-09-16) * |
王宇飞;苏依拉;赵亚平;孙晓骞;仁庆道尔吉;: "基于参数迁移的蒙汉神经机器翻译模型", 计算机应用与软件, no. 09, 10 September 2020 (2020-09-10) * |
高芬;苏依拉;牛向华;赵旭;范婷婷;仁庆道尔吉;: "基于多粒度的蒙汉神经机器翻译研究", 计算机应用与软件, no. 04, 12 April 2020 (2020-04-12) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115099988A (zh) * | 2022-06-28 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 模型训练方法、数据处理方法、设备及计算机介质 |
CN116070643A (zh) * | 2023-04-03 | 2023-05-05 | 武昌理工学院 | 一种古文到英文的固定风格翻译方法及系统 |
CN116070643B (zh) * | 2023-04-03 | 2023-08-15 | 武昌理工学院 | 一种古文到英文的固定风格翻译方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113887251B (zh) | 2024-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110134771B (zh) | 一种基于多注意力机制融合网络问答系统的实现方法 | |
CN110334361B (zh) | 一种面向小语种语言的神经机器翻译方法 | |
CN109284506A (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
CN110929030A (zh) | 一种文本摘要和情感分类联合训练方法 | |
CN112115687B (zh) | 一种结合知识库中的三元组和实体类型的生成问题方法 | |
CN110196913A (zh) | 基于文本生成式的多实体关系联合抽取方法和装置 | |
CN109992669B (zh) | 一种基于语言模型和强化学习的关键词问答方法 | |
CN111767718B (zh) | 一种基于弱化语法错误特征表示的中文语法错误更正方法 | |
CN112309528B (zh) | 一种基于视觉问答方法的医疗影像报告生成方法 | |
CN113887251B (zh) | 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法 | |
CN112417092A (zh) | 基于深度学习的智能化文本自动生成系统及其实现方法 | |
CN111125333A (zh) | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN112818698A (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
Gao et al. | Generating natural adversarial examples with universal perturbations for text classification | |
CN112199952A (zh) | 一种分词方法、多模式分词模型和系统 | |
Mathur et al. | A scaled‐down neural conversational model for chatbots | |
CN116975288A (zh) | 文本处理方法及文本处理模型训练方法 | |
CN114282555A (zh) | 翻译模型训练方法及装置、翻译方法及装置 | |
Ma et al. | Multi-teacher knowledge distillation for end-to-end text image machine translation | |
CN113961706A (zh) | 一种基于神经网络自注意力机制的精确文本表示方法 | |
CN117932066A (zh) | 一种基于预训练的“提取-生成”式答案生成模型及方法 | |
CN117172253A (zh) | 一种基于标签信息引导的社交媒体多模态命名实体识别方法 | |
CN114328853B (zh) | 一种基于Unilm优化语言模型的中文问题生成方法 | |
CN113642630B (zh) | 基于双路特征编码器的图像描述方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |