CN114580445A - 基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 - Google Patents
基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 Download PDFInfo
- Publication number
- CN114580445A CN114580445A CN202210240961.4A CN202210240961A CN114580445A CN 114580445 A CN114580445 A CN 114580445A CN 202210240961 A CN202210240961 A CN 202210240961A CN 114580445 A CN114580445 A CN 114580445A
- Authority
- CN
- China
- Prior art keywords
- field
- domain
- mask
- machine translation
- substructure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 73
- 230000001537 neural effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 23
- 230000008447 perception Effects 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000011269 tar Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,属自然语言处理领域。本发明先构建一个多领域基模型,其次利用各个特定领域的数据对基模型进行微调,得到各个特定领域的领域感知掩码组件,再通过融合策略,集成得到的各个特定领域的领域感知掩码组件,得到领域感知的掩码子结构,最后利用领域感知的掩码子结构以及中英通用领域数据和特定领域的数据训练得到多领域神经机器翻译模型。本发明对中英多领域自适应神经机器翻译实现有效的性能提升,为后续领域自适应神经机器翻译等研究提供强有力的支撑,解决了对于领域自适应中存在的领域偏移和领域间的参数干扰以及通用领域灾难性遗忘等问题会造成模型泛化能力不佳的问题。
Description
技术领域
本发明涉及基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,属于自然语言处理技术领域。
背景技术
目前,在大规模平行语料可得到的情况下,机器翻译技术已经取得了很大的突破,然而,机器翻译的性能不仅依赖大规模的双语数据,还很大程度上取决于训练和测试数据之间的领域匹配程度。具有丰富数据资源领域的机器翻译性能不断提高,但是由于数据资源获取困难等原因,某些特殊领域的翻译效果还不够理想,如何利用领域外的丰富平行语料库和领域内的单语语料库来提升特定领域的翻译质量具有重要意义。
近几年,已有多种训练方法来利用领域外平行语料库和领域内的单语语料库来提升特定领域的翻译质量,例如利用微调的方法,利用领域内的数据在领域外的模型上微调得到特定领域的模型,而这种方法虽提升了领域内的模型质量,但这种方式对领域外模型造成灾难性遗忘问题。后续提出混合微调的方法,改善了领域外模型灾难性遗忘问题,但实际上,对于不同领域之间其实包含很多公共的不变的领域知识,而训练的时候只需要学习私有的特定的领域知识,现有的方法虽能在一定程度上缓解领域偏移和通用领域灾难性遗忘问题,但不能避免领域知识信息的丢失,难以准确表达出领域的特征。
发明内容
为解决上述问题,本发明提供了基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,本发明BLEU指标表现上均优于基线系统,并且精确率普遍都有所提升。
本发明的技术方案是:基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,所述方法的具体步骤如下:
Step1、收集中英各领域平行句对数据并按照机器翻译清洗规则进行预处理,同时为区分各领域平行句对,对各领域平行句对进行领域标签划分;
Step2、利用领域标签划分的中英各领域平行句对数据,结合多任务训练的策略得到多领域神经机器翻译基模型,该模型对所有领域具有一定的翻译能力;
Step3、根据领域划分的中英各领域平行句对数据对得到的基模型分别进行微调,进而得到各领域的翻译模型,各领域翻译模型在其领域翻译性能超过基模型;
Step4、利用各领域翻译模型生成各领域的掩码子结构组件,同时融合各领域的掩码子结构组件得到领域感知的掩码子结构;
Step5、通过领域标签划分的中英各领域平行句对数据,以及领域感知的掩码子结构,结合多任务训练的策略得到最终的多领域神经机器翻译模型。
进一步地,所述Step1的具体步骤如下:
从WMT和CCMT等机器翻译大赛网站收集得到大规模通用领域的数据,从UM-Corpus语料库中收集多个特定领域的数据,包括教育、法律、新闻、科学、口语、字幕和论文领域;
对通用领域数据和各个特定领域数据按照一般的神经机器翻译数据处理规则进行清洗;
对各领域的源句子和目标句子加上所属的领域标签;
通过上述步骤得到的各领域数据语料,能够在数据预处理阶段最大限度的保留各领域信息,防止在模型训练之前丢失领域知识从而影响模型性能;
进一步地,所述Step2的具体步骤如下:
通过Transformer模型对构建并清洗好的各领域数据语料,结合多任务学习的训练策略进行训练,从而得到一个多领域神经机器翻译基模型;其中能使用Facebook的FairSeq序列建模工具实现。
使用Adam作为模型优化器;
使用标签平滑交叉熵作为损失函数对模型进行评估;
通过上述步骤得到的多领域神经机器翻译基模型,能够在一定程度上适配各领域数据语料,但其“平均”性极大影响了对特定领域的表征;
进一步地,所述Step3的具体步骤如下:
使用各特定领域的数据语料对得到的多领域神经机器翻译基模型进行微调;
使用Adam作为模型优化器;
使用标签平滑交叉熵作为损失函数对模型进行评估;
通过上述步骤得到的各特定领域的神经机器翻译模型,能够对各自领域数据语料进行有效的适配,并且其表征能力超过多领域神经机器翻译基模型;
进一步地,所述Step4的具体步骤如下:
通过各个特定领域的神经机器翻译模型生成各个领域的掩码子结构组件;
通过各个领域的掩码子结构组件进行融合得到领域感知的掩码子结构;
进一步地,所述Step4中还包括:领域感知的掩码子结构由领域感知的自适应编码端和领域感知的自适应解码端两部分构成;
对于领域感知的自适应编码端和领域感知的自适应解码端,除了具有多头注意力机制、全连接前馈网络,以及在每个子层周围采用残差连接和层归一化的一般Transformer模型编码端组件外,还应用了基于掩码的多领域注意力机制。
进一步地,所述Step5的具体步骤如下:
通过Transformer模型对构建并清洗好的各领域数据语料、领域感知的掩码子结构,结合多任务学习的训练策略进行训练,从而得到最终的多领域神经机器翻译模型;其中能使用Facebook的FairSeq序列建模工具实现。
使用Adam作为模型优化器;
使用标签平滑交叉熵作为损失函数对模型进行评估;
通过上述步骤得到的多领域神经机器翻译模型,能够有效地对各个领域数据语料进行自适应,并且不会丢失领域信息;
本发明的有益效果是:
本发明创造性的提出了一种基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,通过领域感知的掩码子结构能够共享大部分公共的不变的领域知识,并且学习小部分私有的特定的领域知识,从而能够有效地缓解领域间的参数干扰问题,进而更好地解决领域偏移问题,同时,很大程度上能够缓解了以往发生在通用领域灾难性遗忘地问题,极大地提高了模型整体的翻译性能;
本发明所提出的方法在实验结果上较之前的研究工作有一定的提升,并且其拓展新领域实验表明本发明提出的方法的易用性和易拓展性,同时进一步表明本发明提出的方法的有效性和创新性。
附图说明
图1为本发明中的具体流程框图;
图2为本发明中的领域词嵌入示意图;
图3为本发明中的基模型微调示意图;
图4为本发明中的领域感知的掩码子结构示意图;
图5为本发明中的整体训练示意图;
图6为本发明中的流程图。
具体实施方式
实施例1:如图1-图6所示,基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,图6为本发明的流程图,所述方法中包括以下步骤:A步骤:通过对收集到的中英各领域平行句对数据并按照机器翻译清洗规则进行预处理,同时为区分各领域平行句对,对各领域平行句对进行领域标签划分,利用领域标签划分的中英各领域平行句对数据,利用Transformer模型并结合多任务训练的策略训练得到多领域神经机器翻译基模型;B步骤:根据领域划分的中英各领域平行句对数据对得到的基模型分别进行微调,进而得到各领域的翻译模型,各领域翻译模型在其领域翻译性能超过基模型;C步骤:利用各领域翻译模型生成各领域的掩码子结构组件,同时融合各领域的掩码子结构组件得到领域感知的掩码子结构;D步骤:通过领域标签划分的中英各领域平行句对数据,以及融合的领域感知的掩码子结构,结合多任务训练的策略训练得到最终的多领域神经机器翻译模型。图1提供了基于领域感知的掩码子结构的多领域自适应神经机器翻译方法的具体流程框图。
在A步骤中,本发明的实验数据集来源主要是从WMT和CCMT等机器翻译比赛网站收集得到的大规模通用领域的数据,以及从UM-Corpus网站获取得到的教育、法律、新闻、科学、口语、字幕和论文等特定领域的数据。对通用领域数据和各个特定领域数据按照一般的神经机器翻译数据处理规则进行清洗;
对于各领域数据,利用领域标签对其进行划分,具体词嵌入示意图如图2所示,同时词嵌入过程用下述公式所示:
Embd(di)=Embeddingd(domain tags) (1)
Embs=Embd(di)+Embx(xj) (4)
Embt=Embd(di)+Emby(yj) (5)
其中,di∈{d1,d2,…,dn}表示领域标签,(xj,yj)表示对应领域句对。
以往机器翻译中的词嵌入通常对源语言和目标语言句对使用BOS(Begin OfSentence)、PAD(Padding Word)、UNK(Unknown Word)和EOS(End Of Sentence)标签,为更好地表示源语言和目标语言句对所对应的领域,在本文中,我们将BOS替换成DTS(DomainTags),如图2所示,因此我们提出的领域词嵌入表示由领域标签嵌入和词嵌入两部分构成。
后续将处理完毕的源语言和目标语言句对输入到Transformer模型中,同时结合多任务训练的策略得到多领域神经机器翻译基模型。
在B步骤中,由于A步骤中得到的多领域神经机器翻译基模型是一种“平均”的性能,虽能在一定程度上翻译各个领域的语料,但其准确度却不是很高,因此利用各个领域的数据对得到的基模型进行微调,即可得到各个特定领域的性能较好的模型,如图3所示,其领域模型对各自领域的私有的特定领域知识表征较基模型而言相对较好。
微调过程中,在基模型的基础上,将处理完毕的各个领域数据的源语言和目标语言句对输入到Transformer模型中进行训练。
在C步骤中,本发明利用各个特定领域模型在其各自领域表征能力较好的特点,通过生成掩码代码得到各个特定领域的模型的掩码子结构组件,并且利用简单的融合策略将各个掩码子结构组件进行合并,最终得到一个领域感知的掩码子结构,其具有共享公共的不变的领域知识以及学习私有的特定的领域知识的能力。
领域感知的掩码子结构由领域感知的自适应编码端和领域感知的自适应解码端两部分构成,具体如图1中虚线放大部分所示。
对于领域感知的自适应编码端,除了具有多头注意力机制、全连接前馈网络,以及在每个子层周围采用残差连接和层归一化的一般Transformer模型编码端组件外,在本发明中我们还应用了基于掩码的多领域注意力机制,如图4所示,同时编码端中的注意力公式如下所示:
对于领域感知的自适应解码端,与领域感知的自适应编码端类似,除了在Transformer模型解码端一般的组件外,解码端同样应用了基于掩码的多领域注意力机制,其组成与编码端示意图类似,如图4所示,同时解码端中的注意力公式如下所示:
在D步骤中,通过利用得到领域感知的掩码子结构,将经过处理的大规模通用领域的数据和小规模特定领域的数据,输入到Transformer模型中,并结合多任务的训练策略进行训练,得到最终的多领域神经机器翻译模型。
本发明整体训练流程如图5所示,训练策略步骤见算法1,对于训练和微调过程当中的损失函数定义如下:
其中,(x,y)表示来自各领域的句对,θ表示神经机器翻译模型参数。
表1为训练策略步骤
本发明的实验数据集来源主要是从WMT和CCMT等机器翻译比赛网站收集得到的大规模通用领域的数据,以及从UM-Corpus网站获取得到的教育、法律、新闻、科学、口语、字幕和论文等特定领域的数据。其中,对于中文,使用斯坦福分词工具进行分词,对于英文,使用MOSES脚本工具对英文句子进行分词(Tokenize)和英文小写化(Lowercase),并且将中英文平行句对保持在比例1.5和句子最大长度限制为200,此外利用子词切分技术(Byte PairEncoding,BPE)对中英平行句对切分子词,我们构建的中英词典的规模分别为40000和30000。对于各领域数据集的划分,如表2所示。
表2实验数据
实验参数的设置将直接影响最后的实验结果以及模型性能,其中Transformer模型和实验具体参数的设置,如表3、4所示。
表3 Transformer参数设置
表4实验参数设置
为了体现本发明所提出的方法有效性以及多领域神经机器翻译模型的性能,本发明将Vaswani等人提出的Transformer模型,Luong等人提出的Fine-tune(FT)方法,Chu等人提出的Mix Fine-tune(MFT)方法,Tars和Fishel提出的Mix with Domain Tags(MDT)方法,以及Gu等人提出的Pruning Then Expand(PTE)方法进行了对比试验。结果如表5所示:
表5实验模型对比
从结果可以看出,本发明提出的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法在大多数特定领域上都优于其他模型或方法,这证实了本发明提出方法的有效性,其次通过对比FT、MFT和PTE,虽都在一定程度上缓解了灾难性遗忘的问题,但本发明提出的方法效果更加显著。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述方法的具体步骤如下:
Step1、收集中英各领域平行句对数据并按照机器翻译清洗规则进行预处理,同时为区分各领域平行句对,对各领域平行句对进行领域标签划分;
Step2、利用领域标签划分的中英各领域平行句对数据,结合多任务训练的策略得到多领域神经机器翻译基模型;
Step3、根据领域划分的中英各领域平行句对数据对得到的基模型分别进行微调,进而得到各领域的翻译模型;
Step4、利用各领域翻译模型生成各领域的掩码子结构组件,同时融合各领域的掩码子结构组件得到领域感知的掩码子结构;
Step5、通过领域标签划分的中英各领域平行句对数据,以及领域感知的掩码子结构,结合多任务训练的策略得到最终的多领域神经机器翻译模型。
2.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step1的具体步骤如下:
从机器翻译大赛网站收集得到通用领域的数据,从UM-Corpus语料库中收集多个特定领域的数据,包括教育、法律、新闻、科学、口语、字幕和论文领域;
对通用领域数据和各个特定领域数据按照一般的神经机器翻译数据处理规则进行清洗;对各领域的源句子和目标句子加上所属的领域标签。
3.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step2的具体步骤如下:
通过Transformer模型对构建并清洗好的各领域数据语料,结合多任务学习的训练策略进行训练,从而得到一个多领域神经机器翻译基模型;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
4.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step3包括:
使用各特定领域的数据语料对得到的多领域神经机器翻译基模型进行微调;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
5.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step4包括:
通过各个特定领域的神经机器翻译模型生成各个领域的掩码子结构组件;
通过各个领域的掩码子结构组件进行融合得到领域感知的掩码子结构。
6.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step5的具体步骤如下:
通过Transformer模型对构建并清洗好的各领域数据语料、领域感知的掩码子结构,结合多任务学习的训练策略进行训练,从而得到最终的多领域神经机器翻译模型;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
7.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step4中还包括:领域感知的掩码子结构由领域感知的自适应编码端和领域感知的自适应解码端两部分构成;
对于领域感知的自适应编码端和领域感知的自适应解码端,除了具有多头注意力机制、全连接前馈网络,以及在每个子层周围采用残差连接和层归一化的一般Transformer模型编码端组件外,还应用了基于掩码的多领域注意力机制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240961.4A CN114580445B (zh) | 2022-03-10 | 2022-03-10 | 基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240961.4A CN114580445B (zh) | 2022-03-10 | 2022-03-10 | 基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114580445A true CN114580445A (zh) | 2022-06-03 |
CN114580445B CN114580445B (zh) | 2023-03-10 |
Family
ID=81775336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210240961.4A Active CN114580445B (zh) | 2022-03-10 | 2022-03-10 | 基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114580445B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075343A1 (en) * | 2016-09-06 | 2018-03-15 | Google Inc. | Processing sequences using convolutional neural networks |
CN110059323A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于自注意力机制的多领域神经机器翻译方法 |
CN110222350A (zh) * | 2019-06-28 | 2019-09-10 | 苏州大学 | 将双语预定义翻译对融入神经机器翻译模型的方法 |
CN110600050A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市华创技术有限公司 | 基于深度神经网络的麦克风阵列语音增强方法及系统 |
CN111079450A (zh) * | 2019-12-20 | 2020-04-28 | 北京百度网讯科技有限公司 | 基于顺句驱动的语言转换方法和装置 |
CN111160050A (zh) * | 2019-12-20 | 2020-05-15 | 沈阳雅译网络技术有限公司 | 一种基于上下文记忆网络的篇章级神经机器翻译方法 |
CN111353315A (zh) * | 2020-01-21 | 2020-06-30 | 沈阳雅译网络技术有限公司 | 一种基于随机残差算法的深层神经机器翻译系统 |
CN112507735A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 机器翻译模型的训练方法、装置和电子设备 |
CN112507734A (zh) * | 2020-11-19 | 2021-03-16 | 南京大学 | 一种基于罗马化维吾尔语的神经机器翻译系统 |
CN113392656A (zh) * | 2021-06-18 | 2021-09-14 | 电子科技大学 | 一种融合推敲网络和字符编码的神经机器翻译方法 |
CN113642330A (zh) * | 2021-07-19 | 2021-11-12 | 西安理工大学 | 基于目录主题分类的轨道交通规范实体识别方法 |
CN113761888A (zh) * | 2021-04-27 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、计算机设备及存储介质 |
CN113901228A (zh) * | 2021-09-13 | 2022-01-07 | 昆明理工大学 | 融合领域知识图谱的跨境民族文本分类方法及装置 |
CN114021591A (zh) * | 2021-11-08 | 2022-02-08 | 北京理工大学 | 一种基于依存树句法增强机制的神经机器翻译方法 |
CN114139561A (zh) * | 2021-12-08 | 2022-03-04 | 沈阳雅译网络技术有限公司 | 一种多领域神经机器翻译性能提升方法 |
CN114153973A (zh) * | 2021-12-07 | 2022-03-08 | 内蒙古工业大学 | 基于t-m bert预训练模型的蒙古语多模态情感分析方法 |
-
2022
- 2022-03-10 CN CN202210240961.4A patent/CN114580445B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075343A1 (en) * | 2016-09-06 | 2018-03-15 | Google Inc. | Processing sequences using convolutional neural networks |
CN110059323A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于自注意力机制的多领域神经机器翻译方法 |
CN110222350A (zh) * | 2019-06-28 | 2019-09-10 | 苏州大学 | 将双语预定义翻译对融入神经机器翻译模型的方法 |
CN110600050A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市华创技术有限公司 | 基于深度神经网络的麦克风阵列语音增强方法及系统 |
CN111079450A (zh) * | 2019-12-20 | 2020-04-28 | 北京百度网讯科技有限公司 | 基于顺句驱动的语言转换方法和装置 |
CN111160050A (zh) * | 2019-12-20 | 2020-05-15 | 沈阳雅译网络技术有限公司 | 一种基于上下文记忆网络的篇章级神经机器翻译方法 |
CN111353315A (zh) * | 2020-01-21 | 2020-06-30 | 沈阳雅译网络技术有限公司 | 一种基于随机残差算法的深层神经机器翻译系统 |
CN112507734A (zh) * | 2020-11-19 | 2021-03-16 | 南京大学 | 一种基于罗马化维吾尔语的神经机器翻译系统 |
CN112507735A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 机器翻译模型的训练方法、装置和电子设备 |
CN113761888A (zh) * | 2021-04-27 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、计算机设备及存储介质 |
CN113392656A (zh) * | 2021-06-18 | 2021-09-14 | 电子科技大学 | 一种融合推敲网络和字符编码的神经机器翻译方法 |
CN113642330A (zh) * | 2021-07-19 | 2021-11-12 | 西安理工大学 | 基于目录主题分类的轨道交通规范实体识别方法 |
CN113901228A (zh) * | 2021-09-13 | 2022-01-07 | 昆明理工大学 | 融合领域知识图谱的跨境民族文本分类方法及装置 |
CN114021591A (zh) * | 2021-11-08 | 2022-02-08 | 北京理工大学 | 一种基于依存树句法增强机制的神经机器翻译方法 |
CN114153973A (zh) * | 2021-12-07 | 2022-03-08 | 内蒙古工业大学 | 基于t-m bert预训练模型的蒙古语多模态情感分析方法 |
CN114139561A (zh) * | 2021-12-08 | 2022-03-04 | 沈阳雅译网络技术有限公司 | 一种多领域神经机器翻译性能提升方法 |
Non-Patent Citations (3)
Title |
---|
ZHI ZENG.ETC: ""DA-BERT: Enhancing Knowledge Selection in Dialog via Domain Adapted BERT with Dynamic Masking Probability"", 《2021 IEEE INTERNATIONAL CONFERENCE ON SMART COMPUTING (SMARTCOMP)》 * |
张诗奇: ""面向神经机器翻译的领域适应方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
普浏清等: ""基于依存图网络的汉越神经机器翻译方法"", 《中文信息学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114580445B (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959256B (zh) | 短文本的生成方法、装置、存储介质和终端设备 | |
CN108363716B (zh) | 领域信息分类模型生成方法、分类方法、设备及存储介质 | |
CN108920466A (zh) | 一种基于word2vec和TextRank的科技文本关键词提取方法 | |
CN108363704A (zh) | 一种基于统计短语表的神经网络机器翻译语料扩展方法 | |
CN114757182A (zh) | 一种改进训练方式的bert短文本情感分析方法 | |
CN104484377A (zh) | 替换词典生成方法及装置 | |
CN111460824A (zh) | 一种基于对抗迁移学习的无标注命名实体识别方法 | |
Huang et al. | Mala: Cross-domain dialogue generation with action learning | |
CN114580445B (zh) | 基于领域感知的掩码子结构的多领域自适应神经机器翻译方法 | |
Li | Construction of Internet of Things English terms model and analysis of language features via deep learning | |
CN114564933A (zh) | 一种个性化机器翻译训练方法和系统 | |
CN113408307A (zh) | 一种基于翻译模板的神经机器翻译方法 | |
CN116821351A (zh) | 一种基于跨度信息的端到端电力知识图谱关系抽取方法 | |
Xia et al. | LMPT: Prompt Tuning with Class-Specific Embedding Loss for Long-tailed Multi-Label Visual Recognition | |
US20190286703A1 (en) | Clustering program, clustering method, and clustering device for generating distributed representation of words | |
Yang et al. | Unsupervised domain adaptation for neural machine translation | |
CN116521863A (zh) | 一种基于半监督学习的标签抗噪文本分类方法 | |
CN112733498B (zh) | 一种改进中文自动文本摘要自注意力计算的方法 | |
Li et al. | Mlinear: Rethink the linear model for time-series forecasting | |
Ying et al. | LongSumm 2021: Session based automatic summarization model for scientific document | |
CN108763487A (zh) | 一种基于Mean Shift的融合词性和句子信息的词表示方法 | |
CN114139561A (zh) | 一种多领域神经机器翻译性能提升方法 | |
CN116894427B (zh) | 一种中英文信息融合的数据分级方法、服务器及存储介质 | |
Wang et al. | Record linkage using the combination of twice iterative SVM training and controllable manual review | |
Wu et al. | Triple disentangling network for unsupervised domain adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |