CN112861549A - 一种训练翻译模型的方法和设备 - Google Patents

一种训练翻译模型的方法和设备 Download PDF

Info

Publication number
CN112861549A
CN112861549A CN202110264866.3A CN202110264866A CN112861549A CN 112861549 A CN112861549 A CN 112861549A CN 202110264866 A CN202110264866 A CN 202110264866A CN 112861549 A CN112861549 A CN 112861549A
Authority
CN
China
Prior art keywords
model
cutting
training
models
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110264866.3A
Other languages
English (en)
Other versions
CN112861549B (zh
Inventor
陈巍华
孙见青
梁家恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202110264866.3A priority Critical patent/CN112861549B/zh
Publication of CN112861549A publication Critical patent/CN112861549A/zh
Application granted granted Critical
Publication of CN112861549B publication Critical patent/CN112861549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation

Abstract

本发明涉及一种训练翻译模型的方法和设备,该方法包括:获取多个单语种模型及多个单领域模型;对所有的单语种模型与所有的单领域模型分别进行裁剪,得到多个裁剪模型;对各裁剪模型中的有用分支的权值赋值为第一值,且对各裁剪模型中的无用分支的权值赋值为第二值,以得到各裁剪模型的Mask矩阵;汇总各Mask矩阵得到LDMask矩阵;对LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。本方案将模型裁剪引入到多语种、多领域的模型中,能有效的将与任务相关的权值和与任务不相关的权值分开,通过使用与任务相关的权值进行模型训练有效的提升该任务的效果,提升多语种、多领域的翻译效果。

Description

一种训练翻译模型的方法和设备
技术领域
本发明涉及机器翻译技术领域,具体涉及一种训练翻译模型的方法和设备。
背景技术
现有技术中,对于多语种、多领域翻译通常有几种做法:第一种方式是每个语种、每个领域分别训练一个模型,这样每个模型可以对不同的语种、不同的领域进行翻译,实现多语种、多领域的翻译任务;第二种方式是将多领域、多语种任务进行联合训练,这样训练出来的多语种-多领域模型可以实现多个语种、多个领域的翻译;但是这两种方式均存在一些缺陷:
第一种方式中,每个语种、领域都单独训练一个模型,随着语种的增加、领域的增多,模型会越来越多,部署与维护成本太高;而第二种方式,其使用多领域、多语种任务进行联合训练得到多语种-多领域模型虽然可以使用一个模型完成多个语种、多个领域的翻译,但是由于不同任务之间存在相互影响,会导致翻译效果的降低。
由此,目前需要有一种更好的方案来解决现有技术中的问题。
发明内容
本发明提供一种训练翻译模型的方法和设备,能够解决现有技术中翻译效果不佳的技术问题。
本发明解决上述技术问题的技术方案如下:
本发明实施例提出了一种训练翻译模型的方法,包括:
获取多个单语种模型及多个单领域模型;
对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
汇总各所述Mask矩阵得到LDMask矩阵;
对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
在一个具体的实施例中,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
在一个具体的实施例中,所述裁剪用于基于预设稀疏率去除所述无用分支。
在一个具体的实施例中,
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
在一个具体的实施例中,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
所述“对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型”,包括:
确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
本发明实施例还提出了一种训练翻译模型的设备,其特征在于,包括:
获取模块,用于获取多个单语种模型及多个单领域模型;
裁剪模块,用于对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
赋值模块,用于对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
汇总模块,用于汇总各所述Mask矩阵得到LDMask矩阵;
训练模块,用于对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
在一个具体的实施例中,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
在一个具体的实施例中,所述裁剪用于基于预设稀疏率去除所述无用分支。
在一个具体的实施例中,
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
在一个具体的实施例中,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
所述训练模块,用于:
确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
本发明的有益效果是:
本发明涉及一种训练翻译模型的方法和设备,该方法包括:获取多个单语种模型及多个单领域模型;对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;汇总各所述Mask矩阵得到LDMask矩阵;对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。本方案将模型裁剪引入到多语种、多领域的模型中,能有效的将与任务相关的权值和与任务不相关的权值分开,通过使用与任务相关的权值进行模型训练有效的提升该任务的效果,同时由于在训练过程中不会对与该任务无关的权值进行训练,能有效的保证其他任务不受影响,提升多语种、多领域的翻译效果。
附图说明
图1为本发明实施例提供的一种训练翻译模型的方法的流程示意图;
图2为本发明实施例提供的一种训练翻译模型的方法中LDMask矩阵的结构示意图;
图3为本发明实施例提供的一种训练翻译模型的设备的结构示意图;
图4为本发明实施例提供的一种训练翻译模型的设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例1
本发明实施例1公开了一种训练翻译模型的方法,如图1所示,包括以下步骤:
步骤101、获取多个单语种模型及多个单领域模型;
在一个具体的实施例中,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
具体的,利用相同的端到端翻译模型对不同领域、不同语种的训练数据进行模型训练,分别得到单语种模型L1,L2,...,Ln和单领域模型D1,D2,...,Dn。
步骤102、对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
具体的,所述裁剪用于基于预设稀疏率去除所述无用分支。
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
具体的,对训练好的单模型进行模型裁剪(即将模型中的有用的分支保留,无用的分支去除),单语种模型裁剪得到裁剪后的模型LC1,LC2,...,LCn;单领域模型裁剪得到裁剪后的模型DC1,DC2,...,DCn;选择合适的稀疏率保证裁剪后的模型与裁剪之前的模型效果相当。
步骤103、对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
具体的,将裁剪模型中的有用分支权值赋值为1,无用分支权值赋值为0,即可得到模型中每一层对应的Mask矩阵。
具体的,Mask矩阵是一个由0和1组成的矩阵。
步骤104、汇总各所述Mask矩阵得到LDMask矩阵;
对不同的语种、不同的领域的Mask矩阵进行整合,得到具有多语种、多领域信息的LDMask矩阵,如图2所示,其中横坐标为语种、领域的id,纵坐标为网络的权值,黑色表示有用分支,即标记为1的权值;白色表示无用分支,即标记为0的权值。
步骤105、对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
具体的,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
所述“对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型”,包括:
确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
具体的,在得到与多语种、多领域相关的LDMask矩阵后,将该矩阵引入了多语种、多领域联合训练中,当训练不同的任务时,根据LDMask矩阵中权值的分布情况来决定哪些权值参与训练,哪些权值不参与训练(如weight1为所有任务都需要的权值,需要参与所有任务的训练,weight2为LC1独有的权值,只参与L1任务的训练),最终通过这种新的多任务学习的方法得到具备多语种、多领域翻译能力的多语种-多领域翻译网络模型。
实施例2
本发明实施例2还公开了一种训练翻译模型的设备,如图所示,包括:
获取模块201,用于获取多个单语种模型及多个单领域模型;
裁剪模块202,用于对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
赋值模块203,用于对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
汇总模块204,用于汇总各所述Mask矩阵得到LDMask矩阵;
训练模块205,用于对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
在一个具体的实施例中,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
在一个具体的实施例中,所述裁剪用于基于预设稀疏率去除所述无用分支。
在一个具体的实施例中,
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
在一个具体的实施例中,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
如图4所示,所述训练模块205,包括:
第一确定模块2051,用于确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
第二确定模块2052,用于根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
联合训练模块2053,用于基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
本发明涉及一种训练翻译模型的方法和设备,该方法包括:获取多个单语种模型及多个单领域模型;对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;汇总各所述Mask矩阵得到LDMask矩阵;对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。本方案将模型裁剪引入到多语种、多领域的模型中,能有效的将与任务相关的权值和与任务不相关的权值分开,通过使用与任务相关的权值进行模型训练有效的提升该任务的效果,同时由于在训练过程中不会对与该任务无关的权值进行训练,能有效的保证其他任务不受影响,提升多语种、多领域的翻译效果。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种训练翻译模型的方法,其特征在于,包括:
获取多个单语种模型及多个单领域模型;
对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
汇总各所述Mask矩阵得到LDMask矩阵;
对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
2.如权利要求1所述的方法,其特征在于,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
3.如权利要求1所述的方法,其特征在于,所述裁剪用于基于预设稀疏率去除所述无用分支。
4.如权利要求1所述的方法,其特征在于,
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
5.如权利要求1所述的方法,其特征在于,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
所述“对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型”,包括:
确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
6.一种训练翻译模型的设备,其特征在于,包括:
获取模块,用于获取多个单语种模型及多个单领域模型;
裁剪模块,用于对所有的所述单语种模型与所有的所述单领域模型分别进行裁剪,得到多个裁剪模型;
赋值模块,用于对各所述裁剪模型中的有用分支的权值赋值为第一值,且对各所述裁剪模型中的无用分支的权值赋值为第二值,以得到各所述裁剪模型的Mask矩阵;所述第一值与所述第二值不同;
汇总模块,用于汇总各所述Mask矩阵得到LDMask矩阵;
训练模块,用于对所述LDMask矩阵进行多语种与多领域的联合训练,得到多语种与多领域的翻译模型。
7.如权利要求6所述的设备,其特征在于,多个所述单语种模型是分别通过不同语种的训练数据对同一初始翻译模型进行训练得到的;
多个所述单领域模型是分别通过不同领域的训练数据对同一所述初始翻译模型进行训练得到的。
8.如权利要求6所述的设备,其特征在于,所述裁剪用于基于预设稀疏率去除所述无用分支。
9.如权利要求6所述的设备,其特征在于,
所述单语种模型的效果与对所述单语种模型进行裁剪后的所述裁剪模型的效果相同;
所述单领域模型的效果与对所述单领域模型进行裁剪后的所述裁剪模型的效果相同。
10.如权利要求6所述的设备,其特征在于,所述LDMask矩阵中的横坐标对应各所述裁剪模型,所述LDMask矩阵中的纵坐标对应有用分支与无用分支两者的权值;
所述训练模块,用于:
确定待训练任务,并确定所述待训练任务对应的所述裁剪模型;
根据确定的所述裁剪模型以及所述LDMask矩阵中权值的分布情况确定参与训练的有用分支;
基于确定的所述有用分支进行多语种与多领域的联合训练,得到对应所述待训练任务的多语种与多领域的翻译模型。
CN202110264866.3A 2021-03-12 2021-03-12 一种训练翻译模型的方法和设备 Active CN112861549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264866.3A CN112861549B (zh) 2021-03-12 2021-03-12 一种训练翻译模型的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264866.3A CN112861549B (zh) 2021-03-12 2021-03-12 一种训练翻译模型的方法和设备

Publications (2)

Publication Number Publication Date
CN112861549A true CN112861549A (zh) 2021-05-28
CN112861549B CN112861549B (zh) 2023-10-20

Family

ID=75994054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264866.3A Active CN112861549B (zh) 2021-03-12 2021-03-12 一种训练翻译模型的方法和设备

Country Status (1)

Country Link
CN (1) CN112861549B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705240A (zh) * 2021-08-03 2021-11-26 中科讯飞互联(北京)信息科技有限公司 基于多语种分支模型的文本处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130271A1 (en) * 2017-10-27 2019-05-02 Baidu Usa Llc Systems and methods for block-sparse recurrent neural networks
CN109791628A (zh) * 2017-12-29 2019-05-21 清华大学 神经网络模型分块压缩方法、训练方法、计算装置及系统
CN110543645A (zh) * 2019-09-04 2019-12-06 网易有道信息技术(北京)有限公司 机器学习模型训练方法、介质、装置和计算设备
CN112115724A (zh) * 2020-07-23 2020-12-22 云知声智能科技股份有限公司 一种多领域神经网络在垂直领域微调的优化方法及系统
CN112132281A (zh) * 2020-09-29 2020-12-25 腾讯科技(深圳)有限公司 一种基于人工智能的模型训练方法、装置、服务器及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130271A1 (en) * 2017-10-27 2019-05-02 Baidu Usa Llc Systems and methods for block-sparse recurrent neural networks
CN109791628A (zh) * 2017-12-29 2019-05-21 清华大学 神经网络模型分块压缩方法、训练方法、计算装置及系统
CN110543645A (zh) * 2019-09-04 2019-12-06 网易有道信息技术(北京)有限公司 机器学习模型训练方法、介质、装置和计算设备
CN112115724A (zh) * 2020-07-23 2020-12-22 云知声智能科技股份有限公司 一种多领域神经网络在垂直领域微调的优化方法及系统
CN112132281A (zh) * 2020-09-29 2020-12-25 腾讯科技(深圳)有限公司 一种基于人工智能的模型训练方法、装置、服务器及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIHENG WANG 等: "Structured Pruning of Large Language Models", HTTPS://ARXIV.ORG/ABS/1910.04732V1, pages 1 - 10 *
秦晨光 等: "基于多任务学习的方言语种识别", 计算机研究与发展, vol. 56, no. 12, pages 2632 - 2640 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705240A (zh) * 2021-08-03 2021-11-26 中科讯飞互联(北京)信息科技有限公司 基于多语种分支模型的文本处理方法及相关装置
CN113705240B (zh) * 2021-08-03 2024-04-19 科大讯飞(北京)有限公司 基于多语种分支模型的文本处理方法及相关装置

Also Published As

Publication number Publication date
CN112861549B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN107608874A (zh) 测试方法和装置
CN106528395B (zh) 测试用例的生成方法及装置
CN104008384B (zh) 字符识别方法和字符识别装置
CN111708785B (zh) 大数据挖掘处理方法、装置及云平台
CN109190631A (zh) 图片的目标对象标注方法及装置
CN111651365B (zh) 接口自动化测试方法及装置
CN112861549B (zh) 一种训练翻译模型的方法和设备
CN111782556A (zh) 一种自动测试方法及装置
CN105279196A (zh) 测试脚本的生成方法和装置
US6721276B1 (en) Automated microcode test packet generation engine
CN109901835B (zh) 布局元素的方法、装置、设备及存储介质
CN114003451B (zh) 一种接口测试方法、装置、系统及介质
DE60002455T2 (de) Verfahren und vorrichtung zur automatischen softwareprüfung
CN109948632A (zh) 数据训练方法、装置及系统、计算机设备
CN106651513A (zh) 线路板订单的报价方法与装置
CN106202162B (zh) 一种用于测试推荐房间数据列表的测试系统及方法
CN117294727A (zh) 一种基于云原生和容器技术的云边端协同管理方法
CN112199885A (zh) 一种分布式模型训练系统及应用方法
CN108279013A (zh) 电子地图增量数据的检查纠错方法和装置、以及导航系统
CN108804307B (zh) 流程自动化测试方法及装置
CN106548674A (zh) 用于网上评卷的动态处理方法及系统
CN112559377A (zh) 一种首次测试用例的生成方法和装置
CN113722235A (zh) 一种自动化测试方法及装置
CN111382750A (zh) 图形验证码识别方法及装置
DE19924242A1 (de) Vektorrestauration mit beschleunigter Validation und Verfeinerung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant