CN113448988A - 算法模型的训练方法、装置、电子设备及存储介质 - Google Patents

算法模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113448988A
CN113448988A CN202110772104.4A CN202110772104A CN113448988A CN 113448988 A CN113448988 A CN 113448988A CN 202110772104 A CN202110772104 A CN 202110772104A CN 113448988 A CN113448988 A CN 113448988A
Authority
CN
China
Prior art keywords
target
model
algorithm
sample data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110772104.4A
Other languages
English (en)
Other versions
CN113448988B (zh
Inventor
赵喆子健
李福毅
丁平船
王安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110772104.4A priority Critical patent/CN113448988B/zh
Publication of CN113448988A publication Critical patent/CN113448988A/zh
Application granted granted Critical
Publication of CN113448988B publication Critical patent/CN113448988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提出一种算法模型的训练方法、装置、电子设备及存储介质。应用于算法平台,具体方案为:获取初始算法模型和目标算法类型,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型。通过本公开,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。

Description

算法模型的训练方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域,尤其涉及一种算法模型的训练方法、装置、电子设备及存储介质。
背景技术
算法平台是提供算法模型训练、测试、部署等功能的平台服务。通过算法平台提供的管理能力,算法工程师可以简单快捷的进行算法模型的训练、测试以及上线部署等操作。同时,算法平台亦可以作为开发人员学习算法模型,优化算法模型的高效工具。
相关技术中的算法平台,通常提供对于某一类固定类型的算法进行训练的能力,算法平台以产出的模型文件作为结果,供开发人员作为线上服务的算法模型文件集成进入线上服务中。
这种方式下,训练的算法模型类型单一,算法模型训练的兼容性较差,从而影响算法平台应用场景的拓展。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本公开的目的在于提出一种算法模型的训练方法、装置、电子设备及存储介质,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。
为达到上述目的,本公开第一方面实施例提出的算法模型的训练方法,包括:获取初始算法模型和目标算法类型;确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型。
本公开第一方面实施例提出的算法模型的训练方法,通过获取初始算法模型和目标算法类型,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。
为达到上述目的,本公开第二方面实施例提出的算法模型的训练装置,包括:第一获取模块,用于获取初始算法模型和目标算法类型;第一确定模块,用于确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;训练模块,用于根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型。
本公开第二方面实施例提出的算法模型的训练装置,通过获取初始算法模型和目标算法类型,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。
本公开第三方面实施例提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本公开第一方面实施例提出的算法模型的训练方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开第一方面实施例提出的算法模型的训练方法。
本公开第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行如本公开第一方面实施例提出的算法模型的训练方法。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本公开一实施例提出的算法模型的训练方法的流程示意图;
图2是根据本公开实施例的算法平台的架构示意图;
图3是根据本公开实施例的算法平台使用流程示意图;
图4是本公开另一实施例提出的算法模型的训练方法的流程示意图;
图5是根据本公开实施例的模型训练操作流程示意图;
图6是根据本公开实施例的模型线上部署操作流程示意图;
图7是本公开一实施例提出的算法模型的训练装置的结构示意图;
图8是本公开另一实施例提出的算法模型的训练装置的结构示意图;
图9示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开,而不能理解为对本公开的限制。相反,本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的算法模型的训练方法的流程示意图。
其中,需要说明的是,本实施例的算法模型的训练方法的执行主体为算法模型的训练装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
本实施例中的算法模型的训练方法,可以应用于算法平台,其中,算法平台可以提供算法模型的训练、测试、部署等功能的平台服务,通过算法平台提供的模型生成、配置、训练等模型管理能力,算法工程师可以进行模型的训练、测试、以及线上部署等操作,对此不做限制。
如图1所示,该算法模型的训练方法包括:
S101:获取初始算法模型和目标算法类型。
其中,在训练的初始阶段获取得到的算法模型,可以被称为初始算法模型,该初始算法模型可以是人工智能模型,具体例如为神经网络模型或者是机器学习模型,当然,也可以采用其它任意可能的模型,对此不做限制。
其中,该初始算法模型可以具体是算法平台提供的具备基本模型文件的算法模型,且该初始算法模型的基本模型文件可支持定制化调整,以使得调整后的初始算法模型能够支持目标算法类型对应的线上的算法模型服务,对此不做限制。
其中,目标算法类型可以例如数据处理类型、图像处理类型、文本识别类型等等,该目标算法类型可以是用户需求的算法类型,该目标算法类型可由用户输入算法平台,则算法平台可以将用户输入的算法类型作为目标算法类型,对此不做限制。
可选地,一些实施例中,在获取初始算法模型时,可以是用户在算法平台上创建相应的模型训练项目,在该模型训练项目下,创建待训练的初始算法模型,也可以是用户直接向算法平台上传自己开发的算法模型脚本文件,而后经由算法平台执行算法模型脚本文件以生成得到初始算法模型,或者,也可以采用其它任意可能的方式来获取初始算法模型,对此不做限制。
S102:确定与目标算法类型对应的样本数据和与样本数据对应的标注数据。
上述在获取初始算法模型和目标算法类型后,可以确定与目标算法类型对应的样本数据和与样本数据对应的标注数据。
其中,在确定目标算法类型后,可以针对目标算法类型配置相应的样本数据和对应的标注数据,假设目标算法类型,例如数据处理类型、图像处理类型、文本识别类型,则与目标算法类型对应的样本数据,可以是样本待处理数据、样本图像、样本文本等。
而样本数据还可以例如是模型的参数、模型的参数的存储路径等,对此不做限制。
举例而言,如果确定的目标算法类型为A类型,则可以针对目标算法类型(A类型),配置相应的样本数据(例如:模型的参数的存储路径等),还可以为目标算法类型(A类型)配置与上述与样本数据对应的标注数据,从而可以触发执行后续算法模型的训练步骤。
其中,在算法模型的训练过程中,被用于作为判定模型收敛(当模型收敛时,指示模型效果达标)时机的数据,可以被称为标注数据,与目标算法类型对应的标注数据,可以是标注处理结果、标注图像处理结果,以及标注文本识别结果,标注数据用于在训练算法模型时评估算法模型的效果。
可选地,一些实施例中,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,可以是确定与目标算法类型对应的目标数据库键,并确定目标数据库键对应的目标值,目标值指示:目标网络协议地址,根据目标网络协议地址确定目标服务器,再将样本数据和与样本数据对应的标注数据发送至目标服务器之中,由于是结合目标数据库键和目标网络协议地址,来确定目标服务器,而后,支持将获取到的样本数据和标注数据发送至目标服务器中,辅助后续在目标服务器中训练算法模型,从而保障整体模型训练的连贯性,实现数据准备与模型训练过程中的对接,保障模型训练的时效性,使得用户可以灵活的选择训练所用的目标服务器,且有效地避免不同的服务器之间产生资源冲突。
其中,目标数据库键和目标网络协议地址之间可能具有一定的关联关系,则可以根据上述关联关系建立目标数据库与目标值关系表,当确定训练所用的目标服务器时,可以确定与目标算法类型对应的目标数据库键,并根据该目标数据库键来查询目标数据库与目标值关系表,进而确定与目标数据库键对应的目标值,该目标值表征目标网络协议地址,从而将目标网络协议地址所指示的服务器作为目标服务器,对此不做限制。
举例而言,如果在目标数据库与目标值关系表上,目标数据库键1对应的目标值为192.186.0.106,则可以在目标数据库与目标值关系表上查询得到目标数据库键1对应的目标值为192.186.0.106。
上述在确定目标数据库键对应的目标值后,可以根据目标网络协议地址确定目标服务器,再将样本数据和与样本数据对应的标注数据发送至目标服务器之中。
S103:根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型。
其中,在训练的初始阶段获取得到的算法模型,可以被称为初始算法模型,该初始算法模型可以是人工智能模型,具体例如为神经网络模型或者是机器学习模型,当然,也可以采用其它任意可能的能够执行算法任务的模型,对此不做限制。
本公开实施例在确定与目标算法类型对应的样本数据和与样本数据对应的标注数据后,可以根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型。
举例而言,可以将样本数据、与样本数据对应的标注数据输入初始算法模型之中,以得到初始算法模型输出的预测数据,如果预测数据和标注数据之间满足收敛条件,则确定算法模型收敛,可以将训练得到的算法模型作为目标算法模型。
可选地,一些实施例中,可以针对初始的算法模型预先配置损失函数,在训练算法模型的过程中,将标注数据和预测数据作为损失函数的输入参数,并确定损失函数输出的损失值,并结合该损失值确定算法模型是否满足收敛时机,对此不做限制。
上述将获取到的样本数据和标注数据发送至目标服务器中,本公开还支持在所述目标服务器之中训练所述初始算法模型,从而有效地提升整体的模型训练效率。
本实施例中,通过获取初始算法模型和目标算法类型,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。
如图2所示,图2是根据本公开实施例的算法平台的架构示意图,本公开下述实施例的描述可以一并结合图2所示,对此不做限制。
算法平台由算法平台后端服务模块(Service)、网关调用服务模块(Gate Way,GW)、调度服务模块(Core)和模型管理服务模块(Task)组成,其中,
算法平台后端服务模块(Service):由模型训练业务模块,模型测试业务模块,模型部署业务模块组成,主要负责处理用户的一些基本操作,例如创建模型训练任务、模型测试业务,部署模型等操作,并将操作的相关的数据存入数据库中。
网关调用服务模块(GW):提供了部署上线模型的调用请求的处理。部署生效的模型通过GW对外提供服务。
调度服务(Core):处理模型训练、测试和部署操作的核心组件,与Service通过一种高性能的键值数据库进行通信,通过调用模型管理服务模块(Task)完成模型的部署操作,并将操作结果通过远程过程调用(Remote Procedure Call,RPC)调用通知Service。
模型管理服务(Task):提供Python服务,与Core模块通过一种开源的远程服务调用框架进行通信,实际调用模型脚本进行训练、测试和部署操作。
如图3所示,图3是根据本公开实施例的算法平台使用流程示意图,本公开下述实施例的描述可以一并结合图2和图3所示,对此不做限制。
用户可以在算法平台进行模型训练操作,训练的结果将产生模型文件,用户可以上传测试集对该模型进行模型测试操作,以检验模型训练效果,若模型训练效果符合用户要求,则可以通过模型部署操作将该模型发布到线上,此时将产生可供外部服务调用的链接,此时线上服务可以通过该链接在算法平台上调用该算法服务,完成模型上线。
图4是本公开另一实施例提出的算法模型的训练方法的流程示意图。
如图4所示,该算法模型的训练方法包括:
S401:针对目标算法类型配置对应的样本数据和与样本数据对应的标注数据。
本实施例中,针对目标算法类型配置对应的样本数据和与样本数据对应的标注数据的举例说明,可以具体参见上述步骤S102的描述说明,在此不再赘述。
S402:将对应的样本数据和与样本数据对应的标注数据,存储至目标数据库键所属数据库之中。
上述在针对目标算法类型配置对应的样本数据和与样本数据对应的标注数据后,可以将对应的样本数据和与样本数据对应的标注数据,存储至目标数据库键所属数据库之中。
其中,数据库是按照数据结构来组织、存储和管理数据的仓库,由于不同的用户可能会需要不同的算法类型,不同的算法类型可能会配置不同的样本数据和与样本数据对应的标注数据,由此,不同的样本数据和与样本数据对应的标注数据可以由不同的数据库进行存储,其中,用于存放与目标算法类型对应的样本数据和与样本数据对应的标注数据的数据库,可以被称为所属数据库。
可选地,为了实现本实施例中的样本数据和与样本数据对应的标注数据的存储,本实施例中描述的数据库,可以配置为远程字典服务(Remote Dictionary Server,Redis)数据库,当然,也可以配置为其它任意可能的数据库,用于对样本数据和与样本数据对应的标注数据进行存储,对此不做限制。
其中,Redis是一种高性能的基于内存的键值数据库,它可以使用简单的键值方法来存储数据,即可以将数据存储为键值对(Key/value)集合,其中数据库键(key)可以作为存储数据唯一的标识符,通过查询键值,即可快速、高效地对相应的键值对(Key/value)进行访问。
S403:确定与训练任务对应的目标服务器,并将目标服务器的目标网络协议地址配置在目标值之中。
其中,在算法模型的训练过程中,用户可以根据模型训练任务的需求,选择与训练任务对应的服务器,该服务器即可以被称为目标服务器,该目标服务器的访问地址(目标网络协议地址),可以被预先配置在与目标数据库键对应的值中,以形成上述的键值对。
其中,可以预先为网络的每一个服务器分配一个网络访问地址,该网络访问地址可以网络协议的形式体现,即可以被称为网络协议地址,每一个服务器对应唯一的网络协议地址,相应的,目标服务器对应的网络协议地址,可以被称为目标网络协议地址。
可选地,一些实施中,可以根据模型训练任务的需求,确定与训练任务对应的目标服务器,并将目标服务器的目标网络协议地址配置在目标值之中,其中,目标值可以指示目标网络协议地址。
S404:将所属数据库的数据库标识配置在目标数据库键之中。
上述在确定与训练任务对应的目标服务器,并将目标服务器的目标网络协议地址配置在目标值之中后,可以将所属数据库的数据库标识配置在目标数据库键之中。
也即是说,在本实施例中,Redis在对样本数据和与样本数据对应的标注数据进行存储时,可以将样本数据和标注数据存储至一个数据库中,而后将该数据库的标识配置在目标数据库键中,并将训练模型用的目标服务器的目标网络协议地址配置在于该数据库键对应的值中,以形成键值对(Key/value),即键指示数据库的标识,目标数据库键指示存储样本数据和标注数据的目标数据库的标识,而与目标数据库键对应的值,指示预配置的目标网络协议地址。
其中,在算法模型的训练过程中,为了实现相应的模型训练任务,用于存储样本数据和与样本数据对应的标注数据的数据库可以配置为多个,不同的数据库可以具有不同的标识,该标识可以被称为数据库标识,对此不做限制。
可选地,一些实施例中,可以将所属数据库的数据库标识配置在目标数据库键之中,可以通过访问目标数据库键,得到对应的数据库标识,从而可以从多个数据库中确定所属数据库。
本实施例中,通过对所述目标算法类型配置对应的样本数据和与所述样本数据对应的标注数据,并将所述对应的样本数据和与所述样本数据对应的标注数据,存储至所述目标数据库键所属数据库之中,确定与训练任务对应的目标服务器,并将所述目标服务器的目标网络协议地址配置在所述目标值之中,将所述所属数据库的数据库标识配置在所述目标数据库键之中,由此,使得用户可以灵活的选择训练所用的目标服务器,且有效地避免不同的服务器之间产生资源冲突,有效地满足算法模型的个性化训练需求。
S405:获取初始算法模型和目标算法类型。
S405的描述说明可以具体参见上述实施例,在此不再赘述。
S406:确定与目标算法类型对应的目标模型参数和训练模型文件。
其中,训练得到目标算法类型的目标算法模型的参数,可以被称为目标模型参数,也即是说,当采用目标模型参数配置初始模型参数时,可以使得配置后的待配置算法模型具有相应的算法类型所支持的模型服务功能。
例如,假设目标算法类型,是数据处理类型,当采用与数据处理类型对应的模型参数配置初始算法模型的初始模型参数后,可以使得待配置算法模型具有提供数据处理服务的功能,对此不做限制。
本公开实施例中的目标模型参数可以应用于模型的训练\测试中,用于对模型的训练\测试过程进行优化。
上述在获取初始算法模型和目标算法类型后,可以确定与目标算法类型对应的目标模型参数和训练模型文件。
S407:根据目标模型参数配置初始模型参数,以得到待配置算法模型。
上述在确定与目标算法类型对应的目标模型参数和训练模型文件后,可以根据目标模型参数配置初始模型参数,以得到配置后的算法模型,该算法模型可以被称为待配置算法模型。
其中,与初始算法模型关联的模型参数,可以被称为初始模型参数。
可选地,一些实施例中,根据目标模型参数配置初始模型参数,可以是根据目标模型参数对初始模型参数进行相应调整,并将已调整模型参数的算法模型作为待配置算法模型,对此不做限制。
S408:根据训练模型文件配置待配置算法模型,以得到待训练算法模型。
上述在根据目标模型参数配置初始模型参数,以得到待配置算法模型后,可以根据训练模型文件配置待配置算法模型,以得到配置后的算法模型,该算法模型可以被称为待训练算法模型,待训练算法模型可以应用于算法模型的后续训练过程中。
本实施例中,确定与所述目标算法类型对应的目标模型参数和训练模型文件,根据所述目标模型参数配置所述初始模型参数,以得到待配置算法模型,根据所述训练模型文件配置所述待配置算法模型,以得到待训练算法模型,由于是结合目标模型参数和训练模型文件对初始模型进行调优,能够有效地提升算法模型的表现性能,从而能够有效地提升算法训练模型的训练效果。
S409:确定与目标算法类型对应的样本数据和与样本数据对应的标注数据。
S409的描述说明可以具体参见上述实施例,在此不再赘述。
S410:根据样本数据和与样本数据对应的标注数据训练待训练算法模型,以得到目标算法模型。
上述在确定与目标算法类型对应的样本数据和与样本数据对应的标注数据后,可以根据样本数据和与样本数据对应的标注数据训练待训练算法模型,以得到目标算法模型。
本实施例可以一并结合图5做具体解释说明,如图5所示,图5是根据本公开实施例的模型训练操作流程示意图,包括:
算法平台后端服务模块:算法平台后端服务模块由模型训练、模型测试、模型部署、资源管理四部分组成,算法平台后端服务模块在接收到前端用户的训练/测试请求后,会将本次操作的数据存储到数据库中,后可以将模型训练/测试需要的数据(样本数据和对应的标注数据)放入目标数据库键指示的目标数据库中。
调度服务模块:调度服务模块由训练任务单元、测试任务单元、部署任务单元、资源管理任务单元四部分组成,调度服务模块和算法平台后端服务模块通过Redis进行通信,调度服务模块在启动时,可以启动几个任务单元,定期去查Redis的键值中是否存在待训练\测试的数据(样本数据和对应的标注数据),如果存在待训练\测试的数据(样本数据和对应的标注数据),可以取出该数据,通过远程服务调用框架调用模型管理服务模块进行相应的模型训练\测试,并将结果通知算法平台后端服务模块,算法平台后端服务模块可以进行数据更新,并将训练\测试的结果反馈给前端用户。
S411:获取与目标算法模型对应的目标模型文件。
上述根据样本数据和与样本数据对应的标注数据训练待训练算法模型,以得到目标算法模型后,可以得到相应的模型文件,该模型文件即可以被称为目标模型文件,该目标模型文件可以用于辅助后续的模型线上部署操作。
S412:根据目标模型文件,对目标算法模型执行线上部署操作。
可选地,一些实施例中,根据所述目标模型文件,对所述目标算法模型执行线上部署操作,可以是响应于线上部署请求,以根据所述目标模型文件生成算法模型服务,根据所述算法模型服务生成目标调用接口,并将所述目标调用接口提供至线上平台中,所述线上平台用于提供线上的算法模型服务,由此,有效地简化了线上部署操作,使得模型服务和算法平台互相独立,从而较大程度地丰富了算法模型训练和使用的场景。
上述在获取与目标算法模型对应的目标模型文件后,可以根据目标模型文件,对目标算法模型执行线上部署操作。由于是根据目标模型文件,对目标算法模型执行线上部署操作,由此,能够有效的提升线上部署的效率,便于实际业务场景中对部署上线的模型进行调用。
可选地,一些实施例中,通过对目标算法模型执行线上部署操作,可以将目标算法模型发布至线上平台,以生成相应的算法模型服务,可以根据算法模型服务生成远程过程调用接口,通过远程过程调用接口即可以实现算法模型服务的远程调用,其中,上述远程过程调用接口,可以被称为目标调用接口。
本实施例可以一并结合图6做具体解释说明,如图6所示,图6是根据本公开实施例的模型线上部署操作流程示意图,可以响应于线上部署请求,执行线上部署操作,调度服务模块在接收到部署操作后,可以调用模型管理服务模块进行模型服务的部署,模型管理服务模块会将模型服务(python程序)启动,该模型服务和模型管理服务模块是相互独立的,该模型服务可以通过远程服务调用框架通知调度服务模块,模型服务已经启动,此时调度服务模块可以通过shell命令启动一个单独的Java服务,以此作为目标调用接口,即图6所示的软件开发工具包(Software Development Kit,SDK)。
在完成线上部署操作后,算法模型服务可以通过统一的RPC接口由SDK服务对外暴露,此时可以通过RPC直接调用相应的算法模型服务,还可以通过网关调用服务模块以超文本传输协议(Hypertext Transfer Protocol,HTTP)的形式对算法模型服务进行调用,对此不做限制。
本实施例中,通过对目标算法类型配置对应的样本数据和与样本数据对应的标注数据,并将对应的样本数据和与样本数据对应的标注数据,存储至目标数据库键所属数据库之中,确定与训练任务对应的目标服务器,并将目标服务器的目标网络协议地址配置在目标值之中,将所属数据库的数据库标识配置在目标数据库键之中,由此,使得用户可以灵活的选择训练所用的目标服务器,且有效地避免不同的服务器之间产生资源冲突,有效地满足算法模型的个性化训练需求。后确定与目标算法类型对应的目标模型参数和训练模型文件,根据目标模型参数配置初始模型参数,以得到待配置算法模型,根据训练模型文件配置待配置算法模型,以得到待训练算法模型,由于是结合目标模型参数和训练模型文件对初始模型进行调优,能够有效地提升算法模型的表现性能,从而能够有效地提升算法训练模型的训练效果。在获取与目标算法模型对应的目标模型文件后,可以根据目标模型文件,对目标算法模型执行线上部署操作。由于是根据目标模型文件,对目标算法模型执行线上部署操作,由此,能够有效的提升线上部署的效率,便于实际业务场景中对部署上线的模型进行调用。
图7是本公开一实施例提出的算法模型的训练装置的结构示意图。
如图7所示,该算法模型的训练装置70,包括:
第一获取模块701,用于获取初始算法模型和目标算法类型;
第一确定模块702,用于确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;
训练模块703,用于根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型。
在本公开的一些实施例中,如图8所示,算法模型的训练装置70,还包括:
第二确定模块704,用于在获取初始算法模型和目标算法模型后,确定与所述目标算法类型对应的目标模型参数和训练模型文件;
第一配置模块705,用于根据所述目标模型参数配置所述初始模型参数,以得到待配置算法模型;
第二配置模块706,用于根据所述训练模型文件配置所述待配置算法模型,以得到待训练算法模型;
其中,训练模块703,具体用于:
根据所述样本数据和与所述样本数据对应的标注数据训练所述待训练算法模型,以得到所述目标算法模型。
在本公开的一些实施例中,算法模型的训练装置70,还包括:
第二获取模块707,用于在所述根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型之后,获取与所述目标算法模型对应的目标模型文件;
部署模块708,用于根据所述目标模型文件,对所述目标算法模型执行线上部署操作。
在本公开的一些实施例中,第一确定模块702,具体用于:
确定与所述目标算法类型对应的目标数据库键;
确定所述目标数据库键对应的目标值,所述目标值指示:目标网络协议地址;
根据所述目标网络协议地址确定目标服务器;
从所述目标数据库键所属数据库之中读取与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;
将所述样本数据和与所述样本数据对应的标注数据发送至所述目标服务器之中;
其中,训练模块703,具体用于:
在所述目标服务器之中训练所述初始算法模型。
在本公开的一些实施例中,算法模型的训练装置70,还包括:
第三配置模块709,用于在获取初始算法模型和目标算法模型前,针对所述目标算法类型配置对应的样本数据和与所述样本数据对应的标注数据;
存储模块710,用于将所述对应的样本数据和与所述样本数据对应的标注数据,存储至所述目标数据库键所属数据库之中;
第三确定模块711,用于确定与训练任务对应的目标服务器,并将所述目标服务器的目标网络协议地址配置在所述目标值之中;
第四配置模块712,用于将所述所属数据库的数据库标识配置在所述目标数据库键之中。
在本公开的一些实施例中,部署模块708,具体用于:
响应于线上部署请求,以根据所述目标模型文件生成算法模型服务;
根据所述算法模型服务生成目标调用接口,并将所述目标调用接口提供至线上平台中,所述线上平台用于提供线上的算法模型服务。
在本公开的一些实施例中,所述目标调用接口,是远程过程调用接口。
与上述图1至图6实施例提供的算法模型的训练方法相对应,本公开还提供一种算法模型的训练装置,由于本公开实施例提供的算法模型的训练装置与上述图1至图6实施例提供的算法模型的训练方法相对应,因此在算法模型的训练方法的实施方式也适用于本公开实施例提供的算法模型的训练装置,在本公开实施例中不再详细描述。
本实施例中,通过获取初始算法模型和目标算法类型,确定与目标算法类型对应的样本数据和与样本数据对应的标注数据,根据样本数据和与样本数据对应的标注数据训练初始算法模型,以得到目标算法模型,能够在训练算法模型的过程中,提升算法模型训练的灵活性和兼容性,有效地满足算法模型的个性化训练需求,从而有效地辅助拓展算法平台的应用场景,有效地辅助扩展算法平台的功能。
为了实现上述实施例,本公开还提出一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本公开前述实施例提出的算法模型的训练方法。
为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开前述实施例提出的算法模型的训练方法。
为了实现上述实施例,本公开还提出一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行如本公开前述实施例提出的算法模型的训练方法。
图9示出了适于用来实现本公开实施方式的示例性电子设备的框图。图9显示的电子设备12仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。
尽管图9中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的算法模型的训练方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本公开的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种算法模型的训练方法,其特征在于,应用于算法平台,所述方法包括:
获取初始算法模型和目标算法类型;
确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;
根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型。
2.如权利要求1所述的方法,其特征在于,所述初始算法模型具有对应的初始模型参数,在所述获取初始算法模型和目标算法类型之后,还包括:
确定与所述目标算法类型对应的目标模型参数和训练模型文件;
根据所述目标模型参数配置所述初始模型参数,以得到待配置算法模型;
根据所述训练模型文件配置所述待配置算法模型,以得到待训练算法模型;
其中,所述根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型,包括:
根据所述样本数据和与所述样本数据对应的标注数据训练所述待训练算法模型,以得到所述目标算法模型。
3.如权利要求1所述的方法,其特征在于,在所述根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型之后,还包括:
获取与所述目标算法模型对应的目标模型文件;
根据所述目标模型文件,对所述目标算法模型执行线上部署操作。
4.如权利要求1所述的方法,其特征在于,所述确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据,包括:
确定与所述目标算法类型对应的目标数据库键;
确定所述目标数据库键对应的目标值,所述目标值指示:目标网络协议地址;
根据所述目标网络协议地址确定目标服务器;
从所述目标数据库键所属数据库之中读取与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;
将所述样本数据和与所述样本数据对应的标注数据发送至所述目标服务器之中;
其中,所述训练所述初始算法模型,包括:
在所述目标服务器之中训练所述初始算法模型。
5.如权利要求4所述的方法,其特征在于,在所述获取初始算法模型和目标算法类型之前,还包括:
针对所述目标算法类型配置对应的样本数据和与所述样本数据对应的标注数据;
将所述对应的样本数据和与所述样本数据对应的标注数据,存储至所述目标数据库键所属数据库之中;
确定与训练任务对应的目标服务器,并将所述目标服务器的目标网络协议地址配置在所述目标值之中;
将所述所属数据库的数据库标识配置在所述目标数据库键之中。
6.如权利要求3所述的方法,其特征在于,所述根据所述目标模型文件,对所述目标算法模型执行线上部署操作,包括:
响应于线上部署请求,以根据所述目标模型文件生成算法模型服务;
根据所述算法模型服务生成目标调用接口,并将所述目标调用接口提供至线上平台中,所述线上平台用于提供线上的算法模型服务。
7.如权利要求6所述的方法,其特征在于,所述目标调用接口,是远程过程调用接口。
8.一种算法模型的训练装置,其特征在于,应用于算法平台,包括:
第一获取模块,用于获取初始算法模型和目标算法类型;
第一确定模块,用于确定与所述目标算法类型对应的样本数据和与所述样本数据对应的标注数据;
训练模块,用于根据所述样本数据和与所述样本数据对应的标注数据训练所述初始算法模型,以得到目标算法模型。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202110772104.4A 2021-07-08 2021-07-08 算法模型的训练方法、装置、电子设备及存储介质 Active CN113448988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110772104.4A CN113448988B (zh) 2021-07-08 2021-07-08 算法模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110772104.4A CN113448988B (zh) 2021-07-08 2021-07-08 算法模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113448988A true CN113448988A (zh) 2021-09-28
CN113448988B CN113448988B (zh) 2024-05-17

Family

ID=77815351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110772104.4A Active CN113448988B (zh) 2021-07-08 2021-07-08 算法模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113448988B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858473A (zh) * 2023-01-29 2023-03-28 北京阿丘科技有限公司 基于训练系统与对象存储系统的数据交互方法及装置
CN117350177A (zh) * 2023-12-05 2024-01-05 西安热工研究院有限公司 卸船机路径生成模型的训练方法、装置、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225497A (ja) * 2014-05-28 2015-12-14 日本電信電話株式会社 情報検索装置
CN109344853A (zh) * 2018-08-06 2019-02-15 杭州雄迈集成电路技术有限公司 一种可定制目标检测算法的智能化云平台系统及操作方法
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技(北京)有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
CN111222833A (zh) * 2018-11-27 2020-06-02 中云开源数据技术(上海)有限公司 基于数据湖服务器的算法配置组合平台
US20200249936A1 (en) * 2019-02-04 2020-08-06 James Ronald Barfield, JR. Method and system for a platform for api based user supplied algorithm deployment
CN111565199A (zh) * 2020-07-14 2020-08-21 腾讯科技(深圳)有限公司 网络攻击信息处理方法、装置、电子设备及存储介质
US20200327162A1 (en) * 2019-04-15 2020-10-15 Yandex Europe Ag Method of and server for retraining machine learning algorithm
WO2020223693A1 (en) * 2019-05-01 2020-11-05 Icahn School Of Medicine At Mount Sinai Elucidating a proteomic signature for the detection of intracerebral aneurysms
US20200394463A1 (en) * 2019-06-14 2020-12-17 Micro Focus Llc Train a machine learning model using ip addresses and connection contexts
CN112306689A (zh) * 2020-11-02 2021-02-02 时代云英(深圳)科技有限公司 一种边缘计算系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225497A (ja) * 2014-05-28 2015-12-14 日本電信電話株式会社 情報検索装置
CN109344853A (zh) * 2018-08-06 2019-02-15 杭州雄迈集成电路技术有限公司 一种可定制目标检测算法的智能化云平台系统及操作方法
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技(北京)有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
CN111222833A (zh) * 2018-11-27 2020-06-02 中云开源数据技术(上海)有限公司 基于数据湖服务器的算法配置组合平台
US20200249936A1 (en) * 2019-02-04 2020-08-06 James Ronald Barfield, JR. Method and system for a platform for api based user supplied algorithm deployment
US20200327162A1 (en) * 2019-04-15 2020-10-15 Yandex Europe Ag Method of and server for retraining machine learning algorithm
WO2020223693A1 (en) * 2019-05-01 2020-11-05 Icahn School Of Medicine At Mount Sinai Elucidating a proteomic signature for the detection of intracerebral aneurysms
US20200394463A1 (en) * 2019-06-14 2020-12-17 Micro Focus Llc Train a machine learning model using ip addresses and connection contexts
CN111565199A (zh) * 2020-07-14 2020-08-21 腾讯科技(深圳)有限公司 网络攻击信息处理方法、装置、电子设备及存储介质
CN112306689A (zh) * 2020-11-02 2021-02-02 时代云英(深圳)科技有限公司 一种边缘计算系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858473A (zh) * 2023-01-29 2023-03-28 北京阿丘科技有限公司 基于训练系统与对象存储系统的数据交互方法及装置
CN115858473B (zh) * 2023-01-29 2023-10-10 北京阿丘科技有限公司 基于训练系统与对象存储系统的数据交互方法及装置
CN117350177A (zh) * 2023-12-05 2024-01-05 西安热工研究院有限公司 卸船机路径生成模型的训练方法、装置、电子设备及介质
CN117350177B (zh) * 2023-12-05 2024-03-22 西安热工研究院有限公司 卸船机路径生成模型的训练方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113448988B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN109787830A (zh) 灰度发布控制方法、装置、系统、电子设备及存储介质
CN111597110B (zh) 页面测试方法、装置、电子设备及存储介质
CN113448988A (zh) 算法模型的训练方法、装置、电子设备及存储介质
CN109977012B (zh) 系统的联调测试方法、装置、设备及计算机可读存储介质
CN111159046B (zh) 测试方法、装置、电子设备、系统和存储介质
CN106919511B (zh) 应用的模拟方法、模拟应用及其运作方法以及模拟系统
CN113505082B (zh) 应用程序测试方法及装置
CN111369011A (zh) 机器学习模型应用的方法、装置、计算机设备和存储介质
CN112395736A (zh) 一种分布交互仿真系统的并行仿真作业调度方法
CN113704110A (zh) 用户界面的自动化测试方法及装置
CN111767229A (zh) 性能测试方法、装置和设备
CN114780386A (zh) 软件测试方法、装置、设备及存储介质
KR20200048633A (ko) 소프트웨어 자동 테스트 시스템 및 방법
CN116627849B (zh) 系统测试方法、装置、设备及存储介质
CN111126604B (zh) 模型训练方法、装置、服务器及存储介质
CN117041111A (zh) 车云功能测试方法、装置、电子设备及存储介质
CN110209565A (zh) 一种元数据模型调试方法及其装置
CN112416747A (zh) 一种测试用例执行方法、装置、设备及介质
CN114610446B (zh) 一种自动注入探针的方法、装置及系统
CN116383055A (zh) 金融场景的测试方法和装置、处理器及电子设备
CN111294250B (zh) 压力测试方法、装置和系统
CN112181802A (zh) 测试方法及装置
CN118092729B (zh) 一种基于微前端的微服务图标共享方法、设备及介质
CN115202997A (zh) 挡板测试方法及装置
CN112825044B (zh) 任务执行方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant