CN114358158B - 一种模型训练方法、装置、设备及存储介质 - Google Patents
一种模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114358158B CN114358158B CN202111602806.4A CN202111602806A CN114358158B CN 114358158 B CN114358158 B CN 114358158B CN 202111602806 A CN202111602806 A CN 202111602806A CN 114358158 B CN114358158 B CN 114358158B
- Authority
- CN
- China
- Prior art keywords
- model
- user
- training
- catalog
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 59
- 238000012795 verification Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000306 component Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种模型训练方法、装置、设备及存储介质,通过根据用户终端发送的模型用户的属性信息创建用户目录,将用于训练模型的数据集和标注文件关联入用户目录下的训练数据目录,而后根据模型用户的模型训练需求参数生成并执行模型训练任务,并在训练过程中将生成的临时模型存入用户目录下的模型存储目录,直至达到训练结束条件,选择最优模型进行模型校验,校验通过后根据模型用户的接口参数将最优模型存入用户目录下的发布模型目录,生成最优模型的模型调用接口供模型用户调用。建立了模型训练存储架构,实现了从用户需求到模型训练再到一键生成模型调用接口的自动化,提高了人工智能项目推进的效率,减轻了项目人员的工作压力。
Description
技术领域
本申请涉及人工智能领域,特别是涉及一种模型训练方法、装置、设备及存储介质。
背景技术
人工智能是计算机科学的一个分支,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟,而为了实现这种模拟,需要对人工智能进行训练,使其能够像人那样去思考、处理信息。因此,为实现将人工智能项目落地,需要进行大量的模型训练工作。
然而现今在推进人工智能项目时,往往需要项目人员反复进行算法模型训练、参数调节以及性能调试,不仅占用了项目人员大量的工作时间,且在项目需求越来越多时,这种低效率的模型训练方法将不能够满足项目推进需求,且耗费大量的人力成本。
发明内容
本申请的目的是提供一种模型训练方法、装置、控设备及存储介质,用于实现人工智能模型的自动化训练,提高人工智能项目推进的效率,降低人力成本。
为解决上述技术问题,本申请提供一种模型训练方法,包括:
根据用户终端发送的模型用户的属性信息创建用户目录;
当接收到用于训练模型的数据集和所述数据集的标注文件时,将所述数据集和所述标注文件关联入所述用户目录下的训练数据目录;
根据所述用户终端发送的所述模型用户的模型训练需求参数生成模型训练任务;
执行所述模型训练任务,调用所述数据集和所述标注文件进行模型训练,并在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录;
若达到训练结束条件,则自各所述临时模型中选择最优模型进行模型校验;
若校验通过,则根据所述用户终端发送的所述模型用户的接口参数将所述最优模型存入所述用户目录下的发布模型目录,并根据所述最优模型的存储路径生成所述最优模型的模型调用接口以供所述模型用户调用。
可选的,所述数据集具体为图片集,所述标注文件具体为对所述图片集中的图片所包含的目标检测对象的位置与类别信息的文件。
可选的,所述在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录,具体为:
在训练过程中,每训练迭代第一预设次数保存一次所述临时模型,并将所述临时模型的相关文件存入所述模型存储目录;
所述相关文件包括所述临时模型的权重文件和所述临时模型的训练报告。
可选的,所述训练报告中具体包括所述临时模型的均值平均精确度和所述均值模型的损失函数值。
可选的,所述训练结束条件具体为训练迭代次数达到第二预设次数和/或得到评估结果满足预设条件的所述临时模型。
可选的,所述自各所述临时模型中选择最优模型进行模型校验,具体包括:
接收所述用户终端发送的待检测数据;
将所述待检测数据输入所述最优模型,得到检测结果;
将所述检测结果发送至所述用户终端;
接收所述用户终端发送的校验结果。
可选的,还包括:
当接收到另一模型用户的模型训练需求时,确定所述另一模型用户的用户权限;
若所述另一模型用户具有所述模型用户的用户权限,则查询所述模型用户对应的所述最优模型;
若所述最优模型符合所述另一模型用户的模型训练需求,则将所述最优模型存入与所述另一模型用户对应的用户目录,并生成对应的模型调用接口供所述另一模型用户调用。
为解决上述技术问题,本申请还提供一种模型训练装置,包括:
创建单元,用于根据用户终端发送的模型用户的属性信息创建用户目录;
关联单元,用于当接收到用于训练模型的数据集和所述数据集的标注文件时,将所述数据集和所述标注文件关联入所述用户目录下的训练数据目录;
生成单元,用于根据所述用户终端发送的所述模型用户的模型训练需求参数生成模型训练任务;
训练单元,用于执行所述模型训练任务,调用所述数据集和所述标注文件进行模型训练,并在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录;
校验单元,用于若达到训练结束条件,则自各所述临时模型中选择最优模型进行模型校验;
接口单元,用于若校验通过,则根据所述用户终端发送的所述模型用户的接口参数将所述最优模型存入所述用户目录下的发布模型目录,并根据所述最优模型的存储路径生成所述最优模型的模型调用接口以供所述模型用户调用。
为解决上述技术问题,本申请还提供一种模型训练设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,所述计算机程序被所述处理器执行时实现如上述任意一项所述模型训练方法的步骤。
为解决上述技术问题,本申请还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一项所述模型训练方法的步骤。
本申请所提供的模型训练方法,通过根据用户终端发送的模型用户的属性信息创建用户目录,将用于训练模型的数据集和标注文件关联入用户目录下的训练数据目录,而后根据模型用户的模型训练需求参数生成并执行模型训练任务,自动调用数据集和标注文件进行模型训练,并在训练过程中将生成的临时模型存入用户目录下的模型存储目录,直至达到训练结束条件,将各临时模型中选择最优模型进行模型校验,校验通过后则根据模型用户的接口参数将最优模型存入用户目录下的发布模型目录,并根据最优模型的存储路径生成最优模型的模型调用接口以供模型用户调用。建立了模型训练存储架构,实现了从用户需求到模型训练再到一键生成模型调用接口的自动化,提高了人工智能项目推进的效率,减轻了项目人员的工作压力,便于用户自行定制所需模型,在现今项目需求逐渐增多的趋势下,优势更加凸显。
本申请还提供了一种模型训练装置、设备及存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法的流程图;
图2为本申请实施例提供的一种训练数据目录的架构示意图;
图3为本申请实施例提供的一种模型存储目录的架构示意图;
图4为本申请实施例提供的一种发布模型目录的架构示意图;
图5为本申请实施例提供的一种模型训练装置的结构示意图;
图6为本申请实施例提供的一种模型训练设备的结构示意图。
具体实施方式
本申请的核心是提供一种模型训练方法、装置、控设备及存储介质,用于实现人工智能模型的自动化训练,提高人工智能项目推进的效率,降低人力成本。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
图1为本申请实施例提供的一种模型训练方法的流程图;图2为本申请实施例提供的一种训练数据目录的架构示意图;图3为本申请实施例提供的一种模型存储目录的架构示意图;图4为本申请实施例提供的一种发布模型目录的架构示意图。
如图1所示,本申请实施例提供的模型训练方法包括:
S101:根据用户终端发送的模型用户的属性信息创建用户目录。
S102:当接收到用于训练模型的数据集和数据集的标注文件时,将数据集和标注文件关联入用户目录下的训练数据目录。
S103:根据用户终端发送的模型用户的模型训练需求参数生成模型训练任务。
S104:执行模型训练任务,调用数据集和标注文件进行模型训练,并在训练过程中将生成的临时模型存入用户目录下的模型存储目录。
S105:若达到训练结束条件,则自各临时模型中选择最优模型进行模型校验。
S106:若校验通过,则根据用户终端发送的模型用户的接口参数将最优模型存入用户目录下的发布模型目录,并根据最优模型的存储路径生成最优模型的模型调用接口以供模型用户调用。
本申请实施例提供的模型训练方法旨在提供一个自动化模型训练平台,具体可以基于云端服务器、本地服务器和设于用户终端的客户端实现。本申请实施例提供的模型训练方法的上述步骤可以基于本地服务器实现,也可以不限于基于本地服务器实现。当所需模型为图像识别模型时,需要本地服务器为带有GPU(Graphic Processing Unit,图形处理器,显卡的核心部件)的服务器。为方便模型用户输入模型训练命令、查看训练进度和训练结果,本申请实施例可以通过客户端以web或app的形式提供交互。
在具体实施中,对于步骤S101来说,模型用户即提出人工智能项目中关于模型训练的项目需求的用户,例如提出在图片中识别目标物体的项目需求的用户。则可以在模型用户首次注册在自动化模型训练平台注册时创建用户目录,也可以在首次接收到模型训练需求时创建用户目录。该用户目录下至少包括与训练数据相关的训练数据目录,与模型训练过程中的过程数据相关的模型存储目录,以及与发布给模型用户的模型相关的发布模型目录。则如图2、图3、图4所示,用户目录的根目录可以为/home/user_name/trunk-AI/data,根目录下包含用户目录1到用户目录N(user_id1~user_id N),每个用户目录下包含但不限于训练数据目录dataset、模型存储目录model、发布模型目录release。
对于步骤S102来说,用于训练模型的数据集即需要训练模型识别的对象,标注文件中包含了人工标注(或其他)的待识别目标的位置与类别信息供人工智能算法学习。数据集和标注文件可以来源于云端服务器,具体可以为模型用户预先上传至云端服务器,或模型用户提供访问链接,或本地服务器根据模型训练需求自行在云端服务器或本地数据库搜索得到的。当数据集为图片集时,标注文件具体可以为对图片集中的图片所包含的目标检测对象的位置与类别信息的文件。
数据集可以进一步包括训练集和验证集,前者用于模型训练,后者用于模型验证。则如图2所示,训练数据目录dataset下具体可以包括:Annotations目录、JPEGImages目录、labels目录以及train.txt、valid.txt文件。其中,Annotations目录用于存放标注文件,JPEGImages目录存放要训练的数据集,labels目录存放标注文件,train.txt、valid.txt分别存放训练集的存储路径与验证集的存储路径以方便调用。
为保证训练过程的顺利进行,可以将数据集和标注文件处理为满足模型训练格式后再进行存储。
对于步骤S103来说,模型训练需求参数可以来源于客户端,也可以预先编写转换脚本由本地服务器自行根据模型用户的模型训练需求生成模型训练需求参数。则本申请实施例提供的模型训练方法还可以包括:基于模型训练需求命令生成模型训练需求参数。
模型训练需求参数可以包括但不限于下述json字段:
data_content:数据集存储路径,以生成train.txt,valid.txt;
user_id:用户标识;
mode_id:模型标识;
model_version:模型版本号,可以按v1,v2,....,vn方式排布;
image_number:图片数量(当数据集为图片集时需要);
classes:单个训练模型包含的类别数(如需要识别两种目标物体);
labels:类别标签(模型训练需求的具体对象,如想要识别的目标物体的标签);
flag:train或test,用于区分是模型训练阶段还是测试阶段。
根据模型用户的用户标识、模型标识等信息,在模型用户的用户目录下关联模型存储目录model用以存储模型训练过程中产生的临时模型。并根据其他模型训练需求参数创建模型训练任务,模型训练流程具体可以包括调用训练数据目录dataset下的数据集和标注文件对人工智能算法进行训练,得到临时模型,将临时模型存入模型存储目录model(model_id1~model_idN),并不断重复上述步骤进行训练迭代,直至达到训练结束条件。
训练过程中产生的临时模型是供选择其中的最优模型作为模型训练的输出结果的,但在迭代次数较多时,将产生较多的临时模型、占用大量存储空间,此时可以不对全部临时模型进行存储。由于在模型训练过程中,通常是向模型优化的方向进行的,则在训练过程中将生成的临时模型存入用户目录下的模型存储目录,具体可以为:在训练过程中,每训练迭代第一预设次数保存一次临时模型,并将临时模型的相关文件存入模型存储目录。第一预设次数可以为1000,即每迭代1000次保存一次当时生成的临时模型。如图3所示,临时模型的相关文件可以包括临时模型的权重文件(filename.weights)和临时模型的训练报告。临时模型的权重文件即临时模型对应的训练结果,若将临时模型投入实际使用则采用权重文件实现模型用户的模型训练需求。临时模型的训练报告中包含(模型用户所关心的)用于评估临时模型的执行效果的参数。可选的,训练报告中可以包括但不限于临时模型的均值平均精确度(mean Average Precision,mAP)和均值模型的损失函数值(loss值)。
对于步骤S104来说,执行上述步骤生成的模型训练任务,直至达到训练结束条件。训练结束条件具体可以为训练迭代次数达到第二预设次数和/或得到评估结果满足预设条件的临时模型。第二预设次数为预设的最大迭代次数。在模型训练过程中,可以将训练状态通过客户端反馈给模型用户,训练状态可以包括但不限于训练中、训练失败、训练完成、模型删除和训练取消。
其中,“训练中”状态表明未达到训练结束条件,如训练迭代次数小于第二预设次数。
“训练失败”状态对应无法训练得到临时模型,或临时模型的训练报告中的评估参数始终无法达到合格水平。
“训练完成”状态对应达到训练结束条件,此时本地服务器可以向客户端发送“user_id+model_id+model_version+success_tra+mAP”,并上传mAP与loss训练报告的url,同时删除对应的数据集与前一个版本的模型;其中success_tra表示训练成功,loss表示模型在训练时的损失函数的值,url表示模型训练报告的存放路径。
“模型删除”状态对应自动地或在模型用户控制下释放临时模型占用的存储空间,删除对应的模型存储目录model,并向客户端发送如“user_id+model_id模型已删除”的指令。
“训练取消”状态对应在接收到客户端的取消命令后,本地服务器终止模型训练,并给客户端发送“user_id+model_id已取消”指令;并判断是否有上一个版本的模型,如果,有则保留;如果没有,则删除对应的模型存储目录model中的临时模型。
对于步骤S105来说,若达到训练结束条件,则自各临时模型中选择最优模型进行模型校验。模型校验所采用的数据可以来源于预先存储于本地的数据,也可以来源于模型用户重新提供的数据。
则自各临时模型中选择最优模型进行模型校验,具体可以包括:接收用户终端发送的待检测数据;将待检测数据输入最优模型,得到检测结果;将检测结果发送至用户终端;接收用户终端发送的校验结果。
具体地,模型用户可以通过客户端提供的交互界面选择最优模型并提供待检测数据(如图片),使客户端向本地服务器发起校验请求。本地服务器接收到校验请求后,利用最优模型对待检测数据进行检测得到检测结果,返回给客户端。由模型用户根据检测结果确定校验结果。模型验证的过程可以为一次或多次,模型用户可以多次提供待检测数据进行校验,直至确认校验通过。
以图像识别模型为例,具体可以由客户端向本地服务器传入信息user_id+model_id+“load”,并加载最优模型,等待客户端发送准备校验指令,而后加载“user_id+model_id+“test”+图片url”,本地服务器在最优模型完成识别后,向客户端上传“user_id+model_id+检测结果”,检测结果以{labels+bbox+score}*n表示;其中labels表示类别标签,bbox表示目标在图像中的实际坐标,score表示该目标的置信度,n表示一帧图像中有多个目标。供模型用户根据检测结果提供校验结果,即模型用户是否接受检测结果,是否采用该最优模型。
对于步骤S106来说,若校验通过,即模型用户接受最优模型的检测结果,则根据模型用户的接口参数将最优模型存入用户目录下的发布模型目录release,并根据最优模型的存储路径生成最优模型的模型调用接口以供模型用户调用。具体地,获取客户端提供的接口参数,具体可以包括如下json字段:用户标识user_id,模型标识model_id,模型版本号model_version,模型发布标志flag。具体可以在接收到客户端发送包含上述接口参数的模型发布请求时按照用户给定的用户标识user_id和模型标识model_id创建发布模型目录release,或采用初始在用户目录下创建的发布模型目录release,用于存放要发布的算法模型。每个发布模型目录release下可以包含model_id1至model_idN目录,用于存放多个发布的最优模型,可以将每个模型用户对应的最优模型的最大数量限定为十个。而后本地服务器按照用户标识user_id和模型标识model_id单独存放每个发布的最优模型(对应的权重文件),文件名可以为“model_id-model_version.weights”,并按照“user_id+model_id+model_version”生成模型调用接口,供客户端调用。在此过程中,可以将发布状态通过客户端反馈给模型用户,发布状态可以包括但不限于发布成功、发布失败、模型删除。
其中,“发布成功”状态对应已生成模型调用接口的状态,此时向客户端发送“user_id+model_id+model_version发布成功”。
“发布失败”状态对应未寻找到最优模型,此时向客户端发送“user_id+model_id+model_version发布失败,该版本模型不存在”。
“模型删除”状态对应在生成模型调用接口之后已释放临时模型的存储空间的状态,此时已删除此次训练产生的临时模型的相关目录,并向客户端发送“user_id+model_id+model_version模型已删除”指令。
在发布该最优模型后,若模型用户产生对该最优模型的检测功能的需求,则通过客户端可以调用该最优模型对应的模型调用接口进行模型调用,之后的检测过程与上述模型校验过程类似,即本地服务器向客户端传入信息user_id+model_id+model_version+“load”,并加载最优模型,等待客户端发送准备校验指令。客户端加载待检测对象,如要识别的图片,发送至本地服务器:user_id+model_id+model_version+“test”+图片url。本地服务器根据模型调用接口调用算法模型,完成检测并向客户端上传检测结果,上传信息可以为“user_id+model_id+model_version+检测结果”,而后可选的删除本地图片。其中,检测结果可以以json格式返回给客户端:{labels+bbox+score}*n,格式参考如下:
在上述检测结果中,可以看到检测物体的类别,以及各检测结果(目标物体的位置坐标)的置信度。上述检测结果仅为举例,在实际检测中,可能包含多个待检测物体(如人、物体),每个待检测物体可能检测到多个目标物体,而每个目标物体可能对应多个不同置信度的位置坐标,通过按置信度筛选或直接将全部检测结果提供各模型用户的方式确定最终的检测结果。若最优模型为图像检测模型,则待检测数据可以为图片,也可以为视频,在检测视频时,则提取其中的帧数据进行检测。
本申请实施例提供的模型训练方法,通过根据用户终端发送的模型用户的属性信息创建用户目录,将用于训练模型的数据集和标注文件关联入用户目录下的训练数据目录,而后根据模型用户的模型训练需求参数生成并执行模型训练任务,自动调用数据集和标注文件进行模型训练,并在训练过程中将生成的临时模型存入用户目录下的模型存储目录,直至达到训练结束条件,将各临时模型中选择最优模型进行模型校验,校验通过后则根据模型用户的接口参数将最优模型存入用户目录下的发布模型目录,并根据最优模型的存储路径生成最优模型的模型调用接口以供模型用户调用。建立了模型训练存储架构,实现了从用户需求到模型训练再到一键生成模型调用接口的自动化,提高了人工智能项目推进的效率,减轻了项目人员的工作压力,便于用户自行定制所需模型,在现今项目需求逐渐增多的趋势下,优势更加凸显。
实施例二
在上述实施例的基础上,为了进一步降低模型训练工作量,提高模型训练效率,本申请实施例提供的模型训练方法还可以包括:
当接收到另一模型用户的模型训练需求时,确定另一模型用户的用户权限;
若另一模型用户具有模型用户的用户权限,则查询模型用户对应的最优模型;
若最优模型符合另一模型用户的模型训练需求,则将最优模型存入与另一模型用户对应的用户目录,并生成对应的模型调用接口供另一模型用户调用。
在具体实施中,预先为各模型用户建立权限列表,用于存储各模型用户之间的权限关系。例如,若B模型用户具有A模型用户的用户权限,则可以在B模型用户产生模型训练需求时,查看A模型用户是否曾经训练过同一模型训练需求的模型,如有则可以自A模型用户中将该模型复制至B模型用户的用户目录下,或直接将A模型用户的模型调用接口提供给B模型用户。
进一步的,各模型用户的权限可以根据不同的项目需求制定,以方便实际项目中的需求。例如,在第一项目需求上,A模型用户具有B模型用户的用户权限,可以调用B模型用户在第一项目需求下的最优模型,但B模型用户不具有A用户在第一项目需求下的用户权限;而在第二项目需求上,B模型用户具有A模型用户的用户权限,而A模型用户不具有B模型用户的用户权限。
上文详述了模型训练方法对应的各个实施例,在此基础上,本申请还公开了与上述方法对应的模型训练装置、设备及存储介质。
实施例三
图5为本申请实施例提供的一种模型训练装置的结构示意图。
如图5所示,本申请实施例提供的模型训练装置包括:
创建单元501,用于根据用户终端发送的模型用户的属性信息创建用户目录;
关联单元502,用于当接收到用于训练模型的数据集和数据集的标注文件时,将数据集和标注文件关联入用户目录下的训练数据目录;
生成单元503,用于根据用户终端发送的模型用户的模型训练需求参数生成模型训练任务;
训练单元504,用于执行模型训练任务,调用数据集和标注文件进行模型训练,并在训练过程中将生成的临时模型存入用户目录下的模型存储目录;
校验单元505,用于若达到训练结束条件,则自各临时模型中选择最优模型进行模型校验;
接口单元506,用于若校验通过,则根据用户终端发送的模型用户的接口参数将最优模型存入用户目录下的发布模型目录,并根据最优模型的存储路径生成最优模型的模型调用接口以供模型用户调用。
可选的,本申请实施例提供的模型训练装置还包括:
确定单元,用于当接收到另一模型用户的模型训练需求时,确定另一模型用户的用户权限;
查询单元,用于若另一模型用户具有模型用户的用户权限,则查询模型用户对应的最优模型;
调用单元,用于若最优模型符合另一模型用户的模型训练需求,则将最优模型存入与另一模型用户对应的用户目录,并生成对应的模型调用接口供另一模型用户调用。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
实施例四
图6为本申请实施例提供的一种模型训练设备的结构示意图。
如图6所示,本申请实施例提供的模型训练设备包括:
存储器610,用于存储计算机程序611;
处理器620,用于执行计算机程序611,该计算机程序611被处理器620执行时实现如上述任意一项实施例所述模型训练方法的步骤。
其中,处理器620可以包括一个或多个处理核心,比如3核心处理器、8核心处理器等。处理器620可以采用数字信号处理DSP(Digital Signal Processing)、现场可编程门阵列FPGA(Field-Programmable Gate Array)、可编程逻辑阵列PLA(Programmable LogicArray)中的至少一种硬件形式来实现。处理器620也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器CPU(CentralProcessing Unit);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器620可以集成有图像处理器GPU(Graphics Processing Unit),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器620还可以包括人工智能AI(Artificial Intelligence)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器610可以包括一个或多个存储介质,该存储介质可以是非暂态的。存储器610还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器610至少用于存储以下计算机程序611,其中,该计算机程序611被处理器620加载并执行之后,能够实现前述任一实施例公开的模型训练方法中的相关步骤。另外,存储器610所存储的资源还可以包括操作系统612和数据613等,存储方式可以是短暂存储或者永久存储。其中,操作系统612可以为Windows。数据613可以包括但不限于上述方法所涉及到的数据。
在一些实施例中,模型训练设备还可包括有显示屏630、电源640、通信接口650、输入输出接口660、传感器670以及通信总线680。
本领域技术人员可以理解,图6中示出的结构并不构成对模型训练设备的限定,可以包括比图示更多或更少的组件。
本申请实施例提供的模型训练设备,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如上所述的模型训练方法,效果同上。
实施例五
需要说明的是,以上所描述的装置、设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。
为此,本申请实施例还提供一种存储介质,该存储介质上存储有计算机程序,计算机程序被处理器执行时实现如模型训练方法的步骤。
该存储介质可以包括:U盘、移动硬盘、只读存储器ROM(Read-Only Memory)、随机存取存储器RAM(Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的模型训练方法的步骤,效果同上。
以上对本申请所提供的一种模型训练方法、装置、控设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种模型训练方法,其特征在于,包括:
根据用户终端发送的模型用户的属性信息创建用户目录;
当接收到用于训练模型的数据集和所述数据集的标注文件时,将所述数据集和所述标注文件关联入所述用户目录下的训练数据目录;
根据所述用户终端发送的所述模型用户的模型训练需求参数生成模型训练任务;
执行所述模型训练任务,调用所述数据集和所述标注文件进行模型训练,并在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录;
若达到训练结束条件,则自各所述临时模型中选择最优模型进行模型校验;
若校验通过,则根据所述用户终端发送的所述模型用户的接口参数将所述最优模型存入所述用户目录下的发布模型目录,并根据所述最优模型的存储路径生成所述最优模型的模型调用接口以供所述模型用户调用;
当接收到另一模型用户的模型训练需求时,确定所述另一模型用户的用户权限;
若所述另一模型用户具有所述模型用户的用户权限,则查询所述模型用户对应的所述最优模型;
若所述最优模型符合所述另一模型用户的模型训练需求,则将所述最优模型存入与所述另一模型用户对应的用户目录,并生成对应的模型调用接口供所述另一模型用户调用;
其中,所述自各所述临时模型中选择最优模型进行模型校验,具体包括:
接收所述用户终端发送的待检测数据;
将所述待检测数据输入所述最优模型,得到检测结果;
将所述检测结果发送至所述用户终端;
接收所述用户终端发送的校验结果。
2.根据权利要求1所述的模型训练方法,其特征在于,所述数据集具体为图片集,所述标注文件具体为对所述图片集中的图片所包含的目标检测对象的位置与类别信息的文件。
3.根据权利要求1所述的模型训练方法,其特征在于,所述在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录,具体为:
在训练过程中,每训练迭代第一预设次数保存一次所述临时模型,并将所述临时模型的相关文件存入所述模型存储目录;
所述相关文件包括所述临时模型的权重文件和所述临时模型的训练报告。
4.根据权利要求3所述的模型训练方法,其特征在于,所述训练报告中具体包括所述临时模型的均值平均精确度和均值模型的损失函数值。
5.根据权利要求1所述的模型训练方法,其特征在于,所述训练结束条件具体为训练迭代次数达到第二预设次数和/或得到评估结果满足预设条件的所述临时模型。
6.一种模型训练装置,其特征在于,包括:
创建单元,用于根据用户终端发送的模型用户的属性信息创建用户目录;
关联单元,用于当接收到用于训练模型的数据集和所述数据集的标注文件时,将所述数据集和所述标注文件关联入所述用户目录下的训练数据目录;
生成单元,用于根据所述用户终端发送的所述模型用户的模型训练需求参数生成模型训练任务;
训练单元,用于执行所述模型训练任务,调用所述数据集和所述标注文件进行模型训练,并在训练过程中将生成的临时模型存入所述用户目录下的模型存储目录;
校验单元,用于若达到训练结束条件,则自各所述临时模型中选择最优模型进行模型校验;
接口单元,用于若校验通过,则根据所述用户终端发送的所述模型用户的接口参数将所述最优模型存入所述用户目录下的发布模型目录,并根据所述最优模型的存储路径生成所述最优模型的模型调用接口以供所述模型用户调用;
确定单元,用于当接收到另一模型用户的模型训练需求时,确定所述另一模型用户的用户权限;
查询单元,用于若所述另一模型用户具有所述模型用户的用户权限,则查询所述模型用户对应的所述最优模型;
调用单元,用于若所述最优模型符合所述另一模型用户的模型训练需求,则将所述最优模型存入与所述另一模型用户对应的用户目录,并生成对应的模型调用接口供所述另一模型用户调用;
其中,所述自各所述临时模型中选择最优模型进行模型校验,具体包括:
接收所述用户终端发送的待检测数据;
将所述待检测数据输入所述最优模型,得到检测结果;
将所述检测结果发送至所述用户终端;
接收所述用户终端发送的校验结果。
7.一种模型训练设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5任意一项所述模型训练方法的步骤。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602806.4A CN114358158B (zh) | 2021-12-24 | 2021-12-24 | 一种模型训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111602806.4A CN114358158B (zh) | 2021-12-24 | 2021-12-24 | 一种模型训练方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114358158A CN114358158A (zh) | 2022-04-15 |
CN114358158B true CN114358158B (zh) | 2023-10-31 |
Family
ID=81101794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111602806.4A Active CN114358158B (zh) | 2021-12-24 | 2021-12-24 | 一种模型训练方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114358158B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529167A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练系统和方法 |
CN112685457A (zh) * | 2020-12-31 | 2021-04-20 | 北京思特奇信息技术股份有限公司 | 一种套餐推荐机器学习模型的自动化训练系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3786783A1 (fr) * | 2019-08-30 | 2021-03-03 | Bull SAS | Systeme d'aide a la conception d'application d'intelligence artificielle, executable sur des plates-formes informatiques distribuees |
-
2021
- 2021-12-24 CN CN202111602806.4A patent/CN114358158B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529167A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练系统和方法 |
CN112685457A (zh) * | 2020-12-31 | 2021-04-20 | 北京思特奇信息技术股份有限公司 | 一种套餐推荐机器学习模型的自动化训练系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114358158A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101571802B (zh) | 一种嵌入式软件测试数据可视化自动生成方法及系统 | |
US7814157B2 (en) | Hypermedia browser API simulation to enable use of browser plug-ins and applets as embedded widgets in script-language-based interactive programs | |
WO2016082311A1 (zh) | 生成数控机床加工控制数据的系统及方法 | |
CN108304201A (zh) | 对象更新方法、装置及设备 | |
CN109933317B (zh) | 埋点方法、装置、服务器及可读存储介质 | |
CN103593181A (zh) | 一种可配置分布式三维视景仿真系统 | |
CN113706099A (zh) | 一种数据标注、深度学习模型训练和服务发布系统 | |
CN109766196A (zh) | 一种任务调度方法、装置及设备 | |
CN104331530A (zh) | 一种基于xml描述的电子战视景仿真平台及工作方法 | |
CN110249312A (zh) | 数据集成作业转换 | |
Durak et al. | Scenario development: A model-driven engineering perspective | |
CN109902182A (zh) | 知识数据处理方法、装置、设备及存储介质 | |
de Gea et al. | Requirements engineering tools: An evaluation | |
CN114385150B (zh) | 基于智能引擎的低代码开发方法 | |
CN114416049B (zh) | 结合rpa和ai的服务接口的配置方法及装置 | |
CN115145568A (zh) | 基于图像识别的代码生成方法以及相关设备 | |
CN114048024A (zh) | 任务部署方法、装置、设备、存储介质及产品 | |
CN115935493B (zh) | 一种二维cad图纸转bim模型方法及系统 | |
CN114358158B (zh) | 一种模型训练方法、装置、设备及存储介质 | |
Ulrich et al. | Operator timing of task level primitives for use in computation-based human reliability analysis | |
CN112130827A (zh) | 基于云端模块化技术的模型开发方法、平台和智能终端 | |
WO2023155274A1 (zh) | 基于rpa和ai的招聘信息发布方法及装置 | |
CN113986380B (zh) | 数据处理方法、装置和系统、电子设备及存储介质 | |
CN114997127A (zh) | 金融数据采集方法、计算机设备及存储介质 | |
CN112346736B (zh) | 一种数据处理方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |