CN116151323A - 模型生成方法、装置、电子设备及存储介质 - Google Patents

模型生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116151323A
CN116151323A CN202310155870.5A CN202310155870A CN116151323A CN 116151323 A CN116151323 A CN 116151323A CN 202310155870 A CN202310155870 A CN 202310155870A CN 116151323 A CN116151323 A CN 116151323A
Authority
CN
China
Prior art keywords
model
data
convolution layer
data set
pruning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310155870.5A
Other languages
English (en)
Inventor
朱凡凡
钟超文
姜雪明
黄乙元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Information Industry Co Ltd
Original Assignee
Zhejiang Supcon Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Information Industry Co Ltd filed Critical Zhejiang Supcon Information Industry Co Ltd
Priority to CN202310155870.5A priority Critical patent/CN116151323A/zh
Publication of CN116151323A publication Critical patent/CN116151323A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种模型生成方法、装置、电子设备及存储介质，涉及机器学习技术领域。通过所提供的AI算法平台可输入业务类型及训练数据集，并根据业务类型及训练数据集中的数据类型分别实现对训练数据集的标注、探索，并生成模型配置信息，从而执行模型配置信息生成用于执行业务类型对应业务的模型。通过本方法用户仅需输入生成模型所需的相关信息，即可自动化的生成业务类型对应的模型，减少人工训练模型时的人力投入，且用户无需学习底层算法的细节就可以获得所需的模型，门槛较低。另外，基于用户输入的精度损失阈值即可自动化的生成满足精度损失阈值的轻量化模型，从而满足模型在边缘端平台上的部署，使得生成的模型更加适用于边缘AI的业务场景。

Description

模型生成方法、装置、电子设备及存储介质
技术领域
本申请涉及机器学习技术领域，具体而言，涉及一种模型生成方法、装置、电子设备及存储介质。
背景技术
随着机器学习的不断发展，越来越多的企业通过在业务平台中部署高性能的神经网络模型以代替人工解决业务问题。
目前，大多企业均是采用边缘端平台部署神经网络模型，如移动端/嵌入式设备，这些平台的特点是内存资源少，处理器性能不高，功耗受限，这使得目前大多精度较高的模型根本无法在这些平台进行部署和达到实时运行，而轻量化的模型，计算速度更快，对硬件的要求更低，可以适用于边缘端平台。因此，如何生成轻量化的神经网络模型成为亟待解决的问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种模型生成方法、装置、电子设备及存储介质，以便于实现模型的轻量化处理。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种模型生成方法，包括：
获取用户输入的业务类型及训练数据集；
根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集；
根据所述训练数据集的数据类型、以及所述业务类型，对所述标注后的训练样本集执行对应的数据探索任务，得到数据探索结果；
根据所述数据探索结果以及所述业务类型，确定模型生成参数，所述模型生成参数至少包括：人工智能算法以及参数；
根据所述数据探索结果、所述模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据所述模型配置信息，生成目标模型。
可选地，所述根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集，包括：
根据所述业务类型，从所述训练数据集的数据类型所匹配的标注方法中确定目标标注方法；
采用目标标注方法对所述训练数据集中的各训练样本数据进行标注，得到标注后的训练数据集。
可选地，所述根据所述标注方式得到标注后的训练数据集之后，还包括：
根据所述训练数据集的数据类型，采用与所述数据类型匹配的至少一种数据增强算法，对所述训练数据集中的各训练样本数据进行扩增，得到各训练样本数据对应的扩增样本数据，所述数据类型包括：文本数据、图像数据、结构化数据；
根据生成所述扩增样本数据所采用的数据增强算法，生成所述扩增样本数据的标注信息；
根据所述各训练样本数据、以及各训练样本数据对应的扩增样本数据，得到目标训练数据集。
可选地，所述根据所述数据探索结果以及所述业务类型，确定模型生成参数，包括：
根据所述数据探索结果、以及所述业务类型，从人工智能算法库中确定至少一种人工智能算法；
分别确定各人工智能算法的参数信息，所述参数信息包括：算法所使用的算子和/或算法的参数值。
根据各人工智能算法及参数信息，得到所述模型生成参数。
可选地，所述根据所述模型配置信息，生成目标模型，包括：
执行所述模型配置信息，生成初始的模型；
采用重要度计算公式，分别确定所述初始的模型中各卷积层中各卷积核的重要度；
根据各卷积层中各卷积核的重要度、以及所述精度损失阈值，依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
可选地，所述根据各卷积层中各卷积核的重要度、以及所述精度损失阈值，依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型，包括：
根据目标卷积层中各卷积核的重要度，依次剪掉重要度最低的卷积核，并在每次剪掉一个卷积核后，判断当前的模型的精度损失值是否大于所述精度损失阈值；
若是，则确定当前所剪掉的卷积核的数量为所述目标卷积层对应的剪枝数量；若否，则继续从所述目标卷积层的各卷积核中剪去当前重要度最低的卷积核，直至当前的模型的精度损失值大于所述精度损失阈值，则停止执行；
根据各卷积层对应的剪枝数量依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
可选地，所述根据各卷积层对应的剪枝数量依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型，包括：
根据当前卷积层对应的剪枝数量，从所述当前卷积层中剪掉所述剪枝数量的重要度最低的卷积核，得到当前剪枝后的模型；
判断当前剪枝后的模型的精度损失值是否大于所述精度损失阈值；
若是，则对所述当前剪枝后的模型进行网络参数调优，直到所述当前剪枝后的模型的精度损失值小于所述精度损失阈值时，得到当前新的模型；
将当前卷积层的下一卷积层确定为新的卷积层，并根据所述新的卷积层对应的剪枝数量，对所述当前新的模型的新的卷积层进行剪枝，直至对所有的卷积层剪枝结束，将各卷积层剪枝结束后得到的模型作为所述目标模型。
第二方面，本申请实施例还提供了一种模型生成装置，包括：获取模块、标注模块、数据探索模块、确定模块、生成模块；
所述获取模块，用于获取用户输入的业务类型及训练数据集；
所述标注模块，用于根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集；
所述数据探索模块，用于根据所述训练数据集的数据类型、以及所述业务类型，对所述标注后的训练样本集执行对应的数据探索任务，得到数据探索结果；
所述确定模块，用于根据所述数据探索结果以及所述业务类型，确定模型生成参数，所述模型生成参数至少包括：人工智能算法以及参数；
所述生成模块，用于根据所述数据探索结果、所述模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据所述模型配置信息，生成目标模型。
可选地，所述标注模块，具体用于根据所述业务类型，从所述训练数据集的数据类型所匹配的标注方法中确定目标标注方法；
采用目标标注方法对所述训练数据集中的各训练样本数据进行标注，得到标注后的训练数据集。
可选地，还包括：数据扩增模块；
数据扩增模块，用于根据所述训练数据集的数据类型，采用与所述数据类型匹配的至少一种数据增强算法，对所述训练数据集中的各训练样本数据进行扩增，得到各训练样本数据对应的扩增样本数据，所述数据类型包括：文本数据、图像数据、结构化数据；
根据生成所述扩增样本数据所采用的数据增强算法，生成所述扩增样本数据的标注信息；
根据所述各训练样本数据、以及各训练样本数据对应的扩增样本数据，得到目标训练数据集。
可选地，确定模块，具体用于根据所述数据探索结果、以及所述业务类型，从人工智能算法库中确定至少一种人工智能算法；
分别确定各人工智能算法的参数信息，所述参数信息包括：算法所使用的算子和/或算法的参数值。
根据各人工智能算法及参数信息，得到所述模型生成参数。
可选地，生成模块，具体用于执行所述模型配置信息，生成初始的模型；
采用重要度计算公式，分别确定所述初始的模型中各卷积层中各卷积核的重要度；
根据各卷积层中各卷积核的重要度、以及所述精度损失阈值，依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
可选地，生成模块，具体用于根据目标卷积层中各卷积核的重要度，依次剪掉重要度最低的卷积核，并在每次剪掉一个卷积核后，判断当前的模型的精度损失值是否大于所述精度损失阈值；
若是，则确定当前所剪掉的卷积核的数量为所述目标卷积层对应的剪枝数量；若否，则继续从所述目标卷积层的各卷积核中剪去当前重要度最低的卷积核，直至当前的模型的精度损失值大于所述精度损失阈值，则停止执行；
根据各卷积层对应的剪枝数量依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
可选地，生成模块，具体用于根据当前卷积层对应的剪枝数量，从所述当前卷积层中剪掉所述剪枝数量的重要度最低的卷积核，得到当前剪枝后的模型；
判断当前剪枝后的模型的精度损失值是否大于所述精度损失阈值；
若是，则对所述当前剪枝后的模型进行网络参数调优，直到所述当前剪枝后的模型的精度损失值小于所述精度损失阈值时，得到当前新的模型；
将当前卷积层的下一卷积层确定为新的卷积层，并根据所述新的卷积层对应的剪枝数量，对所述当前新的模型的新的卷积层进行剪枝，直至对所有的卷积层剪枝结束，将各卷积层剪枝结束后得到的模型作为所述目标模型。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的模型生成方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的模型生成方法的步骤。
本申请的有益效果是：
本申请提供一种模型生成方法、装置、电子设备及存储介质，通过所提供的AI算法平台可输入业务类型及训练数据集，并根据业务类型及训练数据集中的数据类型分别实现对训练数据集的标注、探索，并生成模型配置信息，从而根据执行模型配置信息后可生成用于执行业务类型对应业务的模型。通过本方法用户仅需要输入生成模型所涉及到的相关信息，即可自动化的生成业务类型对应的模型，减少了人工训练模型时的人力投入，且用户无需学习底层算法的细节就可以获得所需的模型，门槛较低。另外，基于用户输入的精度损失阈值即可自动化的生成满足精度损失阈值的轻量化模型，从而满足模型在边缘端平台上的部署，使得生成的模型更加适用于边缘AI的业务场景。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种模型生成系统的架构示意图；
图2为本申请实施例提供的一种模型生成方法的流程示意图；
图3为本申请实施例提供的另一种模型生成方法的流程示意图；
图4为本申请实施例提供的又一种模型生成方法的流程示意图；
图5为本申请实施例提供的另一种模型生成方法的流程示意图；
图6为本申请实施例提供的另一种模型生成方法的流程示意图；
图7为本申请实施例提供的又一种模型生成方法的流程示意图；
图8为本申请实施例提供的另一种模型生成方法的流程示意图；
图9为本申请实施例提供的一种模型生成装置的示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
图1为本申请实施例提供的一种模型生成系统的架构示意图。模型生成系统可以指AI((Artificial Intelligence，人工智能)算法平台，本方法所提供的AI算法平台可包括：数据管理单元、数据探索单元、模型训练单元、模型仓库单元。
数据管理单元用于采集用户输入的训练数据集，并完成对训练数据集的标注和数据增强处理，得到目标训练数据集；数据探索单元用于对目标训练数据集执行数据探索任务，得到探索结果；模型训练单元用于基于用户所选择的数据预处理方法、特征工程方法及人工智能算法生成模型配置信息，并在计算集群上执行模型配置信息，生成目标模型。
模型仓库单元支持一键式发布模型服务，可用于用户对生成的目标模型发布模型服务，同时，还支持对模型服务用户权限管理，配置每个用户对每个模型服务的调用权限，以保证模型服务的使用安全性。
其中，模型训练单元可支持自动轻量化功能，可基于用户输入的精度损失阈值，自动化的生成满足精度损失阈值的轻量化模型，生成的轻量化模型可导出并被部署在边缘端平台上，以满足边缘端平台上的模型的部署。
如下通过具体实施例对本申请的方法进行说明。
图2为本申请实施例提供的一种模型生成方法的流程示意图；本方法的执行主体可以是计算机或者终端设备，如图2所示，该方法可包括：
S101、获取用户输入的业务类型及训练数据集。
可选地，用户可基于AI算法平台所提供的用户界面在对应的信息输入入口中输入业务类型及训练数据集。这里的用户可以指算法工程师。
业务类型可以包括业务的具体执行内容，例如：人脸识别、车辆识别、数据统计等。训练数据集则为用于生成业务类型对应的模型所输入的训练样本集。
在一些实施例中，训练数据集可由用户自动上传，而在一些实施例中，训练数据集可以是从大数据平台中根据业务类型自动化采集的。
对于获取的训练数据集，可以根据用户ID、数据集编号及数据集版本分别保存至底层数据库中。以将不同用户所上传的训练数据集进行对应存储。
S102、根据业务类型，确定训练数据集的标注方式，并根据标注方式得到标注后的训练数据集。
可选地，基于业务类型，用户可从算法平台所提供的可视化标注数据库中选择训练数据集的标注方式。标注方式的选择根据业务类型确定。
例如：业务类型为对图像中的矩形建筑物进行识别，那么，这里选择的标注方式可以为矩形标注，从而可对训练数据集中的目标矩形建筑物进行矩形标注。
对于不同形状或者不同类型对象的识别或检测，对应选择的标注框的形状可以不同，例如：圆形标注、多边形标注等。
基于所选择的标注方式，可对训练数据集中的各样本数据进行对应方式的标注，从而得到标注后的训练数据集。
S103、根据训练数据集的数据类型、以及业务类型，对标注后的训练样本集执行对应的数据探索任务，得到数据探索结果。
在一些实施例中，还可对标注后的训练数据集执行数据探索任务，得到的数据探索结果可以决定后续对于数据预处理方法的选择。
本实施例中可提供对于结构化数据集、图片数据集及文本数据集的分析探索。数据探索任务的选择可根据训练数据集的数据类型及业务类型综合确定。训练数据集的数据类型也即指训练数据集中包含的训练样本数据的类型，可以是上述的结构化数据集、图片数据集及文本数据集。
不同类型的训练数据集其所匹配的数据探索任务可以存在差异，也即不同的数据探索任务所支持处理的数据类型会存在差异。另外，根据业务类型的不同，所需要执行的数据探索任务也可以存在不同，从而针对不同的业务类型及训练数据集可选择对应的数据探索任务进行数据探索。
S104、根据数据探索结果以及业务类型，确定模型生成参数，模型生成参数至少包括：人工智能算法以及参数。
在一些实施例中，基于上述的数据探索结果以及业务类型，可以确定模型生成参数，这里的模型生成参数可以指用于生成执行业务类型对应的业务的模型相关参数信息。
可选地，模型生成参数至少包括：人工智能算法以及参数，然而在一些情况下，模型生成参数还可包括数据预处理算法以及参数和/或特征工程算法以及参数。
可根据数据探索结果和业务类型确定用于生成模型的数据数据预处理算法以及参数、特征工程算法以及参数、人工智能算法以及参数。
S105、根据数据探索结果、模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据模型配置信息，生成目标模型。
在一些实施例中可基于上述所选择的模型生成参数和得到的数据探索结果，结合用户输入的精度损失阈值，生成模型配置信息，模型配置信息可被提交至计算集群执行，从而得到执行结果也即目标模型。
其中，基于用户输入的精度损失阈值，可自动化的生成满足精度损失阈值的轻量化的模型，从而满足模型在边缘端平台上的部署需求。
综上，本实施例提供的模型生成方法，通过所提供的AI算法平台可输入业务类型及训练数据集，并根据业务类型及训练数据集中的数据类型分别实现对训练数据集的标注、探索，并生成模型配置信息，从而根据执行模型配置信息后可生成用于执行业务类型对应业务的模型。通过本方法用户仅需要输入生成模型所涉及到的相关信息，即可自动化的生成业务类型对应的模型，减少了人工训练模型时的人力投入，且用户无需学习底层算法的细节就可以获得所需的模型，门槛较低。另外，基于用户输入的精度损失阈值即可自动化的生成满足精度损失阈值的轻量化模型，从而满足模型在边缘端平台上的部署，使得生成的模型更加适用于边缘AI的业务场景。
图3为本申请实施例提供的另一种模型生成方法的流程示意图；可选地，步骤S102中，根据业务类型，确定训练数据集的标注方式，并根据标注方式得到标注后的训练数据集，可以包括：
S301、根据业务类型，从训练数据集的数据类型所匹配的标注方法中确定目标标注方法。
数据标注是向训练数据集添加元数据的过程。这种元数据通常采用标签的形式，可以添加到任何类型的数据中，包括文本、图像和视频。添加高质量和高精准的标签是为机器学习开发训练数据集的一个关键过程，因为监督式机器学习模型可以学习识别标注数据中重复出现的模式。
AI算法平台的数据管理单元可支持图像类型和文本类型的数据集的可视化标注，采用Canvas、jsPlumb等前端控件，将用户在界面上绘制的图形转成json结构的标注文件。对于图像类型的数据集，支持的标注方法可包括但不限于：分类标注、矩形标注、多边形标注、圆形标注、关键点标注、行为姿态标注；对于文本类型的数据集，支持的标注方法可包括但不限于：文本分类、实体标注。
可根据训练数据集的数据类型，确定训练数据集所匹配的标注方式。进一步地，根据业务类型，从训练数据集的数据类型所匹配的标注方式中确定目标标注方式。
S302、采用目标标注方法对训练数据集中的各训练样本数据进行标注，得到标注后的训练数据集。
基于所确定的目标标注方式，则可对训练数据集中所包括的各个训练样本数据进行标注，得到标注后的训练数据集。
图4为本申请实施例提供的又一种模型生成方法的流程示意图；可选地，步骤S302中，根据标注方式得到标注后的训练数据集之后，本方法还可包括：
S401、根据训练数据集的数据类型，采用与数据类型匹配的至少一种数据增强算法，对训练数据集中的各训练样本数据进行扩增，得到各训练样本数据对应的扩增样本数据，数据类型包括：文本数据、图像数据、结构化数据。
数据增强是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。它是克服训练数据不足的有效手段，目前在深度学习的各个领域中应用广泛。
数据管理单元还可支持对图像类型和文本类型的数据集进行自动的数据增强。对于图像类型的数据集，数据增强方法包括但不限于：翻转、旋转、缩放、剪裁、模糊、噪声、颜色抖动。对于文本类型的数据，数据增强方法包括但不限于：同义词替换、随机噪声、反向翻译、实例交叉。对标注后的图像类型数据的数据增强，对应的会产生新的标注文件。如果采用模糊、噪声、颜色抖动这3个方法，那么标注文件中的内容不需要改变；如果采用翻转、旋转、缩放、剪裁这4种方法，那么对应的需要改变标签文件的内容。
可选地，基于训练数据集的数据类型，可从数据类型匹配的多种数据增强算法中确定至少一个数据增强算法。从而基于所确定的数据增强算法，对训练数据集中的各个训练样本数据进行扩增，得到每个训练样本数据对应的扩增样本数据。
S402、根据生成扩增样本数据所采用的数据增强算法，生成扩增样本数据的标注信息。
对于数据类型为文本类型的训练数据集，可采用人工标注的方式对训练数据集中各个训练样本数据所对应生成的扩增样本数据进行标注。
而对于数据类型为图像类型的训练数据集，当选择模糊、噪声、颜色抖动这3个方法进行数据扩增时，由于这种数据扩增方式不会对图像原本的尺寸及所包含的内容造成干扰，也即数据的本质未发生改变，那么生成的扩增样本数据的标注信息与训练样本数据原本的标注信息相同。
而当采用翻转、旋转、缩放、剪裁这4种方法进行数据扩增时，由于生成的扩增样本数据的尺寸以及图形会发生改变，那么，则需要为每个扩增样本数据生成新的标注信息，而本实施例中可根据数据扩增方式对应的扩增规则自动的基于原始的标签信息，生成新的标注信息。
S403、根据各训练样本数据、以及各训练样本数据对应的扩增样本数据，得到目标训练数据集。
可选地，基于训练数据集中各训练样本数据及对应的标注信息，以及各训练样本数据对应的扩增样本数据及其对应的标注信息，则可得到目标训练数据集。
图5为本申请实施例提供的另一种模型生成方法的流程示意图；可选地，步骤S104中，根据数据探索结果以及业务类型，确定模型生成参数，可以包括：
S501、根据数据探索结果、以及业务类型，从人工智能算法库中确定至少一种人工智能算法。
可选地，数据探索单元可提供对结构化数据集、图像数据集、文本数据集的分析探索能力，包括：类别特征分析、卡方独立性检验、正态检验、离群点分析、缺失度分析、相关性分析、相关矩阵分析、统计计算分析、通道均值分析、均衡性分析。
每种数据探索方法的目的如下：
类别特征分析：探索一个离散特征不同取值下，另一个连续特征的分布情况。
卡方独立性检验：探索2个特征是否独立。
正态检验：探索1个特征是否符合正态分布。
离群点检测：采用箱线图或正态分布法，探索出离群点，以及离群点的取值范围。
缺失度分析：探索每个特征的缺失度，缺失度用百分数表示。
相关性分析：探索2个特征之间的相关性，得到相关系数和P值。
相关矩阵分析：探索所有特征中每2个特征之间的相关系数，得到一个相关矩阵。
统计计算分析：探索每个特征的均值、方差、最小值、最大值、分位数、直方图。
通道均值分析：探索图像类型数据集每个颜色通道的均值。
均衡性分析：统计图像类型数据集或文本类型数据集中，每类样本的总数，从而判断样本分布是否均衡。
数据探索的结果以图表的形式展现。根据数据探索的结果，可以决定接下来的数据预处理方法。
可选地，基于数据探索结果可结合业务类型，确定出构成模型生成参数的至少一种人工智能算法。
这里对于人工智能算法的选择同样是用户基于所提供的AI算法平台的用户界面中的算法库进行选择。
S502、分别确定各人工智能算法的参数信息，参数信息包括：算法所使用的算子和/或算法的参数值。
在一些实施例中，基于选定的各算法，还可为每个算法设置对应的参数信息，其中，参数信息可包括：算法所使用的具体参数值和/或算法所使用的具体算子。
S503、根据各人工智能算法及参数信息，得到模型生成参数。
那么，由所确定的各人工智能算法的参数信息，则可得到模型生成参数，也即生成一个模型训练任务。
在另一种实施例中，除了上述对于人工智能算法的确定之外，还可根据数据探索结果以及业务类型分别确定任意多种数据预处理算法及任意多种特征工程算法。
模型训练单元所支持的数据预处理算法包括但不限于：采样、数据切分、缺失值填充、数据类型转换、数据过滤、滑动窗口，支持的特征工程算法包括但不限于：独热编码、连续特征离散化、归一化、标准化、尺度转换、改变形状、减均值，内置的AI算法(人工智能算法)共一百多种，包括但不限于：逻辑回归、决策树、k-means(k-means clusteringalgorithm，k均值聚类算法)、MLP(Multilayer Perceptron，多层感知机)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long short-term memory，长短期记忆)、MobileNet(轻量级卷积神经网络)、ResNet(残差网络)、SSD(Single Shot MultiBoxDetector，目标检测算法)、Faster R-CNN(Faster Region-CNN，快速区域卷积神经网络)、EfficientDet(Scalable and Efficient Object Detection，目标检测算法系列)、deeplab(语义分割)、Mask RCNN(Mask Region-CNN，标签区域卷积神经网络)等。
例如：用户新建了一个离群点分析的数据探索任务，数据探索结果展示大于100的是离群点，那么在接下来的数据预处理方法选择中，就可选择数据过滤这个数据预处理方法，将大于100的样本数据过滤掉。
那么，在这种场景下，则可由所确定的各目标数据预处理算法及各目标数据预处理算法的参数信息、各特征工程算法及各特征工程算法的参数信息、各人工智能算法及各人工智能算法的参数信息，则可得到模型生成参数，也即生成一个模型训练任务。
在一些实施例中，上述得到的模型生成参数可以json形式提交到AI算法平台的计算集群上执行，得到的执行结果可以按照用户id、模型id保存到对象存储中，执行结果则可以为生成的目标模型。
其中，模型训练单元的底层基于Spark ML和Tensorflow这两种机器学习计算引擎，相应地搭建了Spark集群和GPU集群。
图6为本申请实施例提供的另一种模型生成方法的流程示意图；可选地，步骤S105中，根据模型配置信息，生成目标模型，可以包括：
S601、执行模型配置信息，生成初始的模型。
可选地，执行模型配置信息后，可得到初始的模型，而本实施中，进一步地对初始的模型进行轻量化处理，以得到可用于在边缘化平台上部署的模型。
S602、采用重要度计算公式，分别确定初始的模型中各卷积层中各卷积核的重要度。
可选地，可采用重要度计算公式计算初始的模型中每个卷积层中的每个卷积核的重要度。
对每个卷积核Fi,，计算它的重要度Si,j，Si,j的计算公式如下：
Figure BDA0004092416040000141
其中，
Figure BDA0004092416040000142
i表示第i个卷积层，j表示该卷积层的第j个卷积核，ni表示卷积核Fi,的通道数，k×k表示卷积核的宽和高，∑|l|表示第l个通道上的所有元素的绝对值之和。
S603、根据各卷积层中各卷积核的重要度、以及精度损失阈值，依次对初始的模型的各卷积层进行剪枝，得到目标模型。
根据各卷积层中各卷积核的重要度、以及用户输入的精度损失阈值，可采用对初始的模型的各卷积层进行剪枝的方式实现模型轻量化处理，得到目标模型。
图7为本申请实施例提供的又一种模型生成方法的流程示意图；可选地，步骤S603中，根据各卷积层中各卷积核的重要度、以及精度损失阈值，依次对初始的模型的各卷积层进行剪枝，得到目标模型，可以包括：
S701、根据目标卷积层中各卷积核的重要度，依次剪掉重要度最低的卷积核，并在每次剪掉一个卷积核后，判断当前的模型的精度损失值是否大于精度损失阈值。
对每个卷积层独立剪枝，并在验证集上对剪枝后的模型进行评估，确定每个卷积层的剪枝数量N_i。
在对某一卷积层(这里以目标卷积层为例)进行剪枝的时候，按照该卷积层中的每个卷积核的重要度由低到高排序，依次剪去重要度最低的一个卷积核，每减去一个卷积核，就在验证集上对剪枝后的模型进行评估。
这里需要区分模型的精度和模型的精度损失值两个概念，假设模型当前的精度为99％，模型的精度损失值为5％，那么，模型精度损失5％后，模型的精度则变为94％。本实施例中是采用模型的精度损失阈值进行计算，并非是采用模型的精度阈值进行计算。
S702、若是，则确定当前所剪掉的卷积核的数量为目标卷积层对应的剪枝数量；若否，则继续从目标卷积层的各卷积核中剪去当前重要度最低的卷积核，直至当前的模型的精度损失值大于精度损失阈值，则停止执行。
如果模型精度的精度损失值小于用户设置的精度损失阈值，就继续剪去下一个重要度最低的卷积核，如果模型精度的精度损失值大于等于用户设置的精度损失阈值，该层的剪枝结束，此时该层剪掉的卷积核总数就是剪枝数量N_i。
S703、根据各卷积层对应的剪枝数量依次对初始的模型的各卷积层进行剪枝，得到目标模型。
通过上述步骤可分别确定出每个卷积层对应的剪枝数量，那么，可根据各卷积层对应的剪枝数量对各卷积层分别进行剪枝，得到轻量化的目标模型。
图8为本申请实施例提供的另一种模型生成方法的流程示意图；步骤S703中，根据各卷积层对应的剪枝数量依次对初始的模型的各卷积层进行剪枝，得到目标模型，可以包括：
S801、根据当前卷积层对应的剪枝数量，从当前卷积层中剪掉剪枝数量的重要度最低的卷积核，得到当前剪枝后的模型。
当前卷积层可以指当前进行剪枝的卷积层，可从初始的模型的第一层卷积层开始进行剪枝，对第一层剪枝结束后再对第二层卷积层进行剪枝，依次递推，完成对每一层卷积层的剪枝。
可从当前卷积层中减去重要度最低的N_i个卷积核，得到当前剪枝后的模型。N_i即为上述确定出的当前卷积层对应的剪枝数量。
S802、判断当前剪枝后的模型的精度损失值是否大于精度损失阈值。
可选地，可在验证集上对当前剪枝后的模型进行评估。
S803、若是，则对当前剪枝后的模型进行网络参数调优，直到当前剪枝后的模型的精度损失值小于精度损失阈值时，得到当前新的模型。
如果当前剪枝后的模型的模型精度的精度损失值大于等于用户设置的精度损失阈值，就在训练集上继续调优模型，调优模型是对模型的网络参数进行调整，而模型的网络结构依然保持不变，当调优结果使得模型的精度精度损失值小于精度损失阈值时，停止调优，得到当前新的模型。
S804、将当前卷积层的下一卷积层确定为新的卷积层，并根据新的卷积层对应的剪枝数量，对当前新的模型的新的卷积层进行剪枝，直至对所有的卷积层剪枝结束，将各卷积层剪枝结束后得到的模型作为目标模型。
此时，对于当前卷积层的剪枝结束，可将当前卷积层的下一层作为新的卷积层，按照上述的剪枝方式，对新的卷积层进行剪枝，直到所有卷积层均剪枝结束后，就得到了轻量化的目标模型。
在一些实施例中，上述如果当前剪枝后的模型的模型精度的精度损失值小于用户设置的精度损失阈值，则不进行模型调优，而是直接对当前卷积层的下一卷积层进行剪枝。
可选地，一种方式中，用户可从AI算法平台中下载获取所生成的目标模型的模型文件，并将模型文件部署于所要部署的平台中，以用于执行对应的业务。用户不仅可以对自己所具有的目标模型进行下载，也可以对具有调用权限的其他用户所具体的目标模型进行下载，实现模型的共享。
在另一种方式中，AI算法平台的模型仓库单元可支持一键式发布模型服务。采用docker容器技术，可以实现模型的热更新。
模型仓库单元可支持对模型服务进行用户权限管理，配置每个用户对每一个模型服务的调用权限，对已授权的用户，当用户第一次使用账号密码成功进行登录后，平台便生成一个Token(标记)及Token失效时间并将此返回给客户端，以后客户端只需在有效时间内带上这个Token前来请求数据即可，无需再次带上用户名和密码，从而，保证模型服务的使用安全性。
用户在调用模型服务时，可以通过终端上的客户端进行登录，登录成功后，可在线调用具有使用权限的模型服务处理业务，这种方式无需在终端上部署加载目标模型即可实时在线的进行模型调用。
综上所述，本申请实施例提供的模型生成方法，通过所提供的AI算法平台可输入业务类型及训练数据集，并根据业务类型及训练数据集中的数据类型分别实现对训练数据集的标注、探索，并生成模型配置信息，从而根据执行模型配置信息后可生成用于执行业务类型对应业务的模型。通过本方法用户仅需要输入生成模型所涉及到的相关信息，即可自动化的生成业务类型对应的模型，减少了人工训练模型时的人力投入，且用户无需学习底层算法的细节就可以获得所需的模型，门槛较低。另外，基于用户输入的精度损失阈值即可自动化的生成满足精度损失阈值的轻量化模型，从而满足模型在边缘端平台上的部署，使得生成的模型更加适用于边缘AI的业务场景。
下述对用以执行本申请所提供的模型生成方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图9为本申请实施例提供的一种模型生成装置的示意图，该模型生成装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述的计算机设备，如图9所示，该装置可包括：获取模块910、标注模块920、数据探索模块930、确定模块940、生成模块950；
获取模块910，用于获取用户输入的业务类型及训练数据集；
标注模块920，用于根据业务类型，确定训练数据集的标注方式，并根据标注方式得到标注后的训练数据集；
数据探索模块930，用于根据训练数据集的数据类型、以及业务类型，对标注后的训练样本集执行对应的数据探索任务，得到数据探索结果；
确定模块940，用于根据数据探索结果以及业务类型，确定模型生成参数，模型生成参数至少包括：人工智能算法以及参数；
生成模块950，用于根据数据探索结果、模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据模型配置信息，生成目标模型。
可选地，标注模块920，具体用于根据业务类型，从训练数据集的数据类型所匹配的标注方法中确定目标标注方法；
采用目标标注方法对训练数据集中的各训练样本数据进行标注，得到标注后的训练数据集。
可选地，还包括：数据扩增模块；
数据扩增模块，用于根据训练数据集的数据类型，采用与数据类型匹配的至少一种数据增强算法，对训练数据集中的各训练样本数据进行扩增，得到各训练样本数据对应的扩增样本数据，数据类型包括：文本数据、图像数据、结构化数据；
根据生成扩增样本数据所采用的数据增强算法，生成扩增样本数据的标注信息；
根据各训练样本数据、以及各训练样本数据对应的扩增样本数据，得到目标训练数据集。
可选地，确定模块940，具体用于根据数据探索结果、以及业务类型，从人工智能算法库中确定至少一种人工智能算法；
分别确定各人工智能算法的参数信息，参数信息包括：算法所使用的算子和/或算法的参数值。
根据各人工智能算法及参数信息，得到模型生成参数。
可选地，生成模块950，具体用于执行模型配置信息，生成初始的模型；
采用重要度计算公式，分别确定初始的模型中各卷积层中各卷积核的重要度；
根据各卷积层中各卷积核的重要度、以及精度损失阈值，依次对初始的模型的各卷积层进行剪枝，得到目标模型。
可选地，生成模块950，具体用于根据目标卷积层中各卷积核的重要度，依次剪掉重要度最低的卷积核，并在每次剪掉一个卷积核后，判断当前的模型的精度损失值是否大于精度损失阈值；
若是，则确定当前所剪掉的卷积核的数量为目标卷积层对应的剪枝数量；若否，则继续从目标卷积层的各卷积核中剪去当前重要度最低的卷积核，直至当前的模型的精度损失值大于精度损失阈值，则停止执行；
根据各卷积层对应的剪枝数量依次对初始的模型的各卷积层进行剪枝，得到目标模型。
可选地，生成模块950，具体用于根据当前卷积层对应的剪枝数量，从当前卷积层中剪掉剪枝数量的重要度最低的卷积核，得到当前剪枝后的模型；
判断当前剪枝后的模型的精度损失值是否大于精度损失阈值；
若是，则对当前剪枝后的模型进行网络参数调优，直到当前剪枝后的模型的精度损失值小于精度损失阈值时，得到当前新的模型；
将当前卷积层的下一卷积层确定为新的卷积层，并根据新的卷积层对应的剪枝数量，对当前新的模型的新的卷积层进行剪枝，直至对所有的卷积层剪枝结束，将各卷积层剪枝结束后得到的模型作为目标模型。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。
图10为本申请实施例提供的一种电子设备的结构示意图，该设备包括：处理器801、存储介质802。
存储介质802用于存储程序，处理器801调用存储介质802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
其中，存储介质802存储有程序代码，当程序代码被处理器801执行时，使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的模型生成方法中的各种步骤。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储介质802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储介质可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储介质、随机访问存储介质(Random AccessMemory，RAM)、静态随机访问存储介质(Static Random Access Memory，SRAM)、可编程只读存储介质(Programmable Read Only Memory，PROM)、只读存储介质(Read Only Memory，ROM)、带电可擦除可编程只读存储介质(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储介质、磁盘、光盘等等。存储介质是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储介质802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储介质(英文：Read-Only Memory，简称：ROM)、随机存取存储介质(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种模型生成方法，其特征在于，包括：
获取用户输入的业务类型及训练数据集；
根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集；
根据所述训练数据集的数据类型、以及所述业务类型，对所述标注后的训练样本集执行对应的数据探索任务，得到数据探索结果；
根据所述数据探索结果以及所述业务类型，确定模型生成参数，所述模型生成参数至少包括：人工智能算法以及参数；
根据所述数据探索结果、所述模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据所述模型配置信息，生成目标模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集，包括：
根据所述业务类型，从所述训练数据集的数据类型所匹配的标注方法中确定目标标注方法；
采用目标标注方法对所述训练数据集中的各训练样本数据进行标注，得到标注后的训练数据集。
3.根据权利要求1所述的方法，其特征在于，所述根据所述标注方式得到标注后的训练数据集之后，还包括：
根据所述训练数据集的数据类型，采用与所述数据类型匹配的至少一种数据增强算法，对所述训练数据集中的各训练样本数据进行扩增，得到各训练样本数据对应的扩增样本数据，所述数据类型包括：文本数据、图像数据、结构化数据；
根据生成所述扩增样本数据所采用的数据增强算法，生成所述扩增样本数据的标注信息；
根据所述各训练样本数据、以及各训练样本数据对应的扩增样本数据，得到目标训练数据集。
4.根据权利要求1所述的方法，其特征在于，所述根据所述数据探索结果以及所述业务类型，确定模型生成参数，包括：
根据所述数据探索结果、以及所述业务类型，从人工智能算法库中确定至少一种人工智能算法；
分别确定各人工智能算法的参数信息，所述参数信息包括：算法所使用的算子和/或算法的参数值。
根据各人工智能算法及参数信息，得到所述模型生成参数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述模型配置信息，生成目标模型，包括：
执行所述模型配置信息，生成初始的模型；
采用重要度计算公式，分别确定所述初始的模型中各卷积层中各卷积核的重要度；
根据各卷积层中各卷积核的重要度、以及所述精度损失阈值，依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
6.根据权利要求5所述的方法，其特征在于，所述根据各卷积层中各卷积核的重要度、以及所述精度损失阈值，依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型，包括：
根据目标卷积层中各卷积核的重要度，依次剪掉重要度最低的卷积核，并在每次剪掉一个卷积核后，判断当前的模型的精度损失值是否大于所述精度损失阈值；
若是，则确定当前所剪掉的卷积核的数量为所述目标卷积层对应的剪枝数量；若否，则继续从所述目标卷积层的各卷积核中剪去当前重要度最低的卷积核，直至当前的模型的精度损失值大于所述精度损失阈值，则停止执行；
根据各卷积层对应的剪枝数量依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型。
7.根据权利要求6所述的方法，其特征在于，所述根据各卷积层对应的剪枝数量依次对所述初始的模型的各卷积层进行剪枝，得到所述目标模型，包括：
根据当前卷积层对应的剪枝数量，从所述当前卷积层中剪掉所述剪枝数量的重要度最低的卷积核，得到当前剪枝后的模型；
判断当前剪枝后的模型的精度损失值是否大于所述精度损失阈值；
若是，则对所述当前剪枝后的模型进行网络参数调优，直到所述当前剪枝后的模型的精度损失值小于所述精度损失阈值时，得到当前新的模型；
将当前卷积层的下一卷积层确定为新的卷积层，并根据所述新的卷积层对应的剪枝数量，对所述当前新的模型的新的卷积层进行剪枝，直至对所有的卷积层剪枝结束，将各卷积层剪枝结束后得到的模型作为所述目标模型。
8.一种模型生成装置，其特征在于，包括：获取模块、标注模块、数据探索模块、确定模块、生成模块；
所述获取模块，用于获取用户输入的业务类型及训练数据集；
所述标注模块，用于根据所述业务类型，确定所述训练数据集的标注方式，并根据所述标注方式得到标注后的训练数据集；
所述数据探索模块，用于根据所述训练数据集的数据类型、以及所述业务类型，对所述标注后的训练样本集执行对应的数据探索任务，得到数据探索结果；
所述确定模块，用于根据所述数据探索结果以及所述业务类型，确定模型生成参数，所述模型生成参数至少包括：人工智能算法以及参数；
所述生成模块，用于根据所述数据探索结果、所述模型生成参数以及用户输入的精度损失阈值，生成模型配置信息，并根据所述模型配置信息，生成目标模型。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至7任一所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
CN202310155870.5A 2023-02-18 2023-02-18 模型生成方法、装置、电子设备及存储介质 Pending CN116151323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310155870.5A CN116151323A (zh) 2023-02-18 2023-02-18 模型生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310155870.5A CN116151323A (zh) 2023-02-18 2023-02-18 模型生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116151323A true CN116151323A (zh) 2023-05-23

Family

ID=86356087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310155870.5A Pending CN116151323A (zh) 2023-02-18 2023-02-18 模型生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116151323A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009774A (zh) * 2023-09-27 2023-11-07 广东广宇科技发展有限公司 一种多元数据快速验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009774A (zh) * 2023-09-27 2023-11-07 广东广宇科技发展有限公司 一种多元数据快速验证方法
CN117009774B (zh) * 2023-09-27 2024-02-09 广东广宇科技发展有限公司 一种多元数据快速验证方法

Similar Documents

Publication Publication Date Title
US11462007B2 (en) System for simplified generation of systems for broad area geospatial object detection
US10157479B2 (en) Synthesizing training data for broad area geospatial object detection
US11631234B2 (en) Automatically detecting user-requested objects in images
US20210073671A1 (en) Generating combined feature embedding for minority class upsampling in training machine learning models with imbalanced samples
WO2021139191A1 (zh) 数据标注的方法以及数据标注的装置
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN112529020B (zh) 基于神经网络的动物识别方法、系统、设备及存储介质
US10824915B2 (en) Artificial intelligence system for inspecting image reliability
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN111753863A (zh) 一种图像分类方法、装置、电子设备及存储介质
US11803971B2 (en) Generating improved panoptic segmented digital images based on panoptic segmentation neural networks that utilize exemplar unknown object classes
Chew et al. Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism
CN116151323A (zh) 模型生成方法、装置、电子设备及存储介质
CN116415020A (zh) 一种图像检索的方法、装置、电子设备及存储介质
Solanki et al. Flower species detection system using deep convolutional neural networks
CN112445914A (zh) 文本分类方法、装置、计算机设备和介质
RU2715024C1 (ru) Способ отладки обученной рекуррентной нейронной сети
CN111178370A (zh) 车辆检索方法及相关装置
US11715204B2 (en) Adaptive machine learning system for image-based biological sample constituent analysis
CN116029760A (zh) 消息推送方法、装置、计算机设备和存储介质
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
Singh et al. Advances in Computing and Data Sciences: Second International Conference, ICACDS 2018, Dehradun, India, April 20-21, 2018, Revised Selected Papers, Part II
CN114819140A (zh) 模型剪枝方法、装置和计算机设备
Shamta et al. Development of a deep learning-based surveillance system for forest fire detection and monitoring using UAV
CN113569081A (zh) 图像识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination