CN113705653A - 模型生成方法及装置、电子设备和存储介质 - Google Patents
模型生成方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113705653A CN113705653A CN202110969542.XA CN202110969542A CN113705653A CN 113705653 A CN113705653 A CN 113705653A CN 202110969542 A CN202110969542 A CN 202110969542A CN 113705653 A CN113705653 A CN 113705653A
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- sample
- model
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000003860 storage Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000012549 training Methods 0.000 claims abstract description 99
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 108
- 238000012360 testing method Methods 0.000 claims description 96
- 230000008676 import Effects 0.000 claims description 21
- 238000013145 classification model Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000003066 decision tree Methods 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 38
- 230000000694 effects Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 131
- 238000010586 diagram Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 10
- 238000005192 partition Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000234295 Musa Species 0.000 description 2
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种模型生成方法及装置、电子设备和存储介质,所述方法包括:响应于针对目标数据集的划分操作,对目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;响应于针对数据处理模型的训练操作,根据训练操作指示的子数据集以及标签集,对训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。本公开实施例可实现提高学生对人工智能技术的学习效果。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种模型生成方法及装置、电子设备和存储介质。
背景技术
目前,人工智能技术面向初高中的学生教学已成为发展趋势。若要让学生实践人工智能技术,则需要学生掌握一定的编程技术,而有些学生对编程技术的掌握有限,因此目前通常是让学生体验已经实现的人工智能项目(如图像分类项目)的应用过程,而并非亲身实践人工智能技术,这就降低了针对人工智能技术的学习效果,不利于培养学生的创造能力、实践能力。
发明内容
本公开提出了一种模型生成技术方案。
根据本公开的一方面,提供了一种模型生成方法,包括:响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;响应于针对数据处理模型的训练操作,根据所述训练操作指示的子数据集以及标签集,对所述训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述方法还包括:响应于针对样本数据集的特征提取操作,对所述特征提取操作指示的样本数据集中的样本数据进行特征提取,得到特征集,所述样本数据集包含同一类别样本数据,所述特征集包含所述样本数据的数据特征以及对应的数据标签;响应于针对特征集的合并操作,对所述合并操作指示的多个特征集进行合并,得到所述目标数据集。
在一种可能的实现方式中,所述特征提取操作还用于指示数据特征的特征类别,其中,所述响应于针对数据集的特征提取操作,对所述特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集,包括:根据所述特征提取操作指示的特征类别,对所述数据集中的样本数据进行特征提取,得到所述样本数据的数据特征;将所述数据集的数据集名称作为所述数据特征的数据标签,得到所述特征集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述方法还包括:响应于针对特征集的导入操作,校验导入的特征集是否符合预设标准,其中,所述预设标准包括特征集的指定文件类型以及数据特征的指定存储格式中的至少一种,所述导入的特征集中包含所述样本数据的数据特征以及对应的数据标签;在所述导入的特征集符合所述预设标准的情况下,将所述导入的特征集作为所述目标数据集。
在一种可能的实现方式中,所述响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:根据预设划分数量,创建与所述预设划分数量对应的多个文件,各个文件的文件名称用于指示所存储数据的第一数据类型以及所述数据处理模型对应的生成阶段,所述第一数据类型包括数据特征或数据标签,所述生成阶段包括训练阶段或测试阶段;根据预设划分比例以及所述多个文件的文件名称,将所述目标数据集中的数据特征及数据标签,分配到与文件名称对应的各个文件中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据以及所述不同类别样本数据对应的数据标签,其中,响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:按照所述划分操作指示的划分数量,创建与所述划分数量对应的多个文件夹,各个文件夹的文件夹名称用于指示文件夹中所存储文件的第二数据类型以及所述数据处理模型对应的生成阶段,所述第二数据类型包括样本数据或数据标签,所述生成阶段包括训练阶段或测试阶段;根据所述划分操作指示的划分比例以及所述多个文件夹的文件夹名称,将所述划分操作指示的目标数据集中的样本数据及数据标签,分配到与文件夹名称对应的各个文件夹中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述方法还包括:响应于针对数据处理模型的测试操作,根据所述测试操作指示的子数据集以及标签集,对所述测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果,所述预设评估指标包括精度、准确率、精确率、召回率中的至少一种。
在一种可能的实现方式中,所述样本数据为图像数据,所述数据特征包括所述图像数据的图像特征,所述方法还包括:响应于针对数据处理模型的应用操作,获取图像采集设备采集的图像,并对所述图像进行特征提取,得到所述图像的图像特征;将所述图像的图像特征输入至所述应用操作指示的数据处理模型,得到所述图像的处理结果并进行显示。
在一种可能的实现方式中,所述样本数据为图像数据、文本数据、音频数据中的任意一种;所述样本数据的类别包括至少一种负样本和至少一种正样本;所述数据特征的特征类别包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、物体特征、文本特征、音频特征中的任意一种;所述数据处理模型用于实现数据分类项目或数据回归项目;所述数据处理模型的模型种类包括:线性分类模型、线性回归模型、决策树分类模型、决策树回归模型、最近邻分类模型、随机森林分类模型、随机森林回归模型、神经网络分类模型、神经网络回归模型中的至少一种。
在一种可能的实现方式中,所述方法应用于人工智能教育设备,所述方法还包括:通过所述人工智能教育设备显示的图形用户界面GUI,实现针对所述模型生成方法的各种操作,所述各种操作包括所述特征提取操作、所述合并操作、所述划分操作、所述训练操作、所述测试操作、所述应用操作、所述导入操作中的至少一种。
根据本公开的一方面,提供了一种模型生成装置,包括:划分模块,用于响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;训练模块,用于响应于针对数据处理模型的训练操作,根据所述训练操作指示的子数据集以及标签集,对所述训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述装置还包括:特征提取模块,用于响应于针对样本数据集的特征提取操作,对所述特征提取操作指示的样本数据集中的样本数据进行特征提取,得到特征集,所述样本数据集包含同一类别样本数据,所述特征集包含所述样本数据的数据特征以及对应的数据标签;合并模块,用于响应于针对特征集的合并操作,对所述合并操作指示的多个特征集进行合并,得到所述目标数据集。
在一种可能的实现方式中,所述特征提取操作还用于指示数据特征的特征类别,其中,所述响应于针对数据集的特征提取操作,对所述特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集,包括:根据所述特征提取操作指示的特征类别,对所述数据集中的样本数据进行特征提取,得到所述样本数据的数据特征;将所述数据集的数据集名称作为所述数据特征的数据标签,得到所述特征集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述装置还包括:校验模块,用于响应于针对特征集的导入操作,校验导入的特征集是否符合预设标准,其中,所述预设标准包括特征集的指定文件类型以及数据特征的指定存储格式中的至少一种,所述导入的特征集中包含所述样本数据的数据特征以及对应的数据标签;导入模块,用于在所述导入的特征集符合所述预设标准的情况下,将所述导入的特征集作为所述目标数据集。
在一种可能的实现方式中,所述划分模块,包括:第一创建子模块,用于根据预设划分数量,创建与所述预设划分数量对应的多个文件,各个文件的文件名称用于指示所存储数据的第一数据类型以及所述数据处理模型对应的生成阶段,所述第一数据类型包括数据特征或数据标签,所述生成阶段包括训练阶段或测试阶段;第一分配子模块,用于根据预设划分比例以及所述多个文件的文件名称,将所述目标数据集中的数据特征及数据标签,分配到与文件名称对应的各个文件中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据以及所述不同类别样本数据对应的数据标签,其中,划分模块,包括:第二创建子模块,用于按照所述划分操作指示的划分数量,创建与所述划分数量对应的多个文件夹,各个文件夹的文件夹名称用于指示文件夹中所存储文件的第二数据类型以及所述数据处理模型对应的生成阶段,所述第二数据类型包括样本数据或数据标签,所述生成阶段包括训练阶段或测试阶段;第二分配子模块,用于根据所述划分操作指示的划分比例以及所述多个文件夹的文件夹名称,将所述划分操作指示的目标数据集中的样本数据及数据标签,分配到与文件夹名称对应的各个文件夹中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述装置还包括:测试模块,用于响应于针对数据处理模型的测试操作,根据所述测试操作指示的子数据集以及标签集,对所述测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果,所述预设评估指标包括精度、准确率、精确率、召回率中的至少一种。
在一种可能的实现方式中,所述样本数据为图像数据,所述数据特征包括所述图像数据的图像特征,所述装置还包括:应用模块,用于响应于针对数据处理模型的应用操作,获取图像采集设备采集的图像,并对所述图像进行特征提取,得到所述图像的图像特征;将所述图像的图像特征输入至所述应用操作指示的数据处理模型,得到所述图像的处理结果并进行显示。
在一种可能的实现方式中,所述样本数据为图像数据、文本数据、音频数据中的任意一种;所述样本数据的类别包括至少一种负样本和至少一种正样本;所述数据特征的特征类别包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、物体特征、文本特征、音频特征中的任意一种;所述数据处理模型用于实现数据分类项目或数据回归项目;所述数据处理模型的模型种类包括:线性分类模型、线性回归模型、决策树分类模型、决策树回归模型、最近邻分类模型、随机森林分类模型、随机森林回归模型、神经网络分类模型、神经网络回归模型中的至少一种。
在一种可能的实现方式中,所述装置应用于人工智能教育设备,所述装置还包括:显示模块,用于通过所述人工智能教育设备显示的图形用户界面GUI,实现针对所述模型生成方法的各种操作,所述各种操作包括所述特征提取操作、所述合并操作、所述划分操作、所述训练操作、所述测试操作、所述应用操作、所述导入操作中的至少一种。
根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中,能够基于人机交互的方式较为容易地实现模型开发,使得学生只需在界面上进行各种操作,可以实现特征处理、模型训练等过程并生成数据处理模型,无需学生掌握编程技术,即可实现亲身实践人工智能技术,有利于提高对人工智能技术的学习效果,有利于培养学生的创造能力、实践能力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的模型生成方法的流程图。
图2示出根据本公开实施例的一种图形用户界面的示意图。
图3示出根据本公开实施例的一种图形用户界面的示意图。
图4示出根据本公开实施例的一种目标数据集生成方法的流程图。
图5示出根据本公开实施例的一种图形用户界面的示意图。
图6示出根据本公开实施例的一种图形用户界面的示意图。
图7示出根据本公开实施例的一种图形用户界面的示意图。
图8示出根据本公开实施例的一种图形用户界面的示意图。
图9示出根据本公开实施例的一种图形用户界面的示意图。
图10示出根据本公开实施例的模型生成系统的示意图。
图11示出根据本公开实施例的模型生成装置的框图。
图12示出根据本公开实施例的一种电子设备的框图。
图13示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开实施例的模型生成方法的流程图,所述模型生成方法可以由终端设备或服务器等电子设备执行,终端设备可以包括:人工智能教育设备、用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等,所述方法可以通过终端设备的处理器调用存储器中存储的计算机可读指令的方式来实现,或者,可通过服务器执行所述方法。如图1所示,所述模型生成方法包括:
在步骤S11中,响应于针对目标数据集的划分操作,对目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集。
在一种可能的实现方式中,目标数据集中可以包括不同类别样本数据以及不同类别样本数据对应的数据标签,或者还可以包括不同类别样本数据的数据特征以及不同类别样本数据对应的数据标签。
在一种可能的实现方式中,样本数据可以为图像数据、文本数据、音频数据中的任意一种;其中,样本数据的类别可包括至少一种负样本和至少一种正样本,例如,样本数据为人脸图像时,戴口罩的人脸图像可作为正样本、不戴口罩的人脸图像可作为负样本;或者,还可将无表情的人脸图像作为负样本,将微笑表情的人脸图像、哭泣表情的人脸图像、愤怒表情的人脸图像等作为多种正样本等;样本数据为文本数据时,可将标准字体(如宋体)作为正样本,将各种手写字体作为多种负样本等,其中,在文本数据为纯数字的情况下,可以将指定数字或指定数字序列作为正样本,其它数字或其它数字序列作为负样本;样本数据为音频数据时,可将环境音频作为负样本,将说话音频作为正样本等。
其中,针对目标数据中包含样本数据的数据特征的情况,目标数据集中的数据特征可是预先对不同类别样本数据进行特征提取所得到的特征;不同类别样本数据的数据标签可是预先对不同类别样本数据进行标注的标签,该标签可以表征样本数据的类别,例如是戴口罩的人脸图像,还是不戴口罩的人脸图像。
应理解的是,本公开实施例对于特征提取方式以及数据标注方式不作限制,例如可通过特征提取网络对不同类别样本数据分别进行特征提取,得到不同类别样本数据的数据特征;可通过人工标注方式对样本数据进行标注等。
在一种可能的实现方式中,在目标数据集中包含不同类别样本数据的数据特征以及不同类别样本数据对应的数据标签的情况下,可在用户选择待划分的目标数据集后,按照预设的划分规则,将目标数据集中的数据特征与数据标签,分别随机复制或移动至多个文件(如多个已创建的csv文件、xlsx文件、xml文件中的任意一种)中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,在目标数据集中包含不同类别样本数据以及不同类别样本数据对应的数据标签的情况下,可在用户选择待划分的目标数据集后,按照预设的划分规则,将目标数据集中的样本数据与数据标签,分别随机复制或移动至多个文件夹中,得到多个子数据集以及对应的标签集。
其中,划分规则可包括划分数量与划分比例,划分数量用于指示划分后的子数据集与标签集的数量;划分比例用于指示划分后的各个子数据集中数据特征相对于目标数据集中数据特征的数量占比,或用于指示划分后各个子数据集中样本数据相对于目标数据集中样本数据的数量占比,以及各个标签集中数据标签相对于目标数据集中数据标签的数量占比。
应理解的是,划分规则可是用户手动设置的规则,也可是默认规则,对此本公开实施例不作限制。其中,在划分规则为默认规则的情况下,划分操作可包括选择待划分的目标数据集;在划分规则为用户手动设置的规则的情况下,划分操作可包括选择待划分的目标数据集和设置划分规则。
举例来说,在目标数据集中包含数据特征的情况下,若默认划分数量为4,划分比例为1:9,那么在用户选中所要划分的目标数据集后,该选中的目标数据集可划分为两个子数据集以及两个对应的标签集,其中,两个子数据集中数据特征的数量比为1:9,两个对应的标签集中数据标签的数量比为1:9。
应理解的是,数据处理模型可包括迭代训练阶段、测试阶段等多个阶段的训练,每个阶段可对应一个或多个子数据集及标签集,例如可至少划分为两个子数据集以及对应的两个标签集,将其中一个子数据集以及对应的标签集作为训练集,用于迭代训练阶段;将另一个子数据集以及对应的标签集作为测试集,用于数据处理模型的测试阶段。
图2示出根据本公开实施例的一种图形用户界面的示意图。如图2所示,用户可在界面中“特征文件”处选择并导入所要划分的目标数据集“free.csv”;可以勾选“划分训练集与测试集”功能,以及设置“训练数据文件名”、“训练标签文件名”、“测试数据文件名”、“测试标签文件名”,从而在用户点击“确认”按钮后,能够将用户选择的目标数据集“free.csv”,按照默认的划分规则,划分为两个子数据集(分别为“train_data.csv”和“test_data.csv”)以及对应的标签集(分别为“train_label.csv”和“test_label.csv”),应理解的是,train_label.csv中存储的是与train_data.csv中数据特征对应的数据标签,test_label.csv中存储的是与test_data.csv中数据特征对应的数据标签。
应理解的是,图2示出的图形用户界面是本公开实施例提供的一种实现划分操作的实施方式,实际上,本领域技术人员可根据实际需求设计实现划分操作的图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
在步骤S12中,响应于针对数据处理模型的训练操作,根据训练操作指示的子数据集以及标签集,对训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
在一种可能的实现方式中,数据处理模型的模型种类包括:线性分类模型、线性回归模型、决策树分类模型、决策树回归模型、最近邻分类模型、随机森林分类模型、随机森林回归模型、神经网络分类模型、神经网络回归模型中的至少一种。数据处理模型用于实现数据分类项目或数据回归项目,也即实现各种人工智能项目,如图像分类项目、图像回归项目、文本识别项目、语音识别项目等。此外,数据处理模型也可以是特征提取模型,如轻量化的MobileNetV2等。
应理解的是,在数据处理模型为特征提取模型的情况下,用于训练特征提取模型的子数据集中可以包含不同类别样本数据以及对应的数据标签,该数据标签可以包括针对样本数据标注的数据特征,基于此,特征提取模型的训练过程可以包括:将子数据集中的样本数据输入至特征提取模型中,得到样本数据的样本特征;基于该样本特征、预设的损失函数以及数据标签确定损失值;基于损失值更新特征提取模型的模型参数;进行多轮迭代训练直至损失值收敛,得到训练后的特征提取模型。在其他实施例中,用于训练特征提取模型的子数据集中可以包含不同类别样本数据以及对应的数据标签,该数据标签可以包括基于特征提取模型的提取目标对样本数据进行标注的结果,其中提取目标可以包括人脸/人体关键点或一般物体特征等,标注结果可以包括关键点位置或物体位置等;基于此,特征提取模型的训练过程可以包括:将子数据集中的样本数据输入至特征提取模型中,得到样本数据的样本特征,并基于该样本特征利用分类器确定分类结果;基于该分类结果、预设的损失函数以及数据标签确定损失值;基于损失值更新特征提取模型的模型参数;进行多轮迭代训练直至损失值收敛,得到训练后的模型;然后将训练后的模型中的分类器去除,得到训练后的特征提取模型。
图3示出根据本公开实施例的一种图形用户界面的示意图,如图3所示,用户可在“Feature文件名”处选择并导入子数据集“train_data.csv”,在“Label文件名”处选择并导入对应的标签集“train_label.csv”,在“训练模型选项”处选择数据处理模型的模型种类“线性分类”;在“输出模型名”处设置数据处理模型的名称“classification”;其中,用户可点击“确认”按钮,开始执行数据处理模型的训练;如图3所示还可通过进度条的形式,显示训练进度“100%”,以提醒用户训练完成。应理解的是,用户可以在“训练模型选项”处选择多种模型种类,从而可以同时训练多种数据处理模型。
需要说明的是,图3示出的图形用户界面是本公开实施例提供的一种实现训练操作的实施方式,实际上,本领域技术人员可根据实际需求设计实现训练操作的图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
其中,可将训练后的数据处理模型按照默认的存储路径,存储于预设存储空间中。在一种可能的实现方式中,训练操作还可以指示训练后的数据处理模型的存储路径,所述方法还包括:根据训练操作指示的存储路径,将训练后的数据处理模型存储于指定存储空间中。例如图3示出的图形用户界面中,用户可在“前置路径”处选择用于存储训练后的数据处理模型的存储路径,以将训练后的数据处理模型存储于指定存储空间中。通过该方式,可方便用户存储训练后的数据处理模型,同时方便用户随时使用训练后的数据处理模型进行数据处理。
应理解的是,本公开实施例对于数据处理模型的训练方式不作限制。在一种可能的实现方式中,可预先设置各种训练结束指标,来结束数据处理模型的训练,例如,可设置在迭代轮数达到指定轮数时,或在损失收敛时等,结束样本处理模块的训练,输出训练后的数据处理模型,对此本公开实施例不作限制。
在本公开实施例中,能够基于人机交互的方式较为容易地实现模型开发,使得学生只需在界面上进行各种操作,可以实现特征集处理、模型训练等过程并生成数据处理模型,无需学生掌握编程技术,即可实现亲身实践人工智能技术,有利于提高对人工智能技术的学习效果,有利于培养学生的创造能力、实践能力。
如上所述,目标数据集中可以包含不同类别样本数据的数据特征以及不同类别样本数据对应的数据标签。图4示出根据本公开实施例的一种目标数据集生成方法的流程图,如图4所示,所述目标数据集生成方法包括:
在步骤S09中,响应于针对样本数据集的特征提取操作,对特征提取操作指示的样本数据集中的样本数据进行特征提取,得到特征集,样本数据集包含同一类别样本数据,特征集包含样本数据的数据特征以及对应的数据标签。
其中,样本数据集包含同一类别样本数据,例如可理解为,该样本数据集中的样本数据均为正样本或均为负样本,例如均为戴口罩的人脸图像。示例性的,用户可以预先采集样本数据,并将同一类别样本数据存储于一个文件夹中,一个样本数据集可以理解为包含同一类别样本数据的文件夹,其中,用户可以手动设置文件夹的文件夹名称,该文件夹的文件夹名称也即为样本数据集的数据集名称。
在一种可能的实现方式中,在对样本数据集中的样本数据进行特征提取后,可以将该样本数据集对应的文件夹名称,作为特征集的文件名称以及特征集中数据特征的数据标签。其中,特征集中可以包含特征数据和数据标签,也即,可以直接在特征集中对所有数据特征添加同样的文件夹名称,作为该特征集中各个数据特征的数据标签;当然,特征集中还可以只包含特征数据,并默认将特征集的文件名称作为特征集中所有特征数据的数据标签,对此本公开实施例不作限制。
应理解的是,样本数据集中样本数据的种类,可以取决于数据处理模型所要实现的人工智能项目,用户可根据不同的人工智能项目,预先采集各种样本数据得到各种样本数据集,例如,针对人脸表情识别项目,可预先采集具有各种人脸表情的人脸图像,其中,同一样本数据集中可包含具有同一类人脸表情(如笑脸)的人脸图像。
可理解的是,由于同一样本数据集中包含同一类别样本数据,那么同一特征集中的数据特征也即为同一类别样本数据的特征,例如对戴口罩的人脸图像进行特征提取,得到的是戴口罩的人脸特征;对包含不戴口罩的人脸图像进行特征提取,得到的是不戴口罩的人脸特征。其中,数据标签可采用任何字符、数字等字符串形式,用于指示不同样本数据的类别。
考虑到,根据不同人工智能项目的特征提取需求,可提取样本数据的不同特征类别的数据特征,在一种可能的实现方式中,数据特征的特征类别包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、动物特征、植物特征、物体特征、文本特征、音频特征中的至少一种。人工智能项目例如至少包括数据分类项目(如物体分类识别、动物分类识别、植物分类识别等)或数据回归项目(如人脸表情识别、人体姿态识别、人脸戴口罩识别、语音识别、文本识别等)。
在一种可能的实现方式中,可通过特征提取网络实现对样本数据进行特征提取,例如可采用MobileNetV2网络(一种轻量级卷积神经网络)、残差网络ResNet18等;对于特征提取网络的网络结构、网络类型以及训练方式,本公开实施例不作限制。
在一种可能的实现方式中,可以采用不同的特征提取网络,分别对应提取不同特征类别的数据特征。通过该方式,有利于提高特征提取网络提取的数据特征的精度。
在一种可能的实现方式中,还可以采用同一个特征提取网络,提取多种特征类别的数据特征,例如可以采用同一特征提取网络提取人脸特征、人脸关键点特征、人体特征以及人体关键点特征。通过该方式,有利于提高特征提取的效率。
图5示出根据本公开实施例的一种图形用户界面的示意图,如图5所示,用户可通过界面中“数据所在文件夹路径”处的导入控件,选择样本数据集在本地的存储路径“dataset/dry”,从而指示并导入所要提取数据特征的样本数据集;还可在“输出文件名”处设置输出特征集的名称“dry1”和用于存放数据特征的文件的文件类型“.csv”;用户可点击“确认”按钮,开始提样本取数据集“dry”的数据特征;还可通过进度条的形式显示当前的提取进度“100%”。
其中,输出的特征集可默认存储于当前样本数据集在本地的存储路径下,当然,还可设置其它存储路径来存储特征集,对此本公开实施例不作限制。
如图5所示,界面中还可提供单选控件“跳过无法读取的图片”及“将无法读取的图片置0”,来便于用户在样本数据为图像数据时选择对无法读取的图像数据的处理方式;还可提供多选控件“保存为二进制文件”,用于将特征集保存为二进制文件,以及“首列添加文件名”,可用于将样本数据集的数据集名称(也即文件夹名称),作为数据特征的数据标签添加至特征集中。
应理解的是,针对数据集的特征提取操作可包括指示所要提取特征的数据集,还可包括用户在如图5示出的图形用户界面中触发的各种操作,例如点击“确认”按钮、设置“输出文件名”等。图5示出的图形用户界面是本公开实施例提供的一种实现特征提取操作的实施方式,实际上,本领域技术人员可根据实际需求设计该图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
在步骤S10中,响应于针对特征集的合并操作,对合并操作指示的多个特征集进行合并,得到目标数据集。
如上所述,数据处理模型可用于实现数据分类项目或数据回归项目等人工智能项目,为训练能够实现该些人工智能项目的数据处理模型,用于训练数据处理模型的目标数据集中,通常包含至少两种样本数据的数据特征,例如,针对物体分类识别项目,目标数据集中可至少包含桌子、椅子、床、沙发等不同物体特征;针对人脸戴口罩识别项目,目标数据集中可至少包括戴口罩人脸的人脸特征,和不戴口罩人脸的人脸特征。
如上所述,通过步骤S09得到的任一特征集中包含同一类别样本数据的数据特征。应理解的是,通过合并多个特征集,能够得到包含不同类别样本数据的数据特征的目标数据集,从而使通过目标数据集训练的数据处理模型,能够实现各种人工智能项目。
在一种可能的实现方式中,对合并操作指示的多个特征集进行合并,得到目标数据集,可包括:将多个特征集中的数据特征以及对应的数据标签复制或移动到同一指定文件中,得到目标数据集。
其中,同一指定文件可包括多个特征集中的任意一个特征集,例如,若要合并特征集A、B和C,可指定将A和B中的数据特征及数据标签复制到C中,得到合并后的目标数据集;当然,同一指定文件还可包括其它已创建的csv文件、xlsx文件、xml文件中的任意一种,例如,将特征集A、B和C中的数据特征及数据标签复制到csv文件D中,得到合并后的目标数据集,对此本公开实施例不作限制。
图6示出根据本公开实施例的一种图形用户界面的示意图。如图6所示,用户可通过界面提供的导入控件,选择三个特征集“free.csv、dry1.csv、wet.csv”对应的存储路径来导入该三个特征集,也即指示合并该三个特征集“free.csv、dry1.csv、wet.csv”;其中,可在“输出特征文件名”处指定将特征集“free.csv、dry1.csv”合并至“wet.csv”得到合并后的目标数据集;用户可点击“确认”按钮,开始合并特征集。其中,用户可点击图6中示出的“+”处的按钮,添加所要合并的特征集,还可点击“-”处的按钮,删除已添加的特征集,能够便于用户根据实际需求合并特征集。
应理解的是,针对特征集的合并操作可包括指示所要合并的特征集,还可包括用户在如图6示出的图形用户界面中触发的各种操作,例如,设置“输出特征文件名”点击“确认”按钮等。图6示出的图形用户界面是本公开实施例提供的一种实施方式,实际上,本领域技术人员可根据实际需求设计该图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
例如,图7示出根据本公开实施例的一种图形用户界面的示意图。如图7所示,用户可在界面中同时实现如上述本公开实施例中图6示出的合并操作和图2示出的划分操作,这样用户在点击“确认”按钮后,能够实现一键合并与划分操作,也即合并多个子数据集得到目标数据集,并按照默认的划分规则,见该目标数据集划分为两个子数据集以及对应的标签集。
应理解的是,若用户未勾选图7中“划分训练集与测试集”,则不执行目标数据集的划分处理,也即可例如显示图6示出的图形用户界面;其中,输出的子数据集以及对应的标签集,可默认存储于当前目标数据集在本地的存储路径下,当然,还可设置其它存储路径来存储子数据集以及对应的标签集,对此本公开实施例不作限制。
应理解的是,用于实现划分操作的图形用户界面与用于实现合并操作的图形用户界面,可是如图7示出的同一个图形用户界面,这样能够便捷地实现一键合并及划分特征集;当然还可是如图2和图6示出的两个独立的图形用户界面,对此本公开实施例不作限制。
应理解的是,图2、图6和图7示出的图形用户界面是本公开实施例提供的一种实现合并操作及划分操作的实施方式,实际上,本领域技术人员可根据实际需求设计实现合并操作及划分操作的图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
在本公开实施例中,能够基于人机交互的方式,使得学生只需在界面上进行各种操作,可以实现特征提取、特征集合并等过程,无需学生掌握编程技术,即可实现亲身实践人工智能技术,有利于提高对人工智能技术的学习效果。
如上所述,可根据不同人工智能项目的特征提取需求,提取样本数据的不同特征类别的数据特征。在一种可能的实现方式中,特征提取操作还用于指示数据特征的特征类别,在步骤S09中,响应于针对数据集的特征提取操作,对特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集,包括:
根据特征提取操作指示的特征类别,对数据集中的样本数据进行特征提取,得到样本数据的数据特征;将数据集的数据集名称作为数据特征的数据标签,得到特征集。
如上所述,特征集包含数据特征以及对应的数据标签。数据特征的特征类别可以包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、动物特征、植物特征、物体特征、文本特征、音频特征中的至少一种。可通过特征提取网络对样本数据进行特征提取。应理解的是,特征提取网络提取的数据特征与特征提取操作指示的特征类别对应,例如,特征提取操作指示的特征类别是人脸特征,则特征提取网络提取的数据特征为人脸特征。
在一种可能的实现方式中,可将提取的数据特征存储于指定文件中(如已创建的csv文件、xlsx文件、xml文件等),并同时将数据集的数据集名称作为数据特征的数据标签,存储于该指定文件中,得到特征集。
其中,数据集的数据集名称可是用户预先设置的、用于表征样本数据类别的名称,例如,包含苹果图像的数据集的数据集名称可是“apple”,包含香蕉图像的数据集的数据集名称可是“banana”。
在本公开实施例中,通过将数据集的数据集名称作为数据特征的数据标签,能够便捷容易地实现对数据特征的标注,无需学生耗费时间对数据特征进行人工标注,有利于提高学生对人工智能技术的学习效率。
考虑到,用户还可以直接选择导入符合要求的特征集作为目标数据集,在一种可能的实现方式中,所述方法还包括:
响应于针对特征集的导入操作,校验导入的特征集是否符合预设标准,其中,预设标准包括特征集的指定文件类型以及数据特征的指定存储格式中的至少一种,导入的特征集中包含样本数据的数据特征以及对应的数据标签;在导入的特征集符合预设标准的情况下,将导入的特征集作为目标数据集。
在一种可能的实现方式中,该导入的特征集可以是已预先生成的、存储于本地的特征集。该导入的特征集中可以包含不同类别样本数据的数据特征以及不同类别样本数据对应的数据标签。
在一种可能的实现方式中,导入操作例如可如图2示出的图形用户界面中导入目标数据集的操作相同,也即可以通过选择特征集在本地的存储路径来导入特征集。当然,还可采用其它导入操作,例如可以采用拖拽文件到图形用户界面中的方式等,对此本公开实施例不作限制。
其中,特征集的指定文件类型,可理解为,用户指定的特征集的文件类型,例如,可指定csv文件为符合预设标准的文件类型,那么其它文件类型的文件(如txt文件)为不符合预设标准的文件类型;数据特征的指定存储格式,可理解为,用户规定的数据特征在特征集中的存储格式,例如,每个样本数据的数据特征存储于csv文件的一行记录中,每个样本数据的数据特征在csv文件中的一行记录需要有1024列特征(可理解为1024维度的特征),每行记录中各列特征需要对齐一致。通过该方式,能够便于数据处理模型有效读取数据特征以及数据标签。
应理解的是,上述指定存储格式是本公开实施例提供的一种实施方式,实际上用户可根据实际需求设置数据特征在特征集中的各种指定存储格式,对此本公开实施例不作限制。
在一种可能的实现方式中,校验导入的特征集是否符合预设标准,可包括校验该导入的特征集的文件类型是否为指定文件类型,以及校验该导入的特征集中的数据特征是否符合指定存储格式。在该导入的特征集为指定文件类型,以及该导入的特征集中的数据特征符合指定存储格式的情况下,确定该导入的特征集符合预设标准。
应理解的是,若预设标准仅包含指定文件类型或指定存储格式,则可以在该导入的特征集的文件类型为指定文件类型,或该导入的特征集中的数据特征符合指定存储格式的情况下,确定该导入的特征集符合预设标准。
在本公开实施例中,能够便于用户直接选择导入符合预设标准的特征集,提高模型训练的训练效率。
在一种可能的实现方式中,在步骤S11中,响应于针对目标数据集的划分操作,对目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:
步骤S111:根据预设划分数量,创建与预设划分数量对应的多个文件,各个文件的文件名称用于指示所存储的第一数据类型以及数据处理模型对应的生成阶段,第一数据类型包括数据特征或数据标签,生成阶段包括训练阶段或测试阶段。
如上所述,预设划分数量可以用于指示划分后的子数据集与标签集的数量,其中,该预设划分数量可以是采用默认的划分数量,当然也可是用户通过划分操作手动设置的,对此本公开实施例不作限制。创建与预设划分数量对应的多个文件,可理解为,创建的多个空白文件,多个空白文件的数量与预设划分数量一致。应理解的是,创建的空白文件可例如是csv文件、xlsx文件、xml文件中的任意一种。
举例来说,若用户期望将目标数据集划分为两个子数据集与两个标签集,也即划分数量为4,那么在用户选择待划分的目标数据集后,可创建四个空白csv文件,其中四个空白csv文件的文件名称可例如分别自动设置为“train_data.csv”、“test_data.csv”、“train_label.csv”、“test_label.csv”,当然也可通过如图2或图7所示的图形用户界面手动设置四个空白csv文件的文件名称。
应理解的是,对于“train_data.csv”文件,train可以代表生成阶段为训练阶段,data可以代表数据类型为数据特征;对于“test_label.csv”文件,test可以代表生成阶段为测试阶段,label可以代表数据类型为数据标签,其它文件名称以此类推。
步骤S112:根据预设划分比例以及多个文件的文件名称,将目标数据集中的数据特征及数据标签,分配到与文件名称对应的各个文件中,得到多个子数据集以及对应的标签集。
如上所述,文件名称用于指示所存储的第一数据类型以及数据处理模型对应的生成阶段。应理解的是,不同生成阶段所需的数据特征的数量是不同的,划分比例可反映不同生成阶段所需的数据特征的数量占比,例如,测试阶段所需的数据特征,要少于多轮迭代训练阶段所需的数据特征的数量,那么测试阶段对应的子数据集中数据特征可少于训练阶段对应的子数据集中数据特征的数量。其中,该预设划分比例可以是采用默认的划分比例,当然也可是用户通过划分操作手动设置的,对此本公开实施例不作限制。
其中,分配可包括随机复制或随机移动;随机复制可理解为将目标数据集中的数据特征以及对应的数据标签随机复制到与文件名称对应的文件中,应理解的是,在随机复制的方式下,目标数据集中的数据特征以及对应的数据标签仍存在;随机移动,可理解为将目标数据集中的数据特征对应的数据标签随机移动(或者说剪贴)至与文件名称对应的文件中,应理解的是,在随机移动的方式下,目标数据集中的数据特征以及对应的数据标签已不存在。在其他实施例中,分配也可以是顺序复制或顺序移动等,具体分配规则可以预先设置或由用户选择。对于采用何种分配方式,本公开实施例不作限制。
举例来说,若目标数据集中包含1000个数据特征以及对应的1000个数据标签,四个文件的文件名称为“train_data.csv”、“test_data.csv”、“train_label.csv”、“test_label.csv”,划分比例为8:2,也即期望训练阶段对应的子数据集与测试阶段对应的子数据集中数据特征的数量之比为8:2;那么按照该划分比例与文件名称,可以将该1000个数据特征随机分配至两个文件“train_data.csv”与“test_data.csv”中,以及将1000个数据标签对应于数据特征分配至两个文件“train_label.csv”、“test_label.csv”中,可得到“train_data.csv”中数据特征的数量为800,“test_data.csv”中数据特征的数量为200,“train_label.csv”中数据标签的数量为800,“test_label.csv”中数据标签的数量为200。
其中,可例如预先规定划分比例中“:”前的为训练阶段对应的子数据集中数据特征的数量占比,“:”后的为测试阶段对应的子数据集中数据特征的数量占比,或还可例如采用分数的形式设置各个生成阶段对应的划分比例,以便于将划分比例与不同生成阶段对应,对此本公开实施例不作限制。
在本公开实施例中,能够实现自动将目标数据集划分为多个子数据集以及对应的标签集,有利于提高学生对人工智能技术的学习效率。
如上所述,目标数据集中还可以包含不同类别样本数据以及不同类别样本数据对应的数据标签,在一种可能的实现方式中,在步骤S11中,响应于针对目标数据集的划分操作,对目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:
步骤S113:按照划分操作指示的划分数量,创建与划分数量对应的多个文件夹,各个文件夹的文件夹名称用于指示所存储的第二数据类型以及数据处理模型对应的生成阶段,第二数据类型包括样本数据或数据标签,生成阶段包括训练阶段或测试阶段。
如上所述,用户可以手动设置划分规则,划分操作指示的划分数量可理解为用户通过划分操作手动设置的划分数量。当然,也可以采用默认划分数量,对此本公开实施例不作限制。其中,文件夹名称用于指示所存储文件的第二数据类型,可以理解为,该文件夹名称用于指示文件夹中存储的是样本数据还是数据标签。
在一种可能的实现方式中,创建与预设划分数量对应的多个文件夹,可理解为,创建的多个空白文件夹,多个空白文件夹的数量与划分操作指示的划分数量一致。举例来说,若用户期望将目标数据集划分为3个子数据集与3个标签集,也即划分数量为6,那么在用户选择待划分的目标数据集后,可创建6个空白文件夹,其中6个空白文件夹的文件夹名称可例如分别自动设置为“train1_data”、“train1_label”、“train2_data”、“train1_label”、“test_data”、“test_label”,当然也可通过图形用户界面手动设置6个空白文件夹的文件夹名称,对此本公开实施例不作限制。
应理解的是,对于“train1_data”文件夹,train1可以代表生成阶段为第一阶段的训练,train2可以代表第二阶段的训练,data可以代表第二数据类型为样本数据;对于“test_label”文件夹,test可以代表生成阶段为测试阶段,label可以代表第二数据类型为数据标签,其它文件夹名称以此类推。
步骤S114:根据划分操作指示的划分比例以及多个文件夹的文件夹名称,将划分操作指示的目标数据集中的样本数据及数据标签,分配到与文件夹名称对应的各个文件夹中,得到多个子数据集以及对应的标签集。
其中,该划分操作指示的划分比例,可以理解为用户通过划分操作手动设置的划分比例,当然也可以采用默认的划分比例,对此本公开实施例不作限制。
如上所述,文件夹名称用于指示所存储的第二数据类型以及数据处理模型对应的生成阶段。应理解的是,不同生成阶段所需的样本数据的数量是不同的,划分比例可反映不同生成阶段所需的样本数据的数量占比,例如,测试阶段所需的样本数据,要少于多轮迭代训练阶段所需的样本数据的数量,那么测试阶段对应的子数据集中样本数据可少于训练阶段对应的子数据集中样本数据的数量。
如上所述,样本数据的数据标签可是预先对各样本数据进行标注所得到的标签,在目标数据集中包含不同类别样本数据的情况下,各个样本数据的数据标签可以分别存储于各个指定文件(如txt文件)中,也就是说,各个样本数据的各个数据标签单独存储,以便于将目标数据集中的数据标签对应于样本数据的分配,分配到对应文件夹中。
其中,可以对各个用于存储数据标签的指定文件与各个样本数据之间设置关联标识,以便于将各样本数据与对应的数据标签进行关联,从而有利于在模型训练过程中快速获取样本数据以及对应的数据标签。
如上所述,分配可包括随机复制或随机移动;随机复制可理解为将目标数据集中的样本数据以及对应的数据标签随机复制到与文件夹名称对应的文件夹中,应理解的是,在随机复制的方式下,目标数据集中的样本数据以及对应的数据标签仍存在;随机移动,可理解为将目标数据集中的样本数据对应的数据标签随机移动(或者说剪贴)至与文件夹名称对应的文件夹中,应理解的是,在随机移动的方式下,目标数据集中的样本数据以及对应的数据标签已不存在。在其他实施例中,分配也可以是顺序复制或顺序移动等,具体分配规则可以预先设置或由用户选择。对于采用何种分配方式,本公开实施例不作限制。
在本公开实施例中,能够在目标数据集中包含样本数据以及数据标签的情况下,实现自动将目标数据集划分为多个子数据集以及对应的标签集,有利于提高学生对人工智能技术的学习效率。
如上所述,数据处理模型的生成阶段包括训练阶段与测试阶段。在一种可能的实现方式中,所述方法还包括:
响应于针对数据处理模型的测试操作,根据测试操作指示的子数据集以及标签集,对测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果,预设评估指标包括精度、准确率、精确率、召回率中的至少一种。
图8示出根据本公开实施例的一种图形用户界面的示意图,如图8所示,用户可在“模型名称”处选择并导入训练后的数据处理模型“classification.lc”,在“测试数据”处选择并导入子数据集“test_data.csv”,在“测试标签”处选择并导入标签集“test_label.csv”,用户可点击“确认”按钮,开始对该数据处理模型进行预设评估指标“平均准确率”的测试,可在界面中显示测试结果“线性分类的平均准确率为100.0%”。
在一种可能的实现方式中,测试操作还可用于指示预设评估标准。应理解的是,用于实现测试操作的图形用户界面中,还可提供设置预设评估标准的选择控件,以便于用户设置至少一种的预设评估标准,对数据处理模型进行测试。
应理解的是,图8示出的图形用户界面是本公开实施例提供的一种实现测试操作的实施方式,实际上,本领域技术人员可根据实际需求设计实现测试操作的图形用户界面的界面布局、功能控件等,对此本公开实施例不作限制。
在本公开实施例中,能够使学生通过简单的人机交互操作,实现对数据处理模型的测试,有利于提高学生对人工智能技术的学习效率。
如上所述,样本数据可以为图像数据,相应的是,数据特征可以包括图像数据的图像特征,在一种可能的实现方式中,所述方法还包括:
响应于针对数据处理模型的应用操作,获取图像采集设备采集的图像,并对图像进行特征提取,得到图像的图像特征;将图像的图像特征输入至应用操作指示的数据处理模型,得到图像的处理结果并进行显示。
其中,图像采集设备可包括各种摄像头、相机等,对此本公开实施例不作限制。在一种可能的实现方式中,图像采集设备可与模型生成方法的执行主体进行有线连接(如通过USB连接),还是通过无线连接(如通过WiFi连接),图像采集设备还作为该执行主体的部件,与执行主体进行内部走线连接,对此本公开实施例不作限制。
其中,应用操作例如可包括指示执行主体连接图像采集设备,选择并导入所要运行的数据处理模型,在执行主体与图像采集设备之间已建立通信连接的情况下,获取图像采集设备实施采集的图像,并对图像进行特征提取。
其中,可通过上述本公开实施例中的特征提取网络实现对图像进行至少一种特征类别的特征提取,得到图像的数据特征;进而将该数据特征输入至用户选择的数据处理模型中,得到处理结果并显示在当前的图形用户界面中的结果显示区域。
图9示出根据本公开实施例的一种图形用户界面的示意图,如图9所示,用户可在“模型名称”处选择并导入训练后的数据处理模型,可勾选“连接摄像头”扫描并建立与可连接的摄像头之间的通信连接,可在“结果显示区域”显示摄像头实时采集的图像,以及处理结果,例如可显示人脸表情、人体姿态以及物体种类等结果。
应理解的是,可在用户点击图9中示出的“开始”按钮后,执行获取摄像头实时采集的图像,并对图像进行特征提取,得到图像的图像特征;进而将图像的图像特征输入至应用操作指示的数据处理模型,得到图像的样本处理结果并进行显示。
在本公开实施例中,能够使学生实际应用训练后的数据处理模型,体验数据处理模型的应用过程,有利于培养学生的学习兴趣与实践能力。
如上所述,模型生成方法可应用于人工智能教育设备,在一种可能的实现方式中,所述方法还包括:通过对人工智能教育设备显示的图形用户界面(Graphical UserInterface,GUI)的操作,实现针对模型生成方法的各种操作,各种操作包括特征提取操作、合并操作、划分操作、训练操作、测试操作、应用操作中的至少一种。
在一种可能的实现方式中,人工智能教育设备可是用于学习人工智能技术的电子设备,人工智能教育设备例如可包括智能教育机器人,应理解的是,本公开实施例对于智能教育设备的种类不作限制。
其中,图形用户界面可是用于实现人机交互的界面。模型生成方法对应的图形用户界面,可例如至少包括如上述实施例中图2至图3、图5至图9示出的图形用户界面,各个图形用户界面中可提供用于触发上述各种操作的相关控件。
应理解的是,人工智能教育设备中可部署有实现该模型生成方法以及方法对应的图形用户界面的程序,且具有屏幕,该屏幕可以用于显示图形用户界面,并接收到用户在图形用户界面上的各种操作后变换显示对应的界面。其中,可采用预设编程语言,例如Python语言、C语言、Java语言等本领域任意已知的编程语言,实现模型生成方法以及方法对应的图形用户界面的程序,对此本公开实施例不作限制。
本公开实施例中,实现模型生成方法以及方法对应的图形用户界面的程序中,实现各种操作的子程序,如特征提取操作、合并操作、划分操作、训练操作、测试操作、应用操作等的子程序,分别被封装为对应的接口,或者该子程序分别为实现对应功能的接口程序。然后,将接口与图形用户界面上的对应控件关联,从而可以检测到图形用户界面上的控件被触发时,可调用控件对应的接口,即可实现相关操作。在本公开实施例中,可实现学生与人工智能教育设备之间友好的人机交互,使得学生可以通过图形化的界面交互方式完成特征提取、特征集处理、模型训练、模型测试等数据处理模型开发过程,降低人工智能技术的学习门槛和应用门槛,提高了针对人工智能技术的学习效果,有利于培养学生的创造能力、实践能力。
如上所述,模型生成方法还可以应用于任意电子设备(例如电脑、笔记本等),在一种可能的实现方式中,可以将电子设备与上述人工智能教育设备之间建立通信连接,并在该电子设备中部署该模型生成方法以及方法对应的图形用户界面的程序,这样电子设备可以获取人工智能教育设备采集的数据集,并通过该电子设备上显示的图形用户界面执行上述各种操作,实现对数据处理模型进行训练,得到训练后的数据处理模型。
在一种可能的实现方式中,还可以在电子设备中得到训练后的数据处理模型的情况下,将训练后的数据处理模型部署在人工智能教育设备上,并在人工智能教育设备上进行对数据处理模型的测试和应用;当然,也可以在电子设备中完成针对该训练后的数据处理模型的测试,并将测试合格(例如精度、准确率等达到标准)的数据处理模型部署在人工智能教育设备上,进而直接在人工智能教育设备上进行数据处理模型的应用。
图10示出根据本公开实施例的模型生成系统的示意图,所述系统应用于人工智能教育设备,如图10所示,所述系统包括:
特征提取单元,用于在用户选择并导入数据集的情况下,响应于针对数据集的特征提取操作,对特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集;应理解的是,若用户直接选择并导入特征集,则无需经特征提取单元进行特征提取。
特征处理单元,用于响应于针对特征集的合并操作,对合并操作指示的多个特征集进行合并,得到目标数据集;以及,响应于针对目标数据集的划分操作,对目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集。
模型训练单元,用于响应于针对数据处理模型的训练操作,根据训练操作指示的子数据集以及标签集,对训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
模型测试单元,用于响应于针对数据处理模型的测试操作,根据测试操作指示的子数据集以及标签集,对测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果;以及,在样本数据为图像数据的情况下,响应于针对数据处理模型的应用操作,获取图像采集设备实时采集的图像,并对图像进行特征提取,得到图像的图像特征;将图像的图像特征输入至应用操作指示的数据处理模型,得到图像的处理结果并进行显示。
应理解的是,上述各个单元的具体实现方式,可参照上述本公开实施例的模型生成方法中的步骤,在此不做赘述。
根据本公开的实施例,能够通过人工智能教育设备显示的图形用户界面完成人工智能技术中特征提取、特征处理、模型训练、模型测试的数据处理模型的开发过程;能够让学生更简单的学习人工智能技术,降低用户学习和应用人工智能技术的门槛,有利于培养学生的学习兴趣、创造能力以及实践能力等。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外,本公开还提供了模型生成装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种模型生成方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
图11示出根据本公开实施例的模型生成装置的框图,如图11所示,所述装置包括:
划分模块101,用于响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;
训练模块102,用于响应于针对数据处理模型的训练操作,根据所述训练操作指示的子数据集以及标签集,对所述训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述装置还包括:特征提取模块,用于响应于针对样本数据集的特征提取操作,对所述特征提取操作指示的样本数据集中的样本数据进行特征提取,得到特征集,所述样本数据集包含同一类别样本数据,所述特征集包含所述样本数据的数据特征以及对应的数据标签;合并模块,用于响应于针对特征集的合并操作,对所述合并操作指示的多个特征集进行合并,得到所述目标数据集。
在一种可能的实现方式中,所述特征提取操作还用于指示数据特征的特征类别,其中,所述响应于针对数据集的特征提取操作,对所述特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集,包括:根据所述特征提取操作指示的特征类别,对所述数据集中的样本数据进行特征提取,得到所述样本数据的数据特征;将所述数据集的数据集名称作为所述数据特征的数据标签,得到所述特征集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述装置还包括:校验模块,用于响应于针对特征集的导入操作,校验导入的特征集是否符合预设标准,其中,所述预设标准包括特征集的指定文件类型以及数据特征的指定存储格式中的至少一种,所述导入的特征集中包含所述样本数据的数据特征以及对应的数据标签;导入模块,用于在所述导入的特征集符合所述预设标准的情况下,将所述导入的特征集作为所述目标数据集。
在一种可能的实现方式中,所述划分模块101,包括:第一创建子模块,用于根据预设划分数量,创建与所述预设划分数量对应的多个文件,各个文件的文件名称用于指示所存储数据的第一数据类型以及所述数据处理模型对应的生成阶段,所述第一数据类型包括数据特征或数据标签,所述生成阶段包括训练阶段或测试阶段;第一分配子模块,用于根据预设划分比例以及所述多个文件的文件名称,将所述目标数据集中的数据特征及数据标签,分配到与文件名称对应的各个文件中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述目标数据集中包含不同类别样本数据以及所述不同类别样本数据对应的数据标签,其中,划分模块101,包括:第二创建子模块,用于按照所述划分操作指示的划分数量,创建与所述划分数量对应的多个文件夹,各个文件夹的文件夹名称用于指示文件夹中所存储文件的第二数据类型以及所述数据处理模型对应的生成阶段,所述第二数据类型包括样本数据或数据标签,所述生成阶段包括训练阶段或测试阶段;第二分配子模块,用于根据所述划分操作指示的划分比例以及所述多个文件夹的文件夹名称,将所述划分操作指示的目标数据集中的样本数据及数据标签,分配到与文件夹名称对应的各个文件夹中,得到多个子数据集以及对应的标签集。
在一种可能的实现方式中,所述装置还包括:测试模块,用于响应于针对数据处理模型的测试操作,根据所述测试操作指示的子数据集以及标签集,对所述测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果,所述预设评估指标包括精度、准确率、精确率、召回率中的至少一种。
在一种可能的实现方式中,所述样本数据为图像数据,所述数据特征包括所述图像数据的图像特征,所述装置还包括:应用模块,用于响应于针对数据处理模型的应用操作,获取图像采集设备采集的图像,并对所述图像进行特征提取,得到所述图像的图像特征;将所述图像的图像特征输入至所述应用操作指示的数据处理模型,得到所述图像的处理结果并进行显示。
在一种可能的实现方式中,所述样本数据为图像数据、文本数据、音频数据中的任意一种;所述样本数据的类别包括至少一种负样本和至少一种正样本;所述数据特征的特征类别包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、物体特征、文本特征、音频特征中的任意一种;所述数据处理模型用于实现数据分类项目或数据回归项目;所述数据处理模型的模型种类包括:线性分类模型、线性回归模型、决策树分类模型、决策树回归模型、最近邻分类模型、随机森林分类模型、随机森林回归模型、神经网络分类模型、神经网络回归模型中的至少一种。
在一种可能的实现方式中,所述装置应用于人工智能教育设备,所述装置还包括:显示模块,用于通过所述人工智能教育设备显示的图形用户界面GUI,实现针对所述模型生成方法的各种操作,所述各种操作包括所述特征提取操作、所述合并操作、所述划分操作、所述训练操作、所述测试操作、所述应用操作、所述导入操作中的至少一种。
在本公开实施例中,能够基于人机交互的方式较为容易地实现模型开发,使得学生只需在界面上进行各种操作,可以实现特征处理、模型训练等过程并生成数据处理模型,无需学生掌握编程技术,即可实现亲身实践人工智能技术,有利于提高对人工智能技术的学习效果,有利于培养学生的创造能力、实践能力。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图12示出根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是人工智能教育设备、移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端设备。
参照图12,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)样本传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如无线网络(WiFi),第二代移动通信技术(2G)或第三代移动通信技术(3G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图13示出根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图13,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如微软服务器操作系统(Windows ServerTM),苹果公司推出的基于图形用户界面操作系统(Mac OSXTM),多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM),开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种模型生成方法,其特征在于,包括:
响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;
响应于针对数据处理模型的训练操作,根据所述训练操作指示的子数据集以及标签集,对所述训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
2.根据权利要求1所述的方法,其特征在于,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述方法还包括:
响应于针对样本数据集的特征提取操作,对所述特征提取操作指示的样本数据集中的样本数据进行特征提取,得到特征集,所述样本数据集包含同一类别样本数据,所述特征集包含所述样本数据的数据特征以及对应的数据标签;
响应于针对特征集的合并操作,对所述合并操作指示的多个特征集进行合并,得到所述目标数据集。
3.根据权利要求2所述的方法,其特征在于,所述特征提取操作还用于指示数据特征的特征类别,其中,所述响应于针对数据集的特征提取操作,对所述特征提取操作指示的数据集中的样本数据进行特征提取,得到特征集,包括:
根据所述特征提取操作指示的特征类别,对所述数据集中的样本数据进行特征提取,得到所述样本数据的数据特征;
将所述数据集的数据集名称作为所述数据特征的数据标签,得到所述特征集。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述目标数据集中包含不同类别样本数据的数据特征以及所述不同类别样本数据对应的数据标签,所述方法还包括:
响应于针对特征集的导入操作,校验导入的特征集是否符合预设标准,其中,所述预设标准包括特征集的指定文件类型以及数据特征的指定存储格式中的至少一种,所述导入的特征集中包含所述样本数据的数据特征以及对应的数据标签;
在所述导入的特征集符合所述预设标准的情况下,将所述导入的特征集作为所述目标数据集。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:
根据预设划分数量,创建与所述预设划分数量对应的多个文件,各个文件的文件名称用于指示所存储数据的第一数据类型以及所述数据处理模型对应的生成阶段,所述第一数据类型包括数据特征或数据标签,所述生成阶段包括训练阶段或测试阶段;
根据预设划分比例以及所述多个文件的文件名称,将所述目标数据集中的数据特征及数据标签,分配到与文件名称对应的各个文件中,得到多个子数据集以及对应的标签集。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述目标数据集中包含不同类别样本数据以及所述不同类别样本数据对应的数据标签,
其中,响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集,包括:
按照所述划分操作指示的划分数量,创建与所述划分数量对应的多个文件夹,各个文件夹的文件夹名称用于指示文件夹中所存储文件的第二数据类型以及所述数据处理模型对应的生成阶段,所述第二数据类型包括样本数据或数据标签,所述生成阶段包括训练阶段或测试阶段;
根据所述划分操作指示的划分比例以及所述多个文件夹的文件夹名称,将所述划分操作指示的目标数据集中的样本数据及数据标签,分配到与文件夹名称对应的各个文件夹中,得到多个子数据集以及对应的标签集。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
响应于针对数据处理模型的测试操作,根据所述测试操作指示的子数据集以及标签集,对所述测试操作指示的数据处理模型进行预设评估指标的测试,得到测试结果,所述预设评估指标包括精度、准确率、精确率、召回率中的至少一种。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述样本数据为图像数据,所述数据特征包括所述图像数据的图像特征,所述方法还包括:
响应于针对数据处理模型的应用操作,获取图像采集设备采集的图像,并对所述图像进行特征提取,得到所述图像的图像特征;
将所述图像的图像特征输入至所述应用操作指示的数据处理模型,得到所述图像的处理结果并进行显示。
9.根据权利要求1-8任一项所述的方法,其特征在于,
所述样本数据为图像数据、文本数据、音频数据中的任意一种;
所述样本数据的类别包括至少一种负样本和至少一种正样本;
所述数据特征的特征类别包括:人脸特征、人脸关键点特征、人体特征、人体关键点特征、物体特征、文本特征、音频特征中的任意一种;
所述数据处理模型用于实现数据分类项目或数据回归项目;
所述数据处理模型的模型种类包括:线性分类模型、线性回归模型、决策树分类模型、决策树回归模型、最近邻分类模型、随机森林分类模型、随机森林回归模型、神经网络分类模型、神经网络回归模型中的至少一种。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法应用于人工智能教育设备,所述方法还包括:通过对所述人工智能教育设备显示的图形用户界面GUI的操作,实现针对所述模型生成方法的各种操作,所述各种操作包括所述特征提取操作、所述合并操作、所述划分操作、所述训练操作、所述测试操作、所述应用操作、所述导入操作中的至少一种。
11.一种模型生成装置,其特征在于,包括:
划分模块,用于响应于针对目标数据集的划分操作,对所述目标数据集进行划分,得到多个子数据集以及与各个子数据集分别对应的标签集;
训练模块,用于响应于针对数据处理模型的训练操作,根据所述训练操作指示的子数据集以及标签集,对所述训练操作指示的数据处理模型进行训练,得到训练后的数据处理模型。
12.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至10中任意一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110969542.XA CN113705653A (zh) | 2021-08-23 | 2021-08-23 | 模型生成方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110969542.XA CN113705653A (zh) | 2021-08-23 | 2021-08-23 | 模型生成方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113705653A true CN113705653A (zh) | 2021-11-26 |
Family
ID=78654167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110969542.XA Withdrawn CN113705653A (zh) | 2021-08-23 | 2021-08-23 | 模型生成方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705653A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115841335A (zh) * | 2023-02-07 | 2023-03-24 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN115936091A (zh) * | 2022-11-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、装置、电子设备以及存储介质 |
-
2021
- 2021-08-23 CN CN202110969542.XA patent/CN113705653A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115936091A (zh) * | 2022-11-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、装置、电子设备以及存储介质 |
CN115936091B (zh) * | 2022-11-24 | 2024-03-08 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、装置、电子设备以及存储介质 |
CN115841335A (zh) * | 2023-02-07 | 2023-03-24 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109089133B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN112004163A (zh) | 视频生成方法及装置、电子设备和存储介质 | |
CN112836801A (zh) | 深度学习网络确定方法、装置、电子设备及存储介质 | |
CN113705653A (zh) | 模型生成方法及装置、电子设备和存储介质 | |
CN114240882A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
CN104035995A (zh) | 群标签生成方法及装置 | |
CN113806054A (zh) | 任务处理方法及装置、电子设备和存储介质 | |
CN110781813A (zh) | 图像识别方法及装置、电子设备和存储介质 | |
CN110569329B (zh) | 数据处理方法及装置、电子设备和存储介质 | |
CN114691115A (zh) | 业务流程系统生成方法及装置、电子设备和存储介质 | |
CN111797262A (zh) | 诗词生成方法、装置、电子设备和存储介质 | |
CN113553946A (zh) | 信息提示方法及装置、电子设备和存储介质 | |
CN111950397A (zh) | 图像的文本标注方法、装置、设备及存储介质 | |
CN113378893B (zh) | 数据管理方法及装置、电子设备和存储介质 | |
CN111666936A (zh) | 标注方法及装置和系统、电子设备和存储介质 | |
CN112559673A (zh) | 语言处理模型的训练方法及装置、电子设备及存储介质 | |
CN113504903A (zh) | 实验生成方法及装置、电子设备和存储介质 | |
CN114550545A (zh) | 一种课程生成、课程展示方法以及装置 | |
CN111488964A (zh) | 图像处理方法及装置、神经网络训练方法及装置 | |
CN112784700B (zh) | 人脸图像显示的方法、装置及存储介质 | |
CN113065361B (zh) | 用户亲密度的确定方法及装置、电子设备和存储介质 | |
CN114266305A (zh) | 对象识别方法及装置、电子设备和存储介质 | |
CN114153540A (zh) | 预训练模型发布方法及装置、电子设备和存储介质 | |
CN110765111B (zh) | 存储和读取方法、装置、电子设备和存储介质 | |
CN113450627A (zh) | 实验项目运行方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211126 |