CN117151247B - 机器学习任务建模的方法、装置、计算机设备和存储介质 - Google Patents
机器学习任务建模的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117151247B CN117151247B CN202311414212.XA CN202311414212A CN117151247B CN 117151247 B CN117151247 B CN 117151247B CN 202311414212 A CN202311414212 A CN 202311414212A CN 117151247 B CN117151247 B CN 117151247B
- Authority
- CN
- China
- Prior art keywords
- sample
- data
- node
- keywords
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 308
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 121
- 238000004590 computer program Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims description 145
- 238000012549 training Methods 0.000 claims description 135
- 238000012545 processing Methods 0.000 claims description 111
- 230000006870 function Effects 0.000 claims description 17
- 238000013506 data mapping Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 26
- 238000013473 artificial intelligence Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000013500 data storage Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种机器学习任务建模的方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。采用本方法能够提升机器学习任务建模的效率。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种机器学习任务建模的方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展,深度学习是人工智能领域中的关键技术,研发人员通常基于深度学习框架来开展相关工作,而通过机器学习平台可以提供高效、可扩展的机器学习服务和工具,帮助用户快速地构建、训练以及部署机器学习模型。
目前,机器学习平台通常包括数据预处理、特征提取、模型选择、训练、模型评估依旧部署等多个步骤,其主要思路是自动化地学习到当前机器学习任务的最优的神经网络结构和超参数和配置,减少机器学习模型开发过程中耗时高的反复性人力工作。然而,目前的机器学习平台主要是针对机器学习模型的参数优化,那么在机器学习任务建模存在的多个过程中依旧需要花费人力进行相应建模,由此依旧会降低机器学习任务建模的效率。因此,如何提升机器学习任务建模的效率是亟需解决的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升机器学习任务建模的效率的机器学习任务建模的方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种机器学习任务建模的方法。所述方法包括:
获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;
基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;
基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;
按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
第二方面,本申请还提供了一种机器学习任务建模装置。所述装置包括:
获取模块,用于获取针对机器学习任务建模的描述信息,提取所述描述信息中的目标关键字,所述目标关键字至少包括节点关键字以及实例关键字;
节点生成模块,用于基于所述节点关键字进行节点预测,生成与所述节点关键字具有节点映射关系的目标节点;
实例生成模块,用于基于所述实例关键字进行实例预测,生成与所述实例关键字具有实例映射关系的目标实例;
机器学习任务构建模块,用于按照所述目标实例所表征的节点连接顺序,确定各所述目标节点之间的连接顺序,并基于各所述目标节点的连接顺序,对所述机器学习任务进行构建。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;
基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;
基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;
按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;
基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;
基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;
按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;
基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;
基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;
按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
上述机器学习任务建模的方法、装置、计算机设备、存储介质和计算机程序产品,通过获取针对机器学习任务建模的描述信息,能够确定所需建模的具体需求,而对描述信息进行关键字提取以确定在机器学习任务建模过程中针对节点与实例的关键字,节点关键字与实例关键字能够更为简洁且准确地描述节点与实例的关键信息,基于此进行节点预测以及实例预测可得到的准确地目标节点与目标实例,从通过目标实例所表征的节点连接顺序,确定每个目标节点之间的连接顺序,以保证在机器学习任务运行时节点之间连接运行的准确性,从而基于各目标节点的连接顺序对机器学习任务建模,由此通过所输入的相关描述信息即可完成准确地机器学习任务建模,无需人力参与具体建模过程以降低人工干预成本,从而提升机器学习任务建模的效率。
附图说明
图1为一个实施例中机器学习任务建模的方法的应用环境图;
图2为一个实施例中机器学习任务建模的简略流程图;
图3为一个实施例中机器学习任务建模的方法的流程示意图;
图4为一个实施例中机器学习任务建模的方法的部分流程示意图;
图5为另一个实施例中机器学习任务建模的方法的部分流程示意图;
图6为一个实施例中考虑实例关键字、节点关键字、数据关键字以及代码关键字进行建模的应用流程示意图;
图7为再一个实施例中机器学习任务建模的方法的部分流程示意图;
图8为一个实施例中提取描述信息中的目标关键字的流程示意图;
图9为一个实施例中预测模型的训练步骤的流程示意图;
图10为一个实施例中预测模型的训练步骤的部分流程示意图;
图11为另一个实施例中预测模型的训练步骤的部分流程示意图;
图12为又一个实施例中预测模型的训练步骤的部分流程示意图;
图13为一个实施例中预测模型的参数调整的应用流程示意图;
图14为一个实施例中创建信息映射关系的流程示意图;
图15为一个实施例中机器学习任务建模的方法的完整流程示意图;
图16为一个实施例中机器学习任务建模装置的结构框图;
图17为另一个实施例中机器学习任务建模装置的结构框图;
图18为又一个实施例中机器学习任务建模装置的结构框图;
图19为再一个实施例中机器学习任务建模装置的结构框图;
图20为又再一个实施例中机器学习任务建模装置的结构框图;
图21为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
随着人工智能技术的发展,深度学习是人工智能领域中的关键技术,研发人员通常基于深度学习框架来开展相关工作,而通过机器学习平台可以提供高效、可扩展的机器学习服务和工具,帮助用户快速地构建、训练以及部署机器学习模型。目前,机器学习平台通常包括数据预处理、特征提取、模型选择、训练、模型评估依旧部署等多个步骤,其主要思路是自动化地学习到当前机器学习任务的最优的神经网络结构和超参数和配置,减少机器学习模型开发过程中耗时高的反复性人力工作。然而,目前的机器学习平台主要是针对机器学习模型的参数优化,那么在机器学习任务建模存在的多个过程中依旧需要花费人力进行相应建模,由此依旧会降低机器学习任务建模的效率。因此,如何提升机器学习任务建模的效率是亟需解决的问题。
为解决前述问题,本申请实施例提供一种能够提升机器学习任务建模的效率的机器学习任务建模的方法。本申请实施例提供的机器学习任务建模的方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。
具体地,以机器学习任务建模的方法应用于服务器104为例进行说明,服务器104先获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字,然后基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点,从而基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例,由此按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。基于此,通过目标实例所表征的节点连接顺序,确定每个目标节点之间的连接顺序,以保证在机器学习任务运行时节点之间连接运行的准确性,从而基于各目标节点的连接顺序对机器学习任务建模,由此通过所输入的相关描述信息即可完成准确地机器学习任务建模,无需人力参与具体建模过程以降低人工干预成本,从而提升机器学习任务建模的效率。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。以及申请实施例提供的机器学习任务建模的方法可应用于各种场景,包括但不限于云技术、以及人工智能等。
进一步地,由于本申请实施例是在机器学习平台上进行机器学习任务建模,下面先介绍本申请实施例中机器学习任务建模的简略流程,如图2所示,先通过建模人员针对机器学习任务建模进行相应的描述信息输入,然后通过对描述信息进行关键字提取,即提取得到实例关键字、节点关键字、数据关键字以及代码关键字,然后分别对实例关键字进行实例预测以得到目标实例,对节点关键字进行节点预测以得到目标节点,对数据关键字进行数据预测以得到目标数据,以及对代码关键字进行代码预测以得到目标代码,然后通过目标实例、目标节点、目标数据以及目标代码完成机器学习任务建模,从而基于所完成的机器学习任务建模通过目标实例、目标节点、目标数据以及目标代码进行目标机器学习任务的运行。
通过前述介绍可知,本申请实施例提供的机器学习任务建模的方法具体涉及人工智能(Artificial Intelligence,AI)技术,下面将对AI技术进行简述:人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例是在机器学习平台上进行机器学习任务建模,且进行实例预测、节点预测、数据预测以及代码预测的过程均需要基于训练所得到的模型进行,即前述预测过程具体涉及机器学习(Machine Learning,ML)技术,下面对机器学习技术进行详细介绍,机器学习技术是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容(AIGC)、对话式交互、智能医疗、智能客服、游戏AI等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习技术,具体通过如下实施例进行说明:在一个实施例中,如图3所示,提供了一种机器学习任务建模的方法,以该方法应用于图1中的服务器104为例进行说明,可以理解的是,该方法也可以应用于终端102,还可以应用于包括终端102和服务器104的系统,并通过终端102和服务器104的交互实现。本实施例中,该方法包括以下步骤:
步骤302,获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字。
其中,描述信息为描述机器学习任务建模的具体数据信息,该描述信息可以为文本数据信息,可以为语音数据信息,也可以包括文本数据信息与语音数据信息以及其他模态的数据信息,此处不做限定。其次,描述信息至少包括描述所建模机器学习任务的模型功能的功能数据信息,描述所建模机器学习任务的数据来源信息等。例如,描述信息为“生成一个基于用户兴趣列表的商品推荐精排模型”,那么用户兴趣列表即为数据来源信息,商品推荐精排模型即为功能数据信息。或者,描述信息为“生成基于数据表1的对象分类模型,并基于对象分类模型进行对象评估”,此时数据表1为数据来源信息,对象分类与对象评估均为功能数据信息。
其次,目标关键字至少包括节点关键字以及实例关键字。节点关键字具体为描述机器学习任务建模中各节点的关键信息,例如,描述信息为“生成一个基于用户兴趣列表的商品推荐精排模型”,那么节点关键字可以为:基于用户兴趣列表进行数据处理,商品推荐精排,以及生成商品推荐精排模型。类似地,实例关键字具体为描述机器学习任务建模中各流程运行的前后顺序的关键信息,例如,描述信息为“生成一个基于用户兴趣列表的商品推荐精排模型”,先进行数据处理,再进行商品推荐精排,最后生成商品推荐精排模型。可以理解的是,目标关键字中还可以包括数据关键字与代码关键字,后续实施例中会对此进行详细描述。以及在实际应用中,目标关键字还可以包括模型信息关键字,模型参数关键词以及模型测试训练集关键词,如,模型信息关键字:模型向量维度32维且隐藏层为200*200。模型参数关键词:学习率0.01以及迭代次数100epoch。模型测试训练集关键词:训练集auc1以及测试集auc2。
具体地,服务器获取针对机器学习任务建模的描述信息。此时,服务器可以通过建模人员实时输入的针对机器学习任务建模的描述信息进行获取,可以为在建模人员实时输入的针对机器学习任务建模的初始描述信息,若基于初始描述信息进行机器学习任务建模所得到的机器学习任务不符合建模需求,此时可以对初始描述信息进行修改,以得到描述信息,也就是描述信息可以为对初始描述信息进行调整后得到的。或者,服务器还可以通过与数据存储系统之间的通信交互,获取存储于数据存储系统中的针对机器学习任务建模的描述信息。此处都不对描述信息的获取进行限定。
进一步地,服务器提取描述信息中的目标关键字。也就是服务器通过描述信息确定机器学习任务建模需求,由此从描述信息提取相应的关键字。关键字的提取可以基于关键字预测模型进行,关键字预测模型的获取方式可以包括:先获取训练样本,并通过标注人员对训练样本进行关键字标注得到样本关键字,然后通过训练样本的样本关键字存在信息映射关系的描述信息样本,通过初始关键字预测模型输出描述信息样本对应的预测关键字,从而通过描述信息样本对应的预测关键字、与描述信息样本存在信息映射关系的样本关键字调整初始关键字预测模型的参数,以得到关键字预测模型,由此服务器基于关键字预测模型提取描述信息中的目标关键字。
步骤304,基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。
其中,节点映射关系为节点关键字与节点之间的映射关系,例如,节点A11、节点A12、以及节点A13与节点关键字B1之间存在节点映射关系,节点A21以及节点A22与节点关键字B2之间存在节点映射关系,节点A31余节点A32与节点关键字B3之间存在节点映射关系,节点A41、节点A42、节点A43以及节点A44与节点关键字B4之间存在节点映射关系。其次,目标节点可以为单个节点或多个节点,由于节点关键字具体为描述机器学习任务建模中各节点的关键信息,那么所得到的目标节点的节点类型能够与节点关键字匹配,前述节点类型用于表征节点功能,如数据处理节点用于对数据进行处理,训练节点用于基于数据进行训练,以及预测节点用于在实际应用中通过所得到的模型进行预测。例如,描述信息为“生成一个基于用户兴趣列表的商品推荐精排模型”,那么节点关键字可以为:基于用户兴趣列表进行数据处理,商品推荐精排,以及生成商品推荐精排模型。那么可以得到的对应的目标节点包括:数据处理节点,商品推荐精排模型训练节点,以及商品推荐精排节点。
具体地,服务器基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。即服务器通过节点关键字所描述的机器学习任务建模中各节点的关键信息,以生成与节点关键字具有节点映射关系的目标节点。例如,节点关键字具体为节点关键字B2,此时可以生成的目标节点为节点A21以及节点A22。或,节点关键字具体为节点关键字B4,此时可以生成的目标节点为节点A41、节点A42、节点A43以及节点A44。
可以理解的是,在实际应用中,节点关键字可以为不属于本身存在的节点关键字,也就是本实施例中所提取的节点关键字可以为新的节点关键字,那么所得到的目标节点也可以为不属于本身存在的节点,也就是本实施例中所生成的目标节点可以为新的节点。如,节点关键字为节点关键字B5,且所生成的与节点关键字B5具有节点映射关系的目标节点为节点A51与节点A52。此处不做具体限定。
步骤306,基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。
其中,实例映射关系为实例关键字与实例之间的映射关系,例如,实例C1与实例关键字D1之间存在实例映射关系,实例C2与实例关键字D2之间存在实例映射关系,实例C3与实例关键字D3之间存在实例映射关系,实例C4与实例关键字D4之间存在实例映射关系。其次,由于实例关键字具体为描述机器学习任务建模中各流程运行的前后顺序的关键信息,那么所得到的目标实例即可以表征在该实例下各节点之间的节点连接顺序,各目标实例具体表征各节点类型的节点之间的节点连接顺序。如:目标实例可以为:数据处理节点连接训练节点,训练节点连接预测节点。或者,目标实例还可以为:数据预处理节点连接预训练节点,预训练节点连接训练节点,训练节点再连接预测节点。
具体地,服务器基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。即服务器通过实例关键字所描述机器学习任务建模中各流程运行的前后顺序,以生成与实例关键字具有实例映射关系的目标实例,从而使得目标实例能够表征节点连接顺序。例如,实例关键字具体为实例关键字D2,此时可以生成的目标实例为实例C2。或,实例关键字具体为实例关键字D4,此时可以生成的目标实例为实例C4。
可以理解的是,在实际应用中,实例关键字可以为不属于本身存在的实例关键字,也就是本实施例中所提取的实例关键字可以为新的实例关键字,那么所得到的目标实例也可以为不属于本身存在的实例,也就是本实施例中所生成的目标实例可以为新的实例。如,实例关键字为实例关键字D5,且所生成的与实例关键字D5具有实例映射关系的目标实例为实例C5。此处不做具体限定。
进一步地,通过前述示例可知,由于目标关键字还可以包括模型信息关键字,模型参数关键词以及模型测试训练集关键词,那么生成目标实例的过程中还可以基于实例关键字,并考虑模型信息关键字,模型参数关键词以及模型测试训练集关键词,确定资源配置、模板参数、平台参数以及重试参数等相关信息。那么生成目标实例的过程中也能够考虑前述相关信息生成更结合实际的各节点之间的节点连接顺序。
步骤308,按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
具体地,通过前述实施例可知,目标实例可以表征节点连接顺序,那么服务器按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序。例如,基于前述示例进行进一步地介绍,由于每个目标节点具有节点类型,若目标节点具体为节点A41、节点A42、节点A43以及节点A44,前述节点A41为预测节点,节点A42为预训练节点,节点A43为数据预处理节点,以及节点A44为训练节点。而目标实例所表征的节点连接顺序为数据预处理节点连接预训练节点,预训练节点连接训练节点,训练节点再连接预测节点。此时各目标节点之间的连接顺序具体为:节点A43连接节点A42,节点A42连接节点A44,节点A44再连接节点A41,即节点A43至节点A42至节点A44至节点A41。
进一步地,服务器基于各目标节点的连接顺序,对机器学习任务进行构建,也就是服务器通过各目标节点的连接顺序依次连接各目标节点,以建模机器学习任务,那么所建模的目标机器学习任务运行过程中,将具体基于各目标节点的连接顺序依次运行。可以理解的是,本实施例中所有示例仅用于理解本方案,不应理解为对本方案的具体限定。
上述机器学习任务建模的方法中,通过获取针对机器学习任务建模的描述信息,能够确定所需建模的具体需求,而对描述信息进行关键字提取以确定在机器学习任务建模过程中针对节点与实例的关键字,节点关键字与实例关键字能够更为简洁且准确地描述节点与实例的关键信息,基于此进行节点预测以及实例预测可得到的准确地目标节点与目标实例,从通过目标实例所表征的节点连接顺序,确定每个目标节点之间的连接顺序,以保证在机器学习任务运行时节点之间连接运行的准确性,从而基于各目标节点的连接顺序对机器学习任务建模,由此通过所输入的相关描述信息即可完成准确地机器学习任务建模,无需人力参与具体建模过程以降低人工干预成本,从而提升机器学习任务建模的效率。
在一个实施例中,如图4所示,目标关键字还包括数据关键字。在机器学习任务建模时,一个实例的运行需要按照各目标节点的连接顺序,而各目标节点的运行具体需要依据具体数据,因此在提取关键词时还需要进行数据关键词的提取。数据关键字具体描述机器学习任务建模中所需数据的数据关键信息,例如,描述信息为“生成基于数据表1的对象分类模型,并基于对象分类模型进行对象评估”,此时数据关键字可以为数据表1。
基于此,机器学习任务建模的方法还包括:
步骤402,基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。
其中,数据映射关系为数据关键字与数据之间的映射关系,例如,数据E1与数据关键字F1之间存在数据映射关系,数据E2与数据关键字F2之间存在数据映射关系,数据E3与数据关键字F3之间存在数据映射关系。其次,由于数据关键字具体描述机器学习任务建模中所需数据的数据关键信息,那么所得到的目标数据即可以表征在目标数据的数据位置信息以及数据格式信息。如:目标数据为SSS表,且特征列为X列,样本列为Y列,以及目标数据为libsvm格式数据,此时数据位置信息为SSS表中的X列与Y列,数据格式信息为libsvm格式。
具体地,服务器基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。即服务器通过数据关键字所描述机器学习任务建模中所需数据的数据来源,以生成与数据关键字具有数据映射关系的目标数据,从而使得目标数据能够表征数据位置信息以及数据格式信息。
可以理解的是,在实际应用中,数据关键字可以为不属于本身存在的数据关键字,也就是本实施例中所提取的数据关键字可以为新的数据关键字,那么所得到的目标数据也可以为不属于本身存在的数据,也就是本实施例中所生成的目标数据可以为新的数据。此处不做具体限定。
基于此,基于各目标节点的连接顺序,对机器学习任务进行构建,包括:
步骤404,确定目标数据所表征的数据位置信息以及数据格式信息。
其中,数据位置信息用于表征目标数据的具体存储位置,以及数据格式信息用于表征目标数据的数据格式。具体地,服务器通过所生成的目标数据,以确定目标数据所表征的数据位置信息以及数据格式信息。如前述示例可知,目标数据为SSS表,且特征列为X列,样本列为Y列,以及目标数据为libsvm格式数据,数据位置信息为SSS表中的X列与Y列,数据格式信息为libsvm格式。
步骤406,基于各目标节点的连接顺序、数据位置信息以及数据格式信息,对机器学习任务进行构建。
具体地,服务器基于各目标节点的连接顺序、数据位置信息以及数据格式信息,对机器学习任务进行构建。也就是服务器通过各目标节点的连接顺序依次连接各目标节点,并考虑数据位置信息所表征的数据存储位置以及数据格式信息所表征的数据格式,确定各目标节点的输入数据与输出数据,从而在所建模的目标机器学习任务运行过程中,按照各目标节点的连接顺序依次运行,且具体通过各目标节点的输入数据与输出数据完成节点之间的数据传输。可以理解的是,本实施例中所有示例仅用于理解本方案,不应理解为对本方案的具体限定。
本实施例中,在保证在机器学习任务运行时节点之间连接运行的准确性的基础上,通过节点关键字确定目标数据,从而确定目标数据所表征的数据位置信息以及数据格式信息,进一步地的保证在机器学习任务运行时各节点之间具有准确来源的数据进行传输,以保证所建模的机器学习任务的运行可靠性。
在一个实施例中,如图5所示,目标关键字还包括代码关键字。一个机器学习任务的运行具体需要代码驱动,也就是需要代码按照各目标节点的连接顺序,以及考虑节点之间的数据传输进行实际驱动,那么在机器学习任务建模时,在考虑实例、节点以及数据的基础上,还需要进一步考虑驱动机器学习任务运行的代码,在提取关键词时还可以进行到,代码关键词的提取。代码关键字具体描述机器学习任务建模的正常运行的关键信息。
基于此,机器学习任务建模的方法还包括:
步骤502,基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。
其中,代码映射关系为代码关键字与代码之间的映射关系,例如,代码G1与代码关键字H1之间存在代码映射关系,代码G2与代码关键字H2之间存在代码映射关系,代码G3与代码关键字H3之间存在代码映射关系。其次,由于代码关键字具体描述机器学习任务建模的正常运行的关键信息,那么所得到的目标代码即可以表征机器学习任务运行时的数据处理信息,前述数据处理信息包括各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式,以及各节点类型的节点输入数据的数据输入格式中至少一项。数据处理方式具体为对目标数据进行数据处理的方式,数据输出格式具体为对目标数据进行数据处理后所输出数据的输出格式,数据输入格式具体为输入至节点的目标数据的输入格式。可以理解的是,目标代码还可以表征代码的代码生成方式以及节点的功能信息中任一项。目标代码针对不同节点类型的节点所表征的信息可以不一致。
例如,目标代码表征:数据处理节点使用数据表1,对数据表1中的特征1做离散化操作,使用spark-scala生成代码,且输出为libsvm格式数据。训练节点使用spark -xgboost生成代码,输入数据为libsvm格式数据,输出为模型数据。预测节点使用spark-scala生成代码,输入数据为训练数据和模型,输出为数据表且格式为YYY。由此可知,针对数据处理节点而言,数据处理方式为离散化操作,代码生成方式为spark-scala,数据输出格式为libsvm格式,以及数据输入格式为数据表1中的特征1。同理可知,针对训练节点而言,数据输入格式为libsvm格式,数据输出格式为模型,代码生成方式为spark-scala。同理可知,针对预测节点而言,数据输入格式为训练数据和模型,数据输出为数据表且格式为YYY。
具体地,服务器基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。即服务器通过代码关键字所描述机器学习任务建模的正常运行的关键信息,以生成与代码关键字具有代码映射关系的目标代码,从而使得目标代码能够表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息。
可以理解的是,在实际应用中,代码关键字可以为不属于本身存在的代码关键字,也就是本实施例中所提取的代码关键字可以为新的代码关键字,那么所得到的目标代码也可以为不属于本身存在的代码,也就是本实施例中所生成的目标代码可以为新的代码。此处不做具体限定。
基于此,基于各目标节点的连接顺序、数据位置信息以及数据格式信息,对机器学习任务进行构建,包括:
步骤504,确定目标代码所表征的数据处理信息。
其中,目标代码能够表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息。具体地,服务器通过所生成的目标代码,以确定目标数据所表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息。如前述示例可知,针对数据处理节点而言,数据处理方式为离散化操作,代码生成方式为spark-scala,数据输出格式为libsvm格式。
步骤506,基于各目标节点的连接顺序、数据位置信息、数据格式信息、以及数据处理信息,对机器学习任务进行构建。
具体地,服务器基于各目标节点的连接顺序、数据位置信息、数据格式信息、以及数据处理信息,对机器学习任务进行构建。也就是服务器通过各目标节点的连接顺序依次连接各目标节点,并考虑数据位置信息所表征的数据存储位置以及数据格式信息所表征的数据格式,确定各目标节点的输入数据与输出数据,然后通过目标代码所表征的数据处理信息确定对各目标节点的输入数据与输出数据的数据处理方式以及数据传输方式。从而在所建模的目标机器学习任务运行过程中,通过所表征的数据处理信息。按照各目标节点的连接顺序依次运行,且具体通过各目标节点的输入数据与输出数据完成节点之间的数据传输。可以理解的是,本实施例中所有示例仅用于理解本方案,不应理解为对本方案的具体限定。
本实施例中,通过目标代码进一步地的保证在机器学习任务运行时节点运行的可靠性,以及节点之间数据传输的准确性可靠性,进一步地保证所建模的机器学习任务的运行可靠性。
为便于理解,考虑实例关键字、节点关键字、数据关键字以及代码关键字进行建模的应用过程,如图6所示,描述信息602包括:数据表X,样本定义Y,特征使用Z,数据清洗。XX连续特征进行对数离散化,YY连续特征分段离散化。使用XXX横型,对点击率建模,分类任务以及模型基本参数YYY。模型训练参数ZZ以及模型评测指标ZZZ。
基于此,对描述信息602进行关键字提取得到关键字604,通过描述信息602中的“数据表X,样本定义Y,特征使用Z,数据清洗”可以得到关键字604“清洗数据,定义样本、定义特征”。同理可知,通过描述信息602中的“XX连续特征进行对数离散化,YY连续特征分段离散化”可以得到关键字604“XX对数离散化,YY分段离散化”。类似地,通过描述信息602中的“使用XXX横型,对点击率建模,分类任务以及模型基本参数YYY”可以得到关键字604“XXX横型向量维度32维,隐藏层200*200”。通过描述信息602中的“模型训练参数ZZ”可以得到关键字604“学习率0.01,迭代次数100epoch”。以及通过描述信息602中的“模型评测指标ZZZ”可以得到关键字604“训练集auc1,测试集auc2”。
基于此,通过关键字604可以进行实例预测,以生成实例606,实例606具体包括模板参数,资源配置,算法实例,平台参数以及重试参数,前述算法实例即可表征各类型节点的节点连接顺序。同理可知,通过关键字604还可以进行节点预测,以生成节点608吗,节点608包括以下节点类型的节点:数据预处理、特征工程、模型选择、模型训练以及模型评估。
其次,通过关键字604还可以进行数据预测,以生成数据610,类似地,通过关键字604还可以进行代码预测,以生成代码612。
其中,数据610表征如下:
1、输入:数据表,输出:样本、原始特征。且具体对应数据预处理节点的输入与输出。
2、输入:样本、原始特征,输出:样本拼特征。且具体对应特征工程节点的输入与输出。
3、输入:模型选购、模型参数,输出:模型结构。且具体对应模型选择节点的输入与输出。
4、输入:样本拼接特征、训练参数,输出:训练所得到的模型。且具体对应模型训练节点的输入与输出。
5、输入:评测数据集合、评测指标,输出:评测结果。且具体对应模型评估节点的输入与输出。
前述图6即为考虑实例关键字、节点关键字、数据关键字以及代码关键字进行一次机器学习任务建模的过程。可以理解的是,图6的示例仅用于理解本方案,不应理解为对本方案的具体限定。
通过前述所介绍的实施方式,在完成机器学习任务建模后,需要运行建模完成的机器学习任务,下面将详细说明如何行机器学习任务建模对应的目标机器学习任务:在一个实施例中,如图7所示,机器学习任务建模的方法还包括:
步骤702,通过目标代码确定各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式。
具体地,通过前述实施例可知,目标代码能够表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息,而数据处理信息包括各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式,以及各节点类型的节点输入数据的数据输入格式中至少一项。因此,服务器可以通过目标代码所表征的数据处理信息,以确定各节点类型的节点的数据处理方式,与各节点类型的节点所输出数据的数据输出格式。且服务器针部分节点类型的节点,服务器还可以确定各节点类型的节点所输入数据的数据输入格式。
为便于理解,以前述示例进行介绍,针对数据处理节点而言,数据处理方式为离散化操作,数据输入格式为数据表1中的特征1,数据输出格式为libsvm格式。针对训练节点而言,数据输入格式为libsvm格式,数据输出格式为模型。针对预测节点而言,数据输入格式为训练数据和模型,数据输出为数据表且格式为YYY。
步骤704,通过各节点类型的节点的数据处理方式,确定各目标节点的目标数据处理方式,并通过各节点类型的节点所输出数据的数据输出格式,确定各目标节点的目标数据输出格式。
具体地,服务器通过各节点类型的节点的数据处理方式,确定各目标节点的目标数据处理方式,即服务器通过各目标节点的节点类型,基于各节点类型的节点的数据处理方式以确定各目标节点的目标数据处理方式。例如,以前述示例为例,若目标节点A11为数据处理节点,那么目标节点A11的目标数据处理方式为离散化操作。
进一步地,服务器通过各节点类型的节点所输出数据的数据输出格式,确定各目标节点的目标数据输出格式。即服务器通过各目标节点的节点类型,基于各节点类型的节点所输出数据的数据输出格式,以确定各目标节点的目标数据输出格式。例如,再次以前述示例为例,若目标节点A11为数据处理节点,那么目标节点A11的目标数据输出格式为libsvm格式。若目标节点A12为训练节点,那么目标节点A12的目标数据输出格式为模型。
可选地,由于针部分节点类型的节点,服务器还可以确定各节点类型的节点所输入数据的数据输入格式。因此,服务器还可以根据目标代码确定目标节点的目标数据输入格式,若目标节点无具体目标数据输入格式,即目标数据输入格式为空。例如,再次以前述示例为例,若目标节点A11为数据处理节点,数据输入格式为数据表1中的特征1。若目标节点A12为训练节点,那么目标节点A12的目标数据输入格式为libsvm格式。若目标节点A13为训练节点,那么目标节点A13的目标数据输入格式为训练数据和模型。
步骤706,通过数据位置信息以及数据格式信息,确定各目标节点的目标输入数据与目标输出数据。
具体地,服务器通过数据位置信息以及数据格式信息,确定各目标节点的目标输入数据与目标输出数据。由于服务器可以数据位置信息用于表征目标数据的具体存储位置,以及数据格式信息用于表征目标数据的数据格式,因此服务器通过数据位置信息以及数据格式信息,可以确定目标数据的具体存储位置,以及在目标数据的存储位置确定目标数据的数据格式,以确定每一目标节点的目标输入数据与目标输出数据。例如,再次以前述示例为例,若目标节点A12为训练节点,那么目标节点A12的目标数据输入格式为libsvm格式,以及目标数据输出格式为模型,那么此时针对目标节点A12而言,目标输入数据即为libsvm格式数据,目标输出数据即为模型数据。
步骤708,基于各目标节点的连接顺序,依次通过目标数据处理方式对各目标节点的目标输入数据进行数据处理,并按照目标数据输出格式依次输出各目标节点的目标输出数据,以运行机器学习任务建模对应的目标机器学习任务。
具体地,服务器基于各目标节点的连接顺序,依次通过目标数据处理方式对各目标节点的目标输入数据进行数据处理,并按照目标数据输出格式依次输出各目标节点的目标输出数据,以运行机器学习任务建模对应的目标机器学习任务。由于服务器能够确定各目标节点的目标输入数据与目标输出数据,那么服务器各目标节点的连接顺序,依次针对每一目标节点所确定的目标数据处理方式对目标节点的目标输入数据进行数据处理,然后完成数据处理后按照每一目标节点的目标数据输出格式输出各目标节点的目标输出数据,从而以运行机器学习任务建模对应的目标机器学习任务。
例如,再次以前述示例为例,目标节点的连接顺序为:节点A11、节点A12、以及节点A13,若节点A11为数据处理节点,那么节点A11的目标数据处理方式为离散化操作,以及数据输入格式为数据表1中的特征1,此时节点A11将对数据表1中的特征1进行离散化操作,而节点A11的目标数据输出格式为libsvm格式,那么对数据表1中的特征1进行离散化操作后将以libsvm格式数据输出离散化操作后的数据表1中的特征1,此时会将libsvm格式数据的离散化操作后的数据表1中的特征1输入至节点A11的下一节点A12。
若节点A12为训练节点,节点A12的目标数据输入格式为libsvm格式,目标节点A12的目标数据输出格式为模型。此时节点A12的目标数据处理方式即为模型训练过程,因此与前述介绍类似地,通过节点A12的目标数据处理方式(模型训练),对各目标节点的libsvm格式数据的离散化操作后的数据表1中的特征1进行模型训练,并输出训练得到的模型至节点A12的下一节点A13。依次类推,以完成目标机器学习任务的运行。
可以理解的是,本实施例中所有示例仅用于理解本方案,不应理解为对本方案的具体限定。
本实施例中,通过数据处理方式能够准确对每一节点的输入数据进行相应处理,而通过数据输出格式与数据输入格式保证每一节点之间输入数据与输出数据的格式准确度,以避免数据处理所输出的数据格式无法被下一节点处理,进而机器学习任务的运行的可靠性与可行性。
在一个实施例中,如图8所示,提取描述信息中的目标关键字,包括:
步骤802,提取描述信息中的初始关键字,初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字。
其中,初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字。初始节点关键字描述机器学习任务建模中各节点的初始关键信息。初始实例关键字描述机器学习任务建模中各流程运行的前后顺序的初始关键信息。初始数据关键字具体描述机器学习任务建模中所需数据的初始数据关键信息。以及初始代码关键字描述机器学习任务建模的正常运行的初始关键信息。具体地,服务器提取描述信息中的初始关键字,具体提取方式与前述实施例中提取节点关键字、实例关键字、数据关键字以及代码关键字的方式类似,此处不再赘述。
步骤804,获取针对至少一类初始关键字进行修改的调整关键字,并通过调整关键字调整对应的初始关键字,以得到目标关键字。
其中,调整关键字用于修改初始关键字,且调整关键字通常为建模人员手动输入的关键字。由于初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字,因此调整关键字可以对初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字中至少一项进行调整。
具体地,服务器获取针对至少一类初始关键字进行修改的调整关键字,即建模人员可以针对初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字中任一项进行针对性调整修改,然后再通过调整关键字调整对应的初始关键字,以得到目标关键字。如,若建模人员确定初始节点关键字中存在误差或者缺失部分关键信息,那么建模人员可以针对初始节点关键字输入调整关键字,然后再基于调整关键字调整初始节点关键字,以获取最后的节点关键字。前述调整关键字的方式可以为替换部分关键字,或者删减部分关键字,或者新增部分关键字,此处不做限定。
本实施例中,在机器学习任务建模过程中,考虑到自动化建模依旧可能存在检测预测与实际情况具有偏差的问题,在提取关键字的过程引入建模人员的交互修改操作,保证所确定关键字能够更为准确的标注的相应的关键信息,从而保证后续代码,数据,节点以及实例确定的可靠性,进而保证机器学习任务建模的可靠性。
在一个实施例中,如图9所示,节点预测与实例预测是基于预测模型得到的。以及数据预测与代码预测也是基于预测模型得到的。
即前述实施例中,服务器具体通过预测模型,基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。服务器具体通过预测模型,基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。以及服务器具体通过预测模型,基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。服务器具体通过预测模型基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。
基于此,预测模型的训练步骤包括:
步骤902,获取训练样本,并对训练样本进行关键字标注得到样本关键字。
其中,训练样本至少包括实例样本、节点样本、数据样本以及代码样本。其次,样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字。具体地,服务器获取训练样本,即服务器可以手机所公开的机器学习平台任务的代码、数据流输入输出、工作流图节点、实例配置,并公开的机器学习平台任务的代码作为代码样本,数据流输入输出作为数据样本,工作流图节点作为节点样本,以及实例配置作为实例样本。服务器也可以从数据存储系统中获取已完成建模的机器学习任务,并将构建机器学习任务的代码、节点、数据以及示例作为前述样本以构建训练样本。此处不对训练样本的获取进行限定。
进一步地,服务器对训练样本进行关键字标注得到样本关键字,对训练样本进行关键字标注具体通过标注人员进行。且服务器由此能够构建训练样本与样本关键字之间的数据集,也就是能够创建各样本关键字与描述信息样本之间的信息映射关系。由于训练样本至少包括实例样本、节点样本、数据样本以及代码样本,即服务器对训练样本进行关键字标注得到样本关键字具体包括:服务器对实例样本、节点样本、数据样本以及代码样本分别进行关键字标注得到样本关键字。即服务器能够得到的对实例样本进行关键字标注的实例样本关键字,对节点样本进行关键字标注的节点样本关键字,对数据样本进行关键字标注的数据样本关键字,以及对代码样本进行关键字标注的代码样本关键字。
步骤904,通过初始预测模型对样本关键字进行预测,得到样本关键字的预测样本。
其中,由于样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字。那么预测得到的预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本。具体地,通过初始预测模型对样本关键字进行预测,得到样本关键字的预测样本,由于预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本,那么服务器通过初始预测模型对样本关键字进行预测,得到样本关键字的预测样本,具体包括:通过初始预测模型对实例样本、节点样本、数据样本以及代码样本分别进行预测,得到样本关键字的预测样本。
基于此,服务器具体通过初始预测模型对实例样本关键字进行实例预测,得到实例样本关键字的预测实例样本。同理,服务器通过初始预测模型对节点样本关键字进行节点预测,得到节点样本关键字的预测节点样本。服务器通过初始预测模型对数据样本关键字进行数据预测,得到数据样本关键字的预测数据样本。服务器通过初始预测模型对代码样本关键字进行代码预测,得到代码样本关键字的预测代码样本。
步骤906,通过训练样本与预测样本调整初始预测模型的模型参数,以得到预测模型。
具体地,服务器通过训练样本与预测样本调整初始预测模型的模型参数,以得到预测模型。也就是服务器通过预测样本与训练样本计算损失值,然后通过损失值判断初始预测模型的损失函数是否达到收敛条件,若未达到收敛条件,则利用损失值调整初始预测模型的模型参数。基于此,直至初始预测模型的损失函数达到收敛条件,则根据最后一次对模型参数进行调整后获得的模型参数获得预测模型,从而在实际应用中通过训练得到的预测模型进行预测。
前述损失函数的收敛条件可以为损失值小于或等于第一预设阈值,作为示例,例如第一预设阈值的取值可以为0.005、0.01、0.02或其它趋近于0的数值。也可以为损失函数的相邻两次的所得到的损失值的差值小于或等于第二预设阈值,第二阈值的取值可以与第一阈值的取值相同或不同,作为示例,例如第二预设阈值的取值可以为0.005、0.01、0.02或其它趋近于0的数值等。也可以为初始预测模型的模型参数更新此处达到更新迭代阈值等,在实际应用中,还可以采用其它收敛条件,这些均可以通过建模人员的描述信息进行确定,因此,此处不做限定。
应理解,本实施例中的示例仅用于理解本方案,而不应理解为对本方案的具体限定。
本实施例中,通过预测样本与训练样本,使得初始预测模型学习到可靠地预测能力,由此提升训练所到的预测模型的可靠性,从而提升在实际应用中所预测结果的准确度,进而提升机器学习任务建模的准确性。
在一个实施例中,如图10所示,初始预测模型包括初始实例预测模型、初始节点预测模型、初始数据预测模型以及初始代码预测模型。由此可知,所得到的预测模型包括实例预测模型、节点预测模型、数据预测模型以及代码预测模型。
即实际应用中,服务器具体通过节点预测模型,基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。服务器具体通过实例预测模型,基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。以及服务器具体通过数据预测模型,基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。服务器具体通过代码预测模型基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。
基于此,通过训练样本与预测样本调整初始预测模型的模型参数,以得到预测模型,包括:
步骤1002,获取每一初始预测模型各自对应的样本组,样本组包括训练样本和预测样本。
其中,样本组包括训练样本和预测样本,且属于同一样本组的训练样本和预测样本为同一类样本,即样本组可以包括实例样本与预测实例样本,样本组还可以包括节点样本与预测节点样本,样本组还可以包括数据样本与数据节点样本,以及样本组还可以包括代码样本与代码节点样本。
具体地,服务器获取每一初始预测模型各自对应的样本组。其次,样本组类型与初始预测模型的模型类型对应,如包括实例样本与预测实例样本的样本组与初始实例预测模型对应,包括数据样本与预测数据样本的样本组与初始数据预测模型对应,包括节点样本与预测节点样本的样本组与初始节点预测模型对应,以及包括代码样本与预测代码样本的样本组与初始代码预测模型对应。
步骤1004,基于每一初始预测模型各自对应的样本组,对各初始预测模型分别进行参数调整,得到预测模型;预测模型包括实例预测模型、节点预测模型、数据预测模型以及代码预测模型。
具体地,基于每一初始预测模型各自对应的样本组,对各初始预测模型分别进行参数调整,得到预测模型。即服务器通过包括实例样本与预测实例样本的样本组,对初始实例预测模型进行参数调整,得到实例预测模型。同理可知,
服务器通过包括节点样本与预测节点样本的样本组,对初始节点预测模型进行参数调整,得到节点预测模型。即服务器通过包括数据样本与预测数据样本的样本组,对初始数据预测模型进行参数调整,得到数据预测模型。服务器通过包括代码样本与预测代码样本的样本组,对初始代码预测模型进行参数调整,得到代码预测模型。具体参数调整方式与前述介绍类似,此处不再赘述。
本实施例中,按照不同类型的预测样本与训练样本划分样本组,通过样本组分别训练相应的预测模型进行参数微调,以保证在实际应用中各类预测模型分别负责不同的预测任务,从而提升预测的准确性,即提升在实际应用中所预测结果的准确度,以保证机器学习任务建模的准确性。
在一个实施例中,如图11所示,机器学习任务建模的方法还包括:
步骤1102,通过预测模型,分别对样本关键字进行预测,以得到测试样本。
具体地,服务器通过预测模型,分别对样本关键字进行预测,以得到测试样本。即服务器具体通过实例预测模型对实例样本关键字进行实例预测,以得到测试实例样本。同理,服务器通过节点预测模型对节点样本关键字进行节点预测,以得到测试节点样本。服务器通过数据预测模型对数据样本关键字进行数据预测,以得到测试数据样本。以及服务器通过代码预测模型对代码样本关键字进行代码预测,以得到测试代码样本。此时测试样本具体包括测试实例样本、测试节点样本、测试数据样本、以及测试代码样本。
步骤1104,对测试样本进行机器学习任务进行测试构建,并运行机器学习任务测试建模对应的测试机器学习任务。
具体地,服务器对测试样本进行机器学习任务进行测试构建。即服务器按照测试实例样本所表征的节点连接顺序,确定各测试节点样本之间的连接顺序,再确定测试数据所表征的测试数据位置信息以及测试数据存储格式信息,并确定测试代码所表征的测试数据处理信息,从而基于各测试节点样本之间的连接顺序、测试数据位置信息、测试数据存储格式信息、以及测试数据处理信息,对机器学习任务测试建模。
进一步地,服务器运行机器学习任务测试建模对应的测试机器学习任务。即服务器通过测试代码样本确定各节点类型的节点的测试数据处理方式、以及各节点类型的节点所输出数据的测试数据输出格式。再通过各节点类型的节点的测试数据处理方式,确定各测试节点样本的目标测试数据处理方式,并通过各节点类型的节点所输出数据的测试数据输出格式,确定各测试节点样本的目标测试数据输出格式。从而通过测试数据位置信息以及测试数据存储格式信息,确定各测试节点样本的目标测试输入数据与目标测试输出数据,最后基于各测试节点样本的连接顺序,依次通过目标测试数据处理方式对各测试节点样本的目标测试输入数据进行数据处理,并按照目标测试数据输出格式依次输出各测试节点样本的目标测试输出数据,以运行测试机器学习任务。
可以理解的是,进行机器学习任务测试建模以及运行测试机器学习任务的方式与前述实施例所介绍的具体实施方式类似,此处不再赘述。
步骤1106,通过测试机器学习任务的测试结果,调试包括预测模型的机器学习任务建模平台的参数。
具体地,服务器通过测试机器学习任务的测试结果,调试包括预测模型的机器学习任务建模平台的参数。即服务器通过测试机器学习任务的测试结果模拟实际用户交互对包括预测模型的机器学习任务建模平台的参数进行调试,以确定包括预测模型的机器学习任务建模平台可以正确地生成机器学习任务建模的pipeline。
本实施例中,在保证在实际应用中各类预测模型分别负责不同的预测任务的基础上,基于预测结果进行测试机器学习任务的运行测试,并通过测试结果调整机器学习任务建模平台的参数,以保证实际应用中机器学习任务建模的顺利进行,进一步地提升机器学习任务建模的可靠性。
在一个实施例中,如图12所示,机器学习任务建模的方法还包括:
步骤1202,创建各样本关键字与描述信息样本之间的信息映射关系。
具体地,服务器创建各样本关键字与描述信息样本之间的信息映射关系。由于样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字,那么服务器将创建实例样本关键字与描述信息样本之间的信息映射关系,并依次类推不再赘述。例如,以实例样本关键字为例,服务器可以创建实例样本关键字I1与描述信息样本关键字J1之间的信息映射关系,创建实例样本关键字I2与描述信息样本关键字J2之间的信息映射关系,创建实例样本关键字I3与描述信息样本关键字J3之间的信息映射关系。
基于此,通过训练样本与预测样本调整初始预测模型的模型参数,包括:
步骤1204,通过与训练样本的样本关键字存在信息映射关系的描述信息样本、训练样本与预测样本,调整初始预测模型的模型参数。
具体地,服务器通过与训练样本的样本关键字存在信息映射关系的描述信息样本、训练样本与预测样本,调整初始预测模型的模型参数。即服务器在考虑训练样本与预测样本的基础上,通过与训练样本的样本关键字存在信息映射关系的描述信息样本,使得初始预测模型学习到用户描述信息的关键字解析,由此调整初始预测模型的模型参数。
也就是初始预测模型中还可以包括初始关键字预测模型,服务器还可以通过训练样本的样本关键字存在信息映射关系的描述信息样本,通过初始关键字预测模型输出描述信息样本对应的预测关键字,从而通过描述信息样本对应的预测关键字、与描述信息样本存在信息映射关系的样本关键字调整初始关键字预测模型的参数,以得到关键字预测模型。从而在实际应用中可以通过关键字预测模型进行关键字提取。
为便于理解前述流程,如图13所示,先获取训练样本,然后从训练样本中确定实例样本、节点样本、数据样本以及代码样本,并分别对实例样本、节点样本、数据样本以及代码样本进行关键字标注,得到实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字,然后通过实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字预测得到预测实例样本、预测节点样本、预测数据样本、以及预测代码样本。
基于此,通过节点样本与预测节点样本对初始节点预测模型进行参数调整,得到节点预测模型。通过实例样本与预测实例样本对初始实例预测模型进行参数调整,得到实例预测模型。通过数据样本与预测数据样本对初始数据预测模型进行参数调整,得到数据预测模型。以及通过代码样本与预测代码样本对初始代码预测模型进行参数调整,得到代码预测模型。然后,再通过与训练样本的样本关键字存在信息映射关系的描述信息样本,通过初始关键字预测模型输出描述信息样本对应的预测关键字,从而通过描述信息样本对应的预测关键字、与描述信息样本存在信息映射关系的样本关键字调整初始关键字预测模型的参数,以得到关键字预测模型。
最后,在完成预测模型训练后进行运行测试,即通过关键字预测模型对描述信息样本进行实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字的提取,再通过节点预测模型、实例预测模型、数据预测模型以及代码预测模型,分别对实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字进行预测,以得到测试样本,并基于进行建模与运行测试,从而通过测试机器学习任务的测试结果,微调包括预测模型的机器学习任务建模平台的参数。应理解,本实施例中的示例仅用于理解本方案,而不应理解为对本方案的具体限定。
本实施例中,在保证在实际应用中各类预测模型分别负责不同的预测任务的基础上,进一步地考虑在提供关键字预测模型的训练,以学习到如何在描述信息中提取相应关键字,进一步地提升机器学习任务建模的准确性。
在一个实施例中,如图14所示,创建各样本关键字与描述信息样本之间的信息映射关系,包括:
步骤1402,创建各样本关键字与描述信息样本之间的初始信息映射关系。
具体地,服务器创建各样本关键字与描述信息样本之间的初始信息映射关系。初始信息映射关系的创建与前述实施例类似,此处不再赘述。
步骤1404,获取各样本关键字之间的关键字相似度。
其中,关键字相似度用于描述样本关键字之间的距离,关键字相似度可以通过欧式距离、余弦相似度等多种相似度计算方式确定,此处不做限定。其次,由于样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字,那么关键字相似度至少包括实例关键字相似度、节点关键字相似度、数据关键字相似度、以及代码关键字相似度。
具体地,服务器获取各样本关键字之间的关键字相似度。即分别计算各实例样本关键字之间的实例关键字相似度,依次类推不再赘述。
步骤1406,将关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,以得到信息映射关系。
其中,相似度阈值具体包括实例相似度阈值、节点相似度阈值、数据相似度阈值、以及代码相似度阈值,且不同类型的关键字相似度可以设置不同的相似度阈值,例如,实例相似度阈值为0.6,节点相似度阈值为0.65,数据相似度阈值为0.55,以及代码相似度阈值为0.5。相似度阈值需要基于实际情况灵活确定,此处不做限定。
具体地,服务器将关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,以得到信息映射关系。也就是将达到相似度阈值的样本关键字进行融合,那么与达到相似度阈值的样本关键字分别具有初始映射关系的描述信息样本,将于融合后的样本关键字具有信息映射关系,融合后的样本关键字可以为达到相似度阈值的样本关键字中任一项,或者为新设置的样本关键字,此处不做限定。
为便于理解,若服务器创建实例样本关键字I1与描述信息样本关键字J1之间的初始信息映射关系,创建实例样本关键字I2与描述信息样本关键字J2之间的初始信息映射关系,创建实例样本关键字I3与描述信息样本关键字J3之间的信息初始映射关系。若实例相似度阈值为0.6,而实例样本关键字I1与实例样本关键字I2之间的实例关键字相似度为0.2,实例样本关键字I2与实例样本关键字I3之间的实例关键字相似度为0.8,以及实例样本关键字I1与实例样本关键字I3之间的实例关键字相似度为0.3,此时可以确定实例样本关键字I2与实例样本关键字I3之间的实例关键字相似度达到实例相似度阈值,因此可以将实例样本关键字I2与实例样本关键字I3进行初始信息映射关系融合,也就是对实例样本关键字I2与实例样本关键字I3进行融合,若选择实例样本关键字I2与实例样本关键字I3融合得到实例样本关键字I4,此时实例样本关键字I4与描述信息样本关键字J2、以及描述信息样本关键字J3均具有信息映射关系。
应理解,本实施例中的示例仅用于理解本方案,而不应理解为对本方案的具体限定。
本实施例中,考虑标注过程中存在标注人员关键字用词偏差,通过将关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,减少数据处理的基础上,使得所得到的信息映射关系更为准确指示描述信息与关键词之间的关系,进而提升关键词提取的可靠性。
基于前述实施例的详细介绍,下面将介绍本申请实施例中机器学习任务建模的方法的完整流程,在一个实施例中,如图15所示,提供了一种机器学习任务建模的方法,以该方法应用于图1中的服务器104为例进行说明,可以理解的是,该方法也可以应用于终端102,还可以应用于包括终端102和服务器104的系统,并通过终端102和服务器104的交互实现。本实施例中,该方法包括以下步骤:
步骤1501,获取训练样本,并对实例样本、节点样本、数据样本以及代码样本分别进行关键字标注得到样本关键字。
其中,训练样本至少包括实例样本、节点样本、数据样本以及代码样本。其次,样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字。具体地,服务器获取训练样本,即服务器可以手机所公开的机器学习平台任务的代码、数据流输入输出、工作流图节点、实例配置,并公开的机器学习平台任务的代码作为代码样本,数据流输入输出作为数据样本,工作流图节点作为节点样本,以及实例配置作为实例样本。服务器也可以从数据存储系统中获取已完成建模的机器学习任务,并将构建机器学习任务的代码、节点、数据以及示例作为前述样本以构建训练样本。此处不对训练样本的获取进行限定。
进一步地,由于训练样本至少包括实例样本、节点样本、数据样本以及代码样本,服务器对实例样本、节点样本、数据样本以及代码样本分别进行关键字标注得到样本关键字。即服务器能够得到的对实例样本进行关键字标注的实例样本关键字,对节点样本进行关键字标注的节点样本关键字,对数据样本进行关键字标注的数据样本关键字,以及对代码样本进行关键字标注的代码样本关键字。
步骤1502,通过初始预测模型对实例样本、节点样本、数据样本以及代码样本分别进行预测,得到样本关键字的预测样本。
其中,由于样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字。那么预测得到的预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本。具体地,服务器具体通过初始预测模型对实例样本关键字进行实例预测,得到实例样本关键字的预测实例样本。同理,服务器通过初始预测模型对节点样本关键字进行节点预测,得到节点样本关键字的预测节点样本。服务器通过初始预测模型对数据样本关键字进行数据预测,得到数据样本关键字的预测数据样本。服务器通过初始预测模型对代码样本关键字进行代码预测,得到代码样本关键字的预测代码样本。
步骤1503,获取每一初始预测模型各自对应的样本组,样本组包括训练样本和预测样本。
其中,样本组包括训练样本和预测样本,且属于同一样本组的训练样本和预测样本为同一类样本,即样本组可以包括实例样本与预测实例样本,样本组还可以包括节点样本与预测节点样本,样本组还可以包括数据样本与数据节点样本,以及样本组还可以包括代码样本与代码节点样本。
具体地,服务器获取每一初始预测模型各自对应的样本组。其次,样本组类型与初始预测模型的模型类型对应,如包括实例样本与预测实例样本的样本组与初始实例预测模型对应,包括数据样本与预测数据样本的样本组与初始数据预测模型对应,包括节点样本与预测节点样本的样本组与初始节点预测模型对应,以及包括代码样本与预测代码样本的样本组与初始代码预测模型对应。
步骤1504,基于每一初始预测模型各自对应的样本组,对各初始预测模型分别进行参数调整,得到预测模型。
具体地,基于每一初始预测模型各自对应的样本组,对各初始预测模型分别进行参数调整,得到预测模型。即服务器通过包括实例样本与预测实例样本的样本组,对初始实例预测模型进行参数调整,得到实例预测模型。同理可知,
服务器通过包括节点样本与预测节点样本的样本组,对初始节点预测模型进行参数调整,得到节点预测模型。即服务器通过包括数据样本与预测数据样本的样本组,对初始数据预测模型进行参数调整,得到数据预测模型。服务器通过包括代码样本与预测代码样本的样本组,对初始代码预测模型进行参数调整,得到代码预测模型。具体参数调整方式与前述介绍类似,此处不再赘述。
步骤1505,通过预测模型,分别对样本关键字进行预测,以得到测试样本。
具体地,服务器通过预测模型,分别对样本关键字进行预测,以得到测试样本。即服务器具体通过实例预测模型对实例样本关键字进行实例预测,以得到测试实例样本。同理,服务器通过节点预测模型对节点样本关键字进行节点预测,以得到测试节点样本。服务器通过数据预测模型对数据样本关键字进行数据预测,以得到测试数据样本。以及服务器通过代码预测模型对代码样本关键字进行代码预测,以得到测试代码样本。此时测试样本具体包括测试实例样本、测试节点样本、测试数据样本、以及测试代码样本。
步骤1506,对测试样本进行机器学习任务进行测试构建,并运行机器学习任务测试建模对应的测试机器学习任务。
具体地,服务器对测试样本进行机器学习任务进行测试构建。即服务器按照测试实例样本所表征的节点连接顺序,确定各测试节点样本之间的连接顺序,再确定测试数据所表征的测试数据位置信息以及测试数据存储格式信息,并确定测试代码所表征的测试数据处理信息,从而基于各测试节点样本之间的连接顺序、测试数据位置信息、测试数据存储格式信息、以及测试数据处理信息,对机器学习任务测试建模。
进一步地,服务器运行机器学习任务测试建模对应的测试机器学习任务。即服务器通过测试代码样本确定各节点类型的节点的测试数据处理方式、以及各节点类型的节点所输出数据的测试数据输出格式。再通过各节点类型的节点的测试数据处理方式,确定各测试节点样本的目标测试数据处理方式,并通过各节点类型的节点所输出数据的测试数据输出格式,确定各测试节点样本的目标测试数据输出格式。从而通过测试数据位置信息以及测试数据存储格式信息,确定各测试节点样本的目标测试输入数据与目标测试输出数据,最后基于各测试节点样本的连接顺序,依次通过目标测试数据处理方式对各测试节点样本的目标测试输入数据进行数据处理,并按照目标测试数据输出格式依次输出各测试节点样本的目标测试输出数据,以运行测试机器学习任务。
可以理解的是,进行机器学习任务测试建模以及运行测试机器学习任务的方式与前述实施例所介绍的具体实施方式类似,此处不再赘述。
步骤1507,通过测试机器学习任务的测试结果,调试包括预测模型的机器学习任务建模平台的参数。
具体地,服务器通过测试机器学习任务的测试结果,调试包括预测模型的机器学习任务建模平台的参数。即服务器通过测试机器学习任务的测试结果模拟实际用户交互对包括预测模型的机器学习任务建模平台的参数进行调试,以确定包括预测模型的机器学习任务建模平台可以正确地生成机器学习任务建模的pipeline。
步骤1508,获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字。
其中,描述信息为描述机器学习任务建模的具体数据信息,该描述信息可以为文本数据信息,可以为语音数据信息,也可以包括文本数据信息与语音数据信息以及其他模态的数据信息,此处不做限定。其次,描述信息至少包括描述所建模机器学习任务的模型功能的功能数据信息,描述所建模机器学习任务的数据来源信息等。以及,目标关键字至少包括节点关键字以及实例关键字。节点关键字具体为描述机器学习任务建模中各节点的关键信息。
具体地,服务器获取针对机器学习任务建模的描述信息。此时,服务器可以通过建模人员实时输入的针对机器学习任务建模的描述信息进行获取,可以为在建模人员实时输入的针对机器学习任务建模的初始描述信息,若基于初始描述信息进行机器学习任务建模所得到的机器学习任务不符合建模需求,此时可以对初始描述信息进行修改,以得到描述信息,也就是描述信息可以为对初始描述信息进行调整后得到的。或者,服务器还可以通过与数据存储系统之间的通信交互,获取存储于数据存储系统中的针对机器学习任务建模的描述信息。此处都不对描述信息的获取进行限定。
进一步地,服务器提取描述信息中的目标关键字。也就是服务器通过描述信息确定机器学习任务建模需求,由此从描述信息提取相应的目标关键字。
步骤1509,通过节点预测模型基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。
其中,节点映射关系为节点关键字与节点之间的映射关系。其次,目标节点可以为单个节点或多个节点,由于节点关键字具体为描述机器学习任务建模中各节点的关键信息,那么所得到的目标节点的节点类型能够与节点关键字匹配,前述节点类型用于表征节点功能,如数据处理节点用于对数据进行处理,训练节点用于基于数据进行训练,以及预测节点用于在实际应用中通过所得到的模型进行预测。具体地,服务器通过节点预测模型基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点。
步骤1510,通过实例预测模型基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。
其中,实例映射关系为实例关键字与实例之间的映射关系。其次,由于实例关键字具体为描述机器学习任务建模中各流程运行的前后顺序的关键信息,那么所得到的目标实例即可以表征在该实例下各节点之间的节点连接顺序,各目标实例具体表征各节点类型的节点之间的节点连接顺序。具体地,服务器通过实例预测模型基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例。
步骤1511,通过数据预测模型基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。
其中,数据映射关系为数据关键字与数据之间的映射关系。其次,由于数据关键字具体描述机器学习任务建模中所需数据的数据关键信息,那么所得到的目标数据即可以表征在目标数据的数据位置信息以及数据格式信息。具体地,服务器通过数据预测模型基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据。
步骤1512,通过代码预测模型基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。
其中,代码映射关系为代码关键字与代码之间的映射关系。其次,由于代码关键字具体描述机器学习任务建模的正常运行的关键信息,那么所得到的目标代码即可以表征机器学习任务运行时的数据处理信息,前述数据处理信息包括各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式,以及各节点类型的节点输入数据的数据输入格式中至少一项。数据处理方式具体为对目标数据进行数据处理的方式,数据输出格式具体为对目标数据进行数据处理后所输出数据的输出格式,数据输入格式具体为输入至节点的目标数据的输入格式。可以理解的是,目标代码还可以表征代码的代码生成方式以及节点的功能信息中任一项。目标代码针对不同节点类型的节点所表征的信息可以不一致。具体地,服务器通过代码预测模型基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码。
步骤1513,按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序。
具体地,通过前述实施例可知,目标实例可以表征节点连接顺序,那么服务器按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序。
步骤1514,确定目标数据所表征的数据位置信息以及数据存储格式信息,并确定目标代码所表征的数据处理信息。
其中,数据位置信息用于表征目标数据的具体存储位置,以及数据格式信息用于表征目标数据的数据格式。其次,目标代码能够表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息。
具体地,服务器通过所生成的目标数据,以确定目标数据所表征的数据位置信息以及数据格式信息。如前述示例可知,目标数据为SSS表,且特征列为X列,样本列为Y列,以及目标数据为libsvm格式数据,数据位置信息为SSS表中的X列与Y列,数据格式信息为libsvm格式。
进一步地,具体地,服务器通过所生成的目标代码,以确定目标数据所表征代码的代码生成方式以及节点的功能信息中至少一项,与机器学习任务运行时的数据处理信息。如前述示例可知,针对数据处理节点而言,数据处理方式为离散化操作,代码生成方式为spark-scala,数据输出格式为libsvm格式。
至步骤1515,基于各目标节点的连接顺序、数据位置信息、数据存储格式信息、以及数据处理信息,对机器学习任务进行构建。
具体地,服务器基于各目标节点的连接顺序、数据位置信息、数据格式信息、以及数据处理信息,对机器学习任务进行构建。也就是服务器通过各目标节点的连接顺序依次连接各目标节点,并考虑数据位置信息所表征的数据存储位置以及数据格式信息所表征的数据格式,确定各目标节点的输入数据与输出数据,然后通过目标代码所表征的数据处理信息确定对各目标节点的输入数据与输出数据的数据处理方式以及数据传输方式。从而在所建模的目标机器学习任务运行过程中,通过所表征的数据处理信息。按照各目标节点的连接顺序依次运行,且具体通过各目标节点的输入数据与输出数据完成节点之间的数据传输。
应理解,步骤1501至步骤1515的具体实施方式与前述实施例均类似,此处不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的机器学习任务建模的方法的机器学习任务建模装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个机器学习任务建模装置实施例中的具体限定可以参见上文中对于机器学习任务建模的方法的限定,在此不再赘述。
在一个实施例中,如图16所示,提供了一种机器学习任务建模装置,包括:获取模块1602、节点生成模块1604、实例生成模块1606和机器学习任务构建模块1608,其中:
获取模块1602,用于获取针对机器学习任务建模的描述信息,提取描述信息中的目标关键字,目标关键字至少包括节点关键字以及实例关键字;
节点生成模块1604,用于基于节点关键字进行节点预测,生成与节点关键字具有节点映射关系的目标节点;
实例生成模块1606,用于基于实例关键字进行实例预测,生成与实例关键字具有实例映射关系的目标实例;
机器学习任务构建模块1608,用于按照目标实例所表征的节点连接顺序,确定各目标节点之间的连接顺序,并基于各目标节点的连接顺序,对机器学习任务进行构建。
在一个实施例中,如图17所示,机器学习任务建模装置还包括数据生成模块1702;
目标关键字还包括数据关键字;
数据生成模块,用于基于数据关键字进行数据预测,生成与数据关键字具有数据映射关系的目标数据1702;
机器学习任务构建模块1608,具体用于确定目标数据所表征的数据位置信息以及数据格式信息;基于各目标节点的连接顺序、数据位置信息以及数据格式信息,对机器学习任务进行构建。
在一个实施例中,如图18所示,机器学习任务建模装置还包括代码生成模块1802;
目标关键字还包括代码关键字;
代码生成模块1802,用于基于代码关键字进行代码预测,生成与代码关键字具有代码映射关系的目标代码;
机器学习任务构建模块1608,具体用于确定目标代码所表征的数据处理信息;基于各目标节点的连接顺序、数据位置信息、数据格式信息、以及数据处理信息,对机器学习任务进行构建。
在一个实施例中,如图19所示,机器学习任务建模装置还包括运行模块1902;
运行模块1902,用于通过目标代码确定各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式;通过各节点类型的节点的数据处理方式,确定各目标节点的目标数据处理方式,并通过各节点类型的节点所输出数据的数据输出格式,确定各目标节点的目标数据输出格式;通过数据位置信息以及数据格式信息,确定各目标节点的目标输入数据与目标输出数据;基于各目标节点的连接顺序,依次通过目标数据处理方式对各目标节点的目标输入数据进行数据处理,并按照目标数据输出格式依次输出各目标节点的目标输出数据,以运行机器学习任务建模对应的目标机器学习任务。
在一个实施例中,获取模块1602,具体用于提取描述信息中的初始关键字,初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字;获取针对至少一类初始关键字进行修改的调整关键字,并通过调整关键字调整对应的初始关键字,以得到目标关键字。
在一个实施例中,如图20所示,机器学习任务建模装置还包括训练模块2002;
节点预测与实例预测是基于预测模型得到的;
训练模块2002,用于获取训练样本,并对训练样本进行关键字标注得到样本关键字;通过初始预测模型对样本关键字进行预测,得到样本关键字的预测样本;通过训练样本与预测样本调整初始预测模型的模型参数,以得到预测模型。
在一个实施例中,训练样本至少包括实例样本、节点样本、数据样本以及代码样本;
样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字;
预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本;
训练模块2002,具体用于对实例样本、节点样本、数据样本以及代码样本分别进行关键字标注得到样本关键字;通过初始预测模型对实例样本、节点样本、数据样本以及代码样本分别进行预测,得到样本关键字的预测样本。
在一个实施例中,初始预测模型包括初始实例预测模型、初始节点预测模型、初始数据预测模型以及初始代码预测模型;
训练模块2002,具体用于获取每一初始预测模型各自对应的样本组,样本组包括实际样本和预测样本;基于每一初始预测模型各自对应的样本组,对各初始预测模型分别进行参数调整,得到预测模型;预测模型包括实例预测模型、节点预测模型、数据预测模型以及代码预测模型。
在一个实施例中,训练模块2002,具体用于通过预测模型,分别对样本关键字进行预测,以得到测试样本, 对测试样本进行机器学习任务进行测试构建,并运行机器学习任务测试建模对应的测试机器学习任务;通过测试机器学习任务的测试结果,调试包括预测模型的机器学习任务建模平台的参数。
在一个实施例中,训练模块2002,具体用于创建各样本关键字与描述信息样本之间的信息映射关系;通过与训练样本的样本关键字存在信息映射关系的描述信息样本、训练样本与预测样本,调整初始预测模型的模型参数。
在一个实施例中,训练模块2002,具体用于创建各样本关键字与描述信息样本之间的初始信息映射关系;获取各样本关键字之间的关键字相似度;将关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,以得到信息映射关系。
上述机器学习任务建模装置中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器也可以为终端,本实施例中以计算机设备为服务器作为示例进行介绍,其内部结构图可以如图21所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储描述信息、关键字以及预测模型等与本申请实施例相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器学习任务建模的方法。
本领域技术人员可以理解,图21中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的对象信息(包括但不限于对象设备信息、对象个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经对象授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandom Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征信息可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征信息所有可能的组合都进行描述,然而,只要这些技术特征信息的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (23)
1.一种机器学习任务建模的方法,其特征在于,包括:
获取针对机器学习任务建模的描述信息,提取所述描述信息中的目标关键字,所述目标关键字至少包括节点关键字、实例关键字和数据关键字;所述节点关键字为描述所述机器学习任务建模中各节点的关键信息,所述实例关键字为描述所述机器学习任务建模中各流程运行的前后顺序的关键信息,所述数据关键字为描述机器学习任务建模中所需数据的数据关键信息;
基于所述节点关键字进行节点预测,生成与所述节点关键字具有节点映射关系的目标节点;所述目标节点的节点类型与所述节点关键字匹配,所述节点类型用于表征节点功能;
基于所述实例关键字进行实例预测,生成与所述实例关键字具有实例映射关系的目标实例;
基于所述数据关键字进行数据预测,生成与所述数据关键字具有数据映射关系的目标数据;
按照所述目标实例所表征的节点连接顺序,确定各所述目标节点之间的连接顺序,并确定所述目标数据所表征的数据位置信息以及数据格式信息;基于各所述目标节点的连接顺序、所述数据位置信息以及所述数据格式信息,对所述机器学习任务进行构建;所述数据位置信息用于表征所述目标数据的具体存储位置,所述数据格式信息用于表征所述目标数据的数据格式,所述数据位置信息与所述数据格式信息用于确定各所述目标节点各自的输入数据与输出数据。
2.根据权利要求1所述的方法,其特征在于,所述目标关键字还包括代码关键字;
所述方法还包括:
基于所述代码关键字进行代码预测,生成与所述代码关键字具有代码映射关系的目标代码;
所述基于各所述目标节点的连接顺序、所述数据位置信息以及所述数据格式信息,对所述机器学习任务进行构建,包括:
确定所述目标代码所表征的数据处理信息;
基于各所述目标节点的连接顺序、所述数据位置信息、所述数据格式信息、以及所述数据处理信息,对所述机器学习任务进行构建。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过所述目标代码确定各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式;
通过各节点类型的节点的数据处理方式,确定各所述目标节点的目标数据处理方式,并通过各节点类型的节点所输出数据的数据输出格式,确定各所述目标节点的目标数据输出格式;
通过所述数据位置信息以及所述数据格式信息,确定各所述目标节点的目标输入数据与目标输出数据;
基于各所述目标节点的连接顺序,依次通过目标数据处理方式对各所述目标节点的目标输入数据进行数据处理,并按照所述目标数据输出格式依次输出各所述目标节点的目标输出数据,以运行所述机器学习任务建模对应的目标机器学习任务。
4.根据权利要求1所述的方法,其特征在于,所述提取所述描述信息中的目标关键字,包括:
提取所述描述信息中的初始关键字,所述初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字;
获取针对至少一类初始关键字进行修改的调整关键字,并通过所述调整关键字调整对应的初始关键字,以得到目标关键字。
5.根据权利要求1所述的方法,其特征在于,所述节点预测与所述实例预测是基于预测模型得到的;
所述预测模型的训练步骤包括:
获取训练样本,并对所述训练样本进行关键字标注得到样本关键字;
通过初始预测模型对所述样本关键字进行预测,得到样本关键字的预测样本;
通过所述训练样本与所述预测样本调整所述初始预测模型的模型参数,以得到所述预测模型。
6.根据权利要求5所述的方法,其特征在于,所述训练样本至少包括实例样本、节点样本、数据样本以及代码样本;
所述样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字;
所述预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本;
所述对所述训练样本进行关键字标注得到样本关键字,包括:
对所述实例样本、所述节点样本、所述数据样本以及所述代码样本分别进行关键字标注得到所述样本关键字;
所述通过初始预测模型对所述样本关键字进行预测,得到样本关键字的预测样本,包括:
通过初始预测模型对所述实例样本、所述节点样本、所述数据样本以及所述代码样本分别进行预测,得到样本关键字的预测样本。
7.根据权利要求6所述的方法,其特征在于,所述初始预测模型包括初始实例预测模型、初始节点预测模型、初始数据预测模型以及初始代码预测模型;
所述通过所述训练样本与所述预测样本调整所述初始预测模型的模型参数,以得到所述预测模型,包括:
获取每一所述初始预测模型各自对应的样本组,所述样本组包括实际样本和所述预测样本;
基于每一所述初始预测模型各自对应的样本组,对各所述初始预测模型分别进行参数调整,得到预测模型;所述预测模型包括实例预测模型、节点预测模型、数据预测模型以及代码预测模型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
通过所述预测模型,分别对所述样本关键字进行预测,以得到测试样本;
对所述测试样本进行机器学习任务进行测试构建,并运行所述机器学习任务测试建模对应的测试机器学习任务;
通过所述测试机器学习任务的测试结果,调试包括所述预测模型的机器学习任务建模平台的参数。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括:
创建各所述样本关键字与描述信息样本之间的信息映射关系;
所述通过所述训练样本与所述预测样本调整所述初始预测模型的模型参数,包括:
通过与所述训练样本的样本关键字存在信息映射关系的描述信息样本、所述训练样本与所述预测样本,调整所述初始预测模型的模型参数。
10.根据权利要求9所述的方法,其特征在于,所述创建各所述样本关键字与描述信息样本之间的信息映射关系,包括:
创建各所述样本关键字与描述信息样本之间的初始信息映射关系;
获取各所述样本关键字之间的关键字相似度;
将所述关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,以得到信息映射关系。
11.一种机器学习任务建模装置,其特征在于,所述装置包括:
获取模块,用于获取针对机器学习任务建模的描述信息,提取所述描述信息中的目标关键字,所述目标关键字至少包括节点关键字、实例关键字和数据关键字;所述节点关键字为描述所述机器学习任务建模中各节点的关键信息,所述实例关键字为描述所述机器学习任务建模中各流程运行的前后顺序的关键信息,所述数据关键字为描述机器学习任务建模中所需数据的数据关键信息;
节点生成模块,用于基于所述节点关键字进行节点预测,生成与所述节点关键字具有节点映射关系的目标节点;所述目标节点的节点类型与所述节点关键字匹配,所述节点类型用于表征节点功能;
实例生成模块,用于基于所述实例关键字进行实例预测,生成与所述实例关键字具有实例映射关系的目标实例;
数据生成模块,用于基于所述数据关键字进行数据预测,生成与所述数据关键字具有数据映射关系的目标数据;
机器学习任务构建模块,用于按照所述目标实例所表征的节点连接顺序,确定各所述目标节点之间的连接顺序,并确定所述目标数据所表征的数据位置信息以及数据格式信息;基于各所述目标节点的连接顺序、所述数据位置信息以及所述数据格式信息,对所述机器学习任务进行构建;所述数据位置信息用于表征所述目标数据的具体存储位置,所述数据格式信息用于表征所述目标数据的数据格式,所述数据位置信息与所述数据格式信息用于确定各所述目标节点各自的输入数据与输出数据。
12.根据权利要求11所述的装置,其特征在于,所述目标关键字还包括代码关键字;
代码生成模块,用于基于所述代码关键字进行代码预测,生成与所述代码关键字具有代码映射关系的目标代码;
所述机器学习任务构建模块,具体用于确定所述目标代码所表征的数据处理信息;基于各所述目标节点的连接顺序、所述数据位置信息、所述数据格式信息、以及所述数据处理信息,对所述机器学习任务进行构建。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括运行模块;
所述运行模块,用于通过所述目标代码确定各节点类型的节点的数据处理方式、以及各节点类型的节点所输出数据的数据输出格式;通过各节点类型的节点的数据处理方式,确定各所述目标节点的目标数据处理方式,并通过各节点类型的节点所输出数据的数据输出格式,确定各所述目标节点的目标数据输出格式;通过所述数据位置信息以及所述数据格式信息,确定各所述目标节点的目标输入数据与目标输出数据;基于各所述目标节点的连接顺序,依次通过目标数据处理方式对各所述目标节点的目标输入数据进行数据处理,并按照所述目标数据输出格式依次输出各所述目标节点的目标输出数据,以运行所述机器学习任务建模对应的目标机器学习任务。
14.根据权利要求11所述的装置,其特征在于,所述获取模块,具体用于提取所述描述信息中的初始关键字,所述初始关键字至少包括初始节点关键字、初始实例关键字、初始数据关键字以及初始代码关键字;获取针对至少一类初始关键字进行修改的调整关键字,并通过所述调整关键字调整对应的初始关键字,以得到目标关键字。
15.根据权利要求11所述的装置,其特征在于,所述装置还包括训练模块;
所述节点预测与所述实例预测是基于预测模型得到的;
所述训练模块,用于获取训练样本,并对所述训练样本进行关键字标注得到样本关键字;通过初始预测模型对所述样本关键字进行预测,得到样本关键字的预测样本;通过所述训练样本与所述预测样本调整所述初始预测模型的模型参数,以得到所述预测模型。
16.根据权利要求15所述的装置,其特征在于,所述训练样本至少包括实例样本、节点样本、数据样本以及代码样本;
所述样本关键字至少包括实例样本关键字、节点样本关键字、数据样本关键字、以及代码样本关键字;
所述预测样本至少包括预测实例样本、预测节点样本、预测数据样本、以及预测代码样本;
所述对所述训练样本进行关键字标注得到样本关键字,包括:
对所述实例样本、所述节点样本、所述数据样本以及所述代码样本分别进行关键字标注得到所述样本关键字;
所述训练模块,具体用于通过初始预测模型对所述实例样本、所述节点样本、所述数据样本以及所述代码样本分别进行预测,得到样本关键字的预测样本。
17.根据权利要求16所述的装置,其特征在于,所述初始预测模型包括初始实例预测模型、初始节点预测模型、初始数据预测模型以及初始代码预测模型;
所述训练模块,具体用于获取每一所述初始预测模型各自对应的样本组,所述样本组包括实际样本和所述预测样本;基于每一所述初始预测模型各自对应的样本组,对各所述初始预测模型分别进行参数调整,得到预测模型;所述预测模型包括实例预测模型、节点预测模型、数据预测模型以及代码预测模型。
18.根据权利要求17所述的装置,其特征在于,所述训练模块,具体用于通过所述预测模型,分别对所述样本关键字进行预测,以得到测试样本;对所述测试样本进行机器学习任务进行测试构建,并运行所述机器学习任务测试建模对应的测试机器学习任务;通过所述测试机器学习任务的测试结果,调试包括所述预测模型的机器学习任务建模平台的参数。
19.根据权利要求16所述的装置,其特征在于,所述训练模块,具体用于创建各所述样本关键字与描述信息样本之间的信息映射关系;通过与所述训练样本的样本关键字存在信息映射关系的描述信息样本、所述训练样本与所述预测样本,调整所述初始预测模型的模型参数。
20.根据权利要求19所述的装置,其特征在于,所述训练模块,具体用于创建各所述样本关键字与描述信息样本之间的初始信息映射关系;获取各所述样本关键字之间的关键字相似度;将所述关键字相似度达到相似度阈值的样本关键字进行初始信息映射关系融合,以得到信息映射关系。
21.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
22.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
23.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311414212.XA CN117151247B (zh) | 2023-10-30 | 2023-10-30 | 机器学习任务建模的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311414212.XA CN117151247B (zh) | 2023-10-30 | 2023-10-30 | 机器学习任务建模的方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117151247A CN117151247A (zh) | 2023-12-01 |
CN117151247B true CN117151247B (zh) | 2024-02-02 |
Family
ID=88884710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311414212.XA Active CN117151247B (zh) | 2023-10-30 | 2023-10-30 | 机器学习任务建模的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117151247B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903122A (zh) * | 2019-01-17 | 2019-06-18 | 平安城市建设科技(深圳)有限公司 | 房产交易信息处理方法、装置、设备及存储介质 |
CN114169531A (zh) * | 2021-11-12 | 2022-03-11 | 国电南瑞科技股份有限公司 | 一种组态化机器学习建模任务描述的预测方法及系统 |
CN114862006A (zh) * | 2022-04-28 | 2022-08-05 | 南京大学 | 一种基于人工智能的社会工作服务方案自动化生成方法和装置 |
CN115392261A (zh) * | 2022-08-17 | 2022-11-25 | 阿里巴巴(中国)有限公司 | 模型训练及任务型对话方法、电子设备 |
WO2023030322A1 (en) * | 2021-09-03 | 2023-03-09 | Huawei Technologies Co., Ltd. | Methods, systems, and media for robust classification using active learning and domain knowledge |
CN116861875A (zh) * | 2023-06-30 | 2023-10-10 | 平安科技(深圳)有限公司 | 基于人工智能的文本处理方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7396125B2 (ja) * | 2020-03-03 | 2023-12-12 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
-
2023
- 2023-10-30 CN CN202311414212.XA patent/CN117151247B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903122A (zh) * | 2019-01-17 | 2019-06-18 | 平安城市建设科技(深圳)有限公司 | 房产交易信息处理方法、装置、设备及存储介质 |
WO2023030322A1 (en) * | 2021-09-03 | 2023-03-09 | Huawei Technologies Co., Ltd. | Methods, systems, and media for robust classification using active learning and domain knowledge |
CN114169531A (zh) * | 2021-11-12 | 2022-03-11 | 国电南瑞科技股份有限公司 | 一种组态化机器学习建模任务描述的预测方法及系统 |
CN114862006A (zh) * | 2022-04-28 | 2022-08-05 | 南京大学 | 一种基于人工智能的社会工作服务方案自动化生成方法和装置 |
CN115392261A (zh) * | 2022-08-17 | 2022-11-25 | 阿里巴巴(中国)有限公司 | 模型训练及任务型对话方法、电子设备 |
CN116861875A (zh) * | 2023-06-30 | 2023-10-10 | 平安科技(深圳)有限公司 | 基于人工智能的文本处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117151247A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021103492A1 (zh) | 一种企业经营风险预测方法和系统 | |
US11681925B2 (en) | Techniques for creating, analyzing, and modifying neural networks | |
JP6889270B2 (ja) | ニューラルネットワークアーキテクチャの最適化 | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
US11544604B2 (en) | Adaptive model insights visualization engine for complex machine learning models | |
US11809966B2 (en) | Computer model machine learning based on correlations of training data with performance trends | |
CN113407694B (zh) | 客服机器人知识库歧义检测方法、装置及相关设备 | |
CN110019736B (zh) | 基于语言模型的问答匹配方法、系统、设备及存储介质 | |
US11640539B2 (en) | Techniques for visualizing the operation of neural networks using samples of training data | |
CN116821318B (zh) | 基于大语言模型的业务知识推荐方法、装置及存储介质 | |
CN110807566A (zh) | 人工智能模型评测方法、装置、设备及存储介质 | |
US20220100772A1 (en) | Context-sensitive linking of entities to private databases | |
CN114186076A (zh) | 知识图谱构建方法、装置、设备和计算机可读存储介质 | |
US11615321B2 (en) | Techniques for modifying the operation of neural networks | |
CN117454884B (zh) | 历史人物信息纠错方法、系统、电子设备和存储介质 | |
US20220300831A1 (en) | Context-aware entity linking for knowledge graphs | |
US20220036232A1 (en) | Technology for optimizing artificial intelligence pipelines | |
CN116974554A (zh) | 代码数据处理方法、装置、计算机设备和存储介质 | |
Sonawane et al. | ChatBot for college website | |
CN117151247B (zh) | 机器学习任务建模的方法、装置、计算机设备和存储介质 | |
CN111699472A (zh) | 确定用于开发、设计和/或部署不同技术领域的复杂的嵌入式或信息物理系统,特别是其中使用的复杂的软件架构的措施的方法和计算机程序产品 | |
US20230140828A1 (en) | Machine Learning Methods And Systems For Cataloging And Making Recommendations Based On Domain-Specific Knowledge | |
CN115033700A (zh) | 基于相互学习网络的跨领域情感分析方法、装置以及设备 | |
Maharaj | Generalizing in the Real World with Representation Learning | |
Pan et al. | Sequential design command prediction using BIM event logs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |