CN113268539A - 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 - Google Patents
基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 Download PDFInfo
- Publication number
- CN113268539A CN113268539A CN202110668059.8A CN202110668059A CN113268539A CN 113268539 A CN113268539 A CN 113268539A CN 202110668059 A CN202110668059 A CN 202110668059A CN 113268539 A CN113268539 A CN 113268539A
- Authority
- CN
- China
- Prior art keywords
- task
- big data
- data mining
- mining
- linkage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开实施例提供一种基于云计算的大数据挖掘任务处理方法及大数据挖掘系统,基于待调度分配的多个大数据挖掘任务中获取第一大数据挖掘任务的挖掘成员关系、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对第一大数据挖掘任务进行任务联动识别,若存在满足任务联动条件的大数据挖掘任务,则将满足任务联动条件的大数据挖掘任务作为优先联动任务,记录第一大数据挖掘任务与优先联动任务之间的任务联动属性,进而构建与多个大数据挖掘任务相关联的任务联动属性图谱,将携带任务联动属性图谱的请求服务发送给第二云计算服务器以启用多个大数据挖掘任务。如此,可以实现大数据挖掘任务的高效率执行,并提高大数据挖掘的数据容纳性能。
Description
技术领域
本公开涉及大数据挖掘技术领域,示例性地,涉及一种基于云计算的大数据挖掘任务处理方法及大数据挖掘系统。
背景技术
一个云计算请求计划可以由多个大数据挖掘任务构成,当调度分配云计算服务器将该云计算请求计划写入完成队列之前,需要通过性能云计算服务器分别对该云计算请求计划进行调度分配,即需要这些性能云计算服务器分别对该云计算请求计划中的每个大数据挖掘任务进行执行启用。
其中,可以理解的是,当这些性能云计算服务器对该云计算请求计划中的这些大数据挖掘任务进行任务验证时,往往需要按照这些大数据挖掘任务(例如,大数据挖掘任务1、大数据挖掘挖掘任务2和大数据挖掘任务3)的挖掘成员关系,依次执行这些大数据挖掘任务。例如,每个性能云计算服务器均需要先执行完大数据挖掘任务1之后,才可以执行大数据挖掘挖掘任务2,且在执行完大数据挖掘挖掘任务2之后,才可以继续执行大数据挖掘任务3。由此可见,在这些性能云计算服务器按照挖掘成员关系遍历执行该云计算请求计划中的这些大数据挖掘任务时,势必会消耗较长的业务执行时长,以至于会降低这些大数据挖掘任务的执行效率,进而降低了这些性能云计算服务器的计算性能,以至于降低了大数据挖掘的数据容纳性能。
发明内容
为了至少克服现有技术中的上述不足,本公开的目的在于提供一种基于云计算的大数据挖掘任务处理方法及大数据挖掘系统。
第一方面,本公开提供一种基于云计算的大数据挖掘任务处理方法,应用于基于云计算的大数据挖掘任务处理系统中的第一云计算服务器,所述方法包括:
从待调度分配的多个大数据挖掘任务中获取第一大数据挖掘任务,获取所述第一大数据挖掘任务对应的挖掘输入配置信息;所述第一大数据挖掘任务为所述多个大数据挖掘任务中除初叶大数据挖掘任务之外的大数据挖掘任务;
确定所述第一大数据挖掘任务在所述多个大数据挖掘任务中的挖掘成员关系,基于所述挖掘成员关系、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对所述第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息;
若所述任务联动识别信息指示所述多个大数据挖掘任务中存在满足所述任务联动条件的大数据挖掘任务,则将满足所述任务联动条件的大数据挖掘任务作为与所述第一大数据挖掘任务相关联的优先联动任务,记录所述第一大数据挖掘任务与所述优先联动任务之间的任务联动属性;
基于记录到的所述任务联动属性,构建与所述多个大数据挖掘任务相关联的任务联动属性图谱,将所述任务联动属性图谱和所述多个大数据挖掘任务进行组合,得到携带所述任务联动属性图谱的请求服务,将所述请求服务发送给第二云计算服务器,以使所述第二云计算服务器基于所述请求服务中的所述任务联动属性图谱所指示的所述任务联动属性按照联动方式启用所述多个大数据挖掘任务;所述第二云计算服务器属于所述第一云计算服务器所属的云计算集群中的性能云计算服务器。
第二方面,本公开实施例还提供一种基于云计算的大数据挖掘任务处理方法,应用于基于云计算的大数据挖掘任务处理系统中的第二云计算服务器,所述方法包括:
接收第一云计算服务器发送的携带任务联动属性图谱的请求服务;所述任务联动属性图谱是基于所述请求服务中的多个大数据挖掘任务之间的任务联动属性所构建的;所述任务联动属性是从所述多个大数据挖掘任务中获取第一大数据挖掘任务之后,由所述多个大数据挖掘任务中的初叶大数据挖掘任务以及与所述第一大数据挖掘任务相关联的优先联动任务所确定的;所述优先联动任务是基于所述第一大数据挖掘任务在所述多个大数据挖掘任务中的挖掘成员关系、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件,对所述第一大数据挖掘任务进行任务联动识别所得到的;所述第一云计算服务器属于所述第二云计算服务器所属的云计算集群中的调度分配云计算服务器;所述第一大数据挖掘任务为所述多个大数据挖掘任务中除所述初叶大数据挖掘任务之外的大数据挖掘任务;所述N为正整数;
基于所述任务联动属性图谱所指示的所述任务联动属性,从所述多个大数据挖掘任务中挑选满足任务执行条件的大数据挖掘任务,将挑选出的大数据挖掘任务作为第一挖掘任务,获取与所述第一挖掘任务相关联的附属任务序列;所述附属任务序列中包含多个第二挖掘任务;所述第一挖掘任务中包含所述初叶大数据挖掘任务;
基于所述第一挖掘任务和所述多个第二挖掘任务,构建与所述请求服务中的多个大数据挖掘任务相关联的参考联动属性图谱,基于所述参考联动属性图谱对所述任务联动属性图谱进行进度跟踪。
根据上述任意一个方面,本公开提供的实施方式中,具有云计算请求计划调度分配功能的第一云计算服务器(即调度分配云计算服务器)可以从待调度分配的多个大数据挖掘任务中,将当前获取到的待执行的大数据挖掘任务作为第一大数据挖掘任务,且可以获取该第一大数据挖掘任务对应的挖掘输入配置信息。其中,第一大数据挖掘任务可以为多个大数据挖掘任务中除初叶大数据挖掘任务之外的大数据挖掘任务。进一步地,第一云计算服务器可以确定第一大数据挖掘任务在多个大数据挖掘任务中的挖掘成员关系,进而可以基于挖掘成员关系、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对第一大数据挖掘任务进行任务联动识别,以得到任务联动识别信息。进一步地,若任务联动识别信息指示多个大数据挖掘任务中存在满足任务联动条件的大数据挖掘任务,则第一云计算服务器可以将满足任务联动条件的大数据挖掘任务作为与第一大数据挖掘任务相关联的优先联动任务,进而记录第一大数据挖掘任务与优先联动任务之间的任务联动属性,这样,可以得到每个大数据挖掘任务与各自的优先联动任务之间的任务联动属性。进一步地,第一云计算服务器可以基于前述记录到的任务联动属性,构建与多个大数据挖掘任务相关联的任务联动属性图谱,并可以将任务联动属性图谱和多个大数据挖掘任务进行组合,得到携带该任务联动属性图谱的请求服务,将请求服务发送给第二云计算服务器(即调度分配云计算服务器所属的云计算集群中的性能云计算服务器),以使第二云计算服务器可以基于请求服务中的任务联动属性图谱所指示的任务联动属性并行以及串行执行这多个大数据挖掘任务。由此可见,本公开实施例中的第一云计算服务器(即调度分配云计算服务器)可以按照挖掘成员关系串行执行待调度分配的多个大数据挖掘任务,并可以根据串行执行每个大数据挖掘任务的过程中所记录到的每个大数据挖掘任务的挖掘输入配置信息和挖掘输出配置信息,确定出同一请求计划中的多个大数据挖掘任务之间的任务联动属性,进而在根据这些任务联动属性构建得到任务联动属性图谱之后,得到携带任务联动属性图谱的请求服务,可以尽可能地确保该第一云计算服务器所属云计算集群中的其它性能云计算服务器(即第二云计算服务器)可以快速基于任务联动属性图谱所指示的任务联动属性,并行以及串行该请求服务中的多个大数据挖掘任务,显然,通过第二云计算服务器所获取到的任务联动属性图谱,可以合理地让多个大数据挖掘任务实现联动结合,这样,在任务冲突量较小的情况下,可以尽可能地确保这多个大数据挖掘任务中的大部分大数据挖掘任务均能够并行执行,从而可以改善云计算集群中的这些性能云计算服务器的计算性能,以至于可以有效地提高大数据挖掘的数据容纳性能。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要调用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本公开实施例提供的基于云计算的大数据挖掘任务处理系统的应用场景示意图;
图2为本公开实施例提供的基于云计算的大数据挖掘任务处理方法的流程示意图;
图3为本公开实施例提供的用于实现上述的基于云计算的大数据挖掘任务处理方法的大数据挖掘系统的结构示意框图。
具体实施方式
下面结合说明书附图,对本公开实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本公开。
图1是本公开一种实施例提供的基于云计算的大数据挖掘任务处理系统10的应用场景示意图,基于云计算的大数据挖掘任务处理系统10可以包多个云计算服务器。其中,第一云计算服务器可以为上述图1中的云计算服务器100,第二云计算服务器可以为云计算服务器200。第一云计算服务器中可以包括待调度分配的多个大数据挖掘任务,这里的多个大数据挖掘任务具体可以包括挖掘任务Wa、挖掘任务Wb、…、挖掘任务Wn。其中,这些大数据挖掘任务(即挖掘任务Wa、挖掘任务Wb、…、挖掘任务Wn)可以按照挖掘成员关系排列。比如,挖掘任务Wa的挖掘成员关系1可以优先于挖掘任务Wb的挖掘成员关系2,挖掘任务Wb的挖掘成员关系2可以优先于挖掘任务Wc(未在图上示出)的挖掘成员关系3,以此类推,挖掘任务W(n-1)(未在图上示出)的挖掘成员关系(n-1)可以优先于挖掘任务Wn的挖掘成员关系n。
可以理解的是,第一云计算服务器可以从多个大数据挖掘任务中遍历获取待执行的大数据挖掘任务。例如,第一云计算服务器可从多个大数据挖掘任务中获取初叶大数据挖掘任务(例如,挖掘任务Wa)。由于该挖掘任务Wa的挖掘成员关系为挖掘成员关系1,则第一云计算服务器可以获取该挖掘任务Wa对应的挖掘输入配置信息1,直接基于挖掘任务Wa对应的挖掘输入配置信息1执行该挖掘任务Wa,得到该挖掘任务Wa的初叶任务启用识别信息,即第一云计算服务器可以基于无需对该挖掘任务Wa进行任务联动识别,以得到该挖掘任务Wa的任务联动识别信息。
应当理解,当第一云计算服务器执行完挖掘任务Wa之后,该挖掘任务Wa将演变成其它待执行的大数据挖掘任务(例如,挖掘任务Wb)的优先大数据挖掘任务。所以,当第一云计算服务器从多个大数据挖掘任务中获取新的待执行的大数据挖掘任务(例如,挖掘任务Wb),作为第一大数据挖掘任务时,可以获取该挖掘任务Wb对应的挖掘输入配置信息2,并可以在多个大数据挖掘任务中确定该挖掘任务Wb的挖掘成员关系为挖掘成员关系2,进而基于挖掘输入配置信息2、挖掘成员关系2和任务联动条件,对该挖掘任务Wb进行任务联动识别(比如,可以判断该挖掘任务Wb和该挖掘任务Wb的优先大数据挖掘任务(例如,上述挖掘任务Wa)之间是否存在交集业务类型),以得到该挖掘任务Wb的任务联动识别信息(例如,识别信息2)。
进一步地,第一云计算服务器可以基于识别信息2确定与挖掘任务Wb相关联的优先联动任务。比如,假设上述挖掘任务Wa(即挖掘任务Wb的优先大数据挖掘任务)与挖掘任务Wb之间存在交集业务类型,则该第一云计算服务器可以基于该识别信息2,将上述挖掘任务Wa确定为与该挖掘任务Wb相关联的优先联动任务,并记录挖掘任务Wb与优先联动任务(即挖掘任务Wa)之间的任务联动属性。
应当理解,当第一云计算服务器执行完挖掘任务Wb之后,该挖掘任务Wb将演变成其它待执行的大数据挖掘任务(例如,挖掘任务Wc)的优先大数据挖掘任务。同理,第一云计算服务器还可以从多个大数据挖掘任务中继续获取另一待执行的大数据挖掘任务(例如,挖掘任务Wc),作为新的第一大数据挖掘任务(本公开实施例可以将该新的第一大数据挖掘任务称之为第二大数据挖掘任务),并获取该挖掘任务Wc对应的挖掘输入配置信息3,确定该挖掘任务Wc在多个大数据挖掘任务中的挖掘成员关系3,进而基于挖掘输入配置信息3、挖掘成员关系3和任务联动条件对挖掘任务Wc进行任务联动识别(比如,可以判断该挖掘任务Wc和该挖掘任务Wc的优先大数据挖掘任务(例如,上述挖掘任务Wa和挖掘任务Wb)之间是否存在交集业务类型),得到该挖掘任务Wc的任务联动识别信息(例如,识别信息3)。
进一步地,第一云计算服务器可以基于识别信息3确定与挖掘任务Wc相关联的优先联动任务。比如,假设该挖掘任务Wc与该挖掘任务Wc的优先大数据挖掘任务(例如,上述挖掘任务Wa和挖掘任务Wb)之间均存在交集业务类型,则该第一云计算服务器可以基于该识别信息3,将上述挖掘任务Wa和挖掘任务Wb作为与该挖掘任务Wc相关联的优先联动任务,并记录挖掘任务Wc与优先联动任务(即挖掘任务Wa和挖掘任务Wb)之间的任务联动属性。
以此类推,第一云计算服务器可以进一步从多个大数据挖掘任务中,将遍历获取到的其它待执行的大数据挖掘任务(例如,挖掘任务Wd、…、挖掘任务Wn),分别作为第一大数据挖掘任务,以对挖掘任务Wd、…、挖掘任务Wn分别进行任务联动识别,进而可以基于每个大数据挖掘任务的任务联动识别信息(例如,识别信息4、…、识别信息n),确定出与每个大数据挖掘任务相关联的优先联动任务,进而可以记录得到其它待执行的大数据挖掘任务(例如,挖掘任务Wd、…、挖掘任务Wn)和与其相关联的优先联动任务之间的任务联动属性。
其中,可以理解的是,本公开实施例可以在任务联动识别信息指示存在与当前执行的第一大数据挖掘任务相关联的优先联动任务时,将当前执行的第一大数据挖掘任务的任务父属性所对应的联动数量进行逐加处理。
可选的,本公开实施例还可以在任务联动识别信息指示不存在与当前执行的第一大数据挖掘任务相关联的优先联动任务时,在当前执行的第一大数据挖掘任务的目标任务属性中将当前执行的第一大数据挖掘任务的任务父属性所对应的联动数量设置为目标阈值(例如,设置为0),这意味着当前执行的该第一大数据挖掘任务不联动于挖掘成员关系在其之前的每个优先大数据挖掘任务。此时,第一云计算服务器可以进一步从多个大数据挖掘任务中获取用于更新该第一大数据挖掘任务(例如,上述挖掘任务Wb)的第二大数据挖掘任务。比如,这里的第二大数据挖掘任务可以为挖掘成员关系延后于该挖掘任务Wb的挖掘任务Wc。
进一步地,第一云计算服务器可以基于上述记录到的任务联动属性,构建与多个大数据挖掘任务相关联的任务联动属性图谱,将任务联动属性图谱和多个大数据挖掘任务进行组合,得到包含任务联动属性图谱的请求服务,并将包含任务联动属性图谱的请求服务发送给第二云计算服务器。因此,第二云计算服务器在接收到第一云计算服务器发送的携带任务联动属性图谱的请求服务时,可以基于请求服务中的任务联动属性图谱所指示的任务联动属性,获取满足任务执行条件的第一挖掘任务,获取与第一挖掘任务相关联的附属任务序列中的多个第二挖掘任务,并获取第一挖掘任务的第一挖掘输出配置信息和多个第二挖掘任务中的每个第二挖掘任务的第二挖掘输入配置信息,基于第一挖掘输出配置信息和第二挖掘输入配置信息,构建与多个大数据挖掘任务相关联的参考联动属性图谱,进而基于在第二云计算服务器所构建的参考联动属性图谱对从第一云计算服务器接收到的任务联动属性图谱进行大数据挖掘控制。其中,第一挖掘任务中包含初叶大数据挖掘任务(即挖掘任务Wa)。
其中,可以理解的是,第二云计算服务器可以串行执行第一挖掘任务和多个第二挖掘任务,也可以并行执行满足任务执行条件的第一挖掘任务,还可以并行执行多个第二挖掘任务,因此,在第二云计算服务器中使用串行和并行结合的方式执行请求服务中的多个大数据挖掘任务,可以节省第二云计算服务器中的计算及内存消耗,进而提高第二云计算服务器对大数据挖掘任务的执行效率。此外,通过参考联动属性图谱对任务联动属性图谱进行大数据挖掘控制,可以使请求服务中的多个大数据挖掘任务的执行结果在所有云计算服务器中保持一致。
其中,第一云计算服务器基于记录到的任务联动属性构建与多个大数据挖掘任务相关联的任务联动属性图谱的具体过程,以及第二云计算服务器基于任务联动属性图谱所指示的任务联动属性并行或者串行启用多个大数据挖掘任务的具体过程,可以参见下述对应的实施例的描述。
基于以上实施例,请参阅图2,图2是本公开实施例提供的一种基于云计算的大数据挖掘任务处理方法的流程示意图。该方法可以由第一云计算服务器执行,也可以由第二云计算服务器执行,还可以由第一云计算服务器和第二云计算服务器共同执行。为便于理解,本实施例以该方法由第一云计算服务器执行为例进行说明。其中,该基于云计算的大数据挖掘任务处理方法至少可以包括以下步骤S101-步骤S104:
步骤S101,从待调度分配的多个大数据挖掘任务中获取第一大数据挖掘任务,获取第一大数据挖掘任务对应的挖掘输入配置信息;
其中,第一云计算服务器可以从待调度分配的多个大数据挖掘任务中依次获取待执行的大数据挖掘任务,将待执行的大数据挖掘任务作为第一大数据挖掘任务,这里的第一大数据挖掘任务可以为多个大数据挖掘任务中除初叶大数据挖掘任务之外的大数据挖掘任务。
应当理解,第一大数据挖掘任务对应的输入中转容器中包括第一大数据挖掘任务对应的挖掘输入配置信息。因此,第一云计算服务器可以从第一大数据挖掘任务对应的输入中转容器中获取第一大数据挖掘任务对应的挖掘输入配置信息,基于第一大数据挖掘任务对应的挖掘输入配置信息中的挖掘模式调用信息以及挖掘模式标签,获取用于执行第一大数据挖掘任务的云计算挖掘模式,调用该云计算挖掘模式执行第一大数据挖掘任务,得到第一大数据挖掘任务对应的大数据挖掘任务计算信息,以将大数据挖掘任务计算信息添加至第一大数据挖掘任务的输出中转容器,进而可以基于输出中转容器中所存储的数据构建得到第一大数据挖掘任务对应的挖掘输出配置信息。
其中,可以理解的是,多个大数据挖掘任务的中转容器(即下述请求服务的中转容器)中暂时保存了待调度分配的多个大数据挖掘任务的任务结果(即初叶大数据挖掘任务对应的初叶任务启用结果和第一大数据挖掘任务对应的大数据挖掘任务计算信息),基于中转容器可以为多个大数据挖掘任务创建对应的输入中转容器和输出中转容器,一个大数据挖掘任务对应一个输出中转容器和一个输入中转容器,输入中转容器中存储有大数据挖掘任务对应的挖掘输入配置信息,输出中转容器中存储有大数据挖掘任务对应的挖掘输出配置信息。
可以理解的是,第一云计算服务器可以从多个大数据挖掘任务中获取初叶大数据挖掘任务,基于初叶大数据挖掘任务对应的挖掘输入配置信息启用初叶大数据挖掘任务,得到初叶大数据挖掘任务的初叶任务启用结果,将初叶任务启用结果添加至初叶大数据挖掘任务的初叶输出中转容器,基于初叶输出中转容器中所存储的数据构建得到初叶大数据挖掘任务对应的挖掘输出配置信息。其中,初叶大数据挖掘任务的挖掘成员关系优先于第一大数据挖掘任务的挖掘成员关系,且初叶大数据挖掘任务用于作为第一大数据挖掘任务的优先大数据挖掘任务。
步骤S102,确定第一大数据挖掘任务在多个大数据挖掘任务中的挖掘成员关系,基于挖掘成员关系、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息;
例如,第一云计算服务器可以获取为多个大数据挖掘任务中的每个大数据挖掘任务配置的任务ID,确定第一大数据挖掘任务的任务ID在多个大数据挖掘任务的任务ID中的排列次序,基于排列次序确定第一大数据挖掘任务的挖掘成员关系。进一步地,第一云计算服务器可以在多个大数据挖掘任务中,查找挖掘成员关系优先于第一大数据挖掘任务的挖掘成员关系的大数据挖掘任务,将查找到的大数据挖掘任务作为与第一大数据挖掘任务相关联的优先大数据挖掘任务。其中,优先大数据挖掘任务为从多个大数据挖掘任务中所获取到的已被启用的大数据挖掘任务,第一大数据挖掘任务为从多个大数据挖掘任务中所获取到的待被启用的大数据挖掘任务。进一步地,第一云计算服务器可以获取优先大数据挖掘任务的输出中转容器,从输出中转容器中获取优先大数据挖掘任务对应的挖掘输出配置信息。进一步地,第一云计算服务器可以基于优先大数据挖掘任务对应的挖掘输出配置信息、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件,对第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息。
可以理解的是,本公开实施例可以将挖掘成员关系优先于第一大数据挖掘任务的挖掘成员关系的大数据挖掘任务,作为与第一大数据挖掘任务相关联的优先大数据挖掘任务,相应的,本公开实施例可以将第一大数据挖掘任务作为与优先大数据挖掘任务相关联的后序大数据挖掘任务。可以理解的是,与某个大数据挖掘任务(例如,第一大数据挖掘任务)相关联的优先大数据挖掘任务的数量可以为零个、一个或多个,与某个大数据挖掘任务(例如,第一大数据挖掘任务)相关联的后序大数据挖掘任务的数量可以为零个、一个或多个,本公开对此不做限制。
可以理解的是,第一云计算服务器可以从优先大数据挖掘任务对应的输入中转容器中获取优先大数据挖掘任务对应的挖掘输入配置信息,基于优先大数据挖掘任务对应的挖掘输入配置信息中的挖掘模式调用信息以及挖掘模式标签,获取用于执行优先大数据挖掘任务的云计算挖掘模式,调用该云计算挖掘模式执行优先大数据挖掘任务,得到优先大数据挖掘任务对应的优先任务启用结果,以将优先任务启用结果添加至优先大数据挖掘任务的输出中转容器,进而可以基于输出中转容器中所存储的数据构建得到优先大数据挖掘任务对应的挖掘输出配置信息。其中,优先大数据挖掘任务的输出中转容器和输入中转容器存储在请求服务对应的中转容器中。
为便于理解,多个大数据挖掘任务可以为待调度分配的大数据挖掘任务,这里的多个大数据挖掘任务具体可以包括:任务1、…、任务N-2、任务N-1和任务N,这里的多个大数据挖掘任务按照挖掘成员关系排列。
其中,可以理解的是,第一云计算服务器可以根据多个大数据挖掘任务的任务需求周期,为多个大数据挖掘任务中的每个大数据挖掘任务配置任务ID,进而基于每个大数据挖掘任务的任务ID的排列次序确定多个大数据挖掘任务的挖掘成员关系。其中,任务需求周期可以表示大数据挖掘任务被写入任务池的需求周期,比如,任务1的任务需求周期可以为周期D1,…,任务N-2的任务需求周期可以为周期D(N-2),任务N-1的任务需求周期可以为周期D(N-1),任务N的任务需求周期可以为周期DN。因此,任务1的任务ID可以为“1”,…,任务N-2的任务ID可以为“N-2”,任务N-1的任务ID可以为“N-1”,任务N的任务ID可以为“N”。
其中,可以理解的是,在等待前一个任务ID的大数据挖掘任务执行完成后,后一个任务ID的大数据挖掘任务会作为新的待被启用的大数据挖掘任务,而前一个任务ID的大数据挖掘任务会作为已被启用的大数据挖掘任务。若周期D1、…、周期DN按照时间先后顺序排列,即周期D1优先于周期DN,则在处理完任务序号为“1”的任务1后,可以对任务序号为“2”的挖掘任务W进行处理,…,在处理完任务序号为“N-1”的任务N-1后,可以对任务序号为“N”的任务N进行处理。
可选的,可以理解的是,若大数据挖掘任务具有相同的任务需求周期,则具有相同的任务需求周期的大数据挖掘任务具有相同的任务ID,例如,挖掘任务W和任务3的任务需求周期可以均为周期D2,则挖掘任务W和任务3的任务ID可以均为“2”,进而可以说明挖掘任务W和任务3在多个大数据挖掘任务中具有相同的挖掘成员关系。应当理解,本公开实施例以多个大数据挖掘任务的任务需求周期均不相同为例进行说明。
例如,在从多个大数据挖掘任务中获取到的待执行的大数据挖掘任务为任务N-1时,即在将任务N-1作为第一大数据挖掘任务时,可以从多个大数据挖掘任务中查找挖掘成员关系优先于第一大数据挖掘任务的挖掘成员关系的任务1、…、任务N-2,进而将任务1、…、任务N-2作为与任务N-1相关联的优先大数据挖掘任务。
可以理解的是,基于优先大数据挖掘任务对应的挖掘输出配置信息、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件,对第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息的具体过程可以描述为:第一云计算服务器可以将第一大数据挖掘任务对应的挖掘输入配置信息与优先大数据挖掘任务对应的挖掘输出配置信息进行业务类型匹配,得到业务类型匹配结果。进一步地,若业务类型匹配结果指示第一大数据挖掘任务对应的挖掘输入配置信息与优先大数据挖掘任务对应的挖掘输出配置信息之间存在交集业务类型,则第一云计算服务器可以将存在交集业务类型的优先大数据挖掘任务确定为满足任务联动条件的目标优先大数据挖掘任务。进一步地,第一云计算服务器可以将第一大数据挖掘任务的挖掘业务标签添加至目标优先大数据挖掘任务的历史任务属性所对应的初始任务子属性,得到目标优先大数据挖掘任务的目标任务子属性,在第一大数据挖掘任务的目标任务属性中对第一大数据挖掘任务的任务父属性中的联动数量进行逐加处理,得到逐加后的任务父属性。进一步地,第一云计算服务器可以将目标优先大数据挖掘任务的目标任务子属性和逐加后的任务父属性,作为与第一大数据挖掘任务相关联的任务联动识别信息。
其中,可以理解的是,优先大数据挖掘任务的历史任务属性所对应的初始任务子属性(或目标任务子属性),可以用于记录联动于优先大数据挖掘任务的附属任务序列,第一大数据挖掘任务的任务父属性中的联动数量,可以用于记录第一大数据挖掘任务需要联动的优先大数据挖掘任务的数量。
再例如,在任务N-1作为第一大数据挖掘任务、任务1、…、任务N-2作为与第一大数据挖掘任务相关联的优先大数据挖掘任务时,任务N-2可以为优先大数据挖掘任务4a,任务1可以为优先大数据挖掘任务4b,第一云计算服务器可以获取优先大数据挖掘任务4a的挖掘输出配置信息Ya和优先大数据挖掘任务4b的挖掘输出配置信息Yb,将任务N-1的挖掘输入配置信息和挖掘输出配置信息Ya进行比较,得到挖掘输出配置信息YRa,且将任务N-1的挖掘输入配置信息和挖掘输出配置信息Yb进行比较,得到挖掘输出配置信息YRb。第一云计算服务器可以基于挖掘输出配置信息YRa和挖掘输出配置信息YRb,确定挖掘输入配置信息和挖掘输出配置信息(例如,挖掘输出配置信息Ya和挖掘输出配置信息Yb)之间是否存在交集业务类型,进而确定满足任务联动条件的目标优先大数据挖掘任务,例如,在挖掘输入配置信息和挖掘输出配置信息Ya之间存在交集业务类型时,将挖掘输出配置信息Ya对应的优先大数据挖掘任务4a(即任务N-2)确定为满足任务联动条件的目标优先大数据挖掘任务。
同理,第一云计算服务器可以获取优先大数据挖掘任务中除优先大数据挖掘任务4a和优先大数据挖掘任务4b之外的优先大数据挖掘任务(例如,挖掘任务W、…、任务N-3)的挖掘输出配置信息,并将第一大数据挖掘任务对应的挖掘输入配置信息与这些优先大数据挖掘任务(例如,挖掘任务W、…、任务N-3)对应的挖掘输出配置信息进行比较,这里假设在优先大数据挖掘任务中任务N-2为满足任务联动条件的目标优先大数据挖掘任务。
应当理解,在任务N-2为满足任务联动条件的大数据挖掘任务时,第一云计算服务器将任务N-1的挖掘业务标签(例如,任务N-1的挖掘业务标签可以为“N-1”)添加至任务N-2的任务子属性(即初始任务子属性),得到添加有“N-1”的任务子属性(即目标任务子属性),且将任务N-1的任务父属性中的联动数量F进行逐加处理,得到逐加处理后的联动数量(F+1)。
可以理解的是,第一大数据挖掘任务对应的挖掘输入配置信息和优先大数据挖掘任务对应的挖掘输出配置信息可以是由一组或多组标识值对组成的,第一大数据挖掘任务对应的挖掘输入配置信息和优先大数据挖掘任务对应的挖掘输出配置信息之间的交集业务类型的确定,可以由挖掘输入配置信息和挖掘输出配置信息之间是否存在相同的type来进行判断。其中,若挖掘输入配置信息和挖掘输出配置信息之间存在交集业务类型(即交集type),则表示第一大数据挖掘任务对应的挖掘输入配置信息被优先大数据挖掘任务改变了,可以表示第一大数据挖掘任务使用了优先大数据挖掘任务改变的数据,因此,第一大数据挖掘任务需要在优先大数据挖掘任务之后执行。
为便于理解,假设当前任务可以为第一云计算服务器按照任务ID从多个大数据挖掘任务中依次获取的待执行的大数据挖掘任务(即初叶大数据挖掘任务和第一大数据挖掘任务),这里的多个大数据挖掘任务可以为上述所对应实施例中的任务1、…、任务N。
应当理解,在执行步骤S51时,第一云计算服务器可以首先从多个大数据挖掘任务中获取任务1(即初叶大数据挖掘任务),进而在执行步骤S52时,确定不存在与任务1相关联的优先任务(即优先大数据挖掘任务),进而执行步骤S56,结束对任务1的任务联动识别。
应当理解,在多个大数据挖掘任务中还存在待执行的大数据挖掘任务时,第一云计算服务器可以继续执行步骤S51,在执行步骤S51时,第一云计算服务器可以从多个大数据挖掘任务中获取挖掘任务W(即第一大数据挖掘任务),进而在执行步骤S52时,确定任务1为与挖掘任务W相关联的优先任务。因此,第一云计算服务器可以执行步骤S53,判断挖掘任务W的读集(即挖掘输入配置信息)和任务1的写集(即挖掘输出配置信息)是否有交集业务类型(即交集type),进而可以在挖掘任务W的读集和任务1的写集不存在交集业务类型时,执行步骤S52,确定不存在与挖掘任务W相关联的优先任务,进而执行步骤S56,结束对挖掘任务W的任务联动识别。
应当理解,在多个大数据挖掘任务中还存在待执行的大数据挖掘任务时,第一云计算服务器可以继续执行步骤S51,在执行步骤S51时,第一云计算服务器可以从多个大数据挖掘任务中获取任务3(即第一大数据挖掘任务),进而在执行步骤S52时,确定挖掘任务W为与任务3相关联的优先任务。因此,第一云计算服务器可以执行步骤S53,判断任务3的读集和挖掘任务W的写集是否有交集业务类型,进而可以在任务3的读集和挖掘任务W的写集不存在交集业务类型时,执行步骤S52,确定任务1为与任务3相关联的优先任务。
进一步地,第一云计算服务器可以执行步骤S53,判断任务3的读集和任务1的写集是否有交集业务类型,进而可以在任务3的读集和任务1的写集存在交集业务类型时,执行步骤S54和步骤S55,将任务3的索引(即挖掘业务标签)加入任务1的任务子属性列表(即附属任务序列),将任务3的任务父属性数量(即任务父属性中的联动数量)加1,进而执行步骤S56之后,继续执行步骤S52,确定不存在与任务3相关联的优先任务,进而执行步骤S56,结束对任务3的任务联动识别。
以此类推,在多个大数据挖掘任务中还存在待执行的大数据挖掘任务时,第一云计算服务器可以继续执行步骤S51,直到从多个大数据挖掘任务中获取任务N,执行步骤S56结束对任务N的任务联动识别。其中,第一云计算服务器对任务4、…、任务N的任务联动识别的具体过程,可以参见上述对任务1、挖掘任务W和任务3的任务联动识别的描述,在此不进行赘述。
可以理解的是,若业务类型匹配结果指示第一大数据挖掘任务对应的挖掘输入配置信息与优先大数据挖掘任务对应的挖掘输出配置信息之间均不存在交集业务类型,则第一云计算服务器可以将优先大数据挖掘任务确定为不满足任务联动条件的大数据挖掘任务,基于不满足任务联动条件的大数据挖掘任务,在第一大数据挖掘任务的目标任务属性中将第一大数据挖掘任务的任务父属性中的联动数量设置为目标阈值(例如,0、none),基于目标阈值,将第一大数据挖掘任务添加至初叶大数据挖掘任务所属的并行挖掘数据集,且从多个大数据挖掘任务中获取用于更新第一大数据挖掘任务的第二大数据挖掘任务。其中,第二大数据挖掘任务的挖掘成员关系延后于第一大数据挖掘任务的挖掘成员关系;并行挖掘数据集中的每个大数据挖掘任务的联动数量均为目标阈值,且并行挖掘数据集中的每个大数据挖掘任务之间存在并行联动属性,并行联动属性用于更新任务联动属性。
步骤S103,若任务联动识别信息指示多个大数据挖掘任务中存在满足任务联动条件的大数据挖掘任务,则将满足任务联动条件的大数据挖掘任务作为与第一大数据挖掘任务相关联的优先联动任务,记录第一大数据挖掘任务与优先联动任务之间的任务联动属性;
可以理解的是,本公开实施例可以将满足任务联动条件的大数据挖掘任务作为与第一大数据挖掘任务相关联的优先联动任务,相应的,本公开实施例可以将第一大数据挖掘任务作为与优先联动任务相关联的跟随联动任务。应当理解,与某个大数据挖掘任务(例如,第一大数据挖掘任务)相关联的优先联动任务的数量可以为零个、一个或多个,与某个大数据挖掘任务(例如,第一大数据挖掘任务)相关联的跟随联动任务的数量可以为零个、一个或多个,本公开对此不做限制。
步骤S104,基于记录到的任务联动属性,构建与多个大数据挖掘任务相关联的任务联动属性图谱,将任务联动属性图谱和多个大数据挖掘任务进行组合,得到携带任务联动属性图谱的请求服务,将请求服务发送给第二云计算服务器,以使第二云计算服务器基于请求服务中的任务联动属性图谱所指示的任务联动属性按照联动方式启用多个大数据挖掘任务。
具体的,第一云计算服务器可以基于记录到的任务联动属性中的并行联动属性,从多个大数据挖掘任务中挑选携带目标阈值的任务父属性所对应的大数据挖掘任务,将挑选出的大数据挖掘任务作为第一挖掘任务。其中,第一挖掘任务中包含初叶大数据挖掘任务。进一步地,第一云计算服务器可以基于记录到的任务联动属性中的串行联动属性,从第一挖掘任务的目标任务子属性中,获取与第一挖掘任务相关联的附属任务序列。其中,附属任务序列中包含多个第二挖掘任务。进一步地,第一云计算服务器可以基于第一挖掘任务和多个第二挖掘任务,构建得到与多个大数据挖掘任务相关联的任务联动属性图谱,将任务联动属性图谱和多个大数据挖掘任务进行组合,得到携带任务联动属性图谱的请求服务,将请求服务发送给第二云计算服务器。其中,第二云计算服务器属于第一云计算服务器所属的云计算集群中的性能云计算服务器。其中,任务联动属性包含串行联动属性和并行联动属性;并行联动属性是由初叶大数据挖掘任务所属的并行挖掘数据集中的大数据挖掘任务所确定的,串行联动属性是由与第一大数据挖掘任务相关联的优先联动任务所确定的。可以理解的是,第一云计算服务器可以从并行挖掘数据集中挑选第一挖掘任务。
可选的,在与第一挖掘任务相关联的附属任务序列为空时,附属任务序列中包含0个大数据挖掘任务,则在多个大数据挖掘任务中不存在与第一挖掘任务具有任务联动属性的第二挖掘任务,即在任务联动属性图谱中,不存在与第一挖掘任务具有联动关系的第二挖掘任务。因此,第一云计算服务器可以基于第一挖掘任务,直接构建得到与多个大数据挖掘任务相关联的任务联动属性图谱。
可以理解的是,在基于第一挖掘任务和多个第二挖掘任务,构建得到与多个大数据挖掘任务相关联的任务联动属性图谱时,可以先构建第一挖掘任务和多个第二挖掘任务之间的任务联动属性图谱,即将第一挖掘任务连接至多个第二挖掘任务。进一步地,第一云计算服务器可以将多个第二挖掘任务作为新的第一挖掘任务,基于记录到的任务联动属性中的串行联动属性,从新的第一挖掘任务的目标任务子属性中,获取与新的第一挖掘任务相关联的附属任务序列。其中,附属任务序列中包含新的P个第二挖掘任务,进而可以构建新的第一挖掘任务和新的P个第二挖掘任务之间的任务联动属性图谱,即将新的第一挖掘任务连接至新的P个第二挖掘任务。以此类推,直到与最新的第一挖掘任务相关联的附属任务序列为空时,得到与多个大数据挖掘任务相关联的任务联动属性图谱。
为便于理解,假设任务Y-2(即优先联动任务Y-2)和任务Y-1(即优先联动任务Y-1)可以为与任务Y相关联的优先大数据挖掘任务,这里的任务Y可以为当前执行的大数据挖掘任务,即第一大数据挖掘任务Y。任务Y-2的挖掘输出配置信息中的挖掘业务标签为[D1、D7],任务Y-1的挖掘输出配置信息中的挖掘业务标签为[D3、D5],第一大数据挖掘任务Y的挖掘输入配置信息中的挖掘业务标签为[D1、D3],这里的挖掘业务标签可以是挖掘输入配置信息和挖掘输出配置信息中的type。因此,第一大数据挖掘任务Y使用了任务Y-2改变的数据D1和任务Y-2改变的数据D3,则任务Y-2和任务Y-1可以称为与第一大数据挖掘任务Y相关联的优先联动任务。
应当理解,在第一大数据挖掘任务Y中,任务父属性的值(即任务父属性中的联动数量)为2,任务子属性的值(即任务子属性中的附属任务序列)为none(即空),表示第一大数据挖掘任务Y联动于两个优先联动任务的执行;在优先联动任务Y-2中,任务父属性的值为none(即0),任务子属性的值为[Y],表示第一大数据挖掘任务Y需在优先联动任务Y-2之后执行;在优先联动任务Y-1中,任务父属性的值为none(即0),任务子属性的值为[Y],表示第一大数据挖掘任务Y需在优先联动任务Y-1之后执行。
进一步地,第一云计算服务器可以基于第一大数据挖掘任务Y和优先联动任务之间的任务联动属性中的并行联动属性和串行联动属性,即第一大数据挖掘任务Y、优先联动任务Y-1和优先联动任务Y-2的任务父属性和任务子属性,构建任务联动属性图谱6,该任务联动属性图谱6表示了一种前后的任务联动属性,具有并行联动属性的大数据挖掘任务可以并行执行,具有串行联动属性的大数据挖掘任务需等到任务父属性中的大数据挖掘任务执行完才能执行。因此,优先联动任务Y-2和优先联动任务Y-1可以并行执行,在优先联动任务Y-2和优先联动任务Y-1执行完后,才能执行第一大数据挖掘任务Y。
为便于理解,假设云计算服务器1可以为第一云计算服务器,云计算服务器1进行调度分配所得到的请求服务中可以包括多个大数据挖掘任务,在N等于8时,请求服务中可以包括8个大数据挖掘任务,这里的8个大数据挖掘任务具体可以包括:任务1(即ML1),挖掘任务W(即ML2),任务3(即ML3),任务4(即ML4),任务5(即ML5),任务6(即ML6),任务7(即ML7),任务8(即ML8),这里的任务1、…、任务8按照挖掘成员关系进行排列。
可以理解的是,云计算服务器1可以按照挖掘成员关系串行执行待调度分配的8个大数据挖掘任务,同时通过任务缓存器(即任务缓存组件)记录每个大数据挖掘任务的任务读写集(即挖掘输入配置信息和挖掘输出配置信息),进而基于记录到的任务读写集,通过任务联动识别器(即任务联动识别组件)按照挖掘成员关系对8个大数据挖掘任务进行任务联动识别,以得到8个大数据挖掘任务之间的任务联动属性,进而可以基于记录到的任务联动属性,通过任务联动属性图谱构造器(即任务联动属性图谱构造组件)构建与8个大数据挖掘任务相关联的任务联动属性图谱7。
可以理解的是,第一云计算服务器可以通过任务联动属性图谱存储器(即任务联动属性图谱存储组件)将任务联动属性图谱进行存储,对于任务联动属性图谱中的多个大数据挖掘任务而言,可以以任务列表的方式存储多个大数据挖掘任务,多个大数据挖掘任务中的每个大数据挖掘任务为任务列表中的一项,每一项为一个ML(即大数据挖掘任务),每一个ML可以包括一个任务父属性和一个任务子属性。可选的,该任务联动属性图谱存储的方式还可以为代码方式,代码方式可以将多个大数据挖掘任务抽象为一个类,该类可以表示为ML,多个大数据挖掘任务中的每个大数据挖掘任务作为该类的一个对象,该对象可以包括每个大数据挖掘任务的任务父属性和任务子属性。其中,任务父属性可以表示为“parent”,任务子属性可以表示为“son”。
可以理解的是,第二云计算服务器在接收到第一云计算服务器发送的携带任务联动属性图谱的请求服务之后,可以基于请求服务中的任务联动属性图谱所指示的任务联动属性,按照联动方式执行请求服务中的8个大数据挖掘任务。其中,具有并行联动属性的大数据挖掘任务可以并行执行,具有串行联动属性的大数据挖掘任务需要等待优先联动任务执行完才能执行,例如,任务1、挖掘任务W和任务3可以并行执行;在任务1执行完后,可以并行执行任务4和任务8,在任务3执行完后,可以执行任务5;在任务4执行完后,可以执行任务6;在任务6执行完后,可以执行任务7。
本公开实施例中的第一云计算服务器(即调度分配云计算服务器)可以按照挖掘成员关系串行执行待调度分配的多个大数据挖掘任务,并可以根据串行执行每个大数据挖掘任务的过程中所记录到的每个大数据挖掘任务的挖掘输入配置信息和挖掘输出配置信息,确定出同一请求计划中的多个大数据挖掘任务之间的任务联动属性,进而在根据这些任务联动属性构建得到任务联动属性图谱的之后,得到携带任务联动属性图谱的请求服务,可以尽可能地确保该第一云计算服务器所属云计算集群中的其它性能云计算服务器(即第二云计算服务器)可以快速基于任务联动属性图谱所指示的任务联动属性,并行以及串行该请求服务中的多个大数据挖掘任务,显然,通过第二云计算服务器所获取到的任务联动属性图谱,可以合理地让多个大数据挖掘任务实现联动结合,这样,在任务冲突量较小的情况下,可以尽可能地确保这多个大数据挖掘任务中的大部分大数据挖掘任务均能够并行执行,从而可以改善云计算集群中的这些性能云计算服务器的计算性能,以至于可以有效地提高大数据挖掘的数据容纳性能。
进一步地,下面介绍本公开实施例提供的一种基于云计算的兴趣对象预测方法的流程示意图。该方法可以由第一云计算服务器执行,也可以由第二云计算服务器执行,还可以由第一云计算服务器和第二云计算服务器共同执行。为便于理解,本实施例以该方法由第一云计算服务器和第二云计算服务器共同执行为例进行说明。其中,该基于云计算的兴趣对象预测方法可以包括以下步骤:
步骤S100,获取第二云计算服务器基于请求服务中的任务联动属性图谱所指示的任务联动属性按照联动方式启用多个大数据挖掘任务后的大数据挖掘信息,其中,大数据挖掘信息包括兴趣行为信息以及兴趣行为信息对应的兴趣对象信息。
步骤S200,对于每个无兴趣对象标注的第一兴趣行为信息,对第一兴趣行为信息进行兴趣行为扩展,得到第一兴趣行为信息对应的多个第三兴趣行为信息。
步骤S300,将多个第三兴趣行为信息组成第一兴趣行为信息的第一参考兴趣行为组合,将多个第一兴趣行为信息和多个第一兴趣行为信息对应的多个第三兴趣行为信息中,除第一兴趣行为信息的第一参考兴趣行为组合确定为第一兴趣行为信息的第二参考兴趣行为组合。
步骤S400,基于第一参考兴趣行为组合和第二参考兴趣行为组合之间的匹配度,确定第一机器学习网络的损失函数值。
步骤S500,基于损失函数值对第一机器学习网络进行训练,得到第二机器学习网络。
步骤S600,基于目标兴趣对象预测功能,获取多个第二兴趣行为信息,多个第二兴趣行为信息为根据该目标兴趣对象预测功能进行兴趣对象信息标注的兴趣行为信息,多个第二兴趣行为信息为大数据挖掘信息包括的兴趣行为信息。
步骤S700,基于多个第二兴趣行为信息,对第二机器学习网络进行更新,得到兴趣对象预测模型,兴趣对象预测模型用于对兴趣行为信息进行兴趣对象预测。
基于上述步骤,在训练兴趣对象预测模型时,先通过无兴趣对象标注的兴趣行为信息训练一个通用的机器学习网络,然后通过有兴趣对象标注的兴趣行为信息对通用的机器学习网络进行更新,就能够得到兴趣对象预测模型,这样只需要少量的有兴趣对象标注的样本数据即可实现兴趣对象预测模型的训练,减少了兴趣对象预测训练所需要的有标签的兴趣行为信息的数量,从而降低了兴趣对象信息标注的时间成本,提高了训练的效率。
一种实施例中,步骤S400可以通过以下实施方式实现。
(1)对多个第一兴趣行为信息和多个第三兴趣行为信息进行特征提取,得到多个第三兴趣行为特征,在多个第三兴趣行为特征中进行兴趣行为特征的采样,得到多个第一兴趣行为特征和多个第二兴趣行为特征。
(2)将多个第一兴趣行为特征和多个第二兴趣行为特征输入至分类网络,通过分类网络,确定第一兴趣行为特征和第二兴趣行为特征之间的匹配度。
(3)基于匹配度,确定第一机器学习网络的损失函数值。
其中,在多个第三兴趣行为特征中进行兴趣行为特征的采样,得到多个第一兴趣行为特征和多个第二兴趣行为特征,包括以下至少一种实现方式:
(1)从多个第三兴趣行为特征中确定第一训练样本组的兴趣行为特征,第一训练样本组包括一次网络权重更新过程使用的多个第一兴趣行为信息和多个第三兴趣行为信息。
(2)在第一训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到多个第一兴趣行为特征和多个第二兴趣行为特征。
(3)从多个第三兴趣行为特征中确定第二训练样本组的兴趣行为特征,第二训练样本组包括一次迭代训练过程中使用的多个第一兴趣行为信息和多个第三兴趣行为信息,在第二训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到多个第一兴趣行为特征和多个第二兴趣行为特征。
(4)从多个第三兴趣行为特征中确定将第三训练样本组的兴趣行为特征,第三训练样本组包括本次迭代训练过程中,与当前参数更新过程最近的多次网络权重更新过程使用的多个第一兴趣行为信息和多个第三兴趣行为信息,在第三训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到多个第一兴趣行为特征和多个第二兴趣行为特征。
进一步地,下面介绍本公开实施例提供的一种基于云计算的大数据挖掘任务处理方法的流程示意图。该方法可以由第一云计算服务器执行,也可以由第二云计算服务器执行,还可以由第一云计算服务器和第二云计算服务器共同执行。为便于理解,本实施例以该方法由第一云计算服务器和第二云计算服务器共同执行为例进行说明。其中,该基于云计算的大数据挖掘任务处理方法可以包括以下步骤:
步骤S201,第一云计算服务器从待调度分配的多个大数据挖掘任务中获取第一大数据挖掘任务,获取第一大数据挖掘任务对应的挖掘输入配置信息;
其中,第一大数据挖掘任务可以为多个大数据挖掘任务中除初叶大数据挖掘任务之外的大数据挖掘任务,这里的N为正整数。
其中,第一云计算服务器获取第一大数据挖掘任务和第一大数据挖掘任务对应的挖掘输入配置信息的具体过程,可以参见上述对应实施例中对步骤S101的描述,这里将不再进行赘述。
步骤S202,第一云计算服务器确定第一大数据挖掘任务在多个大数据挖掘任务中的挖掘成员关系,基于挖掘成员关系、第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息;
其中,第一云计算服务器对第一大数据挖掘任务进行任务联动识别,以得到任务联动识别信息的具体过程,可以参见上述对应实施例中对步骤S102的描述,这里将不再进行赘述。
步骤S203,若任务联动识别信息指示多个大数据挖掘任务中存在满足任务联动条件的大数据挖掘任务,则第一云计算服务器将满足任务联动条件的大数据挖掘任务作为与第一大数据挖掘任务相关联的优先联动任务,记录第一大数据挖掘任务与优先联动任务之间的任务联动属性;
其中,第一云计算服务器确定与第一大数据挖掘任务相关联的优先联动任务,且记录第一大数据挖掘任务与优先联动任务之间的任务联动属性的具体过程,可以参见上述对应实施例中对步骤S103的描述,这里将不再进行赘述。
步骤S204,第一云计算服务器基于记录到的任务联动属性,构建与多个大数据挖掘任务相关联的任务联动属性图谱,将任务联动属性图谱和多个大数据挖掘任务进行组合,得到携带任务联动属性图谱的请求服务,将请求服务发送给第二云计算服务器;
其中,第一云计算服务器基于记录到的任务联动属性,构建与多个大数据挖掘任务相关联的任务联动属性图谱的具体过程,可以参见上述对应实施例中对步骤S104的描述,这里将不再进行赘述。
步骤S205,第二云计算服务器接收第一云计算服务器发送的携带任务联动属性图谱的请求服务;
其中,第二云计算服务器属于第一云计算服务器所属的云计算集群中的性能云计算服务器,第一云计算服务器属于第二云计算服务器所属的云计算集群中的调度分配云计算服务器。其中,调度分配云计算服务器属于云计算集群中的性能云计算服务器,这里的第一云计算服务器可以为云计算集群的性能云计算服务器中的任意一个性能云计算服务器。
步骤S206,第二云计算服务器基于任务联动属性图谱所指示的任务联动属性,从多个大数据挖掘任务中挑选满足任务执行条件的大数据挖掘任务,将挑选出的大数据挖掘任务作为第一挖掘任务,获取与第一挖掘任务相关联的附属任务序列;
其中,附属任务序列中包含多个第二挖掘任务;第一挖掘任务中可以包含初叶大数据挖掘任务。
可以理解的是,多个大数据挖掘任务中携带目标阈值的大数据挖掘任务即为满足任务执行条件的大数据挖掘任务,即满足任务执行条件的大数据挖掘任务的任务父属性中的联动数量等于目标阈值。
步骤S207,第二云计算服务器基于第一挖掘任务和多个第二挖掘任务,构建与请求服务中的多个大数据挖掘任务相关联的参考联动属性图谱,基于参考联动属性图谱对任务联动属性图谱进行大数据挖掘控制。
具体的,第二云计算服务器可以通过任务分配模型分别将第一挖掘任务和多个第二挖掘任务分配至与任务分配模型相关联的任务启用空间,在任务启用空间中存在处于可用状态的计算空间时,将处于可用状态的计算空间作为第一计算空间,在第一计算空间的计算状态为启用状态时,通过第一计算空间计算第一挖掘任务,得到第一挖掘任务对应的第一任务计算信息。进一步地,第二云计算服务器可以基于第一任务计算信息,将多个第二挖掘任务中每个第二挖掘任务的任务父属性的联动数量进行递减处理,将递减处理后的每个第二挖掘任务分别作为候选挖掘任务。进一步地,第二云计算服务器可以从每个候选挖掘任务中查找任务父属性的联动数量达到任务执行条件中的目标阈值的候选挖掘任务,将查找到的候选挖掘任务作为与第一挖掘任务相关联的跟随联动任务。进一步地,第二云计算服务器可以在任务启用空间中将处于可用状态的计算空间作为第二计算空间,在第二计算空间的计算状态为启用状态时,通过第二计算空间计算跟随联动任务,得到跟随联动任务对应的第二任务计算信息,直到执行完每个候选挖掘任务时,得到每个候选挖掘任务对应的第二任务计算信息。进一步地,第二云计算服务器可以基于第一任务计算信息、每个候选挖掘任务对应的第二任务计算信息,构建与请求服务中的多个大数据挖掘任务相关联的参考联动属性图谱,基于参考联动属性图谱对任务联动属性图谱进行大数据挖掘控制。
可选的,在第一计算空间的数量小于第一挖掘任务的数量时,可以通过第一计算空间计算第一挖掘任务中的一部分第一挖掘任务,在任务启用空间中存在新的处于可用状态的第一计算空间时,使用这些新的处于可用状态的第一计算空间来执行第一挖掘任务中的另一部分第一挖掘任务。同理,在第二计算空间的数量小于第二挖掘任务的数量时,可以通过第二计算空间计算跟随联动任务中的一部分跟随联动任务,在任务启用空间中存在新的处于可用状态的第二计算空间时,使用这些新的处于可用状态的第二计算空间来执行跟随联动任务中的另一部分跟随联动任务。
可以理解的是,通过新的第一计算空间(即第二计算空间)可以执行任务4和任务8。在任务4执行完成后,可以将任务6的任务子属性中的联动数量进行递减处理,进而将任务6作为新的候选挖掘任务;在任务8执行完成后,由于与任务8相关联的附属任务序列为空,所以无需进行递减操作。
应当理解,第二云计算服务器可以基于第一挖掘任务100b对应的第二任务计算信息(即新的第一任务计算信息),继续获取满足任务执行条件的大数据挖掘任务,以此类推,直到请求服务中的多个大数据挖掘任务全部执行完毕。
应当理解,第二云计算服务器可以基于第一任务计算信息,在任务启用空间的等待序列中释放第一计算空间。进一步地,第二云计算服务器可以将第一计算空间的计算状态由启用状态切换为可用状态,将处于可用状态的第一计算空间添加至任务启用空间所对应的可用队列。同理,在将处于可用状态的第一计算空间的计算状态切换为启用状态时,第二云计算服务器可以在任务启用空间的可用队列中释放第一计算空间,进而将第一计算空间的计算状态由可用状态切换为启用状态,将处于启用状态的第一计算空间添加至任务计算空间池所对应的等待序列。其中,第二计算空间的计算状态的切换过程可以参见对第一计算空间的计算状态的切换过程的描述。应当理解,可用队列和等待序列中的计算空间的数量是不确定的,本公开对此不作限定。
可以理解的是,基于第一任务计算信息、每个候选挖掘任务对应的第二任务计算信息,构建与请求服务中的多个大数据挖掘任务相关联的参考联动属性图谱,基于参考联动属性图谱对任务联动属性图谱进行大数据挖掘控制的具体过程可以描述为:在合并第一任务计算信息和每个候选挖掘任务对应的第二任务计算信息时,第二云计算服务器可以将第一任务计算信息写入第一挖掘任务的第一输出中转容器,将写入第一输出中转容器中的数据作为第一挖掘任务的第一挖掘输出配置信息。进一步地,第二云计算服务器可以在每个候选挖掘任务对应的第二任务计算信息中遍历获取第X个任务计算信息,将第X个任务计算信息写入第X个候选挖掘任务的第二输出中转容器,将写入第X个候选挖掘任务的第二输出中转容器中的数据作为第X个候选挖掘任务的第二挖掘输出配置信息,且在第X个候选挖掘任务的输入中转容器中获取第X个候选挖掘任务对应的第二挖掘输入配置信息,直到执行完每个候选挖掘任务时,得到每个候选挖掘任务的第二挖掘输入配置信息。其中,这里的i可以为小于或者等于M的非负整数。进一步地,第二云计算服务器可以基于第一挖掘任务的第一挖掘输出配置信息和每个候选挖掘任务的第二挖掘输入配置信息,构建与多个大数据挖掘任务相关联的参考联动属性图谱。进一步地,第二云计算服务器可以将参考联动属性图谱和任务联动属性图谱进行相同属性部分的进度匹配,得到进度匹配结果,基于进度匹配结果确定任务联动属性图谱的进度走势。
其中,可以理解的是,第二云计算服务器基于第一挖掘任务的第一挖掘输出配置信息和每个候选挖掘任务的第二挖掘输入配置信息,构建与多个大数据挖掘任务相关联的参考联动属性图谱的具体过程,可以参见第一云计算服务器构建与多个大数据挖掘任务相关联的任务联动属性图谱的描述,这里将不进行赘述。
其中,可以理解的是,在基于第一挖掘任务的第一挖掘输出配置信息和每个候选挖掘任务的第二挖掘输入配置信息,构建与多个大数据挖掘任务相关联的参考联动属性图谱时,可以先基于第一挖掘任务的第一挖掘输出配置信息和每个候选挖掘任务的第二挖掘输入配置信息,构建与第一挖掘任务和每个候选挖掘任务相关联的第一参考联动属性图谱。进一步地,第二云计算服务器可以将每个候选挖掘任务作为新的第一挖掘任务,将每个候选挖掘任务的第二挖掘输出配置信息作为新的第一挖掘输出配置信息,获取与每个候选挖掘任务相关联的附属任务序列。其中,附属任务序列中包含新的候选挖掘任务,进而可以获取新的候选挖掘任务的新的第二挖掘输入配置信息,基于新的第一挖掘任务的新的第一挖掘输出配置信息和新的候选挖掘任务的新的第二挖掘输入配置信息,构建与新的第一挖掘任务和新的候选挖掘任务相关联的第二参考联动属性图谱。其中,第二参考联动属性图谱是在第一参考联动属性图谱的基础上所构建的。以此类推,直到与最新的第一挖掘任务相关联的附属任务序列为空时,得到与多个大数据挖掘任务相关联的参考联动属性图谱。
应当理解,在确定任务联动属性图谱停止进度走势时,第二云计算服务器可以调用用于维护性能云计算服务器列表的调度挖掘模式,通过调度挖掘模式获取性能云计算服务器列表,在性能云计算服务器列表中删除第一云计算服务器的云计算服务器标识。
由此可见,第一云计算服务器(即参与共识的调度分配云计算服务器)在按照多个大数据挖掘任务的挖掘成员关系串行执行第一大数据挖掘任务(应当理解,这里的第一大数据挖掘任务为多个大数据挖掘任务中除初叶大数据挖掘任务之外的其它大数据挖掘任务)的过程中,可以进行任务联动识别,进而可以根据任务联动识别信息记录得到每个大数据挖掘任务之间的任务联动属性,这样,在根据这些任务联动属性构建得到任务联动属性图谱之后,可以进一步将调度分配得到的携带任务联动属性图谱的请求服务,发送给云计算集群中的其它性能云计算服务器(例如,第二云计算服务器),以使其它云计算服务器(例如,第二云计算服务器)能够直接根据接收到的请求服务中的任务联动属性图谱所指示的任务联动属性按照联动方式执行这多个大数据挖掘任务。应当理解,通过在这些性能云计算服务器中根据任务联动属性图谱实现对大数据挖掘任务的高效率执行,可以提高大数据挖掘任务的执行效率,从而可以改善第二云计算服务器的计算性能,进而可以提高大数据挖掘的数据容纳性能。
图3示出了本公开实施例提供的用于实现上述的基于云计算的大数据挖掘任务处理方法的大数据挖掘系统100的硬件结构示意图,大数据挖掘系统100可以是前述图1中所示的实施例的第一云计算服务器100或者第二计算服务器200。如图3所示,大数据挖掘系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的大数据挖掘系统执行指令,使得处理器110可以执行如上方法实施例的任意方法,处理器110、机器可读存储介质120以及通信单元140通过总线130连接,处理器110可以用于控制通信单元140的收发动作。
处理器110的具体实现过程可参见上述大数据挖掘系统100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本公开实施例还提供一种可读存储介质,所述可读存储介质中预设有大数据挖掘系统执行指令,当处理器执行所述大数据挖掘系统执行指令时,实现如上方法实施例的任意方法。
最后,应当理解的是,本说明书中实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导匹配。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种基于云计算的大数据挖掘任务处理方法,其特征在于,应用于基于云计算的大数据挖掘任务处理系统中的第一云计算服务器,所述方法包括:
从待调度分配的多个大数据挖掘任务中获取第一大数据挖掘任务,获取所述第一大数据挖掘任务对应的挖掘输入配置信息;所述第一大数据挖掘任务为所述多个大数据挖掘任务中除初叶大数据挖掘任务之外的大数据挖掘任务;
确定所述第一大数据挖掘任务在所述多个大数据挖掘任务中的挖掘成员关系,基于所述挖掘成员关系、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对所述第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息;
若所述任务联动识别信息指示所述多个大数据挖掘任务中存在满足所述任务联动条件的大数据挖掘任务,则将满足所述任务联动条件的大数据挖掘任务作为与所述第一大数据挖掘任务相关联的优先联动任务,记录所述第一大数据挖掘任务与所述优先联动任务之间的任务联动属性;
基于记录到的所述任务联动属性,构建与所述多个大数据挖掘任务相关联的任务联动属性图谱,将所述任务联动属性图谱和所述多个大数据挖掘任务进行组合,得到携带所述任务联动属性图谱的请求服务,将所述请求服务发送给第二云计算服务器,以使所述第二云计算服务器基于所述请求服务中的所述任务联动属性图谱所指示的所述任务联动属性按照联动方式启用所述多个大数据挖掘任务;所述第二云计算服务器属于所述第一云计算服务器所属的云计算集群中的性能云计算服务器。
2.根据权利要求1所述的基于云计算的大数据挖掘任务处理方法,所述第一大数据挖掘任务为从所述多个大数据挖掘任务中所获取到的待被启用的大数据挖掘任务,所述第一大数据挖掘任务对应的输入中转容器中包括所述第一大数据挖掘任务对应的挖掘输入配置信息;
所述确定所述第一大数据挖掘任务在所述多个大数据挖掘任务中的挖掘成员关系,基于所述挖掘成员关系、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件对所述第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息,包括:
获取为所述多个大数据挖掘任务中的每个大数据挖掘任务配置的任务ID,确定所述第一大数据挖掘任务的任务ID在所述多个大数据挖掘任务的任务ID中的排列次序,基于所述排列次序确定所述第一大数据挖掘任务的挖掘成员关系;
在所述多个大数据挖掘任务中,查找挖掘成员关系优先于所述第一大数据挖掘任务的挖掘成员关系的大数据挖掘任务,将查找到的大数据挖掘任务作为与所述第一大数据挖掘任务相关联的优先大数据挖掘任务;所述优先大数据挖掘任务为从所述多个大数据挖掘任务中所获取到的已被启用的大数据挖掘任务;
获取所述优先大数据挖掘任务的输出中转容器,从所述输出中转容器中获取所述优先大数据挖掘任务对应的挖掘输出配置信息;
基于所述优先大数据挖掘任务对应的挖掘输出配置信息、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件,对所述第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息。
3.根据权利要求2所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述方法还包括:
从所述多个大数据挖掘任务中获取所述初叶大数据挖掘任务,基于所述初叶大数据挖掘任务对应的挖掘输入配置信息启用所述初叶大数据挖掘任务,得到所述初叶大数据挖掘任务的初叶任务启用结果,将所述初叶任务启用结果添加至所述初叶大数据挖掘任务的初叶输出中转容器,基于所述初叶输出中转容器中所存储的数据构建得到所述初叶大数据挖掘任务对应的挖掘输出配置信息;所述初叶大数据挖掘任务的挖掘成员关系优先于所述第一大数据挖掘任务的挖掘成员关系,且所述初叶大数据挖掘任务用于作为所述第一大数据挖掘任务的优先大数据挖掘任务。
4.根据权利要求2所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述基于所述优先大数据挖掘任务对应的挖掘输出配置信息、所述第一大数据挖掘任务对应的挖掘输入配置信息以及任务联动条件,对所述第一大数据挖掘任务进行任务联动识别,得到任务联动识别信息,包括:
将所述第一大数据挖掘任务对应的挖掘输入配置信息与所述优先大数据挖掘任务对应的挖掘输出配置信息进行业务类型匹配,得到业务类型匹配结果;
若所述业务类型匹配结果指示所述第一大数据挖掘任务对应的挖掘输入配置信息与所述优先大数据挖掘任务对应的挖掘输出配置信息之间存在交集业务类型,则将存在交集业务类型的优先大数据挖掘任务确定为满足任务联动条件的目标优先大数据挖掘任务;
将所述第一大数据挖掘任务的挖掘业务标签添加至所述目标优先大数据挖掘任务的历史任务属性所对应的初始任务子属性,得到所述目标优先大数据挖掘任务的目标任务子属性,在所述第一大数据挖掘任务的目标任务属性中对所述第一大数据挖掘任务的任务父属性中的联动数量进行逐加处理,得到逐加后的任务父属性;
将所述目标优先大数据挖掘任务的目标任务子属性和所述逐加后的任务父属性,作为与所述第一大数据挖掘任务相关联的任务联动识别信息。
5.根据权利要求4所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述方法还包括:
若所述业务类型匹配结果指示所述第一大数据挖掘任务对应的挖掘输入配置信息与所述优先大数据挖掘任务对应的挖掘输出配置信息之间均不存在交集业务类型,则将所述优先大数据挖掘任务确定为不满足所述任务联动条件的大数据挖掘任务,基于不满足所述任务联动条件的大数据挖掘任务,在所述第一大数据挖掘任务的目标任务属性中将所述第一大数据挖掘任务的任务父属性中的联动数量设置为目标阈值,基于所述目标阈值,将所述第一大数据挖掘任务添加至所述初叶大数据挖掘任务所属的并行挖掘数据集,且从所述多个大数据挖掘任务中获取用于更新所述第一大数据挖掘任务的第二大数据挖掘任务;所述第二大数据挖掘任务的挖掘成员关系延后于所述第一大数据挖掘任务的挖掘成员关系;所述并行挖掘数据集中的每个大数据挖掘任务的联动数量均为所述目标阈值,且所述并行挖掘数据集中的每个大数据挖掘任务之间存在并行联动属性,所述并行联动属性用于更新所述任务联动属性。
6.根据权利要求1所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述任务联动属性包含串行联动属性和并行联动属性;所述并行联动属性是由所述初叶大数据挖掘任务所属的并行挖掘数据集中的大数据挖掘任务所确定的;所述串行联动属性是由与所述第一大数据挖掘任务相关联的优先联动任务所确定的;
所述基于记录到的所述任务联动属性,构建与所述多个大数据挖掘任务相关联的任务联动属性图谱,将所述任务联动属性图谱和所述多个大数据挖掘任务进行组合,得到携带所述任务联动属性图谱的请求服务,将所述请求服务发送给第二云计算服务器,包括:
基于记录到的所述任务联动属性中的所述并行联动属性,从所述多个大数据挖掘任务中挑选携带目标阈值的任务父属性所对应的大数据挖掘任务,将挑选出的大数据挖掘任务作为第一挖掘任务;所述第一挖掘任务中包含所述初叶大数据挖掘任务;
基于记录到的所述任务联动属性中的所述串行联动属性,从所述第一挖掘任务的目标任务子属性中,获取与所述第一挖掘任务相关联的附属任务序列;所述附属任务序列中包含多个第二挖掘任务;
基于所述第一挖掘任务和所述多个第二挖掘任务,构建得到与所述多个大数据挖掘任务相关联的任务联动属性图谱,将所述任务联动属性图谱和所述多个大数据挖掘任务进行组合,得到携带所述任务联动属性图谱的请求服务,将所述请求服务发送给第二云计算服务器。
7.根据权利要求1所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述方法还包括:
基于所述第一大数据挖掘任务对应的挖掘输入配置信息中的挖掘模式调用信息以及挖掘模式标签,获取用于执行所述第一大数据挖掘任务的云计算挖掘模式,调用所述云计算挖掘模式执行所述第一大数据挖掘任务,得到所述第一大数据挖掘任务对应的大数据挖掘任务计算信息,将所述大数据挖掘任务计算信息添加至所述第一大数据挖掘任务的输出中转容器,基于所述输出中转容器中所存储的数据构建得到所述第一大数据挖掘任务对应的挖掘输出配置信息。
8.根据权利要求1-7中任意一项所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述方法还包括:
获取所述第二云计算服务器基于所述请求服务中的所述任务联动属性图谱所指示的所述任务联动属性按照联动方式启用所述多个大数据挖掘任务后的大数据挖掘信息,其中,所述大数据挖掘信息包括兴趣行为信息以及所述兴趣行为信息对应的兴趣对象信息;
对于每个无兴趣对象标注的第一兴趣行为信息,对所述第一兴趣行为信息进行兴趣行为扩展,得到所述第一兴趣行为信息对应的多个第三兴趣行为信息;
将所述多个第三兴趣行为信息组成所述第一兴趣行为信息的第一参考兴趣行为组合,将所述多个第一兴趣行为信息和多个第一兴趣行为信息对应的多个第三兴趣行为信息中,除所述第一兴趣行为信息的第一参考兴趣行为组合确定为所述第一兴趣行为信息的第二参考兴趣行为组合;
基于所述第一参考兴趣行为组合和所述第二参考兴趣行为组合之间的匹配度,确定第一机器学习网络的损失函数值;
基于所述损失函数值对所述第一机器学习网络进行训练,得到第二机器学习网络;
基于目标兴趣对象预测功能,获取多个第二兴趣行为信息,所述多个第二兴趣行为信息为根据该目标兴趣对象预测功能进行兴趣对象信息标注的兴趣行为信息,所述多个第二兴趣行为信息为所述大数据挖掘信息包括的兴趣行为信息;
基于所述多个第二兴趣行为信息,对所述第二机器学习网络进行更新,得到兴趣对象预测模型,所述兴趣对象预测模型用于对兴趣行为信息进行兴趣对象预测。
9.根据权利要求1所述的基于云计算的大数据挖掘任务处理方法,其特征在于,所述基于所述第一参考兴趣行为组合和所述第二参考兴趣行为组合之间的匹配度,确定第一机器学习网络的损失函数值,包括:
对所述多个第一兴趣行为信息和所述多个第三兴趣行为信息进行特征提取,得到多个第三兴趣行为特征,在所述多个第三兴趣行为特征中进行兴趣行为特征的采样,得到所述多个第一兴趣行为特征和所述多个第二兴趣行为特征;
将所述多个第一兴趣行为特征和所述多个第二兴趣行为特征输入至分类网络,通过所述分类网络,确定所述第一兴趣行为特征和所述第二兴趣行为特征之间的匹配度;
基于所述匹配度,确定第一机器学习网络的损失函数值;
其中,所述在所述多个第三兴趣行为特征中进行兴趣行为特征的采样,得到所述多个第一兴趣行为特征和所述多个第二兴趣行为特征,包括以下至少一种实现方式:
从所述多个第三兴趣行为特征中确定第一训练样本组的兴趣行为特征,所述第一训练样本组包括一次网络权重更新过程使用的多个第一兴趣行为信息和多个第三兴趣行为信息;
在所述第一训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到所述多个第一兴趣行为特征和所述多个第二兴趣行为特征;
从所述多个第三兴趣行为特征中确定第二训练样本组的兴趣行为特征,所述第二训练样本组包括一次迭代训练过程中使用的多个第一兴趣行为信息和多个第三兴趣行为信息,在所述第二训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到所述多个第一兴趣行为特征和所述多个第二兴趣行为特征;
从所述多个第三兴趣行为特征中确定将第三训练样本组的兴趣行为特征,所述第三训练样本组包括本次迭代训练过程中,与当前参数更新过程最近的多次网络权重更新过程使用的多个第一兴趣行为信息和多个第三兴趣行为信息,在所述第三训练样本组的兴趣行为特征中进行兴趣行为特征的采样,得到所述多个第一兴趣行为特征和所述多个第二兴趣行为特征。
10.一种大数据挖掘系统,其特征在于,所述大数据挖掘系统包括处理器、机器可读存储介质和通信单元,所述机器可读存储介质、所述通信单元以及所述处理器之间通过总线系统相关联,所述通信单元用于与至少一个互联网服务设备通信连接,所述机器可读存储介质用于存储计算机指令,所述处理器用于执行所述机器可读存储介质中的计算机指令,以执行权利要求1-9中任意一项的基于云计算的大数据挖掘任务处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110668059.8A CN113268539A (zh) | 2021-06-16 | 2021-06-16 | 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110668059.8A CN113268539A (zh) | 2021-06-16 | 2021-06-16 | 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113268539A true CN113268539A (zh) | 2021-08-17 |
Family
ID=77235152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110668059.8A Withdrawn CN113268539A (zh) | 2021-06-16 | 2021-06-16 | 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113268539A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116628231A (zh) * | 2023-07-26 | 2023-08-22 | 苏州盈天地资讯科技有限公司 | 基于大数据平台的任务可视化发布方法及系统 |
-
2021
- 2021-06-16 CN CN202110668059.8A patent/CN113268539A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116628231A (zh) * | 2023-07-26 | 2023-08-22 | 苏州盈天地资讯科技有限公司 | 基于大数据平台的任务可视化发布方法及系统 |
CN116628231B (zh) * | 2023-07-26 | 2023-09-22 | 苏州盈天地资讯科技有限公司 | 基于大数据平台的任务可视化发布方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008024B (zh) | 一种多维约束下基于延迟决策的容器调度方法以及装置 | |
CN109521943B (zh) | 云数据库实例的分配方法及相关产品 | |
CN111597187B (zh) | 用于执行机器学习的分布式系统及其方法 | |
CN113590199A (zh) | 指令调度方法、人工智能芯片、计算机设备和存储介质 | |
CN107977275B (zh) | 基于消息队列的任务处理方法及相关设备 | |
CN111596945B (zh) | 嵌入式系统动态多分区固件的差分升级方法 | |
CN113268539A (zh) | 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统 | |
CN114399228A (zh) | 任务调度方法及装置、电子设备和介质 | |
CN112650449B (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
CN108228842B (zh) | Docker镜像库文件存储方法、终端、设备以及存储介质 | |
CN115705593A (zh) | 物流运输方法、装置、计算机设备和存储介质 | |
CN116361567B (zh) | 应用于云办公的数据处理方法及系统 | |
US9235578B2 (en) | Data partitioning apparatus and data partitioning method | |
CN116089477B (zh) | 分布式训练方法及系统 | |
CN117332881A (zh) | 分布式训练方法及电子设备 | |
CN113360545A (zh) | 基于云计算的大数据挖掘进度跟踪方法及大数据挖掘系统 | |
CN114816719B (zh) | 多任务模型的训练方法及装置 | |
CN111813525B (zh) | 一种异构系统工作流调度方法 | |
CN114817288A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113656508A (zh) | 区块链系统中执行交易的方法及装置 | |
CN109559078B (zh) | 一种车辆调度方法、装置、设备及存储介质 | |
CN113342781A (zh) | 一种数据迁移的方法、装置、设备及存储介质 | |
US11989590B2 (en) | Method and system for resource allocation | |
CN113010288A (zh) | 云资源的调度方法、装置及计算机存储介质 | |
CN111782834A (zh) | 图像检索的方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210817 |