CN113537271A - 基于人工智能的大数据挖掘方法、系统及云端服务中心 - Google Patents

基于人工智能的大数据挖掘方法、系统及云端服务中心 Download PDF

Info

Publication number
CN113537271A
CN113537271A CN202110329527.9A CN202110329527A CN113537271A CN 113537271 A CN113537271 A CN 113537271A CN 202110329527 A CN202110329527 A CN 202110329527A CN 113537271 A CN113537271 A CN 113537271A
Authority
CN
China
Prior art keywords
mining
index classification
big data
service
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110329527.9A
Other languages
English (en)
Other versions
CN113537271B (zh
Inventor
翁海坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Health Technology Suzhou Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110329527.9A priority Critical patent/CN113537271B/zh
Publication of CN113537271A publication Critical patent/CN113537271A/zh
Application granted granted Critical
Publication of CN113537271B publication Critical patent/CN113537271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种基于人工智能的大数据挖掘方法、系统及云端服务中心,通过从指标分类结果中的多个指标分类集分别提取对应的指标分类挖掘特征以确定各个指标分类集之间的挖掘服务模式,并通过结合各个指标分类集之间的挖掘服务模式以及指标分类集之间的具有主题类别标识的主题实体关系,对各个指标分类集进行大数据挖掘,从而改善某些关键大数据挖掘对象由于不同指标分类集的分配不合理导致难以某个指标分类集无法及时与其它关联的指标分类集有效配合的情况,提高大数据挖掘的准确性。

Description

基于人工智能的大数据挖掘方法、系统及云端服务中心
技术领域
本申请涉及人工智能和云计算技术领域,具体而言,涉及一种基于人工智能的大数据挖掘方法、系统及云端服务中心。
背景技术
在大数据挖掘过程中,通常会首先确定指标分类集以便于后续针对不同分类的大数据执行相应的挖掘,从而用于后续的信息推荐。然而,考虑到通常各个指标分类集通常并不是作为单独的大数据挖掘对象存在的,而是相互之间可能会存在一定的主题实体关系,由此如果按照传统方案的大数据挖掘方式,可能会出现某些关键大数据挖掘对象由于不同指标分类集的分配不合理导致难以某个指标分类集无法及时与其它关联的指标分类集有效配合,从而会造成大数据挖掘的准确性较低。
发明内容
有鉴于此,本申请的目的在于提供一种基于人工智能的大数据挖掘方法、系统及云端服务中心,能够改善某些关键大数据挖掘对象由于不同指标分类集的分配不合理导致难以某个指标分类集无法及时与其它关联的指标分类集有效配合的情况,提高大数据挖掘的准确性。
第一方面,本申请提供一种基于人工智能和云计算的大数据挖掘方法,应用于云端服务中心,所述云端服务中心与多个在线服务终端通信连接,所述方法包括:
获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果;
从所述指标分类结果中获取多个指标分类集,并从所述多个指标分类集分别提取对应的指标分类挖掘特征,其中,所述指标分类挖掘特征用于表示所述指标分类集所对应的聚类主题簇所对应的聚类主题特征;
根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱;
根据构建的所述挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程,根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程。
在第一方面的一种可能的实现方式中,所述从所述多个指标分类集分别提取对应的指标分类挖掘特征的步骤,包括:
对所述多个指标分类集所对应的各待挖掘字典序进行聚类处理,得到各待挖掘字典序的聚类维度对象;
确定聚类处理得到的聚类维度对象的聚类维度层级,并将各聚类维度对象按相应聚类维度层级进行降序排名,之后从聚类处理得到的各聚类维度对象中,选取设定排序内的聚类维度对象;
根据预设的针对所述聚类维度对象的目标提取策略,确定由所述目标提取策略所指定的指标分类挖掘特征的聚类维度对象;
当同一待挖掘字典序包括属于不同指标分类挖掘特征的多个聚类维度对象时,则统计所述同一待挖掘字典序中各指标分类挖掘特征的聚类维度对象的数量;
确定统计的聚类维度对象的数量最大的指标分类挖掘特征,并为所述同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性,以及为不包括所述指标分类挖掘特征的聚类维度对象的待挖掘字典序添加非指标分类挖掘特征的指标属性;
根据待特征提取的待挖掘字典序和所添加的指标属性进行融合,得到第一融合特征网络,并将各聚类维度对象输入所述第一融合特征网络中,输出各聚类维度对象对于各指标分类挖掘特征的概率分布数值;
将对于各指标分类挖掘特征的概率分布数值大于或等于第一概率分布数值阈值的聚类维度对象重新确定为该指标分类挖掘特征的聚类维度对象,并返回所述为所述同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性并继续处理,直至满足迭代停止条件时得到待特征提取的待挖掘字典序的指标属性;
在满足所述迭代停止条件后,获取通过相应的所述融合特征网络所确定的待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值;
按照筛选的待挖掘字典序和相应的指标属性进行融合,得到第二融合特征网络;
通过所述第二融合特征网络确定待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性;
在按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性后,返回所述筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值的待挖掘字典序的步骤继续执行,直至满足更新停止条件时,得到待特征提取的待挖掘字典序更新后的指标属性;
获取更新所述指标属性后通过所述第二融合特征网络确定的各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值和属于非指标分类挖掘特征的概率分布数值;
挑选在更新所述指标属性后确定的对于各指标分类挖掘特征的概率分布数值大于或等于第三概率分布数值阈值的待挖掘字典序,并按挑选的待挖掘字典序和相应指标属性进行融合,得到第三融合特征网络;
通过所述第三融合特征网络确定各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按通过第三融合特征网络确定的对于各指标分类挖掘特征的概率分布数值确定相应待挖掘字典序的指标分类挖掘特征;
获取不同于待特征提取的待挖掘字典序的目标待挖掘字典序,并通过所述第三融合特征网络确定所述目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值,而后根据所述目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值确定所述目标待挖掘字典序所对应的指标分类挖掘特征;
根据各个确定的待挖掘字典序的指标分类挖掘特征进行汇总得到各个指标分类集分别提取对应的指标分类挖掘特征。
在第一方面的一种可能的实现方式中,所述根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式的步骤,包括:
根据提取的指标分类挖掘特征确定每至少两个指标分类集所对应的关联服务对象的第一对象序列;其中,所述关联服务对象包括多种关联服务对象元素;
选取第一初始挖掘服务模式序列;其中,所述第一挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点;
对于每一种关联服务对象元素对应的第一对象序列,将所述第一初始挖掘服务模式的第一挖掘服务节点和每个阶段的挖掘扩展节点进行拼接,得到多个拼接目标对象;
按照多个所述拼接目标对象分别映射所述第一对象序列,得到多种不同拼接目标对象的序列对;其中,所述拼接目标对象中挖掘扩展节点的输入参数为该第一对象序列对应的指标分类集的指标分类挖掘特征,第一挖掘服务节点的输出参数为该第一对象序列对应的指标分类集的挖掘服务关联参数;
根据所述序列对以及所述第一初始挖掘服务模式序列的多个不同阶段的挖掘外围节点,对所述第一初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第一节点拼接,得到包括所述第一节点拼接的第一挖掘服务模式;其中,所述第一初始挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点;
在确定更新得到的所述第一挖掘服务模式的模型参数符合预设条件后,将所述第一挖掘服务模式基于所述第一对象序列中的挖掘服务关联参数输出的指标分类集的预测参数与所述指标分类集的挖掘服务关联参数进行比较,根据多个预测参数与挖掘服务关联参数之间的概率分布数值大于预设的第二阈值所确定的置信范围,确定所述第一挖掘服务模式的第一预测参数分布;
根据损失挖掘服务关联参数和所述第一挖掘服务模式的预测参数的参数比较结果,对预设的第二初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第二节点拼接,得到包括所述第二节点拼接的第二挖掘服务模式,并基于更新得到的多个所述第二挖掘服务模式序列,确定所述第一对象序列的第二预测参数分布;其中,所述第二初始挖掘服务模式中的挖掘服务模式组包括预设的所述挖掘扩展节点、第二挖掘服务节点以及待拼接的挖掘外围节点;所述第二挖掘服务节点和所述第一挖掘服务节点的阶段相同但输出参数不同,所述第一挖掘服务节点的输出参数为挖掘服务关联参数,所述第二挖掘服务节点的输出参数为所述第一挖掘服务模式的预测参数与挖掘服务关联参数的参数比较结果;
根据所述第一预测参数分布和所述第二预测参数分布,确定所述第一挖掘服务模式的预测参数对应的预测向量,并基于所述关联服务对象的对象序列中多种关联服务对象元素之间的相互关联信息,生成基于多种关联服务对象元素的关联关系分布,并计算所述关联关系分布中每一级关联关系的关联服务模式,其中,所述第一预测参数分布和所述第二预测参数分布通过各自对应的权重参数确定所述第一挖掘服务模式的预测参数对应的预测向量;
根据所述关联关系分布中每一级关联关系的关联服务模式确定该至少两个指标分类集之间的挖掘服务模式。
在第一方面的一种可能的实现方式中,所述第一初始挖掘服务模式序列的多个不同阶段的挖掘扩展节点通过以下方式确定:
对于所述第一对象序列对应的挖掘服务关联参数,对所述挖掘服务关联参数以及对应的指标分类挖掘特征进行分析,得到与所述挖掘服务关联参数的相关度大于预设的第一阈值的目标指标分类挖掘特征;
根据所述目标指标分类挖掘特征的挖掘扩展覆盖范围,确定所述第一初始挖掘服务模式序列的挖掘扩展节点阶段。
在第一方面的一种可能的实现方式中,所述根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱的步骤,包括:
根据确定出各个指标分类集之间的挖掘服务模式,分别将同一类挖掘服务模式所覆盖的各个目标指标分类集划分为一个挖掘服务分布图谱,并根据每一个挖掘服务分布图谱内的分布热力图,将分布热力图匹配预设热力特征的挖掘服务分布图谱的分布范围缩小,并将分布热力图小于预设数量阈值的挖掘服务分布图谱的分布范围扩大,得到调整后的各挖掘服务分布图谱;其中,每一个挖掘服务分布图谱内的所有指标分类集构成一个图谱单元;
根据单个图谱单元中各指标分类集的位置,计算出单个图谱单元中的每一个指标分类集与其他指标分类集之间的指标分类关系;
对于单个图谱单元,根据每一个指标分类集与其他指标分类集之间的指标分类关系的顺序,对单个图谱单元中的各指标分类集进行排序,得到指标分类集排序列表;
对于单个图谱单元,依次对所述指标分类集排序列表中的每一个指标分类集执行以下过程,直至确定单个图谱单元的关键指标分类集:
判断所述指标分类集排序列表中的指标分类集的第一指标热门度,是否大于第一预设热门度,若确定大于则将大于第一预设热门度的指标分类集作为单个图谱单元的关键指标分类集;
对于单个图谱单元,确定单个图谱单元的关键指标分类集为与之进行映射关联的指标分类集,并确定除去单个图谱单元的关键指标分类集以外的其他指标分类集为单个图谱单元的成员指标分类集,其中,单个图谱单元的成员指标分类集为与单个图谱单元的关键指标分类集进行映射关联的指标分类集;
根据确定的各个图谱单元的关键指标分类集和成员指标分类集构建对应的挖掘服务拓扑图谱。
在第一方面的一种可能的实现方式中,所述根据构建的所述挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程的步骤,包括:
根据构建的所述挖掘服务拓扑图谱中每个所述关键指标分类集与所述成员指标分类集之间的拓扑关系,获取该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间,并将所述大数据挖掘流程拓扑空间作为大数据挖掘流程节点,使每个所述关键指标分类集与成员指标分类集作为由该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间组成的大数据挖掘流程节点;
根据该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点的流程标签类型从每个所述关键指标分类集与成员指标分类集的大数据挖掘流程节点中获取所有的相似大数据挖掘流程节点,组成第一大数据挖掘流程节点序列;
对所述第一大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点进行随机森林树处理,得到随机森林树结构和随机森林树层级;
根据所述随机森林树结构和所述随机森林树层级计算以该关键指标分类集与成员指标分类集为基准的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系;
当每个关键指标分类集与成员指标分类集都已计算得到以该关键指标分类集与成员指标分类集为中心的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系时,根据各关键指标分类集与成员指标分类集对应的不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系得到不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集;
根据所述不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集得到第二大数据挖掘流程节点序列,并对所述第二大数据挖掘流程节点序列进行处理,得到所述第二大数据挖掘流程节点序列所对应的随机森林树结构序列;
对所述随机森林树结构序列计算机会节点和随机森林树特征向量,并将所述随机森林树特征向量作为初始值,对所述第二大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点按照所述机会节点分别进行处理,得到对应的拓扑随机森林树;
根据所述拓扑随机森林树中的决策结果分别确定各个指标分类集所对应的大数据挖掘流程。
在第一方面的一种可能的实现方式中,所述根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程的步骤,包括:
根据各个指标分类集所对应的大数据挖掘流程确定每个大数据挖掘流程下的指标分类集序列;
根据所述多个指标分类集之间的具有主题类别标识的主题实体关系确定针对每个大数据挖掘流程下的指标分类集序列的大数据挖掘在线服务终端。
在第一方面的一种可能的实现方式中,所述获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果的步骤,包括:
获取预先针对在线云计算项目的大数据决策信息;
获取当前针对所述大数据决策信息所能执行的大数据挖掘事件信息以及大数据服务控件,分别对所述大数据挖掘事件信息和所述大数据服务控件进行业务标签激活,根据经过业务标签激活后的大数据挖掘事件信息,获取大数据挖掘事件的业务挖掘内容;
将所述大数据挖掘事件的业务挖掘内容与经过业务标签激活后的大数据服务控件协调,获取大数据协调服务控件;
根据所述大数据协调服务控件,对所述大数据决策信息所对应的全局大数据服务控件进行自适应性更新,获取目标全局大数据服务控件,并基于所述目标全局大数据服务控件生成当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,完成决策大数据服务的挖掘业务配置,其中,所述挖掘评价指标信息包括主题簇指标数据;
根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,根据指标分类结果执行大数据挖掘操作。
第二方面,本申请实施例还提供一种基于人工智能和云计算的大数据挖掘装置,应用于云端服务中心,所述云端服务中心与多个在线服务终端通信连接,所述装置包括:
获取模块,用于获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果;
提取模块,用于从指标分类结果中获取多个指标分类集,并从所述多个指标分类集分别提取对应的指标分类挖掘特征,其中,所述指标分类挖掘特征用于表示所述指标分类集所对应的聚类主题簇所对应的聚类主题特征;
构建模块,用于根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱;
确定模块,用于根据构建的所述挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程,根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程。
第三方面,本申请实施例还提供一种基于大数据和云计算的信息流处理系统,所述基于大数据和云计算的信息流处理系统包括云端服务中心以及与所述云端服务中心通信连接的多个在线服务终端;
所述云端服务中心,用于:
获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果;
从所述指标分类结果中获取多个指标分类集,并从所述多个指标分类集分别提取对应的指标分类挖掘特征,其中,所述指标分类挖掘特征用于表示所述指标分类集所对应的聚类主题簇所对应的聚类主题特征;
根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱;
根据构建的所述挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程,根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程。
第四方面,本申请实施例还提供一种云端服务中心,所述云端服务中心包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个在线服务终端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的实现方式中的基于人工智能和云计算的大数据挖掘方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其被执行时,使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的基于人工智能和云计算的大数据挖掘方法。
基于上述任意一个方面,本申请通过从指标分类结果中的多个指标分类集分别提取对应的指标分类挖掘特征以确定各个指标分类集之间的挖掘服务模式,并通过结合各个指标分类集之间的挖掘服务模式以及指标分类集之间的具有主题类别标识的主题实体关系,对各个指标分类集进行大数据挖掘,从而改善某些关键大数据挖掘对象由于不同指标分类集的分配不合理导致难以某个指标分类集无法及时与其它关联的指标分类集有效配合的情况,提高大数据挖掘的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要调用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的基于大数据和云计算的信息流处理系统的应用场景示意图;
图2为本申请实施例提供的基于人工智能和云计算的大数据挖掘方法的流程示意图;
图3为本申请实施例提供的基于大数据和云计算的信息流处理装置的功能模块示意图;
图4为本申请实施例提供的用于实现上述的基于人工智能和云计算的大数据挖掘方法的云端服务中心的结构组件示意框图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本申请一种实施例提供的基于大数据和云计算的信息流处理系统10的交互示意图。基于大数据和云计算的信息流处理系统10可以包括云端服务中心100以及与云端服务中心100通信连接的在线服务终端200。图1所示的基于大数据和云计算的信息流处理系统10仅为一种可行的示例,在其它可行的实施例中,该基于大数据和云计算的信息流处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中,在线服务终端200可以包括移动设备、平板计算机、膝上型计算机等或其任意拼接。在一些实施例中,移动设备可以包括物联网设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意拼接。在一些实施例中,物联网设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等,或其任意拼接。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等,或其任何拼接。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理、游戏设备等,或其任意拼接。在一些实施例中,虚拟现实设备和增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等,或其任意拼接。例如,虚拟现实设备和增强现实设备可以包括各种虚拟现实产品等。
基于本申请提供的技术方案的发明构思出发,本申请提供的云端服务中心100可以应用在例如智慧医疗、智慧城市管理、智慧工业互联网、通用业务监控管理等可以应用大数据技术或者是云计算技术等的场景中,再比如,还可以应用在包括但不限于新能源汽车系统管理、智能云办公、云平台数据处理、云游戏数据处理、云直播处理、云汽车管理平台、区块链金融数据服务平台等,但不限于此。
本实施例中,基于大数据和云计算的信息流处理系统10中的云端服务中心100和在线服务终端200可以通过配合执行以下方法实施例所描述的基于人工智能和云计算的大数据挖掘方法,具体云端服务中心100和在线服务终端200的执行步骤部分可以参照以下方法实施例的详细描述。
为了解决前述背景技术中的技术问题,图2为本申请实施例提供的基于人工智能和云计算的大数据挖掘方法的流程示意图,本实施例提供的基于人工智能和云计算的大数据挖掘方法可以由图1中所示的云端服务中心100执行,下面对该基于人工智能和云计算的大数据挖掘方法进行详细介绍。
步骤S110,获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对挖掘评价指标信息进行指标分类,获得指标分类结果。
步骤S120,从指标分类结果中获取多个指标分类集,并从多个指标分类集分别提取对应的指标分类挖掘特征。
步骤S130,根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱。
步骤S140,根据构建的挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程,根据各个指标分类集所对应的大数据挖掘流程以及多个指标分类集之间的具有主题类别标识的主题实体关系,执行指标分类结果中各个指标分类集对应的大数据挖掘进程。
本实施例中,在线云计算项目可以是指针对执行大数据挖掘进程所预先订阅的在线云计算服务,例如可以通过向各大云计算服务的提供商预先订阅相关的在线云计算项目,并同时配置每个在线云计算项目的配置信息。
本实施例中,指标分类挖掘特征可以用于表示指标分类集所对应的聚类主题簇所对应的聚类主题特征。
本实施例中,挖掘服务模式可以是指在进行大数据挖掘过程中所关联的挖掘服务节点构成的控制模式,挖掘服务节点可以表示挖掘过程中所调用的算法模型。
基于上述设计,本实施例通过从指标分类结果中的多个指标分类集分别提取对应的指标分类挖掘特征以确定各个指标分类集之间的挖掘服务模式,并通过结合各个指标分类集之间的挖掘服务模式以及在线服务终端200之间的具有主题类别标识的主题实体关系,对各个指标分类集进行大数据挖掘,从而改善某些关键大数据挖掘对象由于不同指标分类集的分配不合理导致难以某个指标分类集无法及时与其它关联的指标分类集有效配合的情况,提高大数据挖掘的准确性。
在一种可能的实现方式中,针对步骤S120,在提取指标分类挖掘特征的过程中,为了减少冗余特征,提高后续挖掘服务模式的准确性和可靠性,可以通过以下示例性的实施方式来实现。
子步骤S121,对多个指标分类集所对应的各待挖掘字典序进行聚类处理,得到各待挖掘字典序的聚类维度对象,接着确定聚类处理得到的聚类维度对象的聚类维度层级,并将各聚类维度对象按相应聚类维度层级进行降序排名,之后从聚类处理得到的各聚类维度对象中,选取设定排序内的聚类维度对象。
例如,聚类维度对象可以预先按照各待挖掘字典序所述的分类类型进行确定,针对一个分类类型可能会对应多个聚类维度对象。
子步骤S122,根据预设的针对聚类维度对象的目标提取策略,确定由目标提取策略所指定的指标分类挖掘特征的聚类维度对象。
子步骤S123,当同一待挖掘字典序包括属于不同指标分类挖掘特征的多个聚类维度对象时,则统计同一待挖掘字典序中各指标分类挖掘特征的聚类维度对象的数量。
子步骤S124,确定统计的聚类维度对象的数量最大的指标分类挖掘特征,并为同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性,以及为不包括指标分类挖掘特征的聚类维度对象的待挖掘字典序添加非指标分类挖掘特征的指标属性。
本实施例中,譬如,目标提取策略可以指定指标分类挖掘特征的聚类维度对象,具体可以根据聚类维度层级和业务重要性预先确定,在此不作具体限定。此外,指标属性可以是指该指标分类挖掘特征所对应的挖掘类型,例如订单挖掘类型、图形挖掘类型等。
子步骤S125,根据待特征提取的待挖掘字典序和所添加的指标属性进行融合,得到第一融合特征网络,并将各聚类维度对象输入第一融合特征网络中,输出各聚类维度对象对于各指标分类挖掘特征的概率分布数值。
子步骤S126,将对于各指标分类挖掘特征的概率分布数值大于或等于第一概率分布数值阈值的聚类维度对象重新确定为该指标分类挖掘特征的聚类维度对象,并返回为同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性并继续处理,直至满足迭代停止条件时得到待特征提取的待挖掘字典序的指标属性。
值得说明的是,在满足迭代停止条件后,获取通过相应的融合特征网络所确定的待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值。
子步骤S127,按照筛选的待挖掘字典序和相应的指标属性进行融合,得到第二融合特征网络,然后通过第二融合特征网络确定待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性。
子步骤S128,在按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性后,返回筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值的待挖掘字典序的步骤继续执行,直至满足更新停止条件时,得到待特征提取的待挖掘字典序更新后的指标属性。
子步骤S129,获取更新指标属性后通过第二融合特征网络确定的各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值和属于非指标分类挖掘特征的概率分布数值,并挑选在更新指标属性后确定的对于各指标分类挖掘特征的概率分布数值大于或等于第三概率分布数值阈值的待挖掘字典序,并按挑选的待挖掘字典序和相应指标属性进行融合,得到第三融合特征网络。接着,通过第三融合特征网络确定各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按通过第三融合特征网络确定的对于各指标分类挖掘特征的概率分布数值确定相应待挖掘字典序的指标分类挖掘特征后,获取不同于待特征提取的待挖掘字典序的目标待挖掘字典序,并通过第三融合特征网络确定目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值,而后根据目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值确定目标待挖掘字典序所对应的指标分类挖掘特征。
由此,可以根据各个确定的待挖掘字典序的指标分类挖掘特征进行汇总得到各个指标分类集分别提取对应的指标分类挖掘特征。
如此,基于上述设计,本实施例通过上述一系列的数据筛选和融合特征网络的分类处理,能够有效减少冗余特征,提高后续挖掘服务模式的准确性和可靠性。
在一种可能的实现方式中,针对步骤S120,在确定各个指标分类集之间的挖掘服务模式的过程中,为了避免一部分冗余或者存在过多层级的挖掘服务模式被确定的情况,导致后续大数据挖掘分配不合理,本实施例可以根据提取的指标分类挖掘特征确定每至少两个指标分类集所对应的关联服务对象的第一对象序列。本实施例中,关联服务对象可以包括多种关联服务对象元素,例如决策关联元素(在决策条件满足的情况下关联另一个指标分类集)、判断关联元素(在判断结果满足的情况下关联另一个指标分类集)等,在此不作具体限定。
接下来,可以选取第一初始挖掘服务模式序列。其中,第一初始挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点。在此需要说明的是,该预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点可以根据实际需求选择现有通用的特征网络结构,本实施例在此不作具体限定。
在此基础上,对于每一种关联服务对象元素对应的第一对象序列,将第一初始挖掘服务模式的第一挖掘服务节点和每个阶段的挖掘扩展节点进行拼接,得到多个拼接目标对象。然后,按照多个拼接目标对象分别映射第一对象序列,得到多种不同拼接目标对象的序列对。
在此值得进一步说明的是,上述的拼接目标对象中挖掘扩展节点的输入参数为该第一对象序列对应的指标分类集的指标分类挖掘特征,第一挖掘服务节点的输出参数为该第一对象序列对应的指标分类集的挖掘服务关联参数。
而后,可以根据前述确定的序列对以及第一初始挖掘服务模式序列的多个不同阶段的挖掘外围节点,对第一初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第一节点拼接,得到包括第一节点拼接的第一挖掘服务模式。
在此值得进一步说明的是,第一初始挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点。
由此,在确定更新得到的第一挖掘服务模式的模型参数符合预设条件后,将第一挖掘服务模式基于第一对象序列中的挖掘服务关联参数输出的指标分类集的预测参数与指标分类集的挖掘服务关联参数进行比较,根据多个预测参数与挖掘服务关联参数之间的概率分布数值大于预设的第二阈值所确定的置信范围,确定第一挖掘服务模式的第一预测参数分布。
同时,可以根据损失挖掘服务关联参数和第一挖掘服务模式的预测参数的参数比较结果,对预设的第二初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第二节点拼接,得到包括第二节点拼接的第二挖掘服务模式,并基于更新得到的多个第二挖掘服务模式序列,确定第一对象序列的第二预测参数分布。
在此值得进一步说明的是,第二初始挖掘服务模式中的挖掘服务模式组包括预设的挖掘扩展节点、第二挖掘服务节点以及待拼接的挖掘外围节点,第二挖掘服务节点和第一挖掘服务节点的阶段相同但输出参数不同,第一挖掘服务节点的输出参数为挖掘服务关联参数,第二挖掘服务节点的输出参数为第一挖掘服务模式的预测参数与挖掘服务关联参数的参数比较结果。
由此,可以根据第一预测参数分布和第二预测参数分布,确定第一挖掘服务模式的预测参数对应的预测向量,并基于关联服务对象的对象序列中多种关联服务对象元素之间的相互关联信息,生成基于多种关联服务对象元素的关联关系分布,并计算关联关系分布中每一级关联关系的关联服务模式。而后,根据关联关系分布中每一级关联关系的关联服务模式确定该至少两个指标分类集之间的挖掘服务模式。
其中,第一预测参数分布和第二预测参数分布可以通过各自对应的权重参数确定第一挖掘服务模式的预测参数对应的预测向量。例如,第一概率分布数值为A,第二预测参数分布为B,各自对应的权重参数为a1和b1,那么可以根据A*a1+B*b1的结果与第一挖掘服务模式的预测参数进行计算得到对应的预测向量。
其中,可以理解的是,当关联服务模式大于设定关联服务模式时,确定该至少两个指标分类集之间存在该级关联关系,否则确定该至少两个指标分类集之间不存在该级关联关系。如此,能够有效避免一部分冗余或者存在过多层级的挖掘服务模式被确定的情况,提高后续大数据挖掘分配时的合理性。
示例性地,上述的第一初始挖掘服务模式序列的多个不同阶段的挖掘扩展节点可以通过以下方式确定:
对于第一对象序列对应的挖掘服务关联参数,对挖掘服务关联参数以及对应的指标分类挖掘特征进行分析,得到与挖掘服务关联参数的相关度大于预设的第一阈值的目标指标分类挖掘特征,并根据目标指标分类挖掘特征的挖掘扩展覆盖范围,确定第一初始挖掘服务模式序列的挖掘扩展节点阶段。
在一种可能的实现方式中,针对步骤S130,在构建对应的挖掘服务拓扑图谱的过程中,为了进一步减少计算量,并且保证高优先级的指标分类集的及时大数据挖掘,本实施例可以根据确定出各个指标分类集之间的挖掘服务模式,分别将同一类挖掘服务模式所覆盖的各个目标指标分类集划分为一个挖掘服务分布图谱,并根据每一个挖掘服务分布图谱内的分布热力图,将分布热力图匹配预设热力特征的挖掘服务分布图谱的分布范围缩小,并将分布热力图小于预设数量阈值的挖掘服务分布图谱的分布范围扩大,得到调整后的各挖掘服务分布图谱。其中,每一个挖掘服务分布图谱内的所有指标分类集构成一个图谱单元。
然后,根据单个图谱单元中各指标分类集的位置,计算出单个图谱单元中的每一个指标分类集与其他指标分类集之间的指标分类关系,例如,指标分类关系可以是指每一个指标分类集与其他指标分类集之间的图谱单元距离。
对于单个图谱单元,根据每一个指标分类集与其他指标分类集之间的指标分类关系的顺序,对单个图谱单元中的各指标分类集进行排序,得到指标分类集排序列表。同时,对于单个图谱单元,依次对指标分类集排序列表中的每一个指标分类集执行以下过程,直至确定单个图谱单元的关键指标分类集:
在此基础上,可以判断指标分类集排序列表中的指标分类集的第一指标热门度,是否大于第一预设热门度,若确定大于则将大于第一预设热门度的指标分类集作为单个图谱单元的关键指标分类集。
进一步地,对于单个图谱单元,确定单个图谱单元的关键指标分类集为与之进行映射关联的指标分类集,并确定除去单个图谱单元的关键指标分类集以外的其他指标分类集为单个图谱单元的成员指标分类集,其中,单个图谱单元的成员指标分类集为与单个图谱单元的关键指标分类集进行映射关联的指标分类集。
由此,可以根据确定的各个图谱单元的关键指标分类集和成员指标分类集构建对应的挖掘服务拓扑图谱。也即,挖掘服务拓扑图谱可以是包括多个图谱单元中由关键指标分类集以及与关键指标分类集映射关联的成员指标分类集构成的网络。
在上述描述的基础上,针对步骤S140,接下来可以根据构建的挖掘服务拓扑图谱中每个关键指标分类集与成员指标分类集之间的拓扑关系,获取该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间,并将大数据挖掘流程拓扑空间作为大数据挖掘流程节点,使每个关键指标分类集与成员指标分类集作为由该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间组成的大数据挖掘流程节点。
然后,根据该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点的流程标签类型从每个关键指标分类集与成员指标分类集的大数据挖掘流程节点中获取所有的相似大数据挖掘流程节点,组成第一大数据挖掘流程节点序列,并对第一大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点进行随机森林树处理,得到随机森林树结构和随机森林树层级。
接着,可以根据随机森林树结构和随机森林树层级计算以该关键指标分类集与成员指标分类集为基准的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系。
当每个关键指标分类集与成员指标分类集都已计算得到以该关键指标分类集与成员指标分类集为中心的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系时,根据各关键指标分类集与成员指标分类集对应的不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系得到不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集。
接下来,可以根据不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集得到第二大数据挖掘流程节点序列,并对第二大数据挖掘流程节点序列进行随机森林树处理,得到第二大数据挖掘流程节点序列所对应的随机森林树结构序列。而后对随机森林树结构序列计算机会节点和随机森林树特征向量,并将随机森林树特征向量作为初始值,对第二大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点按照机会节点分别进行处理,得到对应的拓扑随机森林树。由此,可以根据拓扑随机森林树中的决策结果分别确定各个指标分类集所对应的大数据挖掘流程。
在一种可能的实现方式中,针对步骤S140,本实施例可以根据各个指标分类集所对应的大数据挖掘流程确定每个大数据挖掘流程下的指标分类集序列。接下来,可以根据多个在线服务终端200之间的具有主题类别标识的主题实体关系确定针对每个大数据挖掘流程下的指标分类集序列的在线服务终端200。
在一种可能的实现方式中,针对步骤S110,可以通过以下示例性的子步骤来实现。
子步骤S111,获取预先针对在线云计算项目的大数据决策信息。
子步骤S112,获取当前针对大数据决策信息所能执行的大数据挖掘事件信息以及大数据服务控件,分别对大数据挖掘事件信息和大数据服务控件进行业务标签激活,根据经过业务标签激活后的大数据挖掘事件信息,获取大数据挖掘事件的业务挖掘内容。
子步骤S113,将大数据挖掘事件的业务挖掘内容与经过业务标签激活后的大数据服务控件协调,获取大数据协调服务控件。
子步骤S114,根据大数据协调服务控件,对大数据决策信息所对应的全局大数据服务控件进行自适应性更新,获取目标全局大数据服务控件,并基于目标全局大数据服务控件生成当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,完成决策大数据服务的挖掘业务配置。
子步骤S115,根据预先配置的人工智能模型对挖掘评价指标信息进行指标分类,根据指标分类结果执行大数据挖掘操作。
本实施例中,在线云计算项目可以是指在线服务终端200预先订阅的云计算服务,例如针对某个特定订阅业务的大数据收集服务等,或者也可以是一些大数据收集服务组合,例如由同一功能开发包组成的大数据收集服务组合等,具体不作限定。
本实施例中,譬如针对子步骤S112,大数据决策信息中可以提供相关的大数据决策部分的大数据决策服务节点,但是并不是所有的大数据决策服务节点都是处于启动状态,可能某些大数据决策服务节点处于维护,或者特定权限的状态下,因此首先需要获取当前针对大数据决策信息所能执行的大数据决策服务节点,然后获取该大数据决策服务节点所关联的大数据挖掘事件信息以及大数据服务控件。其中,值得说明的是,大数据挖掘事件信息可以是指在大数据服务过程中需要挖掘的业务事件信息,业务事件信息可以表示每个业务事件的起始事件启动对象到结束事件启动对象之间的事件记录信息以及每个业务事件的信息采集的响应信息,而大数据服务控件可以表示具体的大数据推送规则配置信息、大数据推送方式的配置信息等。基于此,参照前述背景技术所获知的技术问题可知,相关技术中,大数据服务控件在大数据服务进程初始化(例如第一次使用时)的业务场景下,如果没有有效结合大数据挖掘事件进行更新,则极其容易存在出错,因为大数据挖掘事件可以反映大数据推送过程中的大数据推送规则、大数据推送方式的运行情况和运行策略,如果不进行优化则可能会导致后续在线云计算项目在使用过程中的业务配置错误概率也大大提高。
本实施例中,大数据决策信息所对应的全局大数据服务控件可以是指大数据决策信息提供的相关的大数据决策部分的大数据决策服务节点所属的总的大数据服务控件,该全局大数据服务控件可以表示整个在线云计算项目订阅的大数据决策部分的大数据服务控件,但是通常不会全部使用到,然而考虑到之后用户通常可能会选择全局大数据服务控件来进行整体大数据推送配置,因此还需要在对大数据服务控件中的大数据挖掘业务进行业务适配的同时,进一步获得具有全局一致性的目标全局大数据服务控件,以便于完成决策大数据服务的整体挖掘业务配置。
本实施例中,挖掘评价指标信息可以包括主题簇指标数据,主题簇指标数据可以包括针对每个主题服务的指标配置数据,以便于后续的大数据挖掘。
本实施例中,譬如,针对子步骤S115,在根据预先配置的人工智能模型对挖掘评价指标信息进行指标分类,根据指标分类结果执行大数据挖掘操作的过程中,该人工智能模型可以是具有语义分析分类功能的任意网络模型,可以通过收集相关的训练样本和对应的标记分类标签进行训练获得,其中训练样本可以是指标配置样本数据,具体训练的方式可以参照现有技术即可,其不属于本申请实施例旨在重点表达的内容,在此不作赘述。
基于上述步骤,本实施例通过获取当前所能执行的大数据挖掘事件信息以及大数据服务控件,然后对二者分别进行业务标签激活,将经过业务标签激活后的大数据挖掘事件信息和经过业务标签激活后的大数据服务控件进行协调,获取大数据协调服务控件,大数据协调服务控件实际上就是利用经过业务标签激活后的大数据挖掘事件信息对经过业务标签激活后的大数据服务控件进行优化,也即是对所能执行的大数据服务控件进行优化。在此基础上,在获取经过局部优化后的大数据服务控件后,再根据大数据协调服务控件,对全局大数据服务控件进行自适应性更新,从而获取目标全局大数据服务控件。由此,通过获取当前所能执行的大数据挖掘事件信息以及大数据服务控件,然后对二者分别进行业务标签激活,将经过业务标签激活后的大数据挖掘事件信息和经过业务标签激活后的大数据服务控件进行协调,获取大数据协调服务控件,由此对所能执行的大数据服务控件进行优化。通过将大数据挖掘事件信息和大数据服务控件进行协调,不仅能够克服大数据服务控件在大数据服务进程初始化的业务场景下容易出错的情况,实现对大数据服务控件中的大数据挖掘业务进行业务适配的同时,还可获得具有全局一致性的目标全局大数据服务控件,由此完成决策大数据服务的挖掘业务配置,进而减少在线云计算项目在使用过程中的业务配置错误概率。
譬如,在一种可能的实现方式中,针对子步骤S112,在对大数据挖掘事件信息进行业务标签激活的过程中,可以对大数据挖掘事件信息进行特征提取,获取大数据挖掘事件信息的标签矩阵特征。然后,从大数据挖掘事件信息的标签矩阵特征中筛选出符合预设条件的特定标签矩阵特征,计算特定标签矩阵特征的信息词条特征集合。由此,可以根据信息词条特征集合,对大数据挖掘事件信息进行预设业务标签的特征匹配,根据经过特征匹配后获取的匹配业务标签,对进行大数据挖掘事件信息进行业务标签激活。
譬如,在一种可能的实现方式中,针对子步骤S112,在对大数据服务控件进行业务标签激活的过程中,可以从大数据服务控件中提取动态服务控件部分和非动态服务控件部分,并根据预设分类模板,分类动态服务控件部分中的独立大数据挖掘业务和联动大数据挖掘业务。这样,通过分类动态服务控件部分中的独立大数据挖掘业务和联动大数据挖掘业务,可以便于在对大数据服务控件进行业务标签激活时减少匹配工作量。在此基础上,对独立大数据挖掘业务和联动大数据挖掘业务分别进行特征提取,获取独立大数据挖掘业务和联动大数据挖掘业务的挖掘特征。接着,从挖掘特征中筛选出符合预设条件的特定挖掘特征,计算挖掘特征的信息词条特征集合。由此,可以根据信息词条特征集合,对大数据服务控件进行预设业务标签的特征匹配,根据经过特征匹配后获取的匹配业务标签,对进行大数据服务控件进行业务标签激活。
在一种可能的实现方式中,譬如进一步针对步骤S113,在将大数据挖掘事件的业务挖掘内容与经过业务标签激活后的大数据服务控件协调,获取大数据协调服务控件的过程中,可以通过以下示例性的子步骤来实现。
子步骤S1131,提取大数据挖掘事件的业务挖掘内容的大数据分页数据,并对大数据分页数据进行分页元素提取,对得到的大数据分页数据对应的第一分页元素进行语义描述特征识别,根据所识别到的语义描述特征得到大数据分页数据对应的第一语义描述对象列表。
子步骤S1132,对经过业务标签激活后的大数据服务控件进行分页元素提取,对得到的经过业务标签激活后的大数据服务控件对应的第二分页元素进行语义描述特征识别,根据所识别到的语义描述特征得到经过业务标签激活后的大数据服务控件对应的第二语义描述对象列表。
子步骤S1133,获取第一语义描述对象列表中保存的第一可视化图形信息,以及将第一可视化图形信息转换为对应的第一可视化图形向量。
子步骤S1134,获取第二语义描述对象列表中多个语义描述对象对象各自保存的第二可视化图形信息,以及将每个第二可视化图形信息转换为对应的第二可视化图形向量。
子步骤S1135,计算每个第二可视化图形向量与第一可视化图形向量的协调可视化图形向量,对每个第二可视化图形向量对应的协调可视化图形向量进行排序,根据排序结果从多个第二可视化图形向量中选出多个相似可视化图形向量。
子步骤S1136,对多个相似可视化图形向量进行频繁模式项处理,得到频繁模式项特征信息,对第一语义描述对象列表和第二语义描述对象列表的高频元素特征进行聚类,根据聚类结果得到聚类元素属性。聚类元素属性中包含有第二语义描述对象列表中各个语义描述对象对象对应的属性信息。
子步骤S1137,计算频繁模式项特征信息和聚类元素属性两者的父子层级业务属性信息,并将计算出的结果作为第一可视化图形信息的父子层级业务属性特征。
子步骤S1138,将父子层级业务属性特征协调至大数据分页数据中设定的可视化编码模拟进程,得到可视化编码业务特征集,对可视化编码业务特征集进行语义描述特征识别,得到参考语义描述特征。
子步骤S1139,协调根据第一语义描述对象列表、第二语义描述对象列表以及参考语义描述特征,得到大数据分页数据对应的语义描述矩阵。
例如,在一种可能的示例中,可以将第一语义描述对象列表和第二语义描述对象列表分别映射到参考语义描述特征中的每个动态轨迹节点上,获得第一语义描述对象列表和第二语义描述对象列表分别对应的每个动态轨迹节点的大数据推送事件信息。
然后,汇总第一语义描述对象列表和第二语义描述对象列表分别对应的每个动态轨迹节点的大数据推送事件信息,得到大数据分页数据对应的语义描述矩阵。
子步骤S11391,将大数据分页数据对应的语义描述矩阵中每个连续的语义描述矩阵获得单元,与经过业务标签激活后的大数据服务控件中对应的语义描述矩阵获得单元的获得位置进行协调后,得到大数据协调服务控件。
在一种可能的实现方式中,譬如进一步针对步骤S114,可以通过以下示例性的子步骤来实现。
子步骤S1141,获取大数据协调服务控件中的每个第一主题层服务以及每个第一主题层服务所关联的全局大数据服务控件中的至少一个第二主题层服务,其中,第一主题层服务中包括第一主题层字段,第二主题层服务中包括第二主题层字段。
子步骤S1142,将第一主题层服务按照每个相同的主题层服务构成节点与至少一个第二主题层服务对应的主题层服务构成节点进行合并后,得到合并主题层服务。
子步骤S1143,将第一主题层服务和至少一个第二主题层服务添加到预设的自适应性更新队列,并基于自适应性更新队列建立第一主题层服务的多个第一自适应性更新参数以及第二主题层服务的多个第二自适应性更新参数。
子步骤S1144,根据每个第一自适应性更新参数确定第一主题层字段的第一字段更新规则信息,并根据每个第二自适应性更新参数确定第二主题层字段的第二字段更新规则信息,而后将第一字段更新规则信息和第二字段更新规则信息映射至全局更新模型,得到第一字段更新规则信息对应的第一主题层服务特征以及第二字段更新规则信息对应的第二主题层服务特征,并确定全局更新模型对应于合并主题层服务的多个全局更新对象,对多个全局更新对象进行汇总得到至少多个不同类别的全局更新服务列表,针对每个全局更新服务列表,在预设的更新进程中更新全局更新服务列表中的每个全局更新对象对应第一主题层服务特征的第一更新服务内容和对应第二主题层服务特征的第二更新服务内容。
子步骤S1145,根据全局更新服务列表中的每个全局更新对象对应的第一更新服务内容和第二更新服务内容的更新结果,在大数据决策信息所对应的全局大数据服务控件中执行更新,获得目标全局大数据服务控件。
子步骤S1146,基于目标全局大数据服务控件生成当前所能执行的大数据服务控件所对应的大数据挖掘业务的大数据服务控件内容,作为对应的挖掘评价指标信息,基于挖掘评价指标信息完成决策大数据服务的挖掘业务配置。
图3为本申请实施例提供的基于人工智能和云计算的大数据挖掘装置300的功能模块示意图,本实施例可以根据上述方法实施例对该基于人工智能和云计算的大数据挖掘装置300进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图3示出的基于人工智能和云计算的大数据挖掘装置300只是一种装置示意图。其中,基于人工智能和云计算的大数据挖掘装置300可以包括获取模块310、提取模块320、构建模块330以及确定模块340,下面分别对该基于人工智能和云计算的大数据挖掘装置300的各个功能模块的功能进行详细阐述。
获取模块310,用于获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果。其中,获取模块310可以用于执行上述的步骤S110,关于获取模块310的详细实现方式可以参照上述针对步骤S110的详细描述即可。
提取模块320,用于从指标分类结果中获取多个指标分类集,并从所述多个指标分类集分别提取对应的指标分类挖掘特征,其中,所述指标分类挖掘特征用于表示所述指标分类集所对应的聚类主题簇所对应的聚类主题特征。其中,提取模块320以用于执行上述的步骤S120,关于提取模块320的详细实现方式可以参照上述针对步骤S120的详细描述即可。
构建模块330,用于根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱。其中,构建模块330可以用于执行上述的步骤S130,关于构建模块330的详细实现方式可以参照上述针对步骤S130的详细描述即可。
确定模块340,用于根据构建的所述挖掘服务拓扑图谱,分别确定各个指标分类集所对应的大数据挖掘流程,根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程。其中,确定模块340可以用于执行上述的步骤S140,关于确定模块340的详细实现方式可以参照上述针对步骤S140的详细描述即可。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,获取模块310可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件大数据挖掘程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
图4示出了本公开实施例提供的用于实现上述的控制设备的云端服务中心100的硬件结构示意图,如图4所示,云端服务中心100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机执行指令(例如图3中所示的基于大数据和云计算的信息流处理装置300包括的获取模块310、提取模块320、构建模块330以及确定模块340),使得处理器110可以执行如上方法实施例的基于人工智能和云计算的大数据挖掘方法,其中,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的在线服务终端200进行数据收发。
处理器110的具体实现过程可参见上述云端服务中心100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图4所示的实施例中,应理解,处理器可以是全局规则重合匹配进程(英文:Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(英文:Digital Signal Processor,DSP)、专用集成电路(英文:ApplicationSpecificIntegrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块拼接执行完成。
机器可读存储介质120可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
总线130可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
此外,本申请实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上基于区块链离线大数据推送的验证处理方法。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同图谱语料两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的拼接。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的拼接,或对它们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件拼接执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的拼接形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的拼接。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其它编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或数字金融服务终端上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和列表的顺序、数字字母的使用、或其它名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价拼接。例如,虽然以上所描述的系统组件可以通过互动业务实现,但是也可以只通过软件的解决方案得以实现,如在现有的数字金融服务终端或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (9)

1.一种基于人工智能的大数据挖掘方法,其特征在于,应用于云端服务中心,所述云端服务中心与多个在线服务终端通信连接,所述方法包括:
根据预先构建的挖掘服务拓扑图谱中每个所述关键指标分类集与所述成员指标分类集之间的拓扑关系,获取该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间,并将所述大数据挖掘流程拓扑空间作为大数据挖掘流程节点,使每个所述关键指标分类集与成员指标分类集作为由该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间组成的大数据挖掘流程节点;
根据该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点的流程标签类型从每个所述关键指标分类集与成员指标分类集的大数据挖掘流程节点中获取所有的相似大数据挖掘流程节点,组成第一大数据挖掘流程节点序列;
对所述第一大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点进行随机森林树处理,得到随机森林树结构和随机森林树层级;
根据所述随机森林树结构和所述随机森林树层级计算以该关键指标分类集与成员指标分类集为基准的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系;
当每个关键指标分类集与成员指标分类集都已计算得到以该关键指标分类集与成员指标分类集为中心的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系时,根据各关键指标分类集与成员指标分类集对应的不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系得到不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集;
根据所述不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集得到第二大数据挖掘流程节点序列,并对所述第二大数据挖掘流程节点序列进行随机森林树处理,得到所述第二大数据挖掘流程节点序列所对应的随机森林树结构序列;
对所述随机森林树结构序列计算机会节点和随机森林树特征向量,并将所述随机森林树特征向量作为初始值,对所述第二大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点按照所述机会节点分别进行处理,得到对应的拓扑随机森林树;
根据所述拓扑随机森林树中的决策结果分别确定各个指标分类集所对应的大数据挖掘流程。
2.根据权利要求1所述的基于人工智能的大数据挖掘方法,其特征在于,所述方法还包括:
获取针对在线云计算项目的大数据决策信息当前所能执行的大数据服务控件所对应的大数据挖掘业务的挖掘评价指标信息,根据预先配置的人工智能模型对所述挖掘评价指标信息进行指标分类,获得指标分类结果;
从所述指标分类结果中获取多个指标分类集,并从所述多个指标分类集分别提取对应的指标分类挖掘特征,其中,所述指标分类挖掘特征用于表示所述指标分类集所对应的聚类主题簇所对应的聚类主题特征;
根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式,并根据确定出各个指标分类集之间的挖掘服务模式,构建对应的所述挖掘服务拓扑图谱。
3.根据权利要求2所述的基于人工智能的大数据挖掘方法,其特征在于,所述从所述多个指标分类集分别提取对应的指标分类挖掘特征的步骤,包括:
对所述多个指标分类集所对应的各待挖掘字典序进行聚类处理,得到各待挖掘字典序的聚类维度对象;
确定聚类处理得到的聚类维度对象的聚类维度层级,并将各聚类维度对象按相应聚类维度层级进行降序排名,之后从聚类处理得到的各聚类维度对象中,选取设定排序内的聚类维度对象;
根据预设的针对所述聚类维度对象的目标提取策略,确定由所述目标提取策略所指定的指标分类挖掘特征的聚类维度对象;
当同一待挖掘字典序包括属于不同指标分类挖掘特征的多个聚类维度对象时,则统计所述同一待挖掘字典序中各指标分类挖掘特征的聚类维度对象的数量;
确定统计的聚类维度对象的数量最大的指标分类挖掘特征,并为所述同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性,以及为不包括所述指标分类挖掘特征的聚类维度对象的待挖掘字典序添加非指标分类挖掘特征的指标属性;
根据待特征提取的待挖掘字典序和所添加的指标属性进行融合,得到第一融合特征网络,并将各聚类维度对象输入所述第一融合特征网络中,输出各聚类维度对象对于各指标分类挖掘特征的概率分布数值;
将对于各指标分类挖掘特征的概率分布数值大于或等于第一概率分布数值阈值的聚类维度对象重新确定为该指标分类挖掘特征的聚类维度对象,并返回所述为所述同一待挖掘字典序添加确定的指标分类挖掘特征的指标属性并继续处理,直至满足迭代停止条件时得到待特征提取的待挖掘字典序的指标属性;
在满足所述迭代停止条件后,获取通过相应的所述融合特征网络所确定的待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值;
按照筛选的待挖掘字典序和相应的指标属性进行融合,得到第二融合特征网络;
通过所述第二融合特征网络确定待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性;
在按照待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值更新相应待挖掘字典序的指标属性后,返回所述筛选对于各指标分类挖掘特征的概率分布数值大于或等于第二概率分布数值阈值的待挖掘字典序的步骤继续执行,直至满足更新停止条件时,得到待特征提取的待挖掘字典序更新后的指标属性;
获取更新所述指标属性后通过所述第二融合特征网络确定的各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值和属于非指标分类挖掘特征的概率分布数值;
挑选在更新所述指标属性后确定的对于各指标分类挖掘特征的概率分布数值大于或等于第三概率分布数值阈值的待挖掘字典序,并按挑选的待挖掘字典序和相应指标属性进行融合,得到第三融合特征网络;
通过所述第三融合特征网络确定各待特征提取的待挖掘字典序对于各指标分类挖掘特征的概率分布数值,并按通过第三融合特征网络确定的对于各指标分类挖掘特征的概率分布数值确定相应待挖掘字典序的指标分类挖掘特征;
获取不同于待特征提取的待挖掘字典序的目标待挖掘字典序,并通过所述第三融合特征网络确定所述目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值,而后根据所述目标待挖掘字典序对于各指标分类挖掘特征的概率分布数值确定所述目标待挖掘字典序所对应的指标分类挖掘特征;
根据各个确定的待挖掘字典序的指标分类挖掘特征进行汇总得到各个指标分类集分别提取对应的指标分类挖掘特征。
4.根据权利要求2所述的基于人工智能的大数据挖掘方法,其特征在于,所述根据提取的指标分类挖掘特征确定各个指标分类集之间的挖掘服务模式的步骤,包括:
根据提取的指标分类挖掘特征确定每至少两个指标分类集所对应的关联服务对象的第一对象序列;其中,所述关联服务对象包括多种关联服务对象元素;
选取第一初始挖掘服务模式序列;其中,所述第一初始挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点;
对于每一种关联服务对象元素对应的第一对象序列,将所述第一初始挖掘服务模式的第一挖掘服务节点和每个阶段的挖掘扩展节点进行拼接,得到多个拼接目标对象;
按照多个所述拼接目标对象分别映射所述第一对象序列,得到多种不同拼接目标对象的序列对;其中,所述拼接目标对象中挖掘扩展节点的输入参数为该第一对象序列对应的指标分类集的指标分类挖掘特征,第一挖掘服务节点的输出参数为该第一对象序列对应的指标分类集的挖掘服务关联参数;
根据所述序列对以及所述第一初始挖掘服务模式序列的多个不同阶段的挖掘外围节点,对所述第一初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第一节点拼接,得到包括所述第一节点拼接的第一挖掘服务模式;其中,所述第一初始挖掘服务模式序列对应的挖掘服务模式组包括预设的第一挖掘服务节点以及待拼接的挖掘扩展节点和挖掘外围节点;
在确定更新得到的所述第一挖掘服务模式的模型参数符合预设条件后,将所述第一挖掘服务模式基于所述第一对象序列中的挖掘服务关联参数输出的指标分类集的预测参数与所述指标分类集的挖掘服务关联参数进行比较,根据多个预测参数与挖掘服务关联参数之间的概率分布数值大于预设的第二阈值所确定的置信范围,确定所述第一挖掘服务模式的第一预测参数分布;
根据损失挖掘服务关联参数和所述第一挖掘服务模式的预测参数的参数比较结果,对预设的第二初始挖掘服务模式序列进行更新,确定预测损失函数值最小对应的挖掘服务模式组的第二节点拼接,得到包括所述第二节点拼接的第二挖掘服务模式,并基于更新得到的多个所述第二挖掘服务模式序列,确定所述第一对象序列的第二预测参数分布;其中,所述第二初始挖掘服务模式中的挖掘服务模式组包括预设的所述挖掘扩展节点、第二挖掘服务节点以及待拼接的挖掘外围节点,所述第二挖掘服务节点和所述第一挖掘服务节点的阶段相同但输出参数不同,所述第一挖掘服务节点的输出参数为挖掘服务关联参数,所述第二挖掘服务节点的输出参数为所述第一挖掘服务模式的预测参数与挖掘服务关联参数的参数比较结果;
根据所述第一预测参数分布和所述第二预测参数分布,确定所述第一挖掘服务模式的预测参数对应的预测向量,并基于所述关联服务对象的对象序列中多种关联服务对象元素之间的相互关联信息,生成基于多种关联服务对象元素的关联关系分布,并计算所述关联关系分布中每一级关联关系的关联服务模式,其中,所述第一预测参数分布和所述第二预测参数分布通过各自对应的权重参数确定所述第一挖掘服务模式的预测参数对应的预测向量;
根据所述关联关系分布中每一级关联关系的关联服务模式确定该至少两个指标分类集之间的挖掘服务模式。
5.根据权利要求4所述的基于人工智能的大数据挖掘方法,其特征在于,所述第一初始挖掘服务模式序列的多个不同阶段的挖掘扩展节点通过以下方式确定:
对于所述第一对象序列对应的挖掘服务关联参数,对所述挖掘服务关联参数以及对应的指标分类挖掘特征进行分析,得到与所述挖掘服务关联参数的相关度大于预设的第一阈值的目标指标分类挖掘特征;
根据所述目标指标分类挖掘特征的挖掘扩展覆盖范围,确定所述第一初始挖掘服务模式序列的挖掘扩展节点阶段。
6.根据权利要求2所述的基于人工智能的大数据挖掘方法,其特征在于,所述根据确定出各个指标分类集之间的挖掘服务模式,构建对应的挖掘服务拓扑图谱的步骤,包括:
根据确定出各个指标分类集之间的挖掘服务模式,分别将同一类挖掘服务模式所覆盖的各个目标指标分类集划分为一个挖掘服务分布图谱,并根据每一个挖掘服务分布图谱内的分布热力图,将分布热力图匹配预设热力特征的挖掘服务分布图谱的分布范围缩小,并将分布热力图小于预设数量阈值的挖掘服务分布图谱的分布范围扩大,得到调整后的各挖掘服务分布图谱;其中,每一个挖掘服务分布图谱内的所有指标分类集构成一个图谱单元;
根据单个图谱单元中各指标分类集的位置,计算出单个图谱单元中的每一个指标分类集与其他指标分类集之间的指标分类关系;
对于单个图谱单元,根据每一个指标分类集与其他指标分类集之间的指标分类关系的顺序,对单个图谱单元中的各指标分类集进行排序,得到指标分类集排序列表;
对于单个图谱单元,依次对所述指标分类集排序列表中的每一个指标分类集执行以下过程,直至确定单个图谱单元的关键指标分类集:
判断所述指标分类集排序列表中的指标分类集的第一指标热门度,是否大于第一预设热门度,若确定大于则将大于第一预设热门度的指标分类集作为单个图谱单元的关键指标分类集;
对于单个图谱单元,确定单个图谱单元的关键指标分类集为与之进行映射关联的指标分类集,并确定除去单个图谱单元的关键指标分类集以外的其他指标分类集为单个图谱单元的成员指标分类集,其中,单个图谱单元的成员指标分类集为与单个图谱单元的关键指标分类集进行映射关联的指标分类集;
根据确定的各个图谱单元的关键指标分类集和成员指标分类集构建对应的挖掘服务拓扑图谱。
7.根据权利要求1-6中任意一项所述的基于人工智能的大数据挖掘方法,其特征在于,所述根据各个指标分类集所对应的大数据挖掘流程以及所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程的步骤,包括:
根据各个指标分类集所对应的大数据挖掘流程确定每个大数据挖掘流程下的指标分类集序列;
根据所述多个指标分类集之间的具有主题类别标识的主题实体关系,执行所述指标分类结果中各个指标分类集对应的大数据挖掘进程。
8.一种基于大数据和云计算的信息流处理系统,其特征在于,所述基于大数据和云计算的信息流处理系统包括云端服务中心以及与所述云端服务中心通信连接的多个在线服务终端;
所述云端服务中心,用于:
根据预先构建的挖掘服务拓扑图谱中每个所述关键指标分类集与所述成员指标分类集之间的拓扑关系,获取该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间,并将所述大数据挖掘流程拓扑空间作为大数据挖掘流程节点,使每个所述关键指标分类集与成员指标分类集作为由该关键指标分类集与成员指标分类集的大数据挖掘流程拓扑空间组成的大数据挖掘流程节点;
根据该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点的流程标签类型从每个所述关键指标分类集与成员指标分类集的大数据挖掘流程节点中获取所有的相似大数据挖掘流程节点,组成第一大数据挖掘流程节点序列;
对所述第一大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点进行随机森林树处理,得到随机森林树结构和随机森林树层级;
根据所述随机森林树结构和所述随机森林树层级计算以该关键指标分类集与成员指标分类集为基准的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系;
当每个关键指标分类集与成员指标分类集都已计算得到以该关键指标分类集与成员指标分类集为中心的大数据挖掘流程节点不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系时,根据各关键指标分类集与成员指标分类集对应的不含预设层级以上的大数据挖掘关系的筛选大数据挖掘关系得到不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集;
根据所述不含预设层级以上的大数据挖掘关系的关键指标分类集与成员指标分类集得到第二大数据挖掘流程节点序列,并对所述第二大数据挖掘流程节点序列进行随机森林树处理,得到所述第二大数据挖掘流程节点序列所对应的随机森林树结构序列;
对所述随机森林树结构序列计算机会节点和随机森林树特征向量,并将所述随机森林树特征向量作为初始值,对所述第二大数据挖掘流程节点序列中的与该关键指标分类集与成员指标分类集对应的大数据挖掘流程节点按照所述机会节点分别进行处理,得到对应的拓扑随机森林树;
根据所述拓扑随机森林树中的决策结果分别确定各个指标分类集所对应的大数据挖掘流程。
9.一种云端服务中心,其特征在于,所述云端服务中心包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个在线服务终端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行权利要求1-8中任意一项所述的基于人工智能的大数据挖掘方法。
CN202110329527.9A 2020-10-06 2020-10-06 基于人工智能的大数据挖掘方法、系统及云端服务中心 Active CN113537271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110329527.9A CN113537271B (zh) 2020-10-06 2020-10-06 基于人工智能的大数据挖掘方法、系统及云端服务中心

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110329527.9A CN113537271B (zh) 2020-10-06 2020-10-06 基于人工智能的大数据挖掘方法、系统及云端服务中心
CN202011067448.7A CN112163625B (zh) 2020-10-06 2020-10-06 基于人工智能和云计算的大数据挖掘方法及云端服务中心

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011067448.7A Division CN112163625B (zh) 2020-10-06 2020-10-06 基于人工智能和云计算的大数据挖掘方法及云端服务中心

Publications (2)

Publication Number Publication Date
CN113537271A true CN113537271A (zh) 2021-10-22
CN113537271B CN113537271B (zh) 2022-09-27

Family

ID=73861046

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011067448.7A Expired - Fee Related CN112163625B (zh) 2020-10-06 2020-10-06 基于人工智能和云计算的大数据挖掘方法及云端服务中心
CN202110329527.9A Active CN113537271B (zh) 2020-10-06 2020-10-06 基于人工智能的大数据挖掘方法、系统及云端服务中心

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011067448.7A Expired - Fee Related CN112163625B (zh) 2020-10-06 2020-10-06 基于人工智能和云计算的大数据挖掘方法及云端服务中心

Country Status (1)

Country Link
CN (2) CN112163625B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600282B (zh) * 2021-01-06 2021-06-25 亨铨实业(深圳)有限公司 一种智能太阳能箱包充放电控制方法及系统
CN112365202B (zh) * 2021-01-15 2021-04-16 平安科技(深圳)有限公司 一种多目标对象的评价因子筛选方法及其相关设备
CN112905849A (zh) * 2021-02-18 2021-06-04 中国第一汽车股份有限公司 一种车辆数据处理的方法及装置
CN112837040B (zh) * 2021-02-22 2024-01-23 国网辽宁省电力有限公司信息通信分公司 应用于智能电网的电力数据管理方法及系统
CN113032547B (zh) * 2021-03-31 2021-12-07 三峡高科信息技术有限责任公司 基于人工智能的大数据处理方法、系统及云平台
CN113392104B (zh) * 2021-05-19 2021-12-28 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113704771B (zh) * 2021-08-31 2022-04-22 西安明赋云计算有限公司 基于人工智能分析的服务漏洞挖掘方法及大数据挖掘系统
CN113688400B (zh) * 2021-08-31 2022-03-18 任拓数据科技(上海)有限公司 基于大数据漏洞挖掘的对象输出方法及大数据挖掘系统
CN113708980B (zh) * 2021-10-27 2022-04-19 中国光大银行股份有限公司 拓扑图生成方法及装置
CN114780606B (zh) * 2022-03-30 2022-10-14 上海必盈特软件系统有限公司 一种大数据挖掘方法及系统
CN115471108B (zh) * 2022-09-27 2023-09-01 中交西北投资发展有限公司 数据分析决策方法、系统及大数据资源中心

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130330008A1 (en) * 2011-09-24 2013-12-12 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN107038512A (zh) * 2016-02-03 2017-08-11 中国电力科学研究院 一种指标体系建立方法
CN108228687A (zh) * 2017-06-20 2018-06-29 上海吉贝克信息技术有限公司 大数据知识挖掘及精准跟踪方法与系统
US20190034516A1 (en) * 2016-02-05 2019-01-31 Alibaba Group Holding Limited Method and apparatus for acquiring an evaluation index
CN110209747A (zh) * 2017-12-30 2019-09-06 广州明领基因科技有限公司 基于聚类的空间大数据挖掘系统
CN110309578A (zh) * 2019-06-27 2019-10-08 郑州铁路职业技术学院 一种基于计算机数据处理的经济数据拟合系统及方法
CN110442762A (zh) * 2019-08-08 2019-11-12 厦门久凌创新科技有限公司 基于云平台大数据的大数据处理方法
CN111510449A (zh) * 2020-04-10 2020-08-07 吴萌萌 基于图像大数据的攻击行为挖掘方法及大数据平台服务器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275500B2 (en) * 2012-09-27 2019-04-30 Cornell University System and methods for analysis of data
US9449040B2 (en) * 2012-11-26 2016-09-20 Amazon Technologies, Inc. Block restore ordering in a streaming restore system
CN104915879B (zh) * 2014-03-10 2019-08-13 华为技术有限公司 基于金融数据的社会关系挖掘的方法及装置
US20190095517A1 (en) * 2017-09-27 2019-03-28 Johnson Controls Technology Company Web services platform with integration of data into smart entities
CN109189942B (zh) * 2018-09-12 2021-07-09 山东大学 一种专利数据知识图谱的构建方法及装置
CN110929969A (zh) * 2018-09-20 2020-03-27 北京国双科技有限公司 一种供应商的评价方法及装置
CN110442623B (zh) * 2019-08-08 2021-08-27 厦门久凌创新科技有限公司 大数据挖掘方法、装置及数据挖掘服务器
CN110767317A (zh) * 2019-08-30 2020-02-07 贵州力创科技发展有限公司 一种基于数据挖掘和大数据分析的云计算平台及方法
CN111598376A (zh) * 2020-02-18 2020-08-28 中国电力科学研究院有限公司 一种基于信息驱动的对电网大数据进行辅助决策的方法及系统
CN112231558A (zh) * 2020-03-20 2021-01-15 张明 在线学习挖掘方法及在线学习系统
CN112765386A (zh) * 2020-06-14 2021-05-07 黄雨勤 基于大数据和互联网的信息管理方法、系统及云服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130330008A1 (en) * 2011-09-24 2013-12-12 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN107038512A (zh) * 2016-02-03 2017-08-11 中国电力科学研究院 一种指标体系建立方法
US20190034516A1 (en) * 2016-02-05 2019-01-31 Alibaba Group Holding Limited Method and apparatus for acquiring an evaluation index
CN108228687A (zh) * 2017-06-20 2018-06-29 上海吉贝克信息技术有限公司 大数据知识挖掘及精准跟踪方法与系统
CN110209747A (zh) * 2017-12-30 2019-09-06 广州明领基因科技有限公司 基于聚类的空间大数据挖掘系统
CN110309578A (zh) * 2019-06-27 2019-10-08 郑州铁路职业技术学院 一种基于计算机数据处理的经济数据拟合系统及方法
CN110442762A (zh) * 2019-08-08 2019-11-12 厦门久凌创新科技有限公司 基于云平台大数据的大数据处理方法
CN111510449A (zh) * 2020-04-10 2020-08-07 吴萌萌 基于图像大数据的攻击行为挖掘方法及大数据平台服务器

Also Published As

Publication number Publication date
CN113537271B (zh) 2022-09-27
CN112163625A (zh) 2021-01-01
CN112163625B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN112163625B (zh) 基于人工智能和云计算的大数据挖掘方法及云端服务中心
CN113536107B (zh) 基于区块链的大数据决策方法、系统及云端服务中心
CN112182098B (zh) 基于云计算和大数据的信息推送方法及信息推送服务器
CN112199580B (zh) 面向云计算和大数据定位的业务处理方法及人工智能平台
CN112184872A (zh) 基于大数据和云计算的游戏渲染优化方法及云端计算中心
CN107145516A (zh) 一种文本聚类方法及系统
CN112115162A (zh) 基于电子商务云计算的大数据处理方法及人工智能服务器
CN112187890B (zh) 基于云计算和大数据的信息分发方法及区块链金融云中心
CN112100193A (zh) 基于大数据和云计算的业务处理方法及电子商务协同平台
CN112308627B (zh) 基于区块链和人工智能的广告数据接入方法及大数据中心
CN112221154B (zh) 基于人工智能和云计算的游戏数据处理方法及游戏云中心
CN112765385A (zh) 基于大数据和互联网的信息管理方法及系统
CN113642727B (zh) 神经网络模型的训练方法和多媒体信息的处理方法、装置
CN117271101A (zh) 一种算子融合方法、装置、电子设备及存储介质
CN112199715B (zh) 基于区块链和云计算的对象生成方法及数字金融服务中心
CN112164132B (zh) 基于大数据和云计算的游戏兼容处理方法及云端计算中心
CN108776706A (zh) 一种基于本体的专利技术主题聚类方法
CN114428864A (zh) 知识图谱的构建方法、装置、电子设备及介质
CN114357180A (zh) 知识图谱的更新方法及电子设备
CN112714110A (zh) 基于云计算和大数据的信息安全防护方法及云端服务中心
CN112347349A (zh) 基于大数据的化妆品服务处理方法及化妆品电商云平台
CN112487074A (zh) 基于大数据定位和云计算的软件调用方法及软件服务平台
CN114048207A (zh) 一种二分图的(p,q)-二分团枚举和计数方法
CN116757285A (zh) 一种电网知识推理方法、装置、电子设备和存储介质
CN117011564A (zh) 一种模型训练方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220421

Address after: 250000 No. 742, building 21, zhizaogu, No. 2966, Chunhui Road, Licheng District, Jinan City, Shandong Province

Applicant after: Jinan DianAn Electronic Technology Co.,Ltd.

Address before: 518061 A703, industrialization complex building, Yuexing Sandao Virtual University Park, Xuefu Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Weng Haikun

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220614

Address after: 518061 A703, industrialization complex building, Yuexing Sandao Virtual University Park, Xuefu Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Weng Haikun

Address before: 250000 No. 742, building 21, zhizaogu, No. 2966, Chunhui Road, Licheng District, Jinan City, Shandong Province

Applicant before: Jinan DianAn Electronic Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220711

Address after: Room 808, building 2, Suzhou News Building, No. 118 Bada street, Suzhou Industrial Park, Suzhou area, China (Jiangsu) pilot Free Trade Zone, Suzhou, Jiangsu 215000

Applicant after: Smart health technology (Suzhou) Co.,Ltd.

Address before: 518061 A703, industrialization complex building, Yuexing Sandao Virtual University Park, Xuefu Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Weng Haikun

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant