CN113535799A - 基于人工智能的挖掘网络训练方法及系统 - Google Patents
基于人工智能的挖掘网络训练方法及系统 Download PDFInfo
- Publication number
- CN113535799A CN113535799A CN202110611157.8A CN202110611157A CN113535799A CN 113535799 A CN113535799 A CN 113535799A CN 202110611157 A CN202110611157 A CN 202110611157A CN 113535799 A CN113535799 A CN 113535799A
- Authority
- CN
- China
- Prior art keywords
- mining
- target
- source
- acquisition
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供一种基于人工智能的挖掘网络训练方法及系统,获取至少一个标记挖掘源、至少一个标记挖掘源分别对应的原始标记挖掘源数据、至少一个标记挖掘源分别对应的更新参考标记数据以及至少一个标记挖掘源分别对应的标准挖掘结果,基于至少一个标记挖掘源分别对应的原始标记挖掘源数据、至少一个标记挖掘源分别对应的更新参考标记数据以及至少一个标记挖掘源分别对应的标准挖掘结果对初始挖掘网络进行监督训练,得到目标挖掘网络。
Description
本申请是申请号202011499130.6、申请日为2020年12月17日、发明创造名称为“基于云计算和人工智能的大数据挖掘方法及数字内容中心”的中国申请的分案申请。
技术领域
本申请涉及大数据挖掘优化技术领域,具体而言,涉及一种基于人工智能的挖掘网络训练方法及系统。
背景技术
大数据挖掘策略是指从大量的大数据中通过算法搜索隐藏于其中信息的过程的策略。对挖掘源(例如某个应用程序,或者某个终端设备)中的大数据挖掘策略进行更新,能够为后续基于深度学习的挖掘过程中的实现提供关键数据。
相关技术中,通常是由大数据开发人员人工对挖掘源中的大数据挖掘策略进行更新,更新效率较低,得到的大数据挖掘策略的更新结果的可靠性较差。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的在于提供一种基于人工智能的挖掘网络训练方法及系统,先基于目标挖掘源对应的原始挖掘源数据和更新用户行为数据自动获取目标挖掘源对应的目标挖掘结果,然后基于目标挖掘结果自动得到目标大数据挖掘策略在目标挖掘源中的全局更新结果。基于此种过程,能够实现对大数据挖掘策略的自动更新,大数据挖掘策略的更新过程无需依赖人工,有利于提高对挖掘源中的大数据挖掘策略进行更新的效率,得到的大数据挖掘策略的更新结果的可靠性较高。
第一方面,本申请提供一种基于云计算和人工智能的大数据挖掘方法,应用于数字内容中心,所述数字内容中心与多个数字内容订阅设备通信连接,所述方法包括:
获取对采集特征项进行采集配置输出的采集配置结果,其中,所述采集配置结果包括针对每个采集特征项的目标大数据挖掘策略;
获取所述目标大数据挖掘策略对应的目标挖掘源、所述目标挖掘源对应的原始挖掘源数据以及所述目标挖掘源对应的更新用户行为数据,所述更新用户行为数据基于所述目标大数据挖掘策略在所述目标挖掘源中的至少部分更新结果确定得到;
调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,所述目标挖掘结果用于指示所述目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标大数据挖掘策略或者所述任一挖掘对象不属于所述目标大数据挖掘策略;
基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,基于所述全局更新结果进行大数据挖掘。
在第一方面的一种可能的实现方式中,所述调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,包括:
调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据的关联特征数据,依次执行第一迭代策略的正挖掘分析,得到所述目标挖掘源对应的第一挖掘分量;
基于所述第一挖掘分量对应的目标区分挖掘特征,依次执行所述第一迭代策略的负挖掘分析,得到所述目标挖掘源对应的第二挖掘分量;
对所述第二挖掘分量进行目标区分挖掘分析,得到所述目标挖掘源对应的目标挖掘结果。
在第一方面的一种可能的实现方式中,所述第一迭代策略包括预设数量次的迭代挖掘,所述预设数量次为三次,任一次正挖掘分析包括一次区分挖掘分析和一次频繁模式挖掘分析;
所述基于所述原始挖掘源数据和所述更新用户行为数据的关联特征数据,依次执行第一迭代策略的正挖掘分析,得到所述目标挖掘源对应的第一挖掘分量,包括:
对所述原始挖掘源数据和所述更新用户行为数据的关联特征数据进行第一区分挖掘分析,得到所述目标挖掘源对应的第一区分挖掘特征;
对所述第一区分挖掘特征进行第一频繁模式挖掘分析,得到所述目标挖掘源对应的第一频繁模式挖掘特征;
对所述第一频繁模式挖掘特征进行第二区分挖掘分析,得到所述目标挖掘源对应的第二区分挖掘特征;
对所述第二区分挖掘特征进行第二频繁模式挖掘分析,得到所述目标挖掘源对应的第二频繁模式挖掘特征;
对所述第二频繁模式挖掘特征进行第三区分挖掘分析,得到所述目标挖掘源对应的第三区分挖掘特征;
对所述第三区分挖掘特征进行第三频繁模式挖掘分析,得到所述目标挖掘源对应的第一挖掘分量。
在第一方面的一种可能的实现方式中,任一次负挖掘分析包括一次逆区分挖掘分析和一次区分挖掘分析;所述基于所述第一挖掘分量对应的目标区分挖掘特征,依次执行所述第一迭代策略的负挖掘分析,得到所述目标挖掘源对应的第二挖掘分量,包括:
对所述第一挖掘分量对应的目标区分挖掘特征进行第一逆区分挖掘分析,得到所述目标挖掘源对应的第一负挖掘特征;
对所述第一负挖掘特征和所述第三区分挖掘特征的拼接特征进行第四区分挖掘分析,得到所述目标挖掘源对应的第四区分挖掘特征;
对所述第四区分挖掘特征进行第二逆区分挖掘分析,得到所述目标挖掘源对应的第二负挖掘特征;
对所述第二负挖掘特征和所述第二区分挖掘特征的拼接特征进行第五区分挖掘分析,得到所述目标挖掘源对应的第五区分挖掘特征;
对所述第五区分挖掘特征进行第三逆区分挖掘分析,得到所述目标挖掘源对应的第三负挖掘特征;
对所述第三负挖掘特征和所述第一区分挖掘特征的拼接特征进行第六区分挖掘分析,得到所述目标挖掘源对应的第二挖掘分量。
在第一方面的一种可能的实现方式中,所述调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果之后,所述方法还包括:
调用目标纠正网络,基于所述原始挖掘源数据和所述目标挖掘结果,获取目标纠正参考度信息;
所述目标纠正网络包括依次连接的至少一个区分挖掘网络单元、至少一个融合网络单元和一个纠正分类网络单元;
所述调用目标纠正网络,基于所述原始挖掘源数据和所述目标挖掘结果,获取目标纠正参考度信息,包括:
将所述原始挖掘源数据和所述目标挖掘结果输入所述目标纠正网络中的第一个区分挖掘网络单元进行处理,得到所述第一个区分挖掘网络单元输出的区分挖掘特征;
从第二个区分挖掘网络单元起,将上一个区分挖掘网络单元输出的区分挖掘特征输入下一个区分挖掘网络单元进行处理,得到下一个区分挖掘网络单元输出的区分挖掘特征;
将最后一个区分挖掘网络单元输出的区分挖掘特征输入第一个融合网络单元进行处理,得到所述第一个融合网络单元输出的融合特征;
从第二个融合网络单元起,将上一个融合网络单元输出的融合特征输入下一个融合网络单元进行处理,得到下一个融合网络单元输出的融合特征;
将最后一个融合网络单元输出的融合特征输入所述纠正分类网络单元进行处理,得到所述纠正分类网络单元输出的所述目标纠正参考度信息。
譬如,在第一方面的一种可能的实现方式中,所述目标挖掘网络通过以下方式获得:
获取至少一个标记挖掘源、所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果;
基于所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果对初始挖掘网络进行监督训练,得到所述目标挖掘网络。
在第一方面的一种可能的实现方式中,所述调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果之前,所述方法还包括:
获取至少一个标记挖掘源、所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果;
调用所述初始挖掘网络,基于所述至少一个标记挖掘源中的第一标记挖掘源对应的原始标记挖掘源数据和所述第一标记挖掘源对应的更新参考标记数据,获取所述第一标记挖掘源对应的预测挖掘结果;
调用所述初始纠正网络,基于所述第一标记挖掘源对应的原始标记挖掘源数据和所述第一标记挖掘源对应的预测挖掘结果,获取第一纠正参考度信息;
基于所述第一标记挖掘源对应的原始标记挖掘源数据和所述第一标记挖掘源对应的标准挖掘结果,获取第二纠正参考度信息;
基于所述第一纠正参考度信息和所述第二纠正参考度信息,确定第一差异信息;
基于所述第一差异信息更新所述初始纠正网络的参数;
响应于所述初始纠正网络的参数的更新过程满足第一训练结束条件,得到第一纠正网络;
调用所述初始挖掘网络,基于至少一个第一标记挖掘源中的第二标记挖掘源对应的原始标记挖掘源数据和所述第二标记挖掘源对应的更新参考标记数据,获取所述第二标记挖掘源对应的预测挖掘结果;
调用所述第一纠正网络,基于所述第二标记挖掘源对应的原始标记挖掘源数据和所述第二标记挖掘源对应的预测挖掘结果,获取第三纠正参考度信息;
基于所述第三纠正参考度信息、所述第二标记挖掘源对应的预测挖掘结果和所述第二标记挖掘源对应的标准挖掘结果,确定第二差异信息;
基于所述第二差异信息更新所述初始挖掘网络的参数;
响应于所述初始挖掘网络的参数的更新过程满足第二训练结束条件,得到第一挖掘网络;
响应于制约训练过程不满足目标训练结束条件,继续对所述第一纠正网络和所述第一挖掘网络进行制约训练,直至制约训练过程满足所述目标训练结束条件,得到所述目标纠正网络和所述目标挖掘网络。
在第一方面的一种可能的实现方式中,所述目标挖掘源为初始挖掘源中与所述目标大数据挖掘策略对应的起始至少部分挖掘源;所述基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果之后,所述方法还包括:
响应于所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果不满足更新训练结束条件,基于所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,在所述初始挖掘源中获取与所述目标大数据挖掘策略对应的下一个至少部分挖掘源;
获取所述目标大数据挖掘策略在所述下一个至少部分挖掘源中的全局更新结果;
响应于所述目标大数据挖掘策略在所述下一个至少部分挖掘源中的全局更新结果满足所述更新训练结束条件,基于已获取的所述目标大数据挖掘策略在各个至少部分挖掘源中的全局更新结果,获取所述目标大数据挖掘策略在所述初始挖掘源中的全局更新结果。
在第一方面的一种可能的实现方式中,所述目标挖掘源从包含所述目标大数据挖掘策略对应的目标挖掘节点的业务订阅挖掘源中获取得到;
所述任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标挖掘节点或者所述任一挖掘对象不属于所述目标挖掘节点;
所述基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,包括:
基于所述目标挖掘结果,在所述目标挖掘源中的各个挖掘对象中确定属于所述目标挖掘节点的目标挖掘对象;
基于所述目标挖掘对象,在所述目标挖掘源中标记出所述目标挖掘节点的挖掘业务片段以及所述目标挖掘节点的挖掘业务片段之间的关联关系,得到目标标记结果;
基于所述目标标记结果,获取所述目标挖掘节点在所述目标挖掘源中的全局更新结果。
在第一方面的一种可能的实现方式中,所述获取对采集特征项进行采集配置输出的采集配置结果的步骤,包括:
获取基于信息推送策略的当前信息推送来源获得的业务功能区采集进程;
获取所述业务功能区采集进程的关键采集节点运行分布中的多个关键运行采集节点的采集大数据标签信息;每个关键运行采集节点用于表示所述业务功能区采集进程在采集准备过程中需要被采集的一个或者多个采集页面对象,且所述每个关键运行采集节点所表示的采集页面对象的采集特征项需要采集激活;任一关键运行采集节点的采集大数据标签信息用于反映所述任一关键运行采集节点和其它关键运行采集节点之间的采集类型关系;
根据各关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划,所述目标业务分层采集计划用于指示对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置;
采用所述目标业务分层采集计划更新所述关键采集节点运行分布,并将更新后的关键采集节点运行分布发送至软件采集计划的采集配置进程,所述更新后的关键采集节点运行分布用于指示所述软件采集计划的采集配置进程按照所述目标业务分层采集计划的指示,在所述业务功能区采集进程的采集准备过程中对所述被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置,并输出采集配置结果。
第二方面,本申请实施例还提供一种基于云计算和人工智能的大数据挖掘装置,应用于数字内容中心,所述数字内容中心与多个数字内容订阅设备通信连接,所述装置包括:
第一获取模块,用于获取对采集特征项进行采集配置输出的采集配置结果,其中,所述采集配置结果包括针对每个采集特征项的目标大数据挖掘策略;
第二获取模块,用于获取所述目标大数据挖掘策略对应的目标挖掘源、所述目标挖掘源对应的原始挖掘源数据以及所述目标挖掘源对应的更新用户行为数据,所述更新用户行为数据基于所述目标大数据挖掘策略在所述目标挖掘源中的至少部分更新结果确定得到;
调用模块,用于调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,所述目标挖掘结果用于指示所述目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标大数据挖掘策略或者所述任一挖掘对象不属于所述目标大数据挖掘策略;
更新模块,用于基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,基于所述全局更新结果进行大数据挖掘。
第三方面,本申请实施例还提供一种基于云计算和人工智能的大数据挖掘系统,所述基于云计算和人工智能的大数据挖掘系统包括数字内容中心以及与所述数字内容中心通信连接的多个数字内容订阅设备;
所述数字内容中心,用于:
获取对采集特征项进行采集配置输出的采集配置结果,其中,所述采集配置结果包括针对每个采集特征项的目标大数据挖掘策略;
获取所述目标大数据挖掘策略对应的目标挖掘源、所述目标挖掘源对应的原始挖掘源数据以及所述目标挖掘源对应的更新用户行为数据,所述更新用户行为数据基于所述目标大数据挖掘策略在所述目标挖掘源中的至少部分更新结果确定得到;
调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,所述目标挖掘结果用于指示所述目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标大数据挖掘策略或者所述任一挖掘对象不属于所述目标大数据挖掘策略;
基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,基于所述全局更新结果进行大数据挖掘。
第四方面,本申请实施例还提供一种数字内容中心,所述数字内容中心包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个数字内容订阅设备通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的实现方式中的基于云计算和人工智能的大数据挖掘方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其被执行时,使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的基于云计算和人工智能的大数据挖掘方法。
基于上述任意一个方面,本申请先基于目标挖掘源对应的原始挖掘源数据和更新用户行为数据自动获取目标挖掘源对应的目标挖掘结果,然后基于目标挖掘结果自动得到目标大数据挖掘策略在目标挖掘源中的全局更新结果。基于此种过程,能够实现对大数据挖掘策略的自动更新,大数据挖掘策略的更新过程无需依赖人工,有利于提高对挖掘源中的大数据挖掘策略进行更新的效率,得到的大数据挖掘策略的更新结果的可靠性较高。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要调用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的基于云计算和人工智能的大数据挖掘系统的应用场景示意图;
图2为本申请实施例提供的基于云计算和人工智能的大数据挖掘方法的流程示意图;
图3为本申请实施例提供的基于云计算和人工智能的大数据挖掘装置的功能模块示意图;
图4为本申请实施例提供的用于实现上述的基于云计算和人工智能的大数据挖掘方法的数字内容中心的结构组件示意框图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本申请一种实施例提供的基于云计算和人工智能的大数据挖掘系统10的交互示意图。基于云计算和人工智能的大数据挖掘系统10可以包括数字内容中心100以及与数字内容中心100通信连接的数字内容订阅设备200。图1所示的基于云计算和人工智能的大数据挖掘系统10仅为一种可行的示例,在其它可行的实施例中,该基于云计算和人工智能的大数据挖掘系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
基于本申请提供的技术方案的发明构思出发,本申请提供的数字内容中心100可以应用在例如智慧医疗、智慧城市管理、智慧工业互联网、通用业务监控管理等可以应用大数据技术或者是云计算技术等的场景中,再比如,还可以应用在包括但不限于新能源汽车系统管理、智能云办公、云平台数据处理、云游戏数据处理、云直播处理、云汽车管理平台、区块链金融数据服务平台等,但不限于此。
本实施例中,基于云计算和人工智能的大数据挖掘系统10中的数字内容中心100和数字内容订阅设备200可以通过配合执行以下方法实施例所描述的基于云计算和人工智能的大数据挖掘方法,具体数字内容中心100和数字内容订阅设备200的执行步骤部分可以参照以下方法实施例的详细描述。
为了解决前述背景技术中的技术问题,图2为本申请实施例提供的基于云计算和人工智能的大数据挖掘方法的流程示意图,本实施例提供的基于云计算和人工智能的大数据挖掘方法可以由图1中所示的数字内容中心100执行,下面对该基于云计算和人工智能的大数据挖掘方法进行详细介绍。
步骤S110,获取对采集特征项进行采集配置输出的采集配置结果。
本实施例中,采集配置结果具体可以包括针对每个采集特征项的目标大数据挖掘策略。详细地,在一些可替代的示例中,采集特征项可以依据实际软件功能的需求进行配置,具体可以自定义,或者参照现有技术中的常规采集配置任务即可,在此不做限定。例如,采集特征项可以是某个大数据采集模板下的每个业务功能项目,如订单行为采集特征项、登陆行为采集特征项等,在此不做具体限定。此外,目标大数据挖掘策略可以是指针对该采集特征项的大数据挖掘的方式、方案或者挖掘的逻辑,例如针对订单行为采集特征项而言,可以基于订单行为的特征布置多个挖掘对象,从而后续可以基于订单行为的多个挖掘对象对订单行为的大数据进行挖掘。
步骤S120,获取目标大数据挖掘策略对应的目标挖掘源、目标挖掘源对应的原始挖掘源数据以及目标挖掘源对应的更新用户行为数据。
本实施例中,该更新用户行为数据可以是基于目标大数据挖掘策略在目标挖掘源中的至少部分更新结果确定得到,可以用于表征用户行为的更新变化,本申请发明人考虑到用户行为的更新变化可能会引起后续用户大数据挖掘的准确性,因此在考虑对原始挖掘源数据进行处理的同时,还需要考虑到目标挖掘源对应的更新用户行为数据。
本实施例中,目标挖掘源可以是指与目标大数据挖掘策略相关联的业务事项源,例如针对订单行为采集特征项对应的目标大数据挖掘策略而言,目标挖掘源可以是指订单下单数据源、订单收藏数据源等,但不限于此。目标挖掘源对应的原始挖掘源数据可以是指该目标挖掘源在本次即将进行大数据采集和挖掘前的最后一次数据采集时所获得的挖掘源数据。
步骤S130,调用目标挖掘网络,基于原始挖掘源数据和更新用户行为数据,获取目标挖掘源对应的目标挖掘结果。
本实施例中,目标挖掘结果可以用于指示目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性可以用于指示任一挖掘对象属于目标大数据挖掘策略或者任一挖掘对象不属于目标大数据挖掘策略。
步骤S140,基于目标挖掘结果,在目标挖掘源中对目标大数据挖掘策略进行更新,得到目标大数据挖掘策略在目标挖掘源中的全局更新结果,基于全局更新结果进行大数据挖掘。
本实施例中,当获得目标大数据挖掘策略在目标挖掘源中的全局更新结果后,从而可以获得更新后的目标大数据挖掘策略,由此基于更新后的目标大数据挖掘策略进行大数据挖掘,可以获得更为精确的大数据挖掘结果。
基于上述步骤,本实施例先基于目标挖掘源对应的原始挖掘源数据和更新用户行为数据自动获取目标挖掘源对应的目标挖掘结果,然后基于目标挖掘结果自动得到目标大数据挖掘策略在目标挖掘源中的全局更新结果。基于此种过程,能够实现对大数据挖掘策略的自动更新,大数据挖掘策略的更新过程无需依赖人工,有利于提高对挖掘源中的大数据挖掘策略进行更新的效率,得到的大数据挖掘策略的更新结果的可靠性较高。
在一种可能的实现方式中,针对步骤S130而言,在针对调用目标挖掘网络,基于原始挖掘源数据和更新用户行为数据,获取目标挖掘源对应的目标挖掘结果的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S131,调用目标挖掘网络,基于原始挖掘源数据和更新用户行为数据的关联特征数据,依次执行第一迭代策略的正挖掘分析,得到目标挖掘源对应的第一挖掘分量。
本实施例中,关联特征数据可以是指将更新用户行为数据融合于原始挖掘源数据获得的特征数据,正挖掘分析可以是指针对一些正向行为的挖掘分析,例如用户关注某个特征对象的行为可以理解为正向行为。
子步骤S132,基于第一挖掘分量对应的目标区分挖掘特征,依次执行第一迭代策略的负挖掘分析,得到目标挖掘源对应的第二挖掘分量。
本实施例中,第一挖掘分量对应的目标区分挖掘特征可以是指对第一挖掘分量对应覆盖的业务单元的所有相关的挖掘分量进行目标区分挖掘后获得的挖掘特征,负挖掘分析可以是指针对一些负向行为的挖掘分析,例如用户取消关注某个特征对象的行为可以理解为负向行为。
子步骤S133,对第二挖掘分量进行目标区分挖掘分析,得到目标挖掘源对应的目标挖掘结果。
本实施例中,区分挖掘分析可以是指针对挖掘分量进行不同维度的挖掘分析,例如可以从不同的业务板块的维度进行挖掘分析,具体不作限定。
在一种可能的实现方式中,上述的第一迭代策略可以包括预设数量次的迭代挖掘,例如预设数量次可以为三次,任一次正挖掘分析包括一次区分挖掘分析和一次频繁模式挖掘分析。其中,频繁模式挖掘分析是指将产生频繁集的区分挖掘特征压缩到一棵频繁模式树FP-tree中,用FP-tree存储项的关联信息,然后对模式树产生频繁集,得到进一步的区分挖掘特征。
这样,对于子步骤S131,可以通过以下示例性的实施方式来实现。
(1)对原始挖掘源数据和更新用户行为数据的关联特征数据进行第一区分挖掘分析,得到目标挖掘源对应的第一区分挖掘特征。
(2)对第一区分挖掘特征进行第一频繁模式挖掘分析,得到目标挖掘源对应的第一频繁模式挖掘特征。
(3)对第一频繁模式挖掘特征进行第二区分挖掘分析,得到目标挖掘源对应的第二区分挖掘特征。
(4)对第二区分挖掘特征进行第二频繁模式挖掘分析,得到目标挖掘源对应的第二频繁模式挖掘特征。
(5)对第二频繁模式挖掘特征进行第三区分挖掘分析,得到目标挖掘源对应的第三区分挖掘特征。
(6)对第三区分挖掘特征进行第三频繁模式挖掘分析,得到目标挖掘源对应的第一挖掘分量。
进一步地,在一种可能的实现方式中,上述的任一次负挖掘分析可以包括一次逆区分挖掘分析和一次区分挖掘分析。其中,逆区分挖掘分析是针对区分挖掘分析的逆向维度的处理方式。
这样,对于子步骤S132,可以通过以下示例性的实施方式来实现。
(1)对第一挖掘分量对应的目标区分挖掘特征进行第一逆区分挖掘分析,得到目标挖掘源对应的第一负挖掘特征。
(2)对第一负挖掘特征和第三区分挖掘特征的拼接特征进行第四区分挖掘分析,得到目标挖掘源对应的第四区分挖掘特征。
(3)对第四区分挖掘特征进行第二逆区分挖掘分析,得到目标挖掘源对应的第二负挖掘特征。
(4)对第二负挖掘特征和第二区分挖掘特征的拼接特征进行第五区分挖掘分析,得到目标挖掘源对应的第五区分挖掘特征。
(5)对第五区分挖掘特征进行第三逆区分挖掘分析,得到目标挖掘源对应的第三负挖掘特征。
(6)对第三负挖掘特征和第一区分挖掘特征的拼接特征进行第六区分挖掘分析,得到目标挖掘源对应的第二挖掘分量。
进一步地,为了便于评价基于目标挖掘结果得到的全局更新结果的可靠性,在步骤S130之后,本申请实施例提供的方法还可以包括以下步骤S134,调用目标纠正网络,基于原始挖掘源数据和目标挖掘结果,获取目标纠正参考度信息。
目标纠正参考度信息用于指示基于目标挖掘结果得到的全局更新结果的可靠性。示例性地,目标纠正参考度信息包括目标挖掘结果为正确挖掘结果的参考度和目标挖掘结果为错误挖掘结果的参考度,目标挖掘结果为正确挖掘结果的参考度和目标挖掘结果为错误挖掘结果的参考度的和为1。若目标挖掘结果为正确挖掘的参考度不小于目标挖掘结果为错误挖掘结果的参考度,则认为基于目标挖掘结果得到的全局更新结果的可靠性较高;若目标挖掘结果为正确挖掘的参考度小于目标挖掘结果为错误挖掘结果的参考度,则认为基于目标挖掘结果确定的全局更新结果的可靠性较低,此时说明基于目标挖掘结果确定的目标树状组织在目标图像中的全局更新结果可能有误,需要人为纠正。
在一种可能的实现方式中,上述的目标纠正网络可以包括依次连接的至少一个区分挖掘网络单元、至少一个融合网络单元和一个纠正分类网络单元。
这样,对于步骤S134而言,可以通过以下示例性的实施方式来实现。
(1)将原始挖掘源数据和目标挖掘结果输入目标纠正网络中的第一个区分挖掘网络单元进行处理,得到第一个区分挖掘网络单元输出的区分挖掘特征。
(2)从第二个区分挖掘网络单元起,将上一个区分挖掘网络单元输出的区分挖掘特征输入下一个区分挖掘网络单元进行处理,得到下一个区分挖掘网络单元输出的区分挖掘特征。
(3)将最后一个区分挖掘网络单元输出的区分挖掘特征输入第一个融合网络单元进行处理,得到第一个融合网络单元输出的融合特征。
(4)从第二个融合网络单元起,将上一个融合网络单元输出的融合特征输入下一个融合网络单元进行处理,得到下一个融合网络单元输出的融合特征。
(5)将最后一个融合网络单元输出的融合特征输入纠正分类网络单元进行处理,得到纠正分类网络单元输出的目标纠正参考度信息。
在一种可能的实现方式中,下面结合一种可能的示例对目标纠正网络和目标挖掘网络的配置过程进行示例性阐述,具体可以通过以下示例性的实施方式来实现。
(1)获取至少一个标记挖掘源、至少一个标记挖掘源分别对应的原始标记挖掘源数据、至少一个标记挖掘源分别对应的更新参考标记数据以及至少一个标记挖掘源分别对应的标准挖掘结果。
(2)调用初始挖掘网络,基于至少一个标记挖掘源中的第一标记挖掘源对应的原始标记挖掘源数据和第一标记挖掘源对应的更新参考标记数据,获取第一标记挖掘源对应的预测挖掘结果。
(3)调用初始纠正网络,基于第一标记挖掘源对应的原始标记挖掘源数据和第一标记挖掘源对应的预测挖掘结果,获取第一纠正参考度信息。
(4)基于第一标记挖掘源对应的原始标记挖掘源数据和第一标记挖掘源对应的标准挖掘结果,获取第二纠正参考度信息。
(5)基于第一纠正参考度信息和第二纠正参考度信息,确定第一差异信息。
(6)基于第一差异信息更新初始纠正网络的参数。
(7)响应于初始纠正网络的参数的更新过程满足第一训练结束条件,得到第一纠正网络。
(8)调用初始挖掘网络,基于至少一个第一标记挖掘源中的第二标记挖掘源对应的原始标记挖掘源数据和第二标记挖掘源对应的更新参考标记数据,获取第二标记挖掘源对应的预测挖掘结果。
(9)调用第一纠正网络,基于第二标记挖掘源对应的原始标记挖掘源数据和第二标记挖掘源对应的预测挖掘结果,获取第三纠正参考度信息。
(10)基于第三纠正参考度信息、第二标记挖掘源对应的预测挖掘结果和第二标记挖掘源对应的标准挖掘结果,确定第二差异信息。
(11)基于第二差异信息更新初始挖掘网络的参数。
(12)响应于初始挖掘网络的参数的更新过程满足第二训练结束条件,得到第一挖掘网络。
(13)响应于制约训练过程不满足目标训练结束条件,继续对第一纠正网络和第一挖掘网络进行制约训练,直至制约训练过程满足目标训练结束条件,得到目标纠正网络和目标挖掘网络。
譬如,上述的制约训练可以是对抗生成训练的方式,具体不作限定。
在一种可能的实现方式中,上述的目标挖掘源为初始挖掘源中与目标大数据挖掘策略对应的起始至少部分挖掘源。这样,在步骤S140之后,为了获得更精确的全局更新结果。还可以包括以下步骤,详细描述如下。
步骤S150,响应于目标大数据挖掘策略在目标挖掘源中的全局更新结果不满足更新训练结束条件,基于目标大数据挖掘策略在目标挖掘源中的全局更新结果,在初始挖掘源中获取与目标大数据挖掘策略对应的下一个至少部分挖掘源。
步骤S160,获取目标大数据挖掘策略在下一个至少部分挖掘源中的全局更新结果。
步骤S170,响应于目标大数据挖掘策略在下一个至少部分挖掘源中的全局更新结果满足更新训练结束条件,基于已获取的目标大数据挖掘策略在各个至少部分挖掘源中的全局更新结果,获取目标大数据挖掘策略在初始挖掘源中的全局更新结果。
譬如,在另一种可能的实现方式中,上述的目标挖掘网络也可以通过以下方式获得:
(1)获取至少一个标记挖掘源、至少一个标记挖掘源分别对应的原始标记挖掘源数据、至少一个标记挖掘源分别对应的更新参考标记数据以及至少一个标记挖掘源分别对应的标准挖掘结果。
(2)基于至少一个标记挖掘源分别对应的原始标记挖掘源数据、至少一个标记挖掘源分别对应的更新参考标记数据以及至少一个标记挖掘源分别对应的标准挖掘结果对初始挖掘网络进行监督训练,得到目标挖掘网络。
在一种可能的实现方式中,上述的目标挖掘源可以从包含目标大数据挖掘策略对应的目标挖掘节点的业务订阅挖掘源中获取得到。其中值得说明的是,任一挖掘对象的目标属性可以用于指示任一挖掘对象属于目标挖掘节点或者任一挖掘对象不属于目标挖掘节点。
这样,对于步骤S140而言,在基于目标挖掘结果,在目标挖掘源中对目标大数据挖掘策略进行更新,得到目标大数据挖掘策略在目标挖掘源中的全局更新结果的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S141,基于目标挖掘结果,在目标挖掘源中的各个挖掘对象中确定属于目标挖掘节点的目标挖掘对象。
子步骤S142,基于目标挖掘对象,在目标挖掘源中标记出目标挖掘节点的挖掘业务片段以及目标挖掘节点的挖掘业务片段之间的关联关系,得到目标标记结果。
子步骤S143,基于目标标记结果,获取目标挖掘节点在目标挖掘源中的全局更新结果。
本实施例中,譬如,可以将存在关联关系的挖掘业务片段进行扩展、增加或者更新,获得目标挖掘节点在目标挖掘源中的全局更新结果。
在一种可能的实现方式中,进一步针对步骤S110,在获取对采集特征项进行采集配置输出的采集配置结果的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S111,获取基于信息推送策略的当前信息推送来源获得的业务功能区采集进程。
子步骤S112,获取业务功能区采集进程的关键采集节点运行分布中的多个关键运行采集节点的采集大数据标签信息。
本实施例中,每个关键运行采集节点可以用于表示业务功能区采集进程在采集准备过程中需要被采集的一个或者多个采集页面对象,且每个关键运行采集节点所表示的采集页面对象的采集特征项需要采集激活。
本实施例中,采集页面对象可以是指针对某个采集的数据页面(例如电商直播的浏览页面)的某个具体的页面功能元素(例如直播关注、商品收藏等)。
本实施例中,任一关键运行采集节点的采集大数据标签信息用于反映任一关键运行采集节点和其它关键运行采集节点之间的采集类型关系。例如,针对电商直播服务而言,直播关注服务的关键运行采集节点与直播下单服务的关键运行采集节点以及直播推荐业务的关键运行采集节点存在采集类型关系,也即在直播关注后,可能会进行直播下单,在直播下单后,可能会进行直播商品的直播推荐。
子步骤S113,根据各关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划。
本实施中,目标业务分层采集计划用于指示对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置。其中,业务分层可以是指针对关键运行采集节点的实际采集业务进行层级的聚类划分。
子步骤S114,采用目标业务分层采集计划更新关键采集节点运行分布,并将更新后的关键采集节点运行分布发送至软件采集计划的采集配置进程。
本实施中,更新后的关键采集节点运行分布可以用于指示软件采集计划的采集配置进程按照目标业务分层采集计划的指示,在业务功能区采集进程的采集准备过程中对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置,并输出采集配置结果。
详细的,在一些可能的实现方式中,采集特征项可以依据实际软件功能的需求进行配置,具体可以自定义,或者参照现有技术中的常规采集配置任务即可,在此不做限定。此外,软件采集计划的采集配置进程具体的采集配置逻辑可以参照采集特征项进行自适应性配置,具体采集配置的内容和形式不是本申请实施例旨在解决的技术问题,此处不作详细描述。
基于上述步骤,本实施例可先根据业务功能区采集进程的关键采集节点运行分布中的多个关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划,该目标业务分层采集计划用于指示对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置。然后,可采用目标业务分层采集计划更新关键采集节点运行分布,并将更新后的关键采集节点运行分布发送至软件采集计划的采集配置进程,使得软件采集计划的采集配置进程在采集配置业务功能区采集进程的过程中,可按照目标业务分层采集计划的指示对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置,从而减少采集配置的重调用次数,以节省采集数据的归纳时间并提高采集计划的执行效率。
在一种可能的实现方式中,在对本申请实施例进行详细描述之前,下面首先针对各自定义术语进行解释,以使得本领域技术人员能够清楚完整地实现本申请实施例的方案。
详细地,上述的多个关键运行采集节点对应一个目标信息采集链。其中,目标信息采集链是基于各关键运行采集节点在关键采集节点运行分布中的采集链分布关系,采用多条采集迁移链条连接各关键运行采集节点得到的。
这样,在本领域中,采集链分布关系可以用于指示:一个关键运行采集节点沿着关键采集节点运行分布中的至少一条采集运行链条配合其它关键运行采集节点的采集关系。
任一关键运行采集节点的采集计划数据标签信息包括以下至少一项:任一关键运行采集节点的采集计划分区序列和任一关键运行采集节点的逆采集计划分区序列。
值得说明的是,任一关键运行采集节点的采集计划分区序列中的采集计划分区可以理解为:从目标信息采集链中的最先关键运行采集节点至任一关键运行采集节点的所有正向采集方式均覆盖的关键运行采集节点。
其中,任一关键运行采集节点的采集计划分区序列中相隔任一关键运行采集节点最先的采集计划分区,为任一关键运行采集节点的最先采集计划分区。
本实施例中,任一关键运行采集节点的逆采集计划分区序列中的逆采集计划分区可以理解为:从目标信息采集链对应的逆采集关系中的最先关键运行采集节点至任一关键运行采集节点的所有逆向采集方式均覆盖的关键运行采集节点。
本实施例中,任一关键运行采集节点的逆采集计划分区序列中相隔任一关键运行采集节点最先的逆采集计划分区,为任一关键运行采集节点的最先逆采集计划分区。
本实施例中,逆采集关系是指对目标信息采集链中的各条采集迁移链条进行逆处理所得到的采集关系。
这样,针对步骤S113而言,在根据各关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S1131,根据各关键运行采集节点的采集大数据标签信息,构建由多个关键运行采集节点构成的采集计划数据标签网络。
子步骤S1132,基于采集计划数据标签网络,提取业务分层分布信息。
本实施例中,业务分层分布信息可以包括:多层业务分层所需的采集计划序列,每个采集计划序列中至少存在一个采集计划为关键运行采集节点。
子步骤S1133,按照业务分层分布信息对多个关键运行采集节点进行至少一层业务分层迭代处理,得到目标业务分层采集计划。
例如,在一种可能的实现方式中,可以按照业务分层分布信息确定第w层业务分层所需的第w采集计划序列,并根据第w采集计划序列中的每个采集计划的采集计划跳转次数确定第w采集计划序列的采集计划跳转次数总和;w∈[1,W],W为业务分层分布信息的分布层级数。当第w采集计划序列的采集计划跳转次数总和小于或等于采集计划跳转次数阈值时,对第w采集计划序列中的各采集计划进行业务分层处理,得到第w业务分层采集计划。若W的当前取值小于W,且按照业务分层层次信息获取的第w+1层业务分层所需的第w+1采集计划序列的采集计划跳转次数总和大于采集计划跳转次数阈值,则根据第w业务分层采集计划得到目标业务分层采集计划。
在一种可能的实现方式中,针对子步骤S1131而言,可以通过以下实施方式来实现。
(1)将目标信息采集链中的最先关键运行采集节点作为采集计划数据标签网络的参照采集计划,并确定多个关键运行采集节点中除目标信息采集链中的最先关键运行采集节点以外的剩余关键运行采集节点。
(2)从每个剩余关键运行采集节点的采集大数据标签信息中的采集计划分区序列中,获取每个剩余关键运行采集节点的最先采集计划分区。
(3)根据每个剩余关键运行采集节点的最先采集计划分区,确定各关键运行采集节点之间的最先采集类型关系。
(4)按照最先采集类型关系将各剩余关键运行采集节点添加至参照采集计划下,以得到采集计划数据标签网络。
在一种可能的实现方式中,上述的采集计划数据标签网络中除参照采集计划以外的每个关键运行采集节点的父采集计划为:每个关键运行采集节点的最先采集计划分区。多个关键运行采集节点中存在W个采集计划数据标签组合,一个采集计划数据标签组合关联至少一层业务分层所需的采集计划序列。其中,W为正整数。
这样,针对子步骤S1132而言,可以通过以下实施方式来实现。
(1)按照标签优先级的针对性处理顺序,从采集计划数据标签网络中未被针对性处理的关键运行采集节点中选取第一关键运行采集节点。
(2)根据除目标信息采集链中的最后关键运行采集节点以外的各关键运行采集节点的逆采集计划分区序列,检测是否存在第二关键运行采集节点和第一关键运行采集节点构成第w个采集计划数据标签组合,w∈[1,W]。
(3)第二关键运行采集节点满足如下条件:第二关键运行采集节点为第一关键运行采集节点的最先采集计划分区,且第一关键运行采集节点为第二关键运行采集节点的最先逆采集计划分区。
(4)若存在,则根据第二关键运行采集节点从多个关键运行采集节点中,选取至少一个关键运行采集节点添加至与第w个采集计划数据标签组合关联的目标业务分层所需的采集计划序列中,并继续针对性处理采集计划数据标签网络。若不存在,则重新选取第一关键运行采集节点,直至采集计划数据标签网络中的各关键运行采集节点均被针对性处理。
例如,若存在,则可以从采集计划数据标签网络中获取第二关键运行采集节点的扩展采集计划序列,若扩展采集计划序列中只包括第一关键运行采集节点以及第一关键运行采集节点的扩展采集计划,则选取第一关键运行采集节点和第二关键运行采集节点,添加至与第w个采集计划数据标签组合关联的目标业务分层所需的采集计划序列中。或者,若扩展采集计划序列中包括除第一关键运行采集节点以及第一关键运行采集节点的扩展采集计划以外的其它扩展采集计划,则选取其它扩展采集计划添加至目标业务分层所需的采集计划序列中。
示例性地,在选取第一关键运行采集节点和第二关键运行采集节点,添加至与第w个采集计划数据标签组合关联的目标业务分层所需的采集计划序列中的过程中,可以检测前w-1个采集计划数据标签组合关联的历史层业务分层所需的采集计划序列中,是否存在第一历史采集计划序列包括第一关键运行采集节点。
例如,若存在第一历史采集计划序列,则将第一历史采集计划序列对应的业务分层采集计划和第二关键运行采集节点,添加至与第w个采集计划数据标签组合关联的目标业务分层所需的采集计划序列中。
又例如,若不存在第一历史采集计划序列,则将第一关键运行采集节点和第二关键运行采集节点添加至目标业务分层所需的采集计划序列中。
在一种可能的实现方式中,在选取其它扩展采集计划添加至目标业务分层所需的采集计划序列中的过程中,具体可以检测前w-1个采集计划数据标签组合关联的历史层业务分层所需的采集计划序列中,是否存在第二历史采集计划序列包括其它扩展采集计划所对应的业务分层采集计划。
例如,若存在第二历史采集计划序列,则将第二历史采集计划序列对应的业务分层采集计划、第一关键运行采集节点以及第二关键运行采集节点,添加至目标业务分层所需的采集计划序列中。
又例如,若不存在第二历史采集计划序列,则将其它扩展采集计划添加至目标业务分层所需的采集计划序列中,并将由其它扩展采集计划业务分层的业务分层采集计划、第一关键运行采集节点以及第二关键运行采集节点,添加至与第w个采集计划数据标签组合关联的位于目标业务分层之下的下一标签业务分层所需的采集计划序列中。
在一种可能的实现方式中,针对步骤S114,在采用目标业务分层采集计划更新关键采集节点运行分布的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S1141,在关键采集节点运行分布中增加目标业务分层采集计划,并采用采集迁移链条连接目标业务分层采集计划和被业务分层的关键运行采集节点。
子步骤S1142,在关键采集节点运行分布中为未被业务分层的关键运行采集节点增加一个匹配的采集计划,以及在关键采集节点运行分布中为目标业务分层采集计划增加一个匹配的采集计划。
在一种可能的实现方式中,针对步骤S111,在获取基于信息推送策略的当前信息推送来源获得的业务功能区采集进程的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S1111,获取数字内容订阅设备200的信息推送运行容器,通过信息推送服务对信息推送运行容器进行信息推送策略解析,得到信息推送运行容器中信息推送来源的信息推送策略信息。
子步骤S1112,基于信息推送来源的信息推送策略信息进行业务功能区分析,得到信息推送来源的目标业务功能区。
子步骤S1113,基于采集时空序控制脚本对信息推送运行容器进行采集时空序控制记录信息解析,得到信息推送来源的采集时空序控制记录信息。
子步骤S1114,将信息推送运行容器中信息推送来源的目标业务功能区与信息推送来源的采集时空序控制记录信息进行业务功能区更新,得到信息推送来源的业务功能区更新信息,并基于信息推送来源的业务功能区更新信息对信息推送策略进行信息采集分区定位,得到信息推送来源的当前信息采集策略。
本实施例中,信息推送服务可以理解为在云端运行的信息推送程序,例如可以预先在云端配置信息推送过程中的各个信息推送模块,例如在本申请实施例中需要使用到的信息推送策略解析的功能模块,进而执行此操作。关于具体信息推送策略解析的功能模块的操作可以参见后续针对步骤S1111的详细描述。
本实施例中,信息推送运行容器可以理解为基于用户反馈画像进行生成的各个信息推送来源所绑定的信息推送策略构成的云计算容器。其中,信息推送策略可以是指数字内容订阅设备200在使用进行任意信息推送软件时通过大量大数据而生成的策略包。信息推送来源可以是指信息推送策略下形成的某个数据源。
本实施例中,业务功能区可以用于表征针对各个信息推送来源所对应的业务功能的业务功能逻辑区分信息,采集时空序控制记录信息可以用于描述在采集时空序控制过程中针对各个采集单元的业务功能逻辑区分信息。
在信息推送过程中,需要考虑到业务功能区,由此按照业务功能区的特征分布进行针对性的采集配置的操作。这样,本实施例通过业务功能区更新信息推送来源的目标业务功能区与信息推送来源的采集时空序控制记录信息,以综合信息推送来源的信息推送策略信息与信息推送来源的采集时空序控制记录信息,提取到丰富的信息推送来源的业务功能区,从而便于在信息采集策略更新过程中基于信息采集策略的业务功能区进行高效地采集时空序控制;另外,通过信息推送来源的目标业务功能区,对信息推送来源进行信息采集分区定位,得到信息推送来源的当前信息采集策略,从而便于模块化单元信息采集策略更新,减少信息采集策略更新失败后的信息采集策略的更新重启时间。
在一种可能的实现方式中,针对步骤S1112而言,在获取业务功能区采集进程的关键采集节点运行分布中的多个关键运行采集节点的采集大数据标签信息的过程中,可以提取所述业务功能区采集进程中的每个关键采集节点,以根据所述每个关键采集节点的业务关系构建关键采集节点运行分布,并根据每个所述关键运行采集节点和其它关键运行采集节点之间的采集类型关系获得所述每个关键采集节点的采集大数据标签信息。
其中,值得说明的是,每个所述关键运行采集节点和其它关键运行采集节点之间的采集类型关系为所述业务功能区采集进程中的进程配置信息中获得。
在此参照上,接下来将对本申请实施例的一些可替代的实施方式进行说明,应当理解在接下来的实施例的描述中仅为示例,不应理解为实现本方案所必不可少的技术特征。
在一种可能的实现方式中,针对步骤S1111而言,在通过信息推送服务对信息推送运行容器进行信息推送策略解析,得到信息推送运行容器中信息推送来源的信息推送策略信息的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S11111,获取信息推送运行容器中的每个推送来源的推送逻辑指针控制器所绑定的策略容器逻辑指针数据集。
本实施例中,值得说明的是,策略容器逻辑指针数据集包括以每个逻辑指针规则为一参考单元的策略容器逻辑指针数据,策略容器逻辑指针数据包括该逻辑指针规则的逻辑指针数据源条件、逻辑指针数据源结果以及该逻辑指针规则内的逻辑指针数据源的索引操作节点。譬如,逻辑指针规则可以用于表示代码编辑配置过程中相关的业务范围,逻辑指针数据源条件可以用于表征逻辑指针数据源时的条件(例如某个功能代码被调用时,可以作为一个条件),逻辑指针数据源结果可以用于表征逻辑指针数据源后所指示的运行结果。
譬如,在本实施例中,推送逻辑指针控制器可以是软体程序,推送逻辑指针控制器是指具有推送逻辑指针数据功能的程序。
子步骤S11112,针对每个逻辑指针规则,根据每个推送来源在该逻辑指针规则的逻辑指针数据源的索引操作节点中的多个索引操作节点行中的每一个索引操作节点行,根据该索引操作节点行中存储结构解释信息的解释向量表示,确定该索引操作节点行中每个存储结构解释信息是否为新信息采集策略更新代码采集计划,根据该索引操作节点行中新信息采集策略更新代码采集计划的采集计划类型,确定该索引操作节点行对应的每个代码资源包的逻辑指针数据页,针对每个代码资源包的逻辑指针数据页,将该代码资源包的逻辑指针数据页划分为多个子逻辑指针数据页,根据每个子逻辑指针数据页内各存储结构解释信息的解释标签及预设的存储解释范围,确定代码资源包的逻辑指针数据页是否为目标逻辑指针程序包的逻辑指针数据页。
其中,值得说明的是,每个存储结构解释信息对应于每个信息采集策略更新分类存储结构行为。
子步骤S11113,获取预设信息采集策略更新分类模板匹配目标逻辑指针程序包的逻辑指针数据页内每个存储结构解释信息的信息采集策略更新分类模板块信息,信息采集策略更新分类模板块信息包括信息采集策略的索引主键功能标签和信息采集策略的索引主键应用标签,预设信息采集策略更新分类模板包括不同信息采集策略的索引主键使用类型所对应的匹配策略。
子步骤S11114,根据策略容器逻辑指针数据集中的各个不同逻辑指针规则的每个逻辑指针数据源的索引操作节点的信息采集策略更新分类模板块信息确定每个信息采集策略的索引主键的信息采集策略的更新循环变量的变量信息和每个信息采集策略更新循环常量的常量信息,并根据目标逻辑指针程序包的逻辑指针数据页内每个信息采集策略的索引主键的信息采集策略的更新循环变量的变量信息和每个信息采集策略更新循环常量的常量信息,确定每个推送来源在该逻辑指针规则的信息采集策略的索引主键标签组合象,将位于信息采集策略的索引主键标签组合象的信息采集策略的索引主键的索引选择对象范围内的索引排序信息以及位于信息采集策略的索引主键标签组合象的信息采集策略的索引主键的索引选择对象范围外而关联于信息采集策略的索引主键标签组合象的信息采集策略的索引主键的索引选择对象范围的索引排序信息作为每个推送来源在该逻辑指针规则内的采集时空序控制脚本信息后,将每个推送来源在所有逻辑指针规则内的采集时空序控制脚本信息进行汇总后,得到信息推送运行容器中信息推送来源的信息推送策略信息。
譬如,信息采集策略的更新循环常量是指在整个操作过程中其值保持不变的数据,通常在命令或程序中直接给出其值,用做常量的数据类型有数值型、字符型、日期型、逻辑型和货币型等类型。又例如,信息采集策略的更新循环变量是指在整个操作过程中其值策略的数据,具有存储空间的抽象,信息采集策略的更新循环变量是一种使用方便的占位符,用于引用内存地址,该地址可以存储Script运行时可更改的程序信息。
在一种可能的实现方式中,针对步骤S1112而言,在基于信息推送来源的信息推送策略信息进行业务功能区分析,得到信息推送来源的目标业务功能区的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S11121,获取信息推送来源的信息推送策略信息中的每个采集时空序控制脚本信息的逻辑指针数据源描述信息上添加的主键约束索引对象集合的主键约束索引对象分配信息,并确定与主键约束索引对象分配信息对应的第一主键约束关键字集。
譬如,一个表中只能有一个聚集索引,但表中的每一列都可以有自己的非聚集索引。如果在表中创建了主键约束,SQL Server将自动为其产生唯一性约束。在创建主键约束时,如果制定CLUSTERED关键字,则将为表产生唯一聚集索引。
值得说明的是,主键约束索引对象分配信息包括根据主键约束索引对象集合的关系图规则输入信息和关系图规则输出信息所确定出的关系图规则计算关系信息的关系图采集计划对象信息,第一主键约束关键字集包括关系图采集计划对象信息的多个关系图采集计划优先级的高低顺序。
子步骤S11122,确定每个采集时空序控制脚本信息的逻辑指针数据源描述信息基于关系图规则输入信息的第一关系图规则特征和基于关系图规则输出信息的第二关系图规则特征。
子步骤S11123,根据第一关系图规则特征和第二关系图规则特征的关系图的采集计划优先级关系确定用于对第一主键约束关键字集进行约束业务功能定位的约束业务功能定位参数。
子步骤S11124,基于约束业务功能定位参数对第一主键约束关键字集进行约束业务功能定位获得第二主键约束关键字集。
子步骤S11125,对第二主键约束关键字集进行关系图类型划分得到多个关系图类型划分集,对每个关系图类型划分集进行特征提取得到关系图类型划分变量。
子步骤S11126,根据第二主键约束关键字集对应的多个关系图类型划分变量所对应的业务功能区,确定为每个采集时空序控制脚本信息的业务功能区。
子步骤S11127,基于每个采集时空序控制脚本信息的业务功能区获得信息推送来源的目标业务功能区。
进一步地,在一种可能的实现方式中,针对步骤S1113而言,在基于采集时空序控制脚本对信息推送运行容器进行采集时空序控制记录信息解析,得到信息推送来源的采集时空序控制记录信息的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S11131,将信息推送运行容器输入到预设的采集时空序控制脚本中,获得信息推送运行容器匹配于每个预设信息采集策略的更新规则的匹配度。
子步骤S11132,根据信息推送运行容器匹配于每个预设信息采集策略的更新规则的匹配度确定信息推送运行容器对应的目标信息采集策略的更新规则。
譬如,可以将匹配度大于预设匹配度阈值的预设信息采集策略的更新规则确定为信息推送运行容器对应的目标信息采集策略的更新规则。
子步骤S11133,从信息推送运行容器对应的目标信息采集策略的更新规则的信息采集策略的更新规则描述信息中提取匹配于每个信息推送来源的采集时空序控制记录信息。
譬如,在提取过程中,可以具体提取信息采集策略的更新规则描述信息中匹配于每个信息推送来源的具有结构化描述信息的特征信息。
在一种可能的实现方式中,针对步骤S1114而言,在将信息推送运行容器中信息推送来源的目标业务功能区与信息推送来源的采集时空序控制记录信息进行业务功能区更新,得到信息推送来源的业务功能区更新信息的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S11141,将信息推送来源的目标业务功能区和采集时空序控制记录信息添加到业务功能区更新程序中,从业务功能区更新程序中确定出各信息采集策略的更新基表所对应信息推送来源的目标业务功能区和采集时空序控制记录信息的关系图知识图谱。
子步骤S11142,依据各不同关系图知识图谱中信息采集策略的更新基表之间的基表关系的关系标签组合各关系图知识图谱进行关系图类型划分,得到至少一个关系图知识图谱序列。
本实施例中,同一关系图知识图谱序列中任意两个关系图知识图谱中的信息采集策略的更新基表的基表关系的关系标签覆盖预设存储解释范围。
子步骤S11143,针对每一关系图知识图谱序列,基于该关系图知识图谱序列中各关系图知识图谱,从业务功能区更新程序中确定该关系图知识图谱序列针对信息推送来源的目标业务功能区和采集时空序控制记录信息对应的程序关系图调用信息。
本实施例中,程序关系图调用信息至少包括关系图知识图谱序列中各关系图知识图谱针对信息推送来源的目标业务功能区和采集时空序控制记录信息的每个关系图分布的特征信息数据,程序关系图调用信息用于确定该关系图知识图谱序列中各关系图知识图谱中的信息采集策略的更新基表对应信息推送来源的目标业务功能区和采集时空序控制记录信息的关系图关系的关系分布结果。
子步骤S11144,基于程序关系图调用信息确定该关系图知识图谱序列中各关系图知识图谱中的信息采集策略的更新基表对应的关系图关系的关系分布结果,采用预设基表关系纠正网络对关系图关系的关系分布结果进行分类得到分类结果,根据分类结果,得到信息推送来源的业务功能区更新信息。
在一种可能的实现方式中,仍旧针对步骤S1114,在基于信息推送来源的业务功能区更新信息对信息推送策略进行信息采集分区定位,得到信息推送来源的当前信息采集策略的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。
子步骤S11145,获取信息推送来源在信息推送策略下的信息采集分区的定位信息。
本实施例中,信息采集分区可以是指信息推送策略下的每个信息采集的数据区域的逻辑分区,例如业务逻辑分区,用户订阅业务的功能分区等。
子步骤S11146,获取信息采集分区的定位信息下的信息采集分区定位项目以及每个信息采集分区定位项目对应的基表关系配置信息。
子步骤S11147,将信息推送来源的业务功能区更新信息覆盖配置于每个信息采集分区定位项目对应的基表关系配置信息下,得到信息推送来源的当前信息采集策略。
图3为本公开实施例提供的基于云计算和人工智能的大数据挖掘装置300的功能模块示意图,本实施例可以根据上述数字内容中心100执行的方法实施例对该基于云计算和人工智能的大数据挖掘装置300进行功能模块的划分,也即该基于云计算和人工智能的大数据挖掘装置300所对应的以下各个功能模块可以用于执行上述数字内容中心100执行的各个方法实施例。其中,该基于云计算和人工智能的大数据挖掘装置300可以包括第一获取模块310、第二获取模块320、调用模块330以及更新模块340,下面分别对该基于云计算和人工智能的大数据挖掘装置300的各个功能模块的功能进行详细阐述。
第一获取模块310,用于获取对采集特征项进行采集配置输出的采集配置结果,其中,所述采集配置结果包括针对每个采集特征项的目标大数据挖掘策略。其中,第一获取模块310可以用于执行上述的步骤S110,关于第一获取模块310的详细实现方式可以参照上述针对步骤S110的详细描述即可。
第二获取模块320,用于获取所述目标大数据挖掘策略对应的目标挖掘源、所述目标挖掘源对应的原始挖掘源数据以及所述目标挖掘源对应的更新用户行为数据,所述更新用户行为数据基于所述目标大数据挖掘策略在所述目标挖掘源中的至少部分更新结果确定得到。其中,第二获取模块320可以用于执行上述的步骤S120,关于第二获取模块320的详细实现方式可以参照上述针对步骤S120的详细描述即可。
调用模块330,用于调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,所述目标挖掘结果用于指示所述目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标大数据挖掘策略或者所述任一挖掘对象不属于所述目标大数据挖掘策略。其中,调用模块330可以用于执行上述的步骤S130,关于调用模块330的详细实现方式可以参照上述针对步骤S130的详细描述即可。
更新模块340,用于基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,基于所述全局更新结果进行大数据挖掘。其中,更新模块340可以用于执行上述的步骤S140,关于更新模块340的详细实现方式可以参照上述针对步骤S140的详细描述即可。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,第一获取模块310可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上第一获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图4示出了本公开实施例提供的用于实现上述的基于云计算和人工智能的大数据挖掘方法的数字内容中心100的硬件结构示意图,如图4所示,数字内容中心100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机执行指令(例如图3中所示的基于云计算和人工智能的大数据挖掘装置300包括的第一获取模块310、第二获取模块320、调用模块330以及更新模块340),使得处理器110可以执行如上方法实施例的基于云计算和人工智能的大数据挖掘方法,其中,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的数字内容订阅设备200进行数据收发。
处理器110的具体实现过程可参见上述数字内容中心100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图4所示的实施例中,应理解,处理器可以是中央处理器(英文:CentralProcessing Unit,CPU),还可以是其它通用处理器、数字信号处理器(英文:DigitalSignal Processor,DSP)、专用集成电路(英文:Application SpecificIntegratedCircuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
机器可读存储介质120可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
总线130可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
此外,本申请实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上基于云计算和人工智能的大数据挖掘方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定推送要素来描述本说明书的实施例。如“一个实施例”、“一实施例”和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对它们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、系统或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,被动编程语言如Python、Ruby和Groovy,或其它编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的索引排序在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书处理元素和序列的顺序、数字字母的使用、或其它名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
最后,应当理解的是,本说明书中实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种基于人工智能的挖掘网络训练方法,其特征在于,应用于数字内容中心,所述数字内容中心与多个数字内容订阅设备通信连接,所述方法包括:
获取至少一个标记挖掘源、所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果;
基于所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果对初始挖掘网络进行监督训练,得到目标挖掘网络。
2.根据权利要求1所述的基于人工智能的挖掘网络训练方法,其特征在于,所述方法还包括:
获取对采集特征项进行采集配置输出的采集配置结果,其中,所述采集配置结果包括针对每个采集特征项的目标大数据挖掘策略;
获取所述目标大数据挖掘策略对应的目标挖掘源、所述目标挖掘源对应的原始挖掘源数据以及所述目标挖掘源对应的更新用户行为数据,所述更新用户行为数据基于所述目标大数据挖掘策略在所述目标挖掘源中的至少部分更新结果确定得到,用于表征用户行为的更新变化;
调用所述目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,所述目标挖掘结果用于指示所述目标挖掘源中的各个挖掘对象的目标属性,任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标大数据挖掘策略或者所述任一挖掘对象不属于所述目标大数据挖掘策略;
基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,基于所述全局更新结果进行大数据挖掘。
3.根据权利要求2所述的基于人工智能的挖掘网络训练方法,其特征在于,所述调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据,获取所述目标挖掘源对应的目标挖掘结果,包括:
调用目标挖掘网络,基于所述原始挖掘源数据和所述更新用户行为数据的关联特征数据,依次执行第一迭代策略的正挖掘分析,得到所述目标挖掘源对应的第一挖掘分量;
基于所述第一挖掘分量对应的目标区分挖掘特征,依次执行所述第一迭代策略的负挖掘分析,得到所述目标挖掘源对应的第二挖掘分量;
对所述第二挖掘分量进行目标区分挖掘分析,得到所述目标挖掘源对应的目标挖掘结果。
4.根据权利要求2所述的基于人工智能的挖掘网络训练方法,其特征在于,所述第一迭代策略包括预设数量次的迭代挖掘,所述预设数量次为三次,任一次正挖掘分析包括一次区分挖掘分析和一次频繁模式挖掘分析;
所述基于所述原始挖掘源数据和所述更新用户行为数据的关联特征数据,依次执行第一迭代策略的正挖掘分析,得到所述目标挖掘源对应的第一挖掘分量,包括:
对所述原始挖掘源数据和所述更新用户行为数据的关联特征数据进行第一区分挖掘分析,得到所述目标挖掘源对应的第一区分挖掘特征;
对所述第一区分挖掘特征进行第一频繁模式挖掘分析,得到所述目标挖掘源对应的第一频繁模式挖掘特征;
对所述第一频繁模式挖掘特征进行第二区分挖掘分析,得到所述目标挖掘源对应的第二区分挖掘特征;
对所述第二区分挖掘特征进行第二频繁模式挖掘分析,得到所述目标挖掘源对应的第二频繁模式挖掘特征;
对所述第二频繁模式挖掘特征进行第三区分挖掘分析,得到所述目标挖掘源对应的第三区分挖掘特征;
对所述第三区分挖掘特征进行第三频繁模式挖掘分析,得到所述目标挖掘源对应的第一挖掘分量。
5.根据权利要求4所述的基于人工智能的挖掘网络训练方法,其特征在于,任一次负挖掘分析包括一次逆区分挖掘分析和一次区分挖掘分析;所述基于所述第一挖掘分量对应的目标区分挖掘特征,依次执行所述第一迭代策略的负挖掘分析,得到所述目标挖掘源对应的第二挖掘分量,包括:
对所述第一挖掘分量对应的目标区分挖掘特征进行第一逆区分挖掘分析,得到所述目标挖掘源对应的第一负挖掘特征;
对所述第一负挖掘特征和所述第三区分挖掘特征的拼接特征进行第四区分挖掘分析,得到所述目标挖掘源对应的第四区分挖掘特征;
对所述第四区分挖掘特征进行第二逆区分挖掘分析,得到所述目标挖掘源对应的第二负挖掘特征;
对所述第二负挖掘特征和所述第二区分挖掘特征的拼接特征进行第五区分挖掘分析,得到所述目标挖掘源对应的第五区分挖掘特征;
对所述第五区分挖掘特征进行第三逆区分挖掘分析,得到所述目标挖掘源对应的第三负挖掘特征;
对所述第三负挖掘特征和所述第一区分挖掘特征的拼接特征进行第六区分挖掘分析,得到所述目标挖掘源对应的第二挖掘分量。
6.根据权利要求2-5任意一项所述的基于人工智能的挖掘网络训练方法,其特征在于,所述目标挖掘源为初始挖掘源中与所述目标大数据挖掘策略对应的起始至少部分挖掘源;所述基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果之后,所述方法还包括:
响应于所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果不满足更新训练结束条件,基于所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,在所述初始挖掘源中获取与所述目标大数据挖掘策略对应的下一个至少部分挖掘源;
获取所述目标大数据挖掘策略在所述下一个至少部分挖掘源中的全局更新结果;
响应于所述目标大数据挖掘策略在所述下一个至少部分挖掘源中的全局更新结果满足所述更新训练结束条件,基于已获取的所述目标大数据挖掘策略在各个至少部分挖掘源中的全局更新结果,获取所述目标大数据挖掘策略在所述初始挖掘源中的全局更新结果。
7.根据权利要求2-5任意一项所述的基于人工智能的挖掘网络训练方法,其特征在于,所述目标挖掘源从包含所述目标大数据挖掘策略对应的目标挖掘节点的业务订阅挖掘源中获取得到;
所述任一挖掘对象的目标属性用于指示所述任一挖掘对象属于所述目标挖掘节点或者所述任一挖掘对象不属于所述目标挖掘节点;
所述基于所述目标挖掘结果,在所述目标挖掘源中对所述目标大数据挖掘策略进行更新,得到所述目标大数据挖掘策略在所述目标挖掘源中的全局更新结果,包括:
基于所述目标挖掘结果,在所述目标挖掘源中的各个挖掘对象中确定属于所述目标挖掘节点的目标挖掘对象;
基于所述目标挖掘对象,在所述目标挖掘源中标记出所述目标挖掘节点的挖掘业务片段以及所述目标挖掘节点的挖掘业务片段之间的关联关系,得到目标标记结果;
基于所述目标标记结果,获取所述目标挖掘节点在所述目标挖掘源中的全局更新结果。
8.根据权利要求2-5任意一项所述的基于人工智能的挖掘网络训练方法,其特征在于,所述获取对采集特征项进行采集配置输出的采集配置结果的步骤,包括:
获取基于信息推送策略的当前信息推送来源获得的业务功能区采集进程;
获取所述业务功能区采集进程的关键采集节点运行分布中的多个关键运行采集节点的采集大数据标签信息;每个关键运行采集节点用于表示所述业务功能区采集进程在采集准备过程中需要被采集的一个或者多个采集页面对象,且所述每个关键运行采集节点所表示的采集页面对象的采集特征项需要采集激活;任一关键运行采集节点的采集大数据标签信息用于反映所述任一关键运行采集节点和其它关键运行采集节点之间的采集类型关系;
根据各关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划,所述目标业务分层采集计划用于指示对被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置;
采用所述目标业务分层采集计划更新所述关键采集节点运行分布,并将更新后的关键采集节点运行分布发送至软件采集计划的采集配置进程,所述更新后的关键采集节点运行分布用于指示所述软件采集计划的采集配置进程按照所述目标业务分层采集计划的指示,在所述业务功能区采集进程的采集准备过程中对所述被业务分层的关键运行采集节点所表示的采集页面对象的采集特征项进行采集配置,并输出采集配置结果。
9.根据权利要求8所述的基于人工智能的挖掘网络训练方法,其特征在于,所述根据各关键运行采集节点的采集大数据标签信息,将至少两个关键运行采集节点业务分层为目标业务分层采集计划的步骤,包括:
根据各关键运行采集节点的采集大数据标签信息,构建由多个关键运行采集节点构成的采集计划数据标签网络;
基于采集计划数据标签网络,提取业务分层分布信息,业务分层分布信息包括:多层业务分层所需的采集计划序列,每个采集计划序列中至少存在一个采集计划为关键运行采集节点;
按照业务分层分布信息对多个关键运行采集节点进行至少一层业务分层迭代处理,得到目标业务分层采集计划,其中,按照业务分层分布信息确定第w层业务分层所需的第w采集计划序列,并根据第w采集计划序列中的每个采集计划的采集计划跳转次数确定第w采集计划序列的采集计划跳转次数总和;w∈[1,W],W为业务分层分布信息的分布层级数;当第w采集计划序列的采集计划跳转次数总和小于或等于采集计划跳转次数阈值时,对第w采集计划序列中的各采集计划进行业务分层处理,得到第w业务分层采集计划;若W的当前取值小于W,且按照业务分层层次信息获取的第w+1层业务分层所需的第w+1采集计划序列的采集计划跳转次数总和大于采集计划跳转次数阈值,则根据第w业务分层采集计划得到目标业务分层采集计划。
10.一种基于云计算和人工智能的大数据挖掘系统,所述基于云计算和人工智能的大数据挖掘系统包括数字内容中心以及与所述数字内容中心通信连接的多个数字内容订阅设备;
所述数字内容中心,用于:
获取至少一个标记挖掘源、所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果;
基于所述至少一个标记挖掘源分别对应的原始标记挖掘源数据、所述至少一个标记挖掘源分别对应的更新参考标记数据以及所述至少一个标记挖掘源分别对应的标准挖掘结果对初始挖掘网络进行监督训练,得到目标挖掘网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110611157.8A CN113535799A (zh) | 2020-12-17 | 2020-12-17 | 基于人工智能的挖掘网络训练方法及系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110611157.8A CN113535799A (zh) | 2020-12-17 | 2020-12-17 | 基于人工智能的挖掘网络训练方法及系统 |
CN202011499130.6A CN112506999B (zh) | 2020-12-17 | 2020-12-17 | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011499130.6A Division CN112506999B (zh) | 2020-12-17 | 2020-12-17 | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113535799A true CN113535799A (zh) | 2021-10-22 |
Family
ID=74922446
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011499130.6A Active CN112506999B (zh) | 2020-12-17 | 2020-12-17 | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 |
CN202110611157.8A Withdrawn CN113535799A (zh) | 2020-12-17 | 2020-12-17 | 基于人工智能的挖掘网络训练方法及系统 |
CN202110611130.9A Withdrawn CN113535798A (zh) | 2020-12-17 | 2020-12-17 | 基于大数据挖掘的网络训练方法及数字内容中心 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011499130.6A Active CN112506999B (zh) | 2020-12-17 | 2020-12-17 | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110611130.9A Withdrawn CN113535798A (zh) | 2020-12-17 | 2020-12-17 | 基于大数据挖掘的网络训练方法及数字内容中心 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN112506999B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077356B (zh) * | 2021-04-25 | 2022-10-14 | 上海德衡数据科技有限公司 | 基于农业物联网的监控方法、系统、设备及介质 |
CN113592034B (zh) * | 2021-08-23 | 2022-07-22 | 江苏鼎跃腾信息技术有限公司 | 基于大数据可视化挖掘处理的内容推送方法及ai管控系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562537B (zh) * | 2009-05-19 | 2011-04-20 | 华中科技大学 | 分布式自优化入侵检测报警关联系统 |
CN101794115B (zh) * | 2010-03-08 | 2011-09-14 | 清华大学 | 一种基于规则参数全局协调优化的调度规则智能挖掘方法 |
CN102567314B (zh) * | 2010-12-07 | 2015-03-04 | 中国电信股份有限公司 | 知识查询装置和方法 |
CN102306183B (zh) * | 2011-08-30 | 2014-05-21 | 王洁 | 一种对事务数据流进行闭合加权频繁模式挖掘的方法 |
US20180159876A1 (en) * | 2016-12-05 | 2018-06-07 | International Business Machines Corporation | Consolidating structured and unstructured security and threat intelligence with knowledge graphs |
CN109388661B (zh) * | 2017-08-02 | 2020-04-21 | 创新先进技术有限公司 | 一种基于共享数据的模型训练方法及装置 |
CN109509509B (zh) * | 2018-09-29 | 2020-12-22 | 江西理工大学 | 基于动态加权蛋白质相互作用网络的蛋白质复合物挖掘方法 |
CN110309198A (zh) * | 2019-06-03 | 2019-10-08 | 东北电力大学 | 一种基于分布式数据流处理的局部节点挖掘方法 |
CN110909787B (zh) * | 2019-11-18 | 2023-05-12 | 安徽大学 | 基于聚类的进化算法进行多目标批调度优化的方法和系统 |
CN111708785B (zh) * | 2020-06-27 | 2021-01-05 | 深圳市创世易明科技有限公司 | 大数据挖掘处理方法、装置及云平台 |
CN111950611A (zh) * | 2020-07-30 | 2020-11-17 | 西南大学 | 基于随机梯度追踪技术的大数据二分类分布式优化方法 |
-
2020
- 2020-12-17 CN CN202011499130.6A patent/CN112506999B/zh active Active
- 2020-12-17 CN CN202110611157.8A patent/CN113535799A/zh not_active Withdrawn
- 2020-12-17 CN CN202110611130.9A patent/CN113535798A/zh not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN113535798A (zh) | 2021-10-22 |
CN112506999A (zh) | 2021-03-16 |
CN112506999B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107704265B (zh) | 一种面向业务流可配置的规则生成方法 | |
US11620574B2 (en) | Holistic optimization for accelerating iterative machine learning | |
CN107644323B (zh) | 一种面向业务流的智能审核系统 | |
Jia et al. | Enhancing reuse of constraint solutions to improve symbolic execution | |
US9390176B2 (en) | System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data | |
CN109189469B (zh) | 基于反射的安卓应用微服务化方法及系统 | |
CN112394942B (zh) | 基于云计算的分布式软件开发编译方法及软件开发平台 | |
CN112464105B (zh) | 基于大数据定位的互联网平台信息推送方法及云计算中心 | |
CN112506999B (zh) | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 | |
CN112115162A (zh) | 基于电子商务云计算的大数据处理方法及人工智能服务器 | |
CN113626241A (zh) | 应用程序的异常处理方法、装置、设备及存储介质 | |
CN112395199B (zh) | 基于云计算的分布式软件实例测试方法及软件开发平台 | |
CN112613072B (zh) | 基于档案大数据的信息管理方法、管理系统及管理云平台 | |
CN112486710B (zh) | 基于大数据和人工智能的信息采集方法及数字内容服务平台 | |
CN112579755A (zh) | 基于人工智能和云计算的信息应答方法及信息互动平台 | |
CN117216092A (zh) | 一种优化tdsql脚本的方法、装置、设备及可读存储介质 | |
CN101930437B (zh) | 在语义网进行查询的不确定与不一致本体推理方法和设备 | |
CN114791865A (zh) | 一种基于关系图的配置项自洽性检测方法、系统和介质 | |
CN112579756A (zh) | 基于云计算和区块链的服务响应方法及人工智能互动平台 | |
CN112463595A (zh) | 基于云计算的移动端软件开发处理方法及云计算软件平台 | |
CN114648121A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CA2254494A1 (en) | Method of identifying recurring code constructs | |
US12020008B2 (en) | Extensibility recommendation system for custom code objects | |
CN118092874B (zh) | 一种基于图集扩展的api编排方法及装置 | |
CN112633379A (zh) | 一种物联网数据融合方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211022 |