CN111708785B - 大数据挖掘处理方法、装置及云平台 - Google Patents
大数据挖掘处理方法、装置及云平台 Download PDFInfo
- Publication number
- CN111708785B CN111708785B CN202010593710.5A CN202010593710A CN111708785B CN 111708785 B CN111708785 B CN 111708785B CN 202010593710 A CN202010593710 A CN 202010593710A CN 111708785 B CN111708785 B CN 111708785B
- Authority
- CN
- China
- Prior art keywords
- data
- mining
- application program
- service
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据挖掘处理方法、装置及云平台，涉及数据处理技术领域；本发明首先在采集到应用程序行为数据后提取应用程序行为数据的行为特征向量并确定多个应用业务数据片段，其次将应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘从而得到挖掘结果，然后根据挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量确定应用程序行为数据的数据挖掘分布图，最后基于应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对用户终端的用户画像数据进行生成得到生成结果。如此，能够大数据挖掘处理的准确性和可靠性。
Description
技术领域
本发明涉及大数据技术领域，特别涉及大数据挖掘处理方法、装置及云平台。
背景技术
在用户终端的应用程序的使用过程中，会产生很多应用程序行为数据，例如用户操作行为数据、用户浏览行为数据、用户设置行为数据等等，如何对这些应用程序数据进行有效挖掘，从而确定相关的用户画像，以便于后续的信息推送，是本领域亟待解决的技术问题。然而在实际应用中，大数据挖掘处理的准确性和可靠性较差。
发明内容
为改善相关技术中存在的上述技术问题，本公开提供了大数据挖掘处理方法、装置及云平台。
一种大数据挖掘处理方法，应用于与用户终端通信的云平台，所述方法包括：
在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的特征向量；
将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘；
根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图；
基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果。
一种示例中，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段，包括：
将所述应用程序行为数据中的行为对象列出，确定每个行为对象的操作频率，按照所述操作频率由大到小的顺序将所述行为对象进行排序得到所述行为特征向量；
获取所述行为特征向量的向量片段序列以及所述应用程序行为数据的多个应用程序业务对象序列；在根据所述向量片段序列确定出所述应用程序行为数据中包含有可挖掘数据对象的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在目标挖掘数据对象下的各应用程序业务对象序列与所述应用程序行为数据在所述可挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数；将所述应用程序行为数据在所述目标挖掘数据对象下的与在所述可挖掘数据对象下的应用程序业务对象序列的挖掘相关参数最小的应用程序业务对象序列调整到所述可挖掘数据对象下；
在所述应用程序行为数据对应的所述目标挖掘数据对象下包含有多个应用程序业务对象序列的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在所述目标挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数，并基于所述各应用程序业务对象序列之间的挖掘相关参数对所述目标挖掘数据对象下的各应用程序业务对象序列进行融合；根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息为上述融合获得的目标应用程序业务对象序列设置调整挖掘策略，并将所述目标应用程序业务对象序列调整到所述调整挖掘策略所对应的所述可挖掘数据对象的设定节点处；
基于所述行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对所述目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段。
一种示例中，根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图，包括：
提取所述挖掘结果的挖掘特征向量参数，在所述挖掘特征向量参数满足所述用户终端的预设挖掘参数时，确定所述挖掘特征向量参数对应的目标应用业务数据片段；
按照设定片段长度提取所述目标应用业务数据片段的片段分区特征；
生成所述片段分区特征对应的分区位图以及目标应用业务数据片段对应的片段业务状态位图，所述分区位图和所述片段业务状态位图分别包括多个不同状态值的位图单位；
提取所述片段分区特征在所述分区位图的其中一个位图单位的位图属性表达结果并将所述片段业务状态位图中具有最小状态值的位图单位确定为基准位图单位；
将所述位图属性表达结果模拟至所述基准位图单位中以在所述基准位图单位中得到模拟对象信息，然后基于所述位图属性表达结果以及所述模拟对象信息生成所述片段分区特征和所述目标应用业务数据片段之间的数据关联信息；
以所述模拟对象信息为信息模板在所述基准位图单位中获取对象挖掘分布信息，根据所述数据关联信息对应的关联行为节点将所述对象挖掘分布信息模拟到所述位图属性表达结果所在位图单位中并在所述位图属性表达结果所在的位图单位中得到所述对象挖掘分布信息对应的模拟挖掘分布信息；
将所述模拟挖掘分布信息中的挖掘分布节点和分布关联信息列出并根据所述挖掘分布节点和所述分布关联信息生成所述应用程序行为数据的数据挖掘分布图。
一种示例中，基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果，包括：
确定基于所述应用程序行为数据以及所述数据挖掘分布图所确定的与所述用户画像数据对应的画像特征信息，采用所述画像特征信息对所述用户画像数据进行深度提取得到目标画像特征信息；
针对所述目标画像特征信息中的当前画像特征信息，基于当前画像特征信息在预设时段区间内的第一特征节点以及各所述目标画像特征信息在所述预设时段区间内的第二特征节点，确定当前画像特征信息在所述预设时段区间内的特征节点序列；
根据当前画像特征信息在两个相邻的预设时段区间内的特征节点序列确定当前画像特征信息在两个相邻的设定时间段之间的目标画像标签信息，根据所述目标画像标签信息对所述用户终端的用户画像数据进行生成得到生成结果。
一种大数据挖掘处理装置，应用于与用户终端通信的云平台，所述装置包括：
索引分析模块，用于在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的特征向量；
挖掘模块，用于将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘；
确定模块，用于根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图；
生成模块，用于基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果。
一种云平台，包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，通过执行所述计算机程序以实现上述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
本公开的实施例提供的技术方案，首先在采集到应用程序行为数据后提取应用程序行为数据的行为特征向量并确定多个应用业务数据片段，其次将应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘从而得到挖掘结果，然后根据挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量确定应用程序行为数据的数据挖掘分布图，最后基于应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对用户终端的用户画像数据进行生成得到生成结果。如此，能够大数据挖掘处理的准确性和可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的大数据挖掘处理系统的示意图。
图2是根据一示例性实施例示出的一种大数据挖掘处理方法的流程图。
图3是根据一示例性实施例示出的一种大数据挖掘处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为改善现有技术存在的对用户终端进行大数据挖掘处理的方法准确性和可靠性较差的技术问题，本发明实施例提供了一种大数据挖掘处理方法、装置及云平台。
请首先参阅图1，为本发明实施例提供的大数据挖掘处理系统10的结构框图，所述大数据挖掘处理系统10可以包括云平台100以及用户终端200，所述云平台与所述用户终端200通信。
请结合参阅图2，为本发明实施例提供的大数据挖掘处理方法的流程图，所述大数据挖掘处理方法可以应用于图1中的云平台100，具体可以包括以下步骤所描述的设定行为标识。
步骤S110，在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的序列。
步骤S120，将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘。
步骤S130，根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图。
步骤S140，基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果。
在应用上述步骤S110-步骤S140所描述的方法时，首先在采集到应用程序行为数据后提取应用程序行为数据的行为特征向量并确定多个应用业务数据片段，其次将应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘从而得到挖掘结果，然后根据挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量确定应用程序行为数据的数据挖掘分布图，最后基于应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对用户终端的用户画像数据进行生成得到生成结果。如此，能够大数据挖掘处理的准确性和可靠性。
在一种可替换的实施方式中，为了准确地对应用程序行为数据进行索引分析，在步骤S110中，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段，具体可以包括以下步骤所描述的内容。
步骤S111，将所述应用程序行为数据中的行为对象列出，确定每个行为对象的操作频率，按照所述操作频率由大到小的顺序将所述行为对象进行排序得到所述行为特征向量；
步骤S112，获取所述行为特征向量的向量片段序列以及所述应用程序行为数据的多个应用程序业务对象序列；在根据所述向量片段序列确定出所述应用程序行为数据中包含有可挖掘数据对象的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在目标挖掘数据对象下的各应用程序业务对象序列与所述应用程序行为数据在所述可挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数；将所述应用程序行为数据在所述目标挖掘数据对象下的与在所述可挖掘数据对象下的应用程序业务对象序列的挖掘相关参数最小的应用程序业务对象序列调整到所述可挖掘数据对象下；
步骤S113，在所述应用程序行为数据对应的所述目标挖掘数据对象下包含有多个应用程序业务对象序列的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在所述目标挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数，并基于所述各应用程序业务对象序列之间的挖掘相关参数对所述目标挖掘数据对象下的各应用程序业务对象序列进行融合；根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息为上述融合获得的目标应用程序业务对象序列设置调整挖掘策略，并将所述目标应用程序业务对象序列调整到所述调整挖掘策略所对应的所述可挖掘数据对象的设定节点处；
步骤S114，基于所述行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对所述目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段。
可以理解，通过上述步骤S111-步骤S114，能够对应用程序行为数据的目标挖掘数据对象以及可挖掘数据对象下的应用程序业务对象序列进行调整和更新，这样可以基于行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段，从而准确地对应用程序行为数据进行索引分析。
在一个可替换的实施方式中，为了确保数据挖掘分布图的连续性，避免数据挖掘分布图出现断层，在步骤S130中，根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图，具体可以包括以下步骤所描述的内容。
步骤S131，提取所述挖掘结果的挖掘特征向量参数，在所述挖掘特征向量参数满足所述用户终端的预设挖掘参数时，确定所述挖掘特征向量参数对应的目标应用业务数据片段；
步骤S132，按照设定片段长度提取所述目标应用业务数据片段的片段分区特征；
步骤S133，生成所述片段分区特征对应的分区位图以及目标应用业务数据片段对应的片段业务状态位图，所述分区位图和所述片段业务状态位图分别包括多个不同状态值的位图单位；
步骤S134，提取所述片段分区特征在所述分区位图的其中一个位图单位的位图属性表达结果并将所述片段业务状态位图中具有最小状态值的位图单位确定为基准位图单位；
步骤S135，将所述位图属性表达结果模拟至所述基准位图单位中以在所述基准位图单位中得到模拟对象信息，然后基于所述位图属性表达结果以及所述模拟对象信息生成所述片段分区特征和所述目标应用业务数据片段之间的数据关联信息；
步骤S136，以所述模拟对象信息为信息模板在所述基准位图单位中获取对象挖掘分布信息，根据所述数据关联信息对应的关联行为节点将所述对象挖掘分布信息模拟到所述位图属性表达结果所在位图单位中并在所述位图属性表达结果所在的位图单位中得到所述对象挖掘分布信息对应的模拟挖掘分布信息；
步骤S137，将所述模拟挖掘分布信息中的挖掘分布节点和分布关联信息列出并根据所述挖掘分布节点和所述分布关联信息生成所述应用程序行为数据的数据挖掘分布图。
可以理解，通过上述步骤S131-步骤S137所描述的内容，能够确保数据挖掘分布图的连续性，避免数据挖掘分布图出现断层。
在具体实施时，为了确保生成结果的准确性和可靠性，在步骤S140中，基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果，具体可以包括以下步骤所描述的内容。
步骤S141，确定基于所述应用程序行为数据以及所述数据挖掘分布图所确定的与所述用户画像数据对应的画像特征信息，采用所述画像特征信息对所述用户画像数据进行深度提取得到目标画像特征信息；
步骤S142，针对所述目标画像特征信息中的当前画像特征信息，基于当前画像特征信息在预设时段区间内的第一特征节点以及各所述目标画像特征信息在所述预设时段区间内的第二特征节点，确定当前画像特征信息在所述预设时段区间内的特征节点序列；
步骤S143，根据当前画像特征信息在两个相邻的预设时段区间内的特征节点序列确定当前画像特征信息在两个相邻的设定时间段之间的目标画像标签信息，根据所述目标画像标签信息对所述用户终端的用户画像数据进行生成得到生成结果。
通过上述步骤S141-步骤S143所描述的内容，能够确保生成结果的准确性和可靠性。
请结合参阅图3，提供了一种大数据挖掘处理装置210，应用于与用户终端通信的云平台，所述装置210包括：
索引分析模块211，用于在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的序列；
挖掘模块212，用于将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘；
确定模块213，用于根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图；
生成模块214，用于基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果。
可选地，所述索引分析模块211，用于：
将所述应用程序行为数据中的行为对象列出，确定每个行为对象的操作频率，按照所述操作频率由大到小的顺序将所述行为对象进行排序得到所述行为特征向量；
获取所述行为特征向量的向量片段序列以及所述应用程序行为数据的多个应用程序业务对象序列；在根据所述向量片段序列确定出所述应用程序行为数据中包含有可挖掘数据对象的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在目标挖掘数据对象下的各应用程序业务对象序列与所述应用程序行为数据在所述可挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数；将所述应用程序行为数据在所述目标挖掘数据对象下的与在所述可挖掘数据对象下的应用程序业务对象序列的挖掘相关参数最小的应用程序业务对象序列调整到所述可挖掘数据对象下；
在所述应用程序行为数据对应的所述目标挖掘数据对象下包含有多个应用程序业务对象序列的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在所述目标挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数，并基于所述各应用程序业务对象序列之间的挖掘相关参数对所述目标挖掘数据对象下的各应用程序业务对象序列进行融合；根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息为上述融合获得的目标应用程序业务对象序列设置调整挖掘策略，并将所述目标应用程序业务对象序列调整到所述调整挖掘策略所对应的所述可挖掘数据对象的设定节点处；
基于所述行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对所述目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段。
可选地，所述确定模块213，用于：
提取所述挖掘结果的挖掘特征向量参数，在所述挖掘特征向量参数满足所述用户终端的预设挖掘参数时，确定所述挖掘特征向量参数对应的目标应用业务数据片段；
按照设定片段长度提取所述目标应用业务数据片段的片段分区特征；
生成所述片段分区特征对应的分区位图以及目标应用业务数据片段对应的片段业务状态位图，所述分区位图和所述片段业务状态位图分别包括多个不同状态值的位图单位；
提取所述片段分区特征在所述分区位图的其中一个位图单位的位图属性表达结果并将所述片段业务状态位图中具有最小状态值的位图单位确定为基准位图单位；
将所述位图属性表达结果模拟至所述基准位图单位中以在所述基准位图单位中得到模拟对象信息，然后基于所述位图属性表达结果以及所述模拟对象信息生成所述片段分区特征和所述目标应用业务数据片段之间的数据关联信息；
以所述模拟对象信息为信息模板在所述基准位图单位中获取对象挖掘分布信息，根据所述数据关联信息对应的关联行为节点将所述对象挖掘分布信息模拟到所述位图属性表达结果所在位图单位中并在所述位图属性表达结果所在的位图单位中得到所述对象挖掘分布信息对应的模拟挖掘分布信息；
将所述模拟挖掘分布信息中的挖掘分布节点和分布关联信息列出并根据所述挖掘分布节点和所述分布关联信息生成所述应用程序行为数据的数据挖掘分布图。
可选地，所述生成模块214，用于：
确定基于所述应用程序行为数据以及所述数据挖掘分布图所确定的与所述用户画像数据对应的画像特征信息，采用所述画像特征信息对所述用户画像数据进行深度提取得到目标画像特征信息；
针对所述目标画像特征信息中的当前画像特征信息，基于当前画像特征信息在预设时段区间内的第一特征节点以及各所述目标画像特征信息在所述预设时段区间内的第二特征节点，确定当前画像特征信息在所述预设时段区间内的特征节点序列；
根据当前画像特征信息在两个相邻的预设时段区间内的特征节点序列确定当前画像特征信息在两个相邻的设定时间段之间的目标画像标签信息，根据所述目标画像标签信息对所述用户终端的用户画像数据进行生成得到生成结果。
在上述基础上，还提供了一种云平台，包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，通过执行所述计算机程序以实现上述的方法。
进一步地，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (6)
1.一种大数据挖掘处理方法，其特征在于，应用于与用户终端通信的云平台，所述方法包括：
在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的特征向量；
将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘；
根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图；
基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果；
提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段，包括：
将所述应用程序行为数据中的行为对象列出，确定每个行为对象的操作频率，按照所述操作频率由大到小的顺序将所述行为对象进行排序得到所述行为特征向量；
获取所述行为特征向量的向量片段序列以及所述应用程序行为数据的多个应用程序业务对象序列；在根据所述向量片段序列确定出所述应用程序行为数据中包含有可挖掘数据对象的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在目标挖掘数据对象下的各应用程序业务对象序列与所述应用程序行为数据在所述可挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数；将所述应用程序行为数据在所述目标挖掘数据对象下的与在所述可挖掘数据对象下的应用程序业务对象序列的挖掘相关参数最小的应用程序业务对象序列调整到所述可挖掘数据对象下；
在所述应用程序行为数据对应的所述目标挖掘数据对象下包含有多个应用程序业务对象序列的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在所述目标挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数，并基于所述各应用程序业务对象序列之间的挖掘相关参数对所述目标挖掘数据对象下的各应用程序业务对象序列进行融合；根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息为上述融合获得的目标应用程序业务对象序列设置调整挖掘策略，并将所述目标应用程序业务对象序列调整到所述调整挖掘策略所对应的所述可挖掘数据对象的设定节点处；
基于所述行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对所述目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段；
根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图，包括：
提取所述挖掘结果的挖掘特征向量参数，在所述挖掘特征向量参数满足所述用户终端的预设挖掘参数时，确定所述挖掘特征向量参数对应的目标应用业务数据片段；
按照设定片段长度提取所述目标应用业务数据片段的片段分区特征；
生成所述片段分区特征对应的分区位图以及目标应用业务数据片段对应的片段业务状态位图，所述分区位图和所述片段业务状态位图分别包括多个不同状态值的位图单位；
提取所述片段分区特征在所述分区位图的其中一个位图单位的位图属性表达结果并将所述片段业务状态位图中具有最小状态值的位图单位确定为基准位图单位；
将所述位图属性表达结果模拟至所述基准位图单位中以在所述基准位图单位中得到模拟对象信息，然后基于所述位图属性表达结果以及所述模拟对象信息生成所述片段分区特征和所述目标应用业务数据片段之间的数据关联信息；
以所述模拟对象信息为信息模板在所述基准位图单位中获取对象挖掘分布信息，根据所述数据关联信息对应的关联行为节点将所述对象挖掘分布信息模拟到所述位图属性表达结果所在位图单位中并在所述位图属性表达结果所在的位图单位中得到所述对象挖掘分布信息对应的模拟挖掘分布信息；
将所述模拟挖掘分布信息中的挖掘分布节点和分布关联信息列出并根据所述挖掘分布节点和所述分布关联信息生成所述应用程序行为数据的数据挖掘分布图。
2.根据权利要求1所述的方法，其特征在于，基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果，包括：
确定基于所述应用程序行为数据以及所述数据挖掘分布图所确定的与所述用户画像数据对应的画像特征信息，采用所述画像特征信息对所述用户画像数据进行深度提取得到目标画像特征信息；
针对所述目标画像特征信息中的当前画像特征信息，基于当前画像特征信息在预设时段区间内的第一特征节点以及各所述目标画像特征信息在所述预设时段区间内的第二特征节点，确定当前画像特征信息在所述预设时段区间内的特征节点序列；
根据当前画像特征信息在两个相邻的预设时段区间内的特征节点序列确定当前画像特征信息在两个相邻的设定时间段之间的目标画像标签信息，根据所述目标画像标签信息对所述用户终端的用户画像数据进行生成得到生成结果。
3.一种大数据挖掘处理装置，其特征在于，应用于与用户终端通信的云平台，所述装置包括：
索引分析模块，用于在采集到所述用户终端实时通过应用程序上传的应用程序行为数据后，提取所述应用程序行为数据的行为特征向量，并基于所述行为特征向量对所述应用程序行为数据进行索引分析得到多个应用业务数据片段；其中，所述行为特征向量为所述应用程序行为数据中与待挖掘业务相关的设定行为标识所形成的特征向量；
挖掘模块，用于将所述应用程序行为数据的每组应用业务数据片段与设定数据片段序列中各设定数据片段进行挖掘；其中，所述设定数据片段序列中保存有多个设定数据片段以及每组设定数据片段对应的业务分布信息，所述多个设定数据片段为所述待挖掘业务所在的用户业务范围的业务节点信息序列；其中，如果所提取出的应用程序行为数据的每组应用业务数据片段包括多个业务分布信息，则通过以下方式进行挖掘：按照预先为各个业务分布信息配置的挖掘策略，进行多级挖掘；其中，在每级挖掘中，仅基于每组应用业务数据片段中的其中一个业务分布信息进行挖掘，并将符合预设条件的应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘应用业务数据片段输入到下一级挖掘模型中，以便基于下一个业务分布信息进行挖掘；
确定模块，用于根据与所述应用程序行为数据的挖掘结果符合预设条件的目标应用业务数据片段对应的数据片段分量，确定所述应用程序行为数据的数据挖掘分布图；
生成模块，用于基于所述应用程序行为数据以及确定出的应用程序行为数据的数据挖掘分布图对所述用户终端的用户画像数据进行生成得到生成结果；
所述索引分析模块，用于：
将所述应用程序行为数据中的行为对象列出，确定每个行为对象的操作频率，按照所述操作频率由大到小的顺序将所述行为对象进行排序得到所述行为特征向量；
获取所述行为特征向量的向量片段序列以及所述应用程序行为数据的多个应用程序业务对象序列；在根据所述向量片段序列确定出所述应用程序行为数据中包含有可挖掘数据对象的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在目标挖掘数据对象下的各应用程序业务对象序列与所述应用程序行为数据在所述可挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数；将所述应用程序行为数据在所述目标挖掘数据对象下的与在所述可挖掘数据对象下的应用程序业务对象序列的挖掘相关参数最小的应用程序业务对象序列调整到所述可挖掘数据对象下；
在所述应用程序行为数据对应的所述目标挖掘数据对象下包含有多个应用程序业务对象序列的情况下，根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息确定所述应用程序行为数据在所述目标挖掘数据对象下的各应用程序业务对象序列之间的挖掘相关参数，并基于所述各应用程序业务对象序列之间的挖掘相关参数对所述目标挖掘数据对象下的各应用程序业务对象序列进行融合；根据所述应用程序行为数据在所述可挖掘数据对象下的应用程序业务对象序列及其业务验证信息为上述融合获得的目标应用程序业务对象序列设置调整挖掘策略，并将所述目标应用程序业务对象序列调整到所述调整挖掘策略所对应的所述可挖掘数据对象的设定节点处；
基于所述行为特征向量中的向量片段序列对应的存在分段标识的目标节点的节点属性对所述目标挖掘数据对象下的应用程序业务对象序列进行分段处理得到多个应用业务数据片段；
所述确定模块，用于：
提取所述挖掘结果的挖掘特征向量参数，在所述挖掘特征向量参数满足所述用户终端的预设挖掘参数时，确定所述挖掘特征向量参数对应的目标应用业务数据片段；
按照设定片段长度提取所述目标应用业务数据片段的片段分区特征；
生成所述片段分区特征对应的分区位图以及目标应用业务数据片段对应的片段业务状态位图，所述分区位图和所述片段业务状态位图分别包括多个不同状态值的位图单位；
提取所述片段分区特征在所述分区位图的其中一个位图单位的位图属性表达结果并将所述片段业务状态位图中具有最小状态值的位图单位确定为基准位图单位；
将所述位图属性表达结果模拟至所述基准位图单位中以在所述基准位图单位中得到模拟对象信息，然后基于所述位图属性表达结果以及所述模拟对象信息生成所述片段分区特征和所述目标应用业务数据片段之间的数据关联信息；
以所述模拟对象信息为信息模板在所述基准位图单位中获取对象挖掘分布信息，根据所述数据关联信息对应的关联行为节点将所述对象挖掘分布信息模拟到所述位图属性表达结果所在位图单位中并在所述位图属性表达结果所在的位图单位中得到所述对象挖掘分布信息对应的模拟挖掘分布信息；
将所述模拟挖掘分布信息中的挖掘分布节点和分布关联信息列出并根据所述挖掘分布节点和所述分布关联信息生成所述应用程序行为数据的数据挖掘分布图。
4.根据权利要求3所述的装置，其特征在于，所述生成模块，用于：
确定基于所述应用程序行为数据以及所述数据挖掘分布图所确定的与所述用户画像数据对应的画像特征信息，采用所述画像特征信息对所述用户画像数据进行深度提取得到目标画像特征信息；
针对所述目标画像特征信息中的当前画像特征信息，基于当前画像特征信息在预设时段区间内的第一特征节点以及各所述目标画像特征信息在所述预设时段区间内的第二特征节点，确定当前画像特征信息在所述预设时段区间内的特征节点序列；
根据当前画像特征信息在两个相邻的预设时段区间内的特征节点序列确定当前画像特征信息在两个相邻的设定时间段之间的目标画像标签信息，根据所述目标画像标签信息对所述用户终端的用户画像数据进行生成得到生成结果。
5.一种云平台，其特征在于，包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，通过执行所述计算机程序以实现上述权利要求1-2任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现上述权利要求1-2任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010593710.5A CN111708785B (zh) | 2020-06-27 | 2020-06-27 | 大数据挖掘处理方法、装置及云平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010593710.5A CN111708785B (zh) | 2020-06-27 | 2020-06-27 | 大数据挖掘处理方法、装置及云平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111708785A CN111708785A (zh) | 2020-09-25 |
| CN111708785B true CN111708785B (zh) | 2021-01-05 |
Family
ID=72543051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010593710.5A Active CN111708785B (zh) | 2020-06-27 | 2020-06-27 | 大数据挖掘处理方法、装置及云平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708785B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184224A (zh) * | 2020-09-29 | 2021-01-05 | 朱捷 | 一种实现数据再生和结算的方法及系统 |
| CN112506999B (zh) * | 2020-12-17 | 2021-07-16 | 福建顶点软件股份有限公司 | 基于云计算和人工智能的大数据挖掘方法及数字内容服务器 |
| CN113590601A (zh) * | 2020-12-30 | 2021-11-02 | 陈静 | 用于云计算业务的大数据挖掘方法及系统 |
| CN112685787B (zh) * | 2021-02-23 | 2022-07-12 | 武汉钐秾科技有限公司 | 应用于人工智能的大数据信息安全防护方法及云服务器 |
| CN113535815B (zh) * | 2021-07-08 | 2022-12-09 | 深圳市万恒科技有限公司 | 适于电子商务的业务操作行为大数据挖掘方法及系统 |
| CN114238312A (zh) * | 2021-11-26 | 2022-03-25 | 上海维智卓新信息科技有限公司 | 基于位图计算的用户画像确定方法及装置 |
| CN116521761B (zh) * | 2023-06-16 | 2023-09-29 | 创域智能(常熟)网联科技有限公司 | 基于人工智能的传感器运行行为挖掘方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150242891A1 (en) * | 2014-02-25 | 2015-08-27 | Kinetic Art Ltd. | Method and system for matching commercial products to users of mobile applications |
| CN105450516B (zh) * | 2015-12-25 | 2018-10-16 | 精硕科技（北京）股份有限公司 | 链接路由方法、电子系统及其电子设备和服务器 |
| CN106095833B (zh) * | 2016-06-01 | 2019-04-16 | 竹间智能科技（上海）有限公司 | 人机对话内容处理方法 |
| CN107818095A (zh) * | 2016-09-12 | 2018-03-20 | 湖南移商动力网络技术有限公司 | 一种基于多媒体数据库的数据挖掘方法 |
| CN107729560A (zh) * | 2017-11-08 | 2018-02-23 | 北京奇虎科技有限公司 | 基于大数据的用户画像构造方法、装置及计算设备 |
| CN109933727A (zh) * | 2019-03-22 | 2019-06-25 | 北京博明信德科技有限公司 | 用户画像生成方法及系统、用户画像应用方法及系统 |
-
2020
- 2020-06-27 CN CN202010593710.5A patent/CN111708785B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111708785A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111708785B (zh) | 大数据挖掘处理方法、装置及云平台 | |
| CN109754089B (zh) | 一种模型训练系统及方法 | |
| CN111783812B (zh) | 违禁图像识别方法、装置和计算机可读存储介质 | |
| CN111310057B (zh) | 在线学习挖掘方法、装置、在线学习系统及服务器 | |
| CN114529765B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN110909868A (zh) | 基于图神经网络模型的节点表示方法和装置 | |
| CN112084761B (zh) | 一种水利工程信息管理方法及装置 | |
| CN112633341A (zh) | 一种界面测试方法、装置、计算机设备和存储介质 | |
| CN113098884A (zh) | 基于大数据的网络安全监控方法、云平台系统及介质 | |
| CN111459796A (zh) | 自动化测试方法、装置、计算机设备和存储介质 | |
| CN110009045A (zh) | 物联网终端的识别方法和装置 | |
| CN107948721B (zh) | 推送信息的方法和装置 | |
| CN114612702A (zh) | 基于深度学习的图像数据标注系统及其方法 | |
| CN113537249A (zh) | 图像的确定方法、装置、存储介质及电子装置 | |
| CN116737800A (zh) | 应用于供应链平台服务的大数据挖掘方法及系统 | |
| CN110177006B (zh) | 基于接口预测模型的节点测试方法及装置 | |
| US20220276954A1 (en) | Device identification device, device identification method, and device identification program | |
| CN110874387B (zh) | 移动设备识别符共现关系稀疏图的构建方法及装置 | |
| CN113032547B (zh) | 基于人工智能的大数据处理方法、系统及云平台 | |
| CN112084400A (zh) | 移动互联网用户管理方法、装置及系统 | |
| CN114528973A (zh) | 业务处理模型的生成方法、业务处理方法和装置 | |
| CN113282781B (zh) | 图像检索方法及装置 | |
| KR102265678B1 (ko) | 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치 | |
| CN113038283B (zh) | 视频推荐方法、装置和存储介质 | |
| CN112860994A (zh) | 结合大数据服务的业务数据推送方法及深度学习服务系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201218 Address after: 518110 901, No.1, langrong Road, Xinshi community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Chuangshi Yiming Technology Co.,Ltd. Address before: 510700 self made B040, 5th floor, 2-2, Chengmen street, Huangpu District, Guangzhou City, Guangdong Province Applicant before: Guangzhou yunmofan Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |