CN111597097B - 一种大数据处理方法及系统 - Google Patents
一种大数据处理方法及系统 Download PDFInfo
- Publication number
- CN111597097B CN111597097B CN202010317283.8A CN202010317283A CN111597097B CN 111597097 B CN111597097 B CN 111597097B CN 202010317283 A CN202010317283 A CN 202010317283A CN 111597097 B CN111597097 B CN 111597097B
- Authority
- CN
- China
- Prior art keywords
- decision
- data
- branch
- node
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003066 decision tree Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims description 29
- 230000008439 repair process Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005299 abrasion Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000005265 energy consumption Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005562 fading Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 9
- 241000700605 Viruses Species 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种大数据处理方法及系统，采集客户端基于应用程序产生的应用数据；接收应用数据，并将应用数据导入决策树结构中，进行层层决策分析；根据决策分析结果将应用数据分配到对应的服务节点中；同时，还向客户端反馈与决策分析结果相关的回执信息。用以通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。
Description
技术领域
本发明涉及大数据技术领域，特别涉及一种大数据处理方法及系统。
背景技术
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80％的数据都是非结构化数据，这些数据每年都按指数增长60％。大数据是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。
其中，基于大数据对应用程序进行处理的过程中，一般是对应用数据进行单独处理，其单独处理，一般是基于某个训练模型进行单独一次处理，其处理效率低，且处理效果不显著。
因此，本发明提出了一种大数据处理方法及系统。
发明内容
本发明提供一种大数据处理方法及系统，用以通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。
本发明提供一种大数据处理方法，包括：
采集客户端基于应用程序产生的应用数据；
接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；
根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。
在一种可能实现的方式中，采集客户端基于应用程序产生的应用数据的步骤包括：
记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
在一种可能实现的方式中，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：
计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；
同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；
同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；
对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；
S＝A1β1B1+A2β2B2+A3β3B3；
其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；
根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支。
在一种可能实现的方式中，确定每个集合待导入所述决策树结构的树分支之后，还包括：
根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；
对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支。
在一种可能实现的方式中，将所述应用数据导入决策树结构中，进行层层决策分析的过程中，包括：
基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加检索；
基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数据；
基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所述异常数据数据的源文件；
查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据，并将所述无效数据进行删除；
同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。
在一种可能实现的方式中，基于所述修复决策层进行修复的过程中，还包括：
确定所述修复决策层对所述剩余数据的修复能耗值，且确定所述修复决策层在修复线程的线程消耗值；
根据所述修复能耗值和线程消耗值，确定所述修复决策层的当前资源环境的磨损程度；
当所述磨损程度大于预设程度时，进行报警警示，同时，对所述修复决策层进行优化处理。
在一种可能实现的方式中，对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支的过程中，还包括：
确定所述集合中集合数据的数据种类；
计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集合数据对应的空间占比ki的综合占比zi；
其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支节点的冷访问概率，其中，所述决策分支中包括n个分支节点；
基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支；
建立所述第一分支的当前分支节点与其他分支节点之间的通信连接；
提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当前分支节点与其他分支节点的互通值Hj；
其中，表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子；g(t)表示优化序列在t时刻的优化函数；/>表示第j个当前分支节点在t时刻的通信广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n；
根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支；
根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定对所述集合的决策方案；
其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案；
同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输到对应的服务节点中。
本发明提供一种大数据处理系统，包括：
客户端，用于采集基于应用程序产生的应用数据；
服务器，用于接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析，并根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。
在一种可能实现的方式中，所述客户端包括：
记录单元，用于记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
处理单元，用于对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
所述处理单元，还用于当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集单元，用于采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种大数据处理方法的流程图；
图2为本发明实施例中一种大数据处理系统的结构图；
图3为本发明实施例中客户端的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供一种大数据处理方法，如图1所示，包括：
步骤1：采集客户端基于应用程序产生的应用数据；
步骤2：接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；
步骤3：根据决策分析结果将所述应用数据分配到对应的服务节点中；同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。
该实施例中，应用程序产生的应用数据是包括主动日志集合、被动日志集合、第一集合以及第二集合等的；
该实施例中，将应用数据导入到决策树结构中，是通过不同的决策层依次对该应用数据进行决策分析，进而获得的决策结果，例如：对应用数据中的主动运行日志进行决策分析，首先，基于检索决策层对主动运行日志建立检索标签，然后，通过判断决策层，对主动运行日志中存在的异常数据进行判断，如果存在，基于定位决策层，定位异常数据的检索标签的位置，最后，基于修复决策层，对异常数据进行修复，当可以修复完成中，获得决策分析结果可以为，可以将修复的异常数据和正常数据进行传输；
此时，决策分析结果对应的回执信息可以为指令，如：主动运行日志中存在的异常数据，加强对产生异常数据部位的监控指令。
该实施例中，客户端可以是手机、笔记本等；
该实施例中，应用程序可以是任何一款软件等。
上述技术方案的有益效果是：通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。
本发明提供一种大数据处理方法，采集客户端基于应用程序产生的应用数据的步骤包括：
记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
该实施例中，进行逻辑分析，就是将主动和被动日志进行区分开来，例如，主动运行的序列号与被动运行的序列号不一样，此时，可依靠序列号进行逻辑分析，其中，被动日志集合是指的通过用户作用产生的一系列信息集合，主动日志集合是指应用程序在没有用户作用的请款下产生的一系列信息集合。
该实施例中，点击信息和滑动信息是用户基于显示屏常进行的一种操所，如通过点击打开或关闭应用程序，通过滑动改变当前应用程序的显示界面等；
其中，点击打开或关闭应用程序是所驱动的被动运行结果，属于第一集合；
通过滑动改变当前应用程序的显示界面是所驱动的被动运行结果，属于第二集合。
该实施例中，滑动条是由若干个位置点构成的。
上述技术方案的有益效果是：通过记录应用程序的后台运行数据和操作信息，便于有效的确定应用数据，通过对后台运行数据进行逻辑分析，便于有效的区分程序的主动运行和被动运行情况，通过获取不同的数据，为后续进行决策分析提供数据支撑。
本发明提供一种大数据处理方法，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：
计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；
同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；
同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；
对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；
S＝A1β1B1+A2β2B2+A3β3B3；
其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；
根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支。
上述技术方案的有益效果是：通过分别计算应用数据中的每个集合与决策树结构的根节点、中间节点和叶子节点之间的关联性，为确定每个集合基于根节点的决策结果提供数据基础，且通过确定决策结果，可以有效、快速的确定可以对应用数据进行后续处理的树分支，进一步提高了决策效率。
本发明提供一种大数据处理方法，确定每个集合待导入所述决策树结构的树分支之后，还包括：
根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；
对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支。
该实施例中，通过决策结果S，例如根据优先级顺序选择前3个树分支作为后续选择决策分支的基础。其中，一个集合可以对应多个树分支，且建立的映射表是一对多。
该实施例中的导入规则，可以是基于检索决策层、判断决策层、定位决策层、修复决策层等基础上构建的。
该实施例中，确定对应的所有树分支对同一个集合数据的导出信息，其导出信息例如为，对集合数据中异常数据修复程度，根据异常修复程度以及修复时间，来选择合适的决策分支。
上述技术方案的有益效果是：通过建立每个集合与所有树分支的映射表，并基于导入规则，确定每个树分支的导出信息，进而优选出决策分支，提高了决策效率和决策结果的显著性。
本发明提供一种大数据处理方法，将所述应用数据导入决策树结构中，进行层层决策分析的过程中，包括：
基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加检索；
基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数据；
基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所述异常数据数据的源文件；
查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据，并将所述无效数据进行删除；
同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。
该实施例中，例如：首先基于检索决策层对主动运行日志建立检索标签，然后，通过判断决策层，对主动运行日志中存在的异常数据进行判断，如果存在，基于定位决策层，定位异常数据的检索标签的位置，并删除异常数据中的无效数据，最后，基于修复决策层，对剩余数据进行修复，当可以修复完成中，获得决策分析结果可以为，可以将修复的剩余数据和正常数据进行传输。
该实施例中，在应用程序中每进行一个操作，都会有其对应的源文件产生，因此，通过查找源文件中的源元素，可以确定异常数据中的无效数据；
通过将无效数据进行删除，可以提高对剩余数据的修复效率，降低修复时间，避免对无效数据的修复，做无用功。
该实施例中，将剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点，便于将数据进行有效存储。
上述技术方案的有益效果是：通过设置五个决策层，可以依次对不同集合的数据进行并行处理，提高其的处理效率，提高决策结果的显著性。
本发明提供一种大数据处理方法，基于所述修复决策层进行修复的过程中，还包括：
确定所述修复决策层对所述剩余数据的修复能耗值，且确定所述修复决策层在修复线程的线程消耗值；
根据所述修复能耗值和线程消耗值，确定所述修复决策层的当前资源环境的磨损程度；
当所述磨损程度大于预设程度时，进行报警警示，同时，对所述修复决策层进行优化处理。
该实施例中，修复决策层对剩余数据的修复能耗值，例如当修复决策层对剩余数据进行修复时，该决策层的剩余使用寿命的损耗，确定修复决策层在修复线程的线程消耗值，例如是该线程剩余使用寿命的损耗；
且根据其的损耗，可以确定当前资源环境的磨损程度，例如，由于决策层的剩余使用寿命的损耗和线程剩余使用寿命的损耗可能导致有病毒入侵，此时，对应的磨损程度，可以是病毒入侵的概率。
当入侵概率大于预设程度时，进行报警警示，对修复决策层进行病毒杀除处理，其中预设程度根据具体的磨损种类确定。
上述技术方案的有益效果是：通过确定修复决策层的磨损程度，进行有效报警，且便于对修复决策层进行优化处理，进一步提高决策效率。
本发明提供一种大数据处理方法，对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支的过程中，还包括：
确定所述集合中集合数据的数据种类；
计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集合数据对应的空间占比ki的综合占比zi；
其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支节点的冷访问概率，其中，所述决策分支中包括n个分支节点；
基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支；
建立所述第一分支的当前分支节点与其他分支节点之间的通信连接；
提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当前分支节点与其他分支节点的互通值Hj；
其中，表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子；g(t)表示优化序列在t时刻的优化函数；/>表示第j个当前分支节点在t时刻的通信广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n；
根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支；
根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定对所述集合的决策方案；
其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案；
同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输到对应的服务节点中。
上述技术方案的有益效果是：首先通过确定分析节点的综合占比，进行对决策分支的第一调整处理，可以升级该决策分支的决策性能，其次，通过建立第一分支的当前分支节点与其他分支节点的通信连接，且通过提取优化序列，进而智能计算得出互通值，来对第一分支进行第二调整处理，来进一步提高决策分支的通信性能，最后，根据数据种类确定不同数据的数据保密性，且寻找对应的决策方案，对相关数据进行保密，提高其数据的安全性能，通过升级决策性能、通信性能以及安全性能，进一步优化决策分支，间接提高决策效率，提高了决策结果的显著性。
本发明提供一种大数据处理系统，如图2所示，包括：
客户端，用于采集基于应用程序产生的应用数据；
服务器，用于接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析，并根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。
上述技术方案的有益效果是：通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。
本发明提供一种大数据处理系统，如图3所示，所述客户端包括：
记录单元，用于记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
处理单元，用于对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
所述处理单元，还用于当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集单元，用于采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
上述技术方案的有益效果是：通过记录应用程序的后台运行数据和操作信息，便于有效的确定应用数据，通过对后台运行数据进行逻辑分析，便于有效的区分程序的主动运行和被动运行情况。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种大数据处理方法，其特征在于，包括：
采集客户端基于应用程序产生的应用数据；
接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；
根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息；
其中，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：
计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；
同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；
同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；
对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；
S＝A1β1B1+A2β2B2+A3β3B3；
其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；
根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支；
其中，确定每个集合待导入所述决策树结构的树分支之后，还包括：
根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；
对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支；
其中，对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支的过程中，还包括：
确定所述集合中集合数据的数据种类；
计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集合数据对应的空间占比ki的综合占比zi；
其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支节点的冷访问概率，其中，所述决策分支中包括n个分支节点；
基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支；
建立所述第一分支的当前分支节点与其他分支节点之间的通信连接；
提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当前分支节点与其他分支节点的互通值Hj；
其中，表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子；g(t)表示优化序列在t时刻的优化函数；/>表示第j个当前分支节点在t时刻的通信广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n；
根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支；
根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定对所述集合的决策方案；
其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案；
同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输到对应的服务节点中。
2.如权利要求1所述的方法，其特征在于，采集客户端基于应用程序产生的应用数据的步骤包括：
记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
3.如权利要求1所述的方法，其特征在于，将所述应用数据导入决策树结构中，进行层层决策分析的过程中，包括：
基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加检索；
基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数据；
基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所述异常数据数据的源文件；
查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据，并将所述无效数据进行删除；
同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。
4.如权利要求3所述的方法，其特征在于，基于所述修复决策层进行修复的过程中，还包括：
确定所述修复决策层对所述剩余数据的修复能耗值，且确定所述修复决策层在修复线程的线程消耗值；
根据所述修复能耗值和线程消耗值，确定所述修复决策层的当前资源环境的磨损程度；
当所述磨损程度大于预设程度时，进行报警警示，同时，对所述修复决策层进行优化处理。
5.一种大数据处理系统，其特征在于，包括：
客户端，用于采集基于应用程序产生的应用数据；
服务器，用于接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析，并根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息；
其中，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：
计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；
同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；
同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；
对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；
S＝A1β1B1+A2β2B2+A3β3B3；
其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；
根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支；
其中，确定每个集合待导入所述决策树结构的树分支之后，还包括：
根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；
对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支；
其中，对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支的过程中，还包括：
确定所述集合中集合数据的数据种类；
计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集合数据对应的空间占比ki的综合占比zi；
其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支节点的冷访问概率，其中，所述决策分支中包括n个分支节点；
基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支；
建立所述第一分支的当前分支节点与其他分支节点之间的通信连接；
提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当前分支节点与其他分支节点的互通值Hj；
其中，表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子；g(t)表示优化序列在t时刻的优化函数；/>表示第j个当前分支节点在t时刻的通信广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n；
根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支；
根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定对所述集合的决策方案；
其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案；
同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输到对应的服务节点中。
6.如权利要求5所述的系统，其特征在于，所述客户端包括：
记录单元，用于记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
处理单元，用于对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
所述处理单元，还用于当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集单元，用于采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317283.8A CN111597097B (zh) | 2020-04-21 | 2020-04-21 | 一种大数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317283.8A CN111597097B (zh) | 2020-04-21 | 2020-04-21 | 一种大数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111597097A CN111597097A (zh) | 2020-08-28 |
| CN111597097B true CN111597097B (zh) | 2023-12-12 |
Family
ID=72187564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010317283.8A Active CN111597097B (zh) | 2020-04-21 | 2020-04-21 | 一种大数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597097B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU7865700A (en) * | 1999-10-06 | 2001-05-10 | Sensoria Corporation | Method and apparatus for internetworked wireless integrated network sensor (wins) nodes |
| CA2657487A1 (en) * | 2005-07-12 | 2007-01-18 | Visible Measures Corp. | Distributed capture and aggregation of dynamic application usage information |
| CN105656700A (zh) * | 2016-03-29 | 2016-06-08 | 江苏大学 | 一种分散式机房综合监控及自动应急决策处理方法及装置 |
| CN105975604A (zh) * | 2016-05-12 | 2016-09-28 | 清华大学 | 一种分布迭代式数据处理程序异常检测与诊断方法 |
| CN106909478A (zh) * | 2015-12-22 | 2017-06-30 | 曹圣航 | 一种基于wmi技术与决策树分类算法的智能维修系统 |
| CN110086835A (zh) * | 2018-01-24 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 应用程序管控方法、终端、服务器及系统 |
| WO2022134466A1 (zh) * | 2020-12-23 | 2022-06-30 | 平安科技（深圳）有限公司 | 数据处理方法及相关设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031948B2 (en) * | 2001-10-05 | 2006-04-18 | Lee Shih-Jong J | Regulation of hierarchic decisions in intelligent systems |
| US20150310330A1 (en) * | 2014-04-29 | 2015-10-29 | George Guonan Zhang | Computer-implemented method and system for digitizing decision-making processes |
-
2020
- 2020-04-21 CN CN202010317283.8A patent/CN111597097B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU7865700A (en) * | 1999-10-06 | 2001-05-10 | Sensoria Corporation | Method and apparatus for internetworked wireless integrated network sensor (wins) nodes |
| CA2657487A1 (en) * | 2005-07-12 | 2007-01-18 | Visible Measures Corp. | Distributed capture and aggregation of dynamic application usage information |
| CN106909478A (zh) * | 2015-12-22 | 2017-06-30 | 曹圣航 | 一种基于wmi技术与决策树分类算法的智能维修系统 |
| CN105656700A (zh) * | 2016-03-29 | 2016-06-08 | 江苏大学 | 一种分散式机房综合监控及自动应急决策处理方法及装置 |
| CN105975604A (zh) * | 2016-05-12 | 2016-09-28 | 清华大学 | 一种分布迭代式数据处理程序异常检测与诊断方法 |
| CN110086835A (zh) * | 2018-01-24 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 应用程序管控方法、终端、服务器及系统 |
| WO2022134466A1 (zh) * | 2020-12-23 | 2022-06-30 | 平安科技（深圳）有限公司 | 数据处理方法及相关设备 |
Non-Patent Citations (3)
| Title |
|---|
| The Case for Technobiology: A Complement to Biotechnology;Tien James M;Goldschmidt-Clermont Pascal J;Journal of Systems Science and Information;第4卷(第2期);全文 * |
| 曲英涛 ; .高校大数据平台建设与研究.应用科技.2018,(第02期), * |
| 高校大数据平台建设与研究;曲英涛;;应用科技(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111597097A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6078918A (en) | Online predictive memory | |
| CN115497272B (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
| Azzeh | A replicated assessment and comparison of adaptation techniques for analogy-based effort estimation | |
| US20060031458A1 (en) | Transaction recognition and prediction using regular expressions | |
| US20060282436A1 (en) | Systems and methods for estimating functional relationships in a database | |
| US8037057B2 (en) | Multi-column statistics usage within index selection tools | |
| CN111614491A (zh) | 一种面向电力监控系统安全态势评估指标选取方法及系统 | |
| CN110637292A (zh) | 用于查询资源高速缓存的系统和方法 | |
| CN112348310A (zh) | 一种网络行为的风险评估方法与系统 | |
| CN113516565A (zh) | 一种基于知识库的电力监控系统告警智能处理方法及其装置 | |
| Dong | Exploration on web usage mining and its application | |
| CN106910075A (zh) | 移动通信客户投诉的智能处理系统和方法 | |
| CN111597097B (zh) | 一种大数据处理方法及系统 | |
| CN116318907B (zh) | 基于大数据和神经网络分析计算机网络态势的方法及系统 | |
| CN113610190B (zh) | 基于大数据的异常网络行为挖掘系统 | |
| CN112506906A (zh) | 一种基于人工智能技术的数据治理平台 | |
| CN112819599A (zh) | 一种基于区块链的企业财税记账管理系统 | |
| CN113254748A (zh) | 一种自动化获取登录后cookie的方法 | |
| US9275048B2 (en) | System and methods for solving information retrieval problem sets | |
| CN116707834B (zh) | 一种基于云存储的分布式大数据取证与分析平台 | |
| CN118503453B (zh) | 基于自然语言处理的知识图谱技术特征分析方法 | |
| Touloumis et al. | A unified framework for querying dynamic and semantic data sources | |
| CN117648477B (zh) | 基于ai分析的服务信息管理系统及其方法 | |
| CN118297156A (zh) | 一种提升电信运营商业务执行效率的方法、系统与装置 | |
| Zhang | Reliability Optimization Analysis of Financial Management System Based on Decision Tree Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231114 Address after: A108-A109, 1st Floor, Sunshine Cyberport, No. 102 Nanneihuan Street, Yingpan Street, Xiaodian District, Taiyuan City, Shanxi Province, 030000 Applicant after: Shanxi Yutan Technology Development Co.,Ltd. Address before: Room 3-199, Building 2, Chuangye Building, No. 66 Yuanshi Road, High tech Zone, Yinzhou District, Ningbo City, Zhejiang Province, 315000 Applicant before: Ningbo yinuclear Network Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |