CN109688028A - 一种基于网络大数据的监测分析方法及系统 - Google Patents

Abstract

本发明属于大数据领域，公开了一种基于网络大数据的监测分析方法及系统，包括数据采集模块、推送模块、云端服务器、计划任务模块、数据库和用户终端；数据库用来存储监测数据以及经过云端服务器统计后的指标数值；用户终端用来接受监测结果。本发明通过利用USR‑TCP232‑Test实时监测网络数据，通过推送模块将数据发送到数据库中，云端服务器对数据库中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端。云端服务器通过计划任务模块调用PHP文件来传送数据；本发明结构合理，可以有效提高监测的效率和数据分析的能力。

Description

一种基于网络大数据的监测分析方法及系统

技术领域

本发明属于大数据领域，特别涉及一种基于网络大数据的监测分析方法及系统。

背景技术

目前我们的社会中信息技术高速发展,信息成为了一种越来越重要的资源。人们享受着从大数据带来的便利，但是对于技术人员来说,需要处理的数据量越来越多，需要处理速度越来越快。如何从大量的数据中快速找到有用数据并对其进行分析成为了一个主要问题。为此，我们提出一种基于网络大数据的监测分析方法及系统。

综上所述，现有技术存在的问题是：

现有技术中，对数据库中的数据异常时，不能自动推送消息警告用户；监测的效率和数据分析的能力差。

发明内容

本发明的主要目的在于提供一种基于网络大数据的监测分析方法及系统，利用USR-TCP232-Test实时监测网络数据，通过推送模块将数据发送到数据库中，云端服务器对数据库中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端。云端服务器通过计划任务模块调用PHP文件来传送数据，可以在消耗相当少的系统资源的情况下更快速的执行命令，使代码运行更快。本发明结构合理，可以有效提高监测的效率和数据分析的能力，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：一种基于网络大数据的监测分析方法，所述基于网络大数据的监测分析方法利用USR-TCP232-Test实时监测网络数据，通过推送模块将数据发送到数据库中，云端服务器对数据库中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端；

云端服务器通过计划任务模块调用PHP文件来传送数据。

进一步，USR-TCP232-Test实时监测网络数据的方法包括：

建立的离散动态贝叶斯网络模型，确定最终的异常等级即为贝叶斯推理过程依据大量状态节点数据推理出监测节点最大可能取值的概率。

进一步，系统参数λ和观测序列Y，前向-后向算法推理出概率P(Y|λ)的过程如下：

前向算法，定义前向变量α_t(i)＝P(y₁,y₂,...,y_t,x_t＝i|λ)

初始化：α₁(i)＝π_ib_i(y₁),1≤i≤n

递归运算：

结果：

后向算法，定义后向变量β_t(i)＝P(y_t+1,y_t+2,...,y_T|x_t＝i,λ)

初始化：β_T(i＝)1

递归运算：

结果：

将前向算法、后向算法结合起来构成前向-后向算法：

最终，结合前向-后向算法推理出异常等级。

进一步，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法包括：

参与合作感知的节点进行周期性的频谱检测，获得用户终端频谱资源的特征；正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率；将全局的虚警概率信息发送到用户终端。

进一步，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法具体包括：

步骤一，参与合作感知的节点开始进行周期为τ_s的频谱检测过程，获得用户终端频谱资源的特征；

步骤二，正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；

步骤三，云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率。

进一步，步骤一中参与合作感知的节点确定每条链路上多个服务质量度量参数的变化区间和分布函数，按如下过程进行；

第一步，根据用户终端信号的特征和信道衰减系数，计算各本地感知节点CR_i接受到的信号y_i(n)；

第二步，根据能量检测原理，得到感知节点CR_i处的信号能量的统计量V_i，当采样量足够大时，V_i近似服从高斯分布；

步骤二中正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报，正常感知节点将如实地汇报自己的感知信息，恶意节点则采用虚警攻击模式进行汇报：当信号能量统计量V_i大于攻击阈值η，则如实地报告自己的感知结果；否则将以概率p_a发动攻击，向云端服务器发送一个较高的能量值以达到恶意攻击的目的。

进一步，步骤三的具体方法包括：

第一步，根据各个节点的信噪比γ_i为每一个参与合作感知的次级用户CR_i,i＝1…k设计一个权重然后对收集得到的信号能量统计量U_i进行线性加权得到最终的信号能量的统计量

第二步，分析虚警恶意攻击模式对频谱感知造成的影响，得到全局虚警概率P_f和攻击概率pa、攻击阈值η、攻击强度Δ之间的函数表达式如下：

其中：

进行步骤三后，还需进行：

云端服务器还需确定有关发射功率和感知时间的约束条件及对非凸优化问题的求解，按照如下过程进行：

第一步，保证次级用户网络能长时间工作，需对次级用户的发射功率进行限制，保证次级用户网络的平均发射功率低于限定值：

E{α₀P₀+α₁P₁+β₀P₀+β₁P₁}≤P_av

式中P_av是次级用户发射机SU-Tx的最大平均发射功率，这的平均是指信道衰减系数h_i,g_ss,g_sp随机变量的期望；

第二步，认知无线电网络的首要任务是保护用户终端网络的服务质量，故对网络的干扰功率进行了限制；根据基于合作感知的频谱共享网络模型，知道干扰只在用户终端PU处于忙状态时发生，所以平均干扰功率约束写成如下形式：

E{g_sp(β₀P₀+β₁P₁)}≤Q_av)

第三步，确保各个节点处的检测概率和网络的整体检测概率分别不低于各自的目标检测概率，关于检测概率的限制条件如下：

P_d≥P_th,P_di≥p_th,i＝1,2…k

第四步，根据上述限制条件下，建立以最大化次级网络的平均吞吐量为目标函数的最优化问题：

subject to(2),(3),(4),P₀≥0,P₁≥0

0≤τ_s≤T

第五步，求解所建立的最优化问题，选择使得网络的吞吐量最大的合作感知的感知周期和用户的信号发射功率作为该频谱感知模型的感知参数。

本发明的另一目的在于提供一种基于网络大数据的监测分析系统，所述基于网络大数据的监测分析系统包括数据采集模块、推送模块、云端服务器、计划任务模块、数据库和用户终端；

所述数据采集模块与推送模块相连，实时监控检测串口网络数据；

所述推送模块将监测到的数据自动导入到数据库中；

所述云端服务器与推送模块及数据库相连，将数据库中的数据进行实时统计，得出各指标的具体数值，当新录入的数据出现异常时，云端服务器通过推送模块推送消息警告用户终端；

所述数据库用来存储监测数据以及经过云端服务器统计后的指标数值；

所述用户终端用来接受监测结果。

进一步，所述数据采集模块采用USR-TCP232-Test软件，可以支持TCP和UDP协议，支持广播，支持ASCII/Hex发送,任意转换16进制和AscII码数据。

进一步，所述计划任务模块与云端服务器相连，用于服务器定时调用PHP文件，调用后PHP文件执行，包括定时导入数据的PHP文件与推送通知的PHP文件。

与现有技术相比，本发明具有如下有益效果：

利用USR-TCP232-Test实时监测网络数据，通过推送模块将数据发送到数据库中，云端服务器对数据库中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端。云端服务器通过计划任务模块调用PHP文件来传送数据，可以在消耗相当少的系统资源的情况下更快速的执行命令，使代码运行更快；利用USR-TCP232-Test可存储设置的所有参数，端口号，波特率，IP地址等，下次自动载入，节省时间；支持TCP和UDP协议，支持广播，工作模式TCP Server，TCP Client，UDP；支持ASCII/Hex发送,发送和接收的数据可以在16进制和AscII码之间任意转换，支持发送和显示汉字；可以自动发送校验位，支持多种校验格式；支持间隔发送，循环发送，可以接收数据存如文件，也可以从文件导入数据用于发送。

本发明结构合理，可以有效提高监测的效率和数据分析的能力。

本发明USR-TCP232-Test实时监测网络数据的方法包括：建立的离散动态贝叶斯网络模型，确定最终的异常等级即为贝叶斯推理过程依据大量状态节点数据推理出监测节点最大可能取值的概率。可实现智能监测异常数据。

本发明参与合作感知的节点进行周期性的频谱检测，获得用户终端频谱资源的特征；正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率；将全局的虚警概率信息发送到用户终端。云端服务器还需确定有关发射功率和感知时间的约束条件及对非凸优化问题的求解；上述方案的运行为网络大数据的监测分析和对异常数据的报警提供了必要条件。

附图说明

图1是本发明实施例提供的基于网络大数据的监测分析系统的整体结构示意图；

图2是本发明实施例提供的基于网络大数据的检测分析方法流程图；

图中：1、数据采集模块；2、推送模块；3、云端服务器；4、数据库；5、计划任务模块；6、用户终端。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进行进一步阐述本发明。

如图1所示，本发明实施例提供的基于网络大数据的监测分析系统包括：数据采集模块1、推送模块2、云端服务器3、计划任务模块5、数据库4和用户终端6；

数据采集模块1：与推送模块2相连，实时监控检测串口网络数据；

推送模块2：将数据采集模块1监测到的数据自动导入到数据库4中；

云端服务器3：与推送模块2及数据库4相连；

数据库4：存储推送模块2推送的监测数据以及云端服务器3统计的指标数值；

计划模块5：与云端服务器(3)相连；

用户终端6：接收监测结果。

本发明实施例提供的计划模块5包括：

用于服务器定时调用PHP文件，调用后PHP文件执行，包括定时导入数据的PHP文件与推送通知的PHP文件；

如图2所示，本发明实施例提供的基于网络大数据的监测分析方法包括：

S101：利用USR-TCP232-Test软件实时监控检测串口网络数据；

S102：将监测数据存储至数据库中；

S103：基于PHP webshell实时动态检测技术对数据库中的数据进行实时统计，得出各指标的具体数值，当新录入的数据出现异常，通过推送消息警告用户；

S104：用户利用终端设备查看监测结果。

步骤S103中，本发明实施例提供的PHP webshell实时动态检测技术包括：

变量标记追踪、禁用函数hook检测、危险函数hook检测、编译函数重载检测、数据库黑白名单五个模块；

变量标记追踪：在PHP扩展中可以通过PG(http_globals)变量获取脚本运行时通过GET、POST、COOKIE方式传递的参数内容；变量标记是指对PG(http_globals)里保存的字符串变量进行特征标记；变量追踪是指对简单字符串处理函数如strval、explode进行hook，当函数参数是标记的变量时也对函数结果进行变量标记；

禁用函数hook检测：在PHP的配置文件中，disable_functions参数主要用来设置禁用PHP危险函数。禁用函数hook检测是指在模块初始化阶段，读取配置文件中disable_functions参数后在函数表中添加针对这些函数的自定义实现。在PHP代码执行阶段，如果自定义函数被调用，说明PHP页面中运行有危险函数。如果该PHP脚本不在数据库白名单中，那么可以判定该PHP脚本就是webshell，即可以执行恶意功能的PHP代码文件；

危险函数hook检测：Webshell要执行恶意功能，如命令执行函数、文件目录操作，必须要调用相应的功能函数。危险函数hook检测就是指对能执行命令、目录操作等危险功能的函数进行hook后检测函数执行时的参数，如果危险函数执行的参数是恶意的或者经过变量标记的，且没有出现在白名单中则认为该文件是webshell文件；

编译函数重载检测：模块初始化阶段重载编译函数以测是否有eval或assert代码块的执行，并对eval/assert代码块的内容进行正则匹配来检测是否有恶意代码。其中eval代码块在编译结果的filename中有eval()'d code标记，assert代码块则有assert code标记；

数据库黑白名单：为了减少对webshell的漏报和误报，采用黑白名单机制。即用户可以添加网站的正常页面进白名单，在进行webshell检测时如果在白名单中就跳过检测；用户可以添加某些目录进黑名单，则进行webshell检测时如果检测到执行文件在黑名单中则认为是webshell并报警处理。

本发明利用USR-TCP232-Test实时监测网络数据，通过推送模块2将数据发送到数据库4中，云端服务器3对数据库4中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端6。云端服务器3通过计划任务模块5调用PHP文件来传送数据。

在本发明实施例中，USR-TCP232-Test实时监测网络数据的方法包括：

建立的离散动态贝叶斯网络模型，确定最终的异常等级即为贝叶斯推理过程依据大量状态节点数据推理出监测节点最大可能取值的概率。

在本发明实施例中，系统参数λ和观测序列Y，前向-后向算法推理出概率P(Y|λ)的过程如下：

前向算法，定义前向变量α_t(i)＝P(y₁,y₂,...,y_t,x_t＝i|λ)

初始化：α₁(i)＝π_ib_i(y₁),1≤i≤n

递归运算：

结果：

后向算法，定义后向变量β_t(i)＝P(y_t+1,y_t+2,...,y_T|x_t＝i,λ)

初始化：β_T(i＝)1

递归运算：

结果：

将前向算法、后向算法结合起来构成前向-后向算法：

最终，结合前向-后向算法推理出异常等级。

在本发明实施例中，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法包括：

参与合作感知的节点进行周期性的频谱检测，获得用户终端频谱资源的特征；正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率；将全局的虚警概率信息发送到用户终端。

在本发明实施例中，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法具体包括：

步骤一，参与合作感知的节点开始进行周期为τ_s的频谱检测过程，获得用户终端频谱资源的特征；

步骤二，正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；

步骤三，云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率。

进一步，步骤一中参与合作感知的节点确定每条链路上多个服务质量度量参数的变化区间和分布函数，按如下过程进行；

第一步，根据用户终端信号的特征和信道衰减系数，计算各本地感知节点CR_i接受到的信号y_i(n)；

第二步，根据能量检测原理，得到感知节点CR_i处的信号能量的统计量V_i，当采样量足够大时，V_i近似服从高斯分布；

步骤二中正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报，正常感知节点将如实地汇报自己的感知信息，恶意节点则采用虚警攻击模式进行汇报：当信号能量统计量V_i大于攻击阈值η，则如实地报告自己的感知结果；否则将以概率p_a发动攻击，向云端服务器发送一个较高的能量值以达到恶意攻击的目的。

在本发明实施例中，步骤三的具体方法包括：

第一步，根据各个节点的信噪比γ_i为每一个参与合作感知的次级用户CR_i,i＝1…k设计一个权重然后对收集得到的信号能量统计量U_i进行线性加权得到最终的信号能量的统计量

第二步，分析虚警恶意攻击模式对频谱感知造成的影响，得到全局虚警概率P_f和攻击概率p_a、攻击阈值η、攻击强度Δ之间的函数表达式如下：

其中：

进行步骤三后，还需进行：

云端服务器还需确定有关发射功率和感知时间的约束条件及对非凸优化问题的求解，按照如下过程进行：

第一步，保证次级用户网络能长时间工作，需对次级用户的发射功率进行限制，保证次级用户网络的平均发射功率低于限定值：

E{α₀P₀+α₁P₁+β₀P₀+β₁P₁}≤P_av

式中P_av是次级用户发射机SU-Tx的最大平均发射功率，这的平均是指信道衰减系数h_i,g_ss,g_sp随机变量的期望；

第二步，认知无线电网络的首要任务是保护用户终端网络的服务质量，故对网络的干扰功率进行了限制；根据基于合作感知的频谱共享网络模型，知道干扰只在用户终端PU处于忙状态时发生，所以平均干扰功率约束写成如下形式：

E{g_sp(β₀P₀+β₁P₁)}≤Q_av)

第三步，确保各个节点处的检测概率和网络的整体检测概率分别不低于各自的目标检测概率，关于检测概率的限制条件如下：

P_d≥P_th,P_di≥p_th,i＝1,2…k

第四步，根据上述限制条件下，建立以最大化次级网络的平均吞吐量为目标函数的最优化问题：

subject to(2),(3),(4),P₀≥0,P₁≥0

0≤τ_s≤T

第五步，求解所建立的最优化问题，选择使得网络的吞吐量最大的合作感知的感知周期和用户的信号发射功率作为该频谱感知模型的感知参数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于网络大数据的监测分析方法，其特征在于，所述基于网络大数据的监测分析方法利用USR-TCP232-Test实时监测网络数据，通过推送模块将数据发送到数据库中，云端服务器对数据库中的数据实时统计，得出各指标的具体数值，数据异常时，自动推送消息警告用户终端；

云端服务器通过计划任务模块调用PHP文件来传送数据。

2.如权利要求1所述的基于网络大数据的监测分析方法，其特征在于，USR-TCP232-Test实时监测网络数据的方法包括：

建立的离散动态贝叶斯网络模型，确定最终的异常等级即为贝叶斯推理过程依据大量状态节点数据推理出监测节点最大可能取值的概率。

3.如权利要求2所述的基于网络大数据的监测分析方法，其特征在于，系统参数λ和观测序列Y，前向-后向算法推理出概率P(Y|λ)的过程如下：

前向算法，定义前向变量α_t(i)＝P(y₁,y₂,...,y_t,x_t＝i|λ)

初始化：α₁(i)＝π_ib_i(y₁),1≤i≤n

递归运算：

结果：

后向算法，定义后向变量β_t(i)＝P(y_t+1,y_t+2,...,y_T|x_t＝i,λ)

初始化：β_T(i＝)1

递归运算：

结果：

将前向算法、后向算法结合起来构成前向-后向算法：

最终，结合前向-后向算法推理出异常等级。

4.如权利要求1所述的基于网络大数据的监测分析方法，其特征在于，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法包括：

参与合作感知的节点进行周期性的频谱检测，获得用户终端频谱资源的特征；正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率；将全局的虚警概率信息发送到用户终端。

5.如权利要求4所述的基于网络大数据的监测分析方法，其特征在于，云端服务器对数据库中的数据实时统计，得出各指标的异常数值，自动推送消息警告用户终端的方法具体包括：

步骤一，参与合作感知的节点开始进行周期为τ_s的频谱检测过程，获得用户终端频谱资源的特征；

步骤二，正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报；

步骤三，云端服务器对收集到的感知信息进行数据融合，并依据恶意节点的恶意攻击模式计算全局的虚警概率。

6.如权利要求5所述的基于网络大数据的监测分析方法，其特征在于，步骤一中参与合作感知的节点确定每条链路上多个服务质量度量参数的变化区间和分布函数，按如下过程进行；

第一步，根据用户终端信号的特征和信道衰减系数，计算各本地感知节点CR_i接受到的信号y_i(n)；

第二步，根据能量检测原理，得到感知节点CR_i处的信号能量的统计量V_i，当采样量足够大时，V_i近似服从高斯分布；

步骤二中正常感知节点和恶意感知节点通过正交的公共控制信道向云端服务器进行感知信息的汇报，正常感知节点将如实地汇报自己的感知信息，恶意节点则采用虚警攻击模式进行汇报：当信号能量统计量V_i大于攻击阈值η，则如实地报告自己的感知结果；否则将以概率p_a发动攻击，向云端服务器发送一个较高的能量值以达到恶意攻击的目的。

7.如权利要求5所述的基于网络大数据的监测分析方法，其特征在于，步骤三的具体方法包括：

第一步，根据各个节点的信噪比γ_i为每一个参与合作感知的次级用户CR_i,i＝1…k设计一个权重然后对收集得到的信号能量统计量U_i进行线性加权得到最终的信号能量的统计量

第二步，分析虚警恶意攻击模式对频谱感知造成的影响，得到全局虚警概率P_f和攻击概率p_a、攻击阈值η、攻击强度Δ之间的函数表达式如下：

其中：

进行步骤三后，还需进行：

云端服务器还需确定有关发射功率和感知时间的约束条件及对非凸优化问题的求解，按照如下过程进行：

第一步，保证次级用户网络能长时间工作，需对次级用户的发射功率进行限制，保证次级用户网络的平均发射功率低于限定值：

E{α₀P₀+α₁P₁+β₀P₀+β₁P₁}≤P_av

式中P_av是次级用户发射机SU-Tx的最大平均发射功率，这的平均是指信道衰减系数h_i,g_ss,g_sp随机变量的期望；

第二步，认知无线电网络的首要任务是保护用户终端网络的服务质量，故对网络的干扰功率进行了限制；根据基于合作感知的频谱共享网络模型，知道干扰只在用户终端PU处于忙状态时发生，所以平均干扰功率约束写成如下形式：

E{g_sp(β₀P₀+β₁P₁)}≤Q_av)

第三步，确保各个节点处的检测概率和网络的整体检测概率分别不低于各自的目标检测概率，关于检测概率的限制条件如下：

P_d≥P_th,P_di≥p_th,i＝1,2…k

第四步，根据上述限制条件下，建立以最大化次级网络的平均吞吐量为目标函数的最优化问题：

subjectto(2),(3),(4),P₀≥0,P₁≥0

0≤τ_s≤T

第五步，求解所建立的最优化问题，选择使得网络的吞吐量最大的合作感知的感知周期和用户的信号发射功率作为该频谱感知模型的感知参数。

8.一种基于网络大数据的监测分析系统，其特征在于，所述基于网络大数据的监测分析系统包括数据采集模块、推送模块、云端服务器、计划任务模块、数据库和用户终端；

所述数据采集模块与推送模块相连，实时监控检测串口网络数据；

所述推送模块将监测到的数据自动导入到数据库中；

所述云端服务器与推送模块及数据库相连，将数据库中的数据进行实时统计，得出各指标的具体数值，当新录入的数据出现异常时，云端服务器通过推送模块推送消息警告用户终端；

所述数据库用来存储监测数据以及经过云端服务器统计后的指标数值；

所述用户终端用来接受监测结果。

9.如权利要求8所述的基于网络大数据的监测分析系统，其特征在于：所述数据采集模块采用USR-TCP232-Test软件，可以支持TCP和UDP协议，支持广播，支持ASCII/Hex发送,任意转换16进制和AscII码数据。

10.如权利要求8所述的基于网络大数据的监测分析系统，其特征在于：所述计划任务模块与云端服务器相连，用于服务器定时调用PHP文件，调用后PHP文件执行，包括定时导入数据的PHP文件与推送通知的PHP文件。