CN114928560A - 基于大数据的网络流量和设备日志协同管理系统及方法 - Google Patents

基于大数据的网络流量和设备日志协同管理系统及方法 Download PDF

Info

Publication number
CN114928560A
CN114928560A CN202210525642.8A CN202210525642A CN114928560A CN 114928560 A CN114928560 A CN 114928560A CN 202210525642 A CN202210525642 A CN 202210525642A CN 114928560 A CN114928560 A CN 114928560A
Authority
CN
China
Prior art keywords
time
network flow
real
equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210525642.8A
Other languages
English (en)
Other versions
CN114928560B (zh
Inventor
陈良汉
翁炜城
洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hongrui Information Technology Co Ltd
Original Assignee
Zhuhai Hongrui Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hongrui Information Technology Co Ltd filed Critical Zhuhai Hongrui Information Technology Co Ltd
Priority to CN202210525642.8A priority Critical patent/CN114928560B/zh
Publication of CN114928560A publication Critical patent/CN114928560A/zh
Application granted granted Critical
Publication of CN114928560B publication Critical patent/CN114928560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于大数据的网络流量和设备日志协同管理系统及方法，属于网络流量检测技术领域。本发明包括以下方法：步骤一：实时获取设备在运行过程中生成的日志数据，以及实时获取设备在运行过程中消耗的网络流量；步骤二：基于步骤一获取的实时日志数据和网络流量实时消耗量，构建关联模型；步骤三：根据关联模型对设备异常网络流量进行分类监测；步骤四：对设备网络流量异常点进行确定，本发明基于数据包传输时间对网络流量异常点进行确定，有利于后期在网络流量异常点加强传输管理，减少该处网络流量异常的情况发生，便于设备正常运行，进一步提高了设备的使用效果。

Description

基于大数据的网络流量和设备日志协同管理系统及方法
技术领域
本发明涉及网络流量检测技术领域，具体为基于大数据的网络流量和设备日志协同管理系统及方法。
背景技术
网络流量就是网络上传输的数据量，网络流量的大小对网络架构设计具有重要意义，设备日志记录了设备基本信息、设备采用的应用系统和设备具体执行了那些操作，基于设备日志可对设备使用的网络流量情况进行预测。
现有的网络流量和设备日志协同管理系统在对异常网络流量进行预测判断时，未将网络流量的时延和丢包情况考虑到异常网络流量预测过程中，导致系统在该情况下无法寻找到网络流量异常点，以及增加系统寻找网络流量异常点的寻找时间，降低了系统的使用效果，以及在判断网络流量异常时，无法实现分类监测，需要对网络流量数据包进行完整分析，进而判断网络流量异常的具体原因，以及无法根据网络流量异常情况确定网络流量异常点。
发明内容
本发明的目的在于提供基于大数据的网络流量和设备日志协同管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于大数据的网络流量和设备日志协同管理方法，所述方法包括以下步骤：
步骤一：实时获取设备在运行过程中生成的日志数据，以及实时获取设备在运行过程中消耗的网络流量；
步骤二：基于步骤一获取的实时日志数据和网络流量实时消耗量，构建关联模型；
步骤三：根据关联模型对设备异常网络流量进行分类监测；
步骤四：对设备网络流量异常点进行确定。
进一步的，所述步骤一中获取的实时日志数据包括设备使用者信息、设备使用时间信息、设备状态信息和设备运行状态信息，基于设备使用时间信息对设备状态信息和设备运行状态信息之间的关系进行描述，具体关系为：
W＝TP-(T′-T″)R；
其中，T′、T″分别表示设备在执行某一操作时的开始时间和结束时间，TP表示设备在执行某一操作时需要的标准时间，(T′-T″)R表示设备在实际运行过程中执行某一操作所需具体时间，W表示设备在理想情况下与实际情况下运行的时间差，当W＝0时，表示设备在理想情况下与实际情况下运行的时间相同，当W≠0时，表示设备在理想情况下与实际情况下运行的时间不同，设备在实际运行过程中存在时延和丢包的情况。
进一步的，所述步骤二中基于获取的实时日志数据和网络流量实时消耗量，构关联模型，具体方法为：
Step1：基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，具体计算公式为：
Q＝qT″-qT′；
Step2：基于步骤一的判断结果，结合网络流量实时消耗量构建关联模型，具体的关联模型S为：
Figure BDA0003644308520000021
其中，qT″表示设备在执行某一操作结束后获取的网络流量实时消耗量，qT′表示设备在执行某一操作开始时获取的网络流量实时消耗量,
Figure BDA0003644308520000022
表示设备在标准时间内执行某一操作时消耗的平均网络流量，T1表示设备在实际运行过程中出现时延时耗费的时间，T2表示设备在实际运行过程中出现丢包时重新接收丢失包所耗费的时间，当S＝0时，表示设备执行某一操作时不存在异常网络流量，当S≠0时，表示设备执行某一操作时存在异常网络流量。
进一步的，所述步骤三中根据关联模型对设备异常网络流量进行分类监测，具体方法为：
1)在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值；
2)对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]；
3)判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载；
4)基于3)中分类结果，对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，观察相关数据变化情况，基于相关数据变化情况对网络流量异常点进行初步判断。
进一步的，所述步骤四中对设备网络流量异常点进行确定的具体方法为：
(1)对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间；
(2)以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程；
(3)基于步骤三中初步判断的网络流量异常点，对异常点对应的坐标到线性拟合方程的直线距离进行计算；
(4)对(3)中计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定，有利于后期在网络流量异常点加强传输管理，减少该处网络流量异常的情况发生。
基于大数据的网络流量和设备日志协同管理系统，所述系统包括数据信息获取模块、关联模型构建模块、分类监测模块和网络流量异常点确认模块；
所述数据信息获取模块用于对设备运行过程中的实时日志数据和网络流量实时消耗量进行获取，基于获取的实时日志数据对设备运行状态进行判断，并将网络流量实时消耗量和判断结果传输至关联模型构建模块；
所述关联模型构建模块用于对数据信息获取模块传输的网络流量实时消耗量和判断结果进行接收，根据接收内容构建日志数据和网络流量数据的关联模型，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块；
所述分类监测模块用于对关联模型构建模块传输的异常网络流量预测结果进行接收，根据预测结果对网络异常流量进行分类监测，并将分类监测结果传输至网络流量异常点确认模块；
所述网络流量异常点确认模块用于对分类监测模块传输的分类监测结果进行接收，基于接收内容对网络流量异常点进行确认。
进一步的，所述数据信息获取模块包括日志数据实时获取单元、网络流量数据实时获取单元和设备运行状态判断单元；
所述日志数据实时获取单元对设备在运行过程中生成的实时日志数据进行获取，并将获取信息传输至设备运行状态判断单元；
所述网络流量数据实时获取单元对设备在运行过程中消耗的实时网络流量进行获取，并将获取信息传输至设备运行状态判断单元；
所述设备运行状态判断单元对日志数据实时获取单元和网络流量数据实时获取单元获取的实时日志数据和网络流量实时消耗量进行接收，基于实时日志数据对设备状态信息和设备运行状态信息之间的关系进行描述，根据描述关系对设备运行状态进行判断，并将判断结果和网络流量实时消耗量传输至关联模型构建模块。
进一步的，所述关联模型构建模块对设备运行状态判断单元传输的判断结果和网络流量实时消耗量进行接收，基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，基于判断结果，构建日志数据和网络流量数据的关联模型
Figure BDA0003644308520000041
其中，
Figure BDA0003644308520000042
表示设备在标准时间内执行某一操作时对应的平均网络流量，T1表示设备在实际运行过程中重复加载时耗费的时间，T2表示设备在实际运行过程中卡顿时耗费的时间，TP表示设备在执行某一操作时需要的标准时间，当S＝0时，表示设备执行某一操作时不存在异常网络流量，当S≠0时，表示设备执行某一操作时存在异常网络流量，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块。
进一步的，所述分类监测模块包括网络流量数据包获取单元、分类判断单元和分类监测单元；
所述网络流量数据包获取单元对关联模型构建模块传输的异常网络流量预测结果进行接收，基于接收内容在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值，对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]，并将集合M和N传输至分类判断单元和网络流量异常点确认模块；
所述分类判断单元对网络流量数据包获取单元传输的集合M和N进行接收，判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载，并将分类结果传输至分类监测单元；
所述分类监测单元对分类判断单元传输的分类结果进行接收，基于接收内容对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，基于相关数据变化情况对网络流量异常点进行初步判断，并将监测结果传输至网络流量异常点确认模块。
进一步的，所述网络流量异常点确认模块包括线性拟合构建单元和网络流量异常点确认单元；
所述线性拟合构建单元对网络流量数据包获取单元传输的集合M和N进行接收，对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间，以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程，并将构建的线性拟合方程传输至网络流量异常点确认单元；
所述网络流量异常点确认单元对线性拟合构建单元传输的线性拟合方程和分类监测单元传输的监测结果进行接收，基于监测结果对网络流量异常点进行初步判断，对初步判断的异常点对应的坐标到线性拟合方程的直线距离进行计算，将计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定。
与现有技术相比，本发明所达到的有益效果是：
1.本发明通过设备使用时间信息对设备状态信息和设备运行状态信息之间的关系进行描述，基于描述关系对设备在实际运行过程中存在时延和丢包的情况进行分析，将此种情况考虑到异常网络流量预测过程中，避免系统在该情况下判断网络流量异常，并根据网络流量异常结果寻找网络流量异常点，减少了系统不必要的工作时间，进一步提高了系统的使用效果。
2.本发明通过在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置多个个观测点，对多个观测点的网络流量数据包进行获取，对多个网络流量数据包中的源IP地址和目的IP地址进行获取，判断获取的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，根据判断结果对异常网络路径进行预测，基于预测路径的目的IP地址对异常网络流量进行分类，根据分类结果判断网络流量异常的具体原因，通过对网络流量数据包中涉及的相关数据进行提取，并对相关数据进行实时监测，以及对网络流量异常点进行初步判断，进一步提高了系统的适用范围。
3.本发明通过对网络流量数据包在一定传输时间内消耗的网络流量进行获取，基于获取信息构建线性拟合方程，通过对初步判断的网络流量异常点到线性拟合方程的直线距离进行计算，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定，有利于后期在网络流量异常点加强传输管理，减少该处网络流量异常的情况发生，便于设备正常运行，进一步提高了设备的使用效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明基于大数据的网络流量和设备日志协同管理系统及方法的工作流程示意图；
图2是本发明基于大数据的网络流量和设备日志协同管理系统及方法的工作原理结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供技术方案：基于大数据的网络流量和设备日志协同管理方法，方法包括以下步骤：
步骤一：实时获取设备在运行过程中生成的日志数据，以及实时获取设备在运行过程中消耗的网络流量，其中实时日志数据包括设备使用者信息、设备使用时间信息、设备状态信息和设备运行状态信息，基于设备使用时间信息对设备状态信息和设备运行状态信息之间的关系进行描述，具体关系为：
W＝TP-(T′-T″)R；
其中，T′、T″分别表示设备在执行某一操作时的开始时间和结束时间，TP表示设备在执行某一操作时需要的标准时间，(T′-T″)R表示设备在实际运行过程中执行某一操作所需具体时间，W表示设备在理想情况下与实际情况下运行的时间差，当W＝0时，表示设备在理想情况下与实际情况下运行的时间相同，当W≠0时，表示设备在理想情况下与实际情况下运行的时间不同，设备在实际运行过程中存在时延和丢包的情况；
步骤二：基于步骤一获取的实时日志数据和网络流量实时消耗量，构建关联模型，具体方法为：
Step1：基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，具体计算公式为：
Q＝qT″-qT′；
Step2：基于步骤一的判断结果，结合网络流量实时消耗量构建关联模型，具体的关联模型S为：
Figure BDA0003644308520000071
其中，qT″表示设备在执行某一操作结束后获取的网络流量实时消耗量，qT′表示设备在执行某一操作开始时获取的网络流量实时消耗量,
Figure BDA0003644308520000072
表示设备在标准时间内执行某一操作时消耗的平均网络流量，T1表示设备在实际运行过程中出现时延时耗费的时间，T2表示设备在实际运行过程中出现丢包时重新接收丢失包所耗费的时间，当S＝0时，表示设备执行某一操作时不存在异常网络流量，当S≠0时，表示设备执行某一操作时存在异常网络流量；
步骤三：根据关联模型对设备异常网络流量进行分类监测，具体方法为：
1)在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值；
2)对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]；
3)判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载；
4)基于3)中分类结果，对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，观察相关数据变化情况，基于相关数据变化情况对网络流量异常点进行初步判断；
步骤四：对设备网络流量异常点进行确定，具体方法为：
(1)对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间；
(2)以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程；
(3)基于步骤三中初步判断的网络流量异常点，对异常点对应的坐标到线性拟合方程的直线距离进行计算；
(4)对(3)中计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定。
基于大数据的网络流量和设备日志协同管理系统，其特征在于：系统包括数据信息获取模块、关联模型构建模块、分类监测模块和网络流量异常点确认模块；
数据信息获取模块用于对设备运行过程中的实时日志数据和网络流量实时消耗量进行获取，基于获取的实时日志数据对设备运行状态进行判断，并将网络流量实时消耗量和判断结果传输至关联模型构建模块；
数据信息获取模块包括日志数据实时获取单元、网络流量数据实时获取单元和设备运行状态判断单元；
日志数据实时获取单元对设备在运行过程中生成的实时日志数据进行获取，并将获取信息传输至设备运行状态判断单元；
网络流量数据实时获取单元对设备在运行过程中消耗的实时网络流量进行获取，并将获取信息传输至设备运行状态判断单元；
设备运行状态判断单元对日志数据实时获取单元和网络流量数据实时获取单元获取的实时日志数据和网络流量实时消耗量进行接收，基于实时日志数据对设备状态信息和设备运行状态信息之间的关系进行描述，根据描述关系对设备运行状态进行判断，并将判断结果和网络流量实时消耗量传输至关联模型构建模块；
关联模型构建模块用于对数据信息获取模块传输的网络流量实时消耗量和判断结果进行接收，根据接收内容构建日志数据和网络流量数据的关联模型，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块；
关联模型构建模块对设备运行状态判断单元传输的判断结果和网络流量实时消耗量进行接收，基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，基于判断结果，构建日志数据和网络流量数据的关联模型
Figure BDA0003644308520000091
其中，
Figure BDA0003644308520000092
表示设备在标准时间内执行某一操作时对应的平均网络流量，T1表示设备在实际运行过程中重复加载时耗费的时间，T2表示设备在实际运行过程中卡顿时耗费的时间，TP表示设备在执行某一操作时需要的标准时间，当S＝0时，表示设备执行某一操作时不存在异常网络流量，当S≠0时，表示设备执行某一操作时存在异常网络流量，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块；
分类监测模块用于对关联模型构建模块传输的异常网络流量预测结果进行接收，根据预测结果对网络异常流量进行分类监测，并将分类监测结果传输至网络流量异常点确认模块；
分类监测模块包括网络流量数据包获取单元、分类判断单元和分类监测单元；
网络流量数据包获取单元对关联模型构建模块传输的异常网络流量预测结果进行接收，基于接收内容在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值，对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]，并将集合M和N传输至分类判断单元和网络流量异常点确认模块；
分类判断单元对网络流量数据包获取单元传输的集合M和N进行接收，判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载，并将分类结果传输至分类监测单元；
分类监测单元对分类判断单元传输的分类结果进行接收，基于接收内容对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，基于相关数据变化情况对网络流量异常点进行初步判断，并将监测结果传输至网络流量异常点确认模块；
网络流量异常点确认模块用于对分类监测模块传输的分类监测结果进行接收，基于接收内容对网络流量异常点进行确认；
网络流量异常点确认模块包括线性拟合构建单元和网络流量异常点确认单元；
线性拟合构建单元对网络流量数据包获取单元传输的集合M和N进行接收，对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间，以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程，并将构建的线性拟合方程传输至网络流量异常点确认单元；
网络流量异常点确认单元对线性拟合构建单元传输的线性拟合方程和分类监测单元传输的监测结果进行接收，基于监测结果对网络流量异常点进行初步判断，对初步判断的异常点对应的坐标到线性拟合方程的直线距离进行计算，将计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定。
实施例：设W＝TP-(T′-T″)R≠0，
Figure BDA0003644308520000101
则：
<1>：通过W＝TP-(T′-T″)R≠0，
Figure BDA0003644308520000102
可知，设备在实际运行过程中存在时延和丢包的情况，以及设备执行某一操作时存在异常网络流量；
<2>：判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，根据分类结果对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测；
<3>：基于步骤二中相关数据变化情况对网络流量异常点进行初步判断；
<4>：基于数据包传输时间和对应时间点消耗的网络流量构建线性拟合方程，对初步判断的网络流量异常点对应的坐标到线性拟合方程的直线距离进行计算，基于计算结果对网络流量异常点进行确定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于大数据的网络流量和设备日志协同管理方法，其特征在于：所述方法包括以下步骤：
步骤一：实时获取设备在运行过程中生成的日志数据，以及实时获取设备在运行过程中消耗的网络流量；
步骤二：基于步骤一获取的实时日志数据和网络流量实时消耗量，构建关联模型；
步骤三：根据关联模型对设备异常网络流量进行分类监测；
步骤四：对设备网络流量异常点进行确定。
2.根据权利要求1所述的基于大数据的网络流量和设备日志协同管理方法，其特征在于：所述步骤一中获取的实时日志数据包括设备使用者信息、设备使用时间信息、设备状态信息和设备运行状态信息，基于设备使用时间信息对设备状态信息和设备运行状态信息之间的关系进行描述，具体关系为：
W＝TP-(T′-T″)R；
其中，T′、T″分别表示设备在执行某一操作时的开始时间和结束时间，TP表示设备在执行某一操作时需要的标准时间，W表示设备在理想情况下与实际情况下运行的时间差，当W＝0时，表示设备在理想情况下与实际情况下运行的时间相同。
3.根据权利要求2所述的基于大数据的网络流量和设备日志协同管理方法，其特征在于：所述步骤二中基于获取的实时日志数据和网络流量实时消耗量，构关联模型，具体方法为：
Step1：基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，具体计算公式为：
Q＝qT″-qT′；
Step2：基于步骤一的判断结果，结合网络流量实时消耗量构建关联模型，具体的关联模型S为：
Figure FDA0003644308510000011
其中，qT″表示设备在执行某一操作结束后获取的网络流量实时消耗量，qT′表示设备在执行某一操作开始时获取的网络流量实时消耗量,
Figure FDA0003644308510000021
表示设备在标准时间内执行某一操作时消耗的平均网络流量，T1表示设备在实际运行过程中出现时延时耗费的时间，T2表示设备在实际运行过程中出现丢包时重新接收丢失包所耗费的时间。
4.根据权利要求3所述的基于大数据的网络流量和设备日志协同管理方法，其特征在于：所述步骤三中根据关联模型对设备异常网络流量进行分类监测，具体方法为：
1)在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值；
2)对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]；
3)判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载；
4)基于3)中分类结果，对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，观察相关数据变化情况，基于相关数据变化情况对网络流量异常点进行初步判断。
5.根据权利要求4所述的基于大数据的网络流量和设备日志协同管理方法，其特征在于：所述步骤四中对设备网络流量异常点进行确定的具体方法为：
(1)对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间；
(2)以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程；
(3)基于步骤三中初步判断的网络流量异常点，对异常点对应的坐标到线性拟合方程的直线距离进行计算；
(4)对(3)中计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定。
6.基于大数据的网络流量和设备日志协同管理系统，其特征在于：所述系统包括数据信息获取模块、关联模型构建模块、分类监测模块和网络流量异常点确认模块；
所述数据信息获取模块用于对设备运行过程中的实时日志数据和网络流量实时消耗量进行获取，基于获取的实时日志数据对设备运行状态进行判断，并将网络流量实时消耗量和判断结果传输至关联模型构建模块；
所述关联模型构建模块用于对数据信息获取模块传输的网络流量实时消耗量和判断结果进行接收，根据接收内容构建日志数据和网络流量数据的关联模型，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块；
所述分类监测模块用于对关联模型构建模块传输的异常网络流量预测结果进行接收，根据预测结果对网络异常流量进行分类监测，并将分类监测结果传输至网络流量异常点确认模块；
所述网络流量异常点确认模块用于对分类监测模块传输的分类监测结果进行接收，基于接收内容对网络流量异常点进行确认。
7.根据权利要求6所述的基于大数据的网络流量和设备日志协同管理系统，其特征在于：所述数据信息获取模块包括日志数据实时获取单元、网络流量数据实时获取单元和设备运行状态判断单元；
所述日志数据实时获取单元对设备在运行过程中生成的实时日志数据进行获取，并将获取信息传输至设备运行状态判断单元；
所述网络流量数据实时获取单元对设备在运行过程中消耗的实时网络流量进行获取，并将获取信息传输至设备运行状态判断单元；
所述设备运行状态判断单元对日志数据实时获取单元和网络流量数据实时获取单元获取的实时日志数据和网络流量实时消耗量进行接收，基于实时日志数据对设备状态信息和设备运行状态信息之间的关系进行描述，根据描述关系对设备运行状态进行判断，并将判断结果和网络流量实时消耗量传输至关联模型构建模块。
8.根据权利要求7所述的基于大数据的网络流量和设备日志协同管理系统，其特征在于：所述关联模型构建模块对设备运行状态判断单元传输的判断结果和网络流量实时消耗量进行接收，基于网络流量实时消耗量对设备执行某一操作时消耗的总网络流量Q进行计算，基于判断结果，构建日志数据和网络流量数据的关联模型
Figure FDA0003644308510000031
其中，
Figure FDA0003644308510000032
表示设备在标准时间内执行某一操作时对应的平均网络流量，T1表示设备在实际运行过程中重复加载时耗费的时间，T2表示设备在实际运行过程中卡顿时耗费的时间，TP表示设备在执行某一操作时需要的标准时间，利用关联模型对异常网络流量进行预测，并将异常网络流量预测结果传输至分类监测模块。
9.根据权利要求8所述的基于大数据的网络流量和设备日志协同管理系统，其特征在于：所述分类监测模块包括网络流量数据包获取单元、分类判断单元和分类监测单元；
所述网络流量数据包获取单元对关联模型构建模块传输的异常网络流量预测结果进行接收，基于接收内容在网络流量数据包从源IP地址传输至目的IP地址的传输通道中设置k个观测点，对k个观测点的网络流量数据包进行获取，其中，k为任意值，对k个网络流量数据包中的源IP地址和目的IP地址进行获取，将获取的源IP地址和目的IP地址分别放入集合M和N中，则M＝[m1,m2,…,mk]，N＝[n1,n2,…,nk]，并将集合M和N传输至分类判断单元和网络流量异常点确认模块；
所述分类判断单元对网络流量数据包获取单元传输的集合M和N进行接收，判断集合M和N中记录的源IP地址和目的IP地址是否为网络流量数据包必须经过的路由器地址，若不是，则对该IP地址最终到达的目的IP地址进行预测，根据预测路径对异常网络流量进行分类，分类结果包括游戏类、网页浏览和文件下载，并将分类结果传输至分类监测单元；
所述分类监测单元对分类判断单元传输的分类结果进行接收，基于接收内容对获取的网络流量数据包中涉及的相关数据进行提取，对提取的相关数据进行实时监测，基于相关数据变化情况对网络流量异常点进行初步判断，并将监测结果传输至网络流量异常点确认模块。
10.根据权利要求9所述的基于大数据的网络流量和设备日志协同管理系统，其特征在于：所述网络流量异常点确认模块包括线性拟合构建单元和网络流量异常点确认单元；
所述线性拟合构建单元对网络流量数据包获取单元传输的集合M和N进行接收，对集合N中前k-1个目的IP地址进行提取，以前k-1个目的IP地址作为源IP地址，第k个目的IP地址作为目的IP地址，记录数据包从k-1个源IP地址到第k个目的IP地址分别消耗的网络流量和传输时间，以数据包传输时间为横坐标，数据包消耗的网络流量为纵坐标，构建坐标系，根据坐标系中的坐标点构建线性拟合方程，并将构建的线性拟合方程传输至网络流量异常点确认单元；
所述网络流量异常点确认单元对线性拟合构建单元传输的线性拟合方程和分类监测单元传输的监测结果进行接收，基于监测结果对网络流量异常点进行初步判断，对初步判断的异常点对应的坐标到线性拟合方程的直线距离进行计算，将计算结果进行比较，选取数值最大的计算结果对应的数据包传输时间，基于数据包传输时间对网络流量异常点进行确定。
CN202210525642.8A 2022-05-16 2022-05-16 基于大数据的网络流量和设备日志协同管理系统及方法 Active CN114928560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210525642.8A CN114928560B (zh) 2022-05-16 2022-05-16 基于大数据的网络流量和设备日志协同管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210525642.8A CN114928560B (zh) 2022-05-16 2022-05-16 基于大数据的网络流量和设备日志协同管理系统及方法

Publications (2)

Publication Number Publication Date
CN114928560A true CN114928560A (zh) 2022-08-19
CN114928560B CN114928560B (zh) 2023-01-31

Family

ID=82808078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210525642.8A Active CN114928560B (zh) 2022-05-16 2022-05-16 基于大数据的网络流量和设备日志协同管理系统及方法

Country Status (1)

Country Link
CN (1) CN114928560B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108494746A (zh) * 2018-03-07 2018-09-04 长安通信科技有限责任公司 一种网络端口流量异常检测方法及系统
WO2020062390A1 (zh) * 2018-09-25 2020-04-02 深圳先进技术研究院 一种网络流量分类方法、系统及电子设备
CN111832647A (zh) * 2020-07-10 2020-10-27 上海交通大学 异常流量检测系统及方法
US20200374306A1 (en) * 2017-11-14 2020-11-26 ZICT Technology Co., Ltd Network traffic anomaly detection method, apparatus, computer device and storage medium
US10924503B1 (en) * 2018-05-30 2021-02-16 Amazon Technologies, Inc. Identifying false positives in malicious domain data using network traffic data logs
CN113709125A (zh) * 2021-08-18 2021-11-26 北京明略昭辉科技有限公司 一种异常流量的确定方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200374306A1 (en) * 2017-11-14 2020-11-26 ZICT Technology Co., Ltd Network traffic anomaly detection method, apparatus, computer device and storage medium
CN108494746A (zh) * 2018-03-07 2018-09-04 长安通信科技有限责任公司 一种网络端口流量异常检测方法及系统
US10924503B1 (en) * 2018-05-30 2021-02-16 Amazon Technologies, Inc. Identifying false positives in malicious domain data using network traffic data logs
WO2020062390A1 (zh) * 2018-09-25 2020-04-02 深圳先进技术研究院 一种网络流量分类方法、系统及电子设备
CN111832647A (zh) * 2020-07-10 2020-10-27 上海交通大学 异常流量检测系统及方法
CN113709125A (zh) * 2021-08-18 2021-11-26 北京明略昭辉科技有限公司 一种异常流量的确定方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114928560B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN104584483B (zh) 用于自动确定服务质量降级的原因的方法和设备
CN100356733C (zh) 记录介质、故障分析设备以及故障分析方法
US20070234425A1 (en) Multistep integrated security management system and method using intrusion detection log collection engine and traffic statistic generation engine
CN111935170A (zh) 一种网络异常流量检测方法、装置及设备
CN111092852A (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
US20130191829A1 (en) Computer system, virtual server alignment method, and alignment control apparatus
CN109462590B (zh) 一种基于模糊测试的未知协议逆向分析方法
CN107786994B (zh) 端到端无线业务的用户感知质差分析方法和系统
CN104734916B (zh) 一种基于tcp协议的高效多级异常流量检测方法
Ren et al. An online adaptive approach to alert correlation
CN114157554B (zh) 故障排查方法、装置、存储介质及计算机设备
US10447561B2 (en) BFD method and apparatus
CN101651561B (zh) 基于规则引擎的网络拓扑分析方法和系统
CN111835681B (zh) 一种大规模流量异常主机检测方法和装置
JP4261389B2 (ja) 不正アクセス検出装置及び不正アクセス検出プログラム
CN108809708A (zh) 一种电力通信网络节点故障检测系统
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN114826770A (zh) 一种计算机网络智能分析的大数据管理平台
CN115562879A (zh) 算力感知方法、装置、电子设备和存储介质
CN114928560B (zh) 基于大数据的网络流量和设备日志协同管理系统及方法
CN113918411B (zh) 基于边缘计算的终端设备管控方法和系统
CN114710562A (zh) 基于大数据的设备应用日志关联分析系统及方法
CN113452576A (zh) 网络环境的监控方法及装置、存储介质、电子装置
CN116992146A (zh) 一种基于大数据的舆情监测系统及方法
CN115080363B (zh) 一种基于业务日志的系统容量评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Zhiyong

Inventor after: Chen Lianghan

Inventor after: Weng Weicheng

Inventor after: Hong Chao

Inventor before: Chen Lianghan

Inventor before: Weng Weicheng

Inventor before: Hong Chao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant