CN117034317A - 一种基于大数据的计算机网络智能分析系统及方法 - Google Patents

一种基于大数据的计算机网络智能分析系统及方法 Download PDF

Info

Publication number
CN117034317A
CN117034317A CN202311008219.1A CN202311008219A CN117034317A CN 117034317 A CN117034317 A CN 117034317A CN 202311008219 A CN202311008219 A CN 202311008219A CN 117034317 A CN117034317 A CN 117034317A
Authority
CN
China
Prior art keywords
data
unit
module
computer network
intelligent analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311008219.1A
Other languages
English (en)
Inventor
韩惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Huizhong Technology Information Consulting Co ltd
Original Assignee
Harbin Huizhong Technology Information Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Huizhong Technology Information Consulting Co ltd filed Critical Harbin Huizhong Technology Information Consulting Co ltd
Priority to CN202311008219.1A priority Critical patent/CN117034317A/zh
Publication of CN117034317A publication Critical patent/CN117034317A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/556—Detecting local intrusion or implementing counter-measures involving covert channels, i.e. data leakage between processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于大数据的计算机网络智能分析系统及方法，属于计算机网络分析技术领域。该计算机网络智能分析系统包括数据采集模块、大数据预处理模块和智能分析模块；所述数据采集模块用于采集网络上的大量数据，所述大数据预处理模块用于对收集到的原始数据进行识别、过滤和分类，所述智能分析模块用于对分类好的数据检测分析并存储；本发明还提供一种方法用以对系统实施，本发明能够采集各种网站的大量数据信息，从而对网络环境进行安全防护，并且通过数据预处理，能够提高数据的质量和后续分析的准确率，减少数据分析的成本，同时通过计算机网络管理模块可以对存在安全隐患的数据进行实时监测和维护，提高计算机网络信息数据的安全性能。

Description

一种基于大数据的计算机网络智能分析系统及方法
技术领域
本发明涉及技术领域计算机网络分析技术领域，具体为一种基于大数据的计算机网络智能分析系统及方法。
背景技术
计算机网络通过通信设备和通讯线路将不同位置的计算机等设备相互连接起来，实现资源共享和信息交换的系统。由于不同计算机内存储的数据信息不同，可能会出现不适宜的数据或数据传播。为了确保计算机网络的安全和绿色运行，提出了基于大数据的计算机网络智能分析平台。该平台可以对数据存储和数据传播过程进行分析，以便更好地筛选出数据信息。
中国发明专利(CN113886668A)公开了一种基于大数据的计算机网络智能分析平台，该智能分析平台包括智能分析平台、大数据采集单元、计算机处理器、终端显示单元、反馈模块、计算机网络维护系统和计算机网络管理平台；所述智能分析平台分别与大数据采集单元、计算机处理器和终端显示单元进行连接，其中智能分析平台分别与数据库、计算机网络维护系统和计算机网络管理平台双向连接；本发明能够对各种不明的网站大数据进行接收分析，起到对网络环境的安全防护，具体通过智能分析平台能够对大数据进行具体分类、检测，并能够通过计算机网络维护系统自动对存在隐患的大数据信息进行维护，提高了大数据网络的安全性。
存在以下缺点：
1、当一段时间内，采集到的大量数据涌入智能分析平台时，需要消耗大量的计算和存储资源，智能分析平台面临较大的负担，可能导致处理效率较低；
2、智能分析平台处理好的数据存储在数据库中，不能为计算机网络维护系统所利用，不能进行定期自动检测和维护数据，数据缺乏实时监测，安全性较低；
所以，人们急需一种基于大数据的计算机网络智能分析系统来解决上述问题。
发明内容
本发明的目的在于提供一种基于大数据的计算机网络智能分析系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的计算机网络智能分析系统，该系统包括数据采集模块、大数据预处理模块、智能分析模块和计算机网络管理模块；
所述数据采集模块用于对网络上的数据进行采集，所述大数据预处理模块用于对收集到的原始数据进行识别、过滤和分类，所述智能分析模块用于对预处理好的分类数据进行检测分析并存储，所述计算机网络管理模块用于对存在安全隐患的数据进行维护；
所述数据采集模块的输出端电性连接大数据预处理模块的输入端，所述大数据预处理模块的输出端电性连接智能分析模块的输入端，所述计算机网络管理模块的输出端电性连接智能分析模块的输入端。
根据上述技术方案，所述数据采集模块包括大数据采集单元；
所述大数据采集单元通过连接传感器去采集数据信号，所述传感器包括有EPE传感器、电流传感器、电压传感器、脉冲传感器、I/O传感器、电阻变化传感器以及声音、振动、化学、电流、天气、压力、温度和距离传感器，大数据采集单元模块内设置有CAN接口模块、串口控制模块、数据采集接口模块、模拟信号输入模块、数字信号输入模块、网络通信模块，通过接口来适配各种传感器，以此来采集各种数据；
所述大数据采集单元的输出端电性连接大数据预处理模块的输入端。
根据上述技术方案，所述大数据预处理模块包括数据识别修复单元、数据过滤单元和数据分类单元；
所述数据识别修复单元用于对所述大数据采集单元采集到的原始数据进行初步处理，对数据中的存在异常的数据进行修复，修复好的数据可以消除错误和干扰，确保分析结果更具可信度，具体步骤如下：
S1、对于采集到的每个数据记录，检查其中的字段是否存在缺失值，用空值、特定符号或占位符表示数据的缺失值；
S2、对于每个时间段，计算在一时间段内数据大小字段缺失的记录数占总记录数的比例以获得这一时间段内缺失值的比例；
S3、根据业务需求和数据的特点，设定一个阈值，用于判断缺失比例是否超过可接受范围；
S4、对于每个时间段，判断缺失比例是否超过设定的阈值，如果超过阈值，即认为该时间段的数据需要修复；
所述数据过滤单元用于过滤从大量网站采集到的数据信息，所述数据分类单元用于将所述数据过滤单元处理好的大数据进行统一分类，以便更好地进行数据管理和分析；
所述数据识别修复单元的输出端电性连接数据过滤单元的输入端，所述数据过滤单元的输出端电性连接数据分类单元的输入端。
根据上述技术方案，所述智能分析模块包括大数据接收单元、数据扫描单元、数据安全管理单元、数据信息分析单元、数据存储单元和终端显示单元；
所述大数据接收单元用于接收所述大数据预处理模块传送过来分类好的各种大数据，所述数据扫描单元用于对分类好的大数据进行依次扫描并打包，所述数据扫描单元采用SSL/TLS技术，SL/TLS协议可以建立安全通信通道，通过加密数据传输，防止数据被窃听、篡改或泄露，确保数据在传输过程中的保密性、完整性和真实性，所述数据安全管理单元用于对扫描打包的数据传送至数据信息分析单元，以及需要维护的数据发送至计算机网络管理模块进行维护，并将数据信息传送至数据存储单元，所述数据信息分析单元用于接收数据安全管理单元传送的数据包，对其中的大数据进行处理和分析，提取数据特征和有用的信息并创建数据包返还数据安全管理单元和发送至终端显示单元，所述数据存储单元用于存储数据安全管理发送的分析处理好的大数据以及维护好的数据信息列表，所述终端显示单元是将分析处理好的数据以数据流的形式传送至终端设备上；
所述大数据接收单元的输出端电性连接数据扫描单元的输入端，所述数据扫描单元的输出端电性连接数据安全管理单元的输入端，所述数据安全管理单元与数据信息分析单元双向电性连接，所述数据安全管理单元与计算机网络管理模块双向电性连接，所述数据存储单元与数据安全管理单元双向电性连接，所述数据存储单元的输出端电性连接计算机网络管理模块的输入端，所述数据信息分析单元的输出端电性连接终端显示单元的输入端。
根据上述技术方案，所述计算机网络管理模块包括计算机网络维护单元和网络安全信息管理单元；
所述计算机网络维护模块用于接收来自数据安全管理单元发送的存在安全隐患的数据并对数据进行维护，同时可以定期自动检测已经分析处理好存储在数据存储单元里的大数据信息，将维护好的数据信息反馈给网络安全信息管理单元，提高了网络的安全性、稳定性和数据管理效率，所述网络信息安全管理单元用于管理控制计算机网络维护单元，并接收来自计算机网络维护单元已经维护好的数据信息，并且将维护好的数据创建成信息列表反馈给智能分析模块；
所述计算机网络维护单元的输出端电性连接网络信息安全管理的输入端，所述网络安全信息管理单元与数据安全管理模块双向电性连接。
一种基于大数据的计算机网络智能分析方法，该包含以下步骤：
S1、在智能分析模块获得采集到的大数据之前，先将数据采集模块所采集到的数据发送到大数据预处理模块，所述大数据预处理模块对采集到的原始数据进行预处理，再将处理好的数据发送到智能分析模块；
S2、所述智能分析模块对已经预处理过的数据进行处理和分析；
S3、所述智能分析模块把处理分析好的数据信息储存并发往终端显示单元进行查看，终端显示单元包括用户的计算机、移动设备或其他显示界面，用户可以通过这些界面实时监控、查看和分析数据。
根据上述技术方案，在S1步骤中，在大数据预处理模块获得原始数据之前，判断数据的标准差，衡量数据的波动性，当数据的标准差p≥P时，将对原始数据进行数据清洗，确保数据的准确性和完整性，再发送给大数据预处理模块，其中表示P预定阈值。
根据上述技术方案，获得数据标准差以此来判断是否需要数据清洗的公式如下：
其中，表示标准差，表示一组数据，xi表示第i个数据，表示数据的平均值，Σ表示求和，n表示样本容量。
与现有技术相比，本发明所达到的有益效果是：本发明能够采集各种网站的大量数据信息，从而对网络环境进行安全防护，并且通过增加的大数据预处理模块，能够减轻智能分析模块的负担，同时提高数据的质量、后续分析的准确率以及处理效率，减少数据分析的成本，同时通过计算机网络管理模块与数据存储单元连接，可以对存在安全隐患的数据进行实时监测和维护，提高计算机网络信息数据的安全性能。
附图说明
图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的计算机网络智能分析系统的模块组成示意图；
图2是本发明一种基于大数据的计算机网络智能分析系统的模块连接结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：一种基于大数据的计算机网络智能分析系统,该系统包括数据采集模块、大数据预处理模块、智能分析模块和计算机网络管理模块；
所述数据采集模块的输出端电性连接大数据预处理模块的输入端，所述大数据预处理模块的输出端电性连接智能分析模块的输入端，所述计算机网络管理模块的输出端电性连接智能分析模块的输入端。
请参阅图2，所述数据采集模块包括大数据采集单元，用于对网络上的数据进行采集；
所述大数据采集单元通过连接传感器去采集数据信号，所述传感器包括有EPE传感器、电流传感器、电压传感器、脉冲传感器、I/O传感器、电阻变化传感器以及声音、振动、化学、电流、天气、压力、温度和距离传感器，大数据采集单元模块内设置有CAN接口模块、串口控制模块、数据采集接口模块、模拟信号输入模块、数字信号输入模块、网络通信模块，通过接口来适配各种传感器，以此来采集各种数据；
所述大数据采集单元的输出端电性连接大数据预处理模块的输入端。
所述大数据预处理模块包括数据识别修复单元、数据过滤单元和数据分类单元，用于对收集到的原始数据进行识别、过滤和分类；
所述数据识别修复单元用于对所述大数据采集单元采集到的原始数据进行初步处理，对数据中的存在异常的数据进行修复，修复好的数据可以消除错误和干扰，确保分析结果更具可信度，具体步骤如下：
S1、对于采集到的每个数据记录，检查其中的字段是否存在缺失值，用空值、特定符号或占位符表示数据的缺失值；
S2、对于每个时间段，计算在一时间段内数据大小字段缺失的记录数占总记录数的比例以获得这一时间段内缺失值的比例；
S3、根据业务需求和数据的特点，设定一个阈值，用于判断缺失比例是否超过可接受范围；
S4、对于每个时间段，判断缺失比例是否超过设定的阈值，如果超过阈值，即认为该时间段的数据需要修复；
所述数据过滤单元用于过滤从大量网站采集到的数据信息，所述数据分类单元用于将所述数据过滤单元处理好的大数据进行统一分类，以便更好地进行数据管理和分析；
所述数据识别修复单元的输出端电性连接数据过滤单元的输入端，所述数据过滤单元的输出端电性连接数据分类单元的输入端。
所述智能分析模块包括大数据接收单元、数据扫描单元、数据安全管理单元、数据信息分析单元、数据存储单元和终端显示单元，用于对预处理好的分类数据进行检测分析并存储；
所述大数据接收单元用于接收所述大数据预处理模块传送过来分类好的各种大数据，所述数据扫描单元用于对分类好的大数据进行依次扫描并打包，所述数据扫描单元采用SSL/TLS技术，SL/TLS协议可以建立安全通信通道，通过加密数据传输，防止数据被窃听、篡改或泄露，确保数据在传输过程中的保密性、完整性和真实性，所述数据安全管理单元用于对扫描打包的数据传送至数据信息分析单元，以及需要维护的数据发送至计算机网络管理模块进行维护，并将数据信息传送至数据存储单元，所述数据信息分析单元用于接收数据安全管理单元传送的数据包，对其中的大数据进行处理和分析，提取数据特征和有用的信息并创建数据包返还数据安全管理单元和发送至终端显示单元，所述数据存储单元用于存储数据安全管理发送的分析处理好的大数据以及维护好的数据信息列表，所述终端显示单元是将分析处理好的数据以数据流的形式传送至终端设备上；
所述大数据接收单元的输出端电性连接数据扫描单元的输入端，所述数据扫描单元的输出端电性连接数据安全管理单元的输入端，所述数据安全管理单元与数据信息分析单元双向电性连接，所述数据安全管理单元与计算机网络管理模块双向电性连接，所述数据存储单元与数据安全管理单元双向电性连接，所述数据存储单元的输出端电性连接计算机网络管理模块的输入端，所述数据信息分析单元的输出端电性连接终端显示单元的输入端。
所述计算机网络管理模块包括计算机网络维护单元和网络安全信息管理单元，用于对存在安全隐患的数据进行维护；
所述计算机网络维护模块用于接收来自数据安全管理单元发送的存在安全隐患的数据并对数据进行维护和优化，同时可以定期自动检测已经分析处理好存储在数据存储单元里的大数据信息，将维护好的数据信息反馈给网络安全信息管理单元，所述网络信息安全管理单元用于管理控制计算机网络维护单元，并接收来自计算机网络维护单元已经维护好的数据信息，并且将维护好的数据创建成信息列表反馈给智能分析模块，智能分析模块再将维护过的数据信息存储在数据库中，可以保证网络的稳定性和可靠性，提高网络性能和数据安全性，为网络的正常运作提供保障；
所述计算机网络维护单元的输出端电性连接网络信息安全管理的输入端，所述网络安全信息管理单元与数据安全管理模块双向电性连接。
一种基于大数据的计算机网络智能分析方法，该包含以下步骤：
S1、在智能分析模块获得采集到的大数据之前，先将数据采集模块所采集到的数据发送到大数据预处理模块，所述大数据预处理模块对采集到的原始数据进行预处理，再将处理好的数据发送到智能分析模块；
S2、所述智能分析模块对已经预处理过的数据进行处理和分析；
S3、所述智能分析模块把处理分析好的数据信息储存并发往终端显示单元进行查看，终端显示单元包括用户的计算机、移动设备或其他显示界面，用户可以通过这些界面实时监控、查看和分析数据。
在S1步骤中，在大数据预处理模块获得原始数据之前，判断数据的标准差，衡量数据的波动性，当数据的标准差p≥P时，将对原始数据进行数据清洗，确保数据的准确性和完整性，再发送给大数据预处理模块，其中P表示预定阈值。
获得数据标准差以此来判断是否需要数据清洗的公式如下：
其中，表示标准差，表示一组数据，xi表示第i个数据，表示数据的平均值，Σ表示求和，n表示样本容量。
在本实施例中：
数据信息集合包含三个数据点：10.31，20.98，11.87；
首先计算数据集的平均值：
根据下列公式对数据的标准差进行计算：
得到数据的标准差p为8.15；
设置预定阈值为8.00，因为8.15大于8.00，所以数据的波动性较大，对采集到的原始数据进行数据清洗，再发送给大数据预处理模块进行处理。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的计算机网络智能分析系统，其特征在于：该计算机网络分析系统包括数据采集模块、大数据预处理模块、智能分析模块和计算机网络管理模块；
所述数据采集模块用于对网络上的数据进行采集，所述大数据预处理模块用于对收集到的原始数据进行识别、过滤和分类，所述智能分析模块用于对预处理好的分类数据进行检测分析并存储，所述计算机网络管理模块用于对存在安全隐患的数据进行维护；
所述数据采集模块的输出端电性连接大数据预处理模块的输入端，所述大数据预处理模块的输出端电性连接智能分析模块的输入端，所述计算机网络管理模块的输出端电性连接智能分析模块的输入端。
2.根据权利要求1所述的一种基于大数据的计算机网络智能分析系统，其特征在于：所述数据采集模块包括大数据采集单元；
所述大数据采集单元通过连接传感器去采集数据信号，所述传感器包括有EPE传感器、电流传感器、电压传感器、脉冲传感器、I/O传感器、电阻变化传感器以及声音、振动、化学、电流、天气、压力、温度和距离传感器，以此来采集各种数据；
所述大数据采集单元的输出端电性连接大数据预处理模块的输入端。
3.根据权利要求2所述的一种基于大数据的计算机网络智能分析系统，其特征在于：所述大数据预处理模块包括数据识别修复单元、数据过滤单元和数据分类单元；
所述数据识别修复单元用于对所述大数据采集单元采集到的原始数据进行初步处理，对数据中的存在异常的数据进行修复，具体步骤如下：
S1、对于采集到的每个数据记录，检查其中的字段是否存在缺失值，用空值、特定符号或占位符表示数据的缺失值；
S2、对于每个时间段，计算在一时间段内数据大小字段缺失的记录数占总记录数的比例以获得这一时间段内缺失值的比例；
S3、根据业务需求和数据的特点，设定一个阈值，用于判断缺失比例是否超过可接受范围；
S4、对于每个时间段，判断缺失比例是否超过设定的阈值，如果超过阈值，即认为该时间段的数据需要修复；
所述数据过滤单元用于过滤从大量网站采集到的数据信息，所述数据分类单元用于将所述数据过滤单元处理好的大数据进行统一分类；
所述数据识别修复单元的输出端电性连接数据过滤单元的输入端，所述数据过滤单元的输出端电性连接数据分类单元的输入端。
4.根据权利要求3所述的一种基于大数据的计算机网络智能分析系统，其特征在于：所述智能分析模块包括大数据接收单元、数据扫描单元、数据安全管理单元、数据信息分析单元、数据存储单元和终端显示单元；
所述大数据接收单元用于接收所述大数据预处理模块传送过来分类好的各种大数据，所述数据扫描单元用于对分类好的大数据进行依次扫描并打包，所述数据安全管理单元用于对扫描打包的数据传送至数据信息分析单元，以及需要维护的数据发送至计算机网络管理模块进行维护，并将数据信息传送至数据存储单元，所述数据信息分析单元用于接收数据安全管理单元传送的数据包，对其中的大数据进行处理和分析，提取数据特征和有用的信息并创建数据包返还数据安全管理单元和发送至终端显示单元，所述数据存储单元用于存储数据安全管理发送的分析处理好的大数据以及维护好的数据信息列表，所述终端显示单元是将分析处理好的数据以数据流的形式传送至终端设备上；
所述大数据接收单元的输出端电性连接数据扫描单元的输入端，所述数据扫描单元的输出端电性连接数据安全管理单元的输入端，所述数据安全管理单元与数据信息分析单元双向电性连接，所述数据安全管理单元与计算机网络管理模块双向电性连接，所述数据存储单元与数据安全管理单元双向电性连接，所述数据存储单元的输出端电性连接计算机网络管理模块的输入端，所述数据信息分析单元的输出端电性连接终端显示单元的输入端。
5.根据权利要求4所述的一种基于大数据的计算机网络智能分析系统，其特征在于：所述计算机网络管理模块包括计算机网络维护单元和网络安全信息管理单元；
所述计算机网络维护模块用于接收来自数据安全管理单元发送的存在安全隐患的数据并对数据进行维护，同时可以定期自动检测已经分析处理好存储在数据存储单元里的大数据信息，将维护好的数据信息反馈给网络安全信息管理单元，所述网络信息安全管理单元用于管理控制计算机网络维护单元，并接收来自计算机网络维护单元已经维护好的数据信息，并且将维护好的数据创建成信息列表反馈给智能分析模块；
所述计算机网络维护单元的输出端电性连接网络信息安全管理的输入端，所述网络安全信息管理单元与数据安全管理模块双向电性连接。
6.一种基于大数据的计算机网络智能分析方法，所述方法应用权利要1-5任一项所述的一种基于大数据的计算机网络智能分析系统实现，其特征在于：包含以下步骤：
S1、在智能分析模块获得采集到的大数据之前，先将数据采集模块所采集到的数据发送到大数据预处理模块，所述大数据预处理模块对采集到的原始数据进行预处理，再将处理好的数据发送到智能分析模块；
S2、所述智能分析模块对已经预处理过的数据进行处理和分析；
S3、所述智能分析模块把处理分析好的数据信息储存并发往终端显示单元进行查看。
7.根据权利要求6所述的一种基于大数据的计算机网络智能分析方法，其特征在于：在S1步骤中，在大数据预处理模块获得原始数据之前，判断数据的标准差p，衡量数据的波动性，当数据的标准差p≥P时，将对原始数据进行数据清洗，确保数据的准确性和完整性，再发送给大数据预处理模块，其中P表示预定阈值。
8.根据权利要求7所述的一种基于大数据的计算机网络智能分析方法，其特征在于：获得数据标准差p以此来判断是否需要数据清洗的公式如下：
其中，p表示标准差，X表示一组数据，xi表示第i个数据，u表示数据的平均值，Σ表示求和，n表示样本容量。
CN202311008219.1A 2023-08-11 2023-08-11 一种基于大数据的计算机网络智能分析系统及方法 Pending CN117034317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311008219.1A CN117034317A (zh) 2023-08-11 2023-08-11 一种基于大数据的计算机网络智能分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311008219.1A CN117034317A (zh) 2023-08-11 2023-08-11 一种基于大数据的计算机网络智能分析系统及方法

Publications (1)

Publication Number Publication Date
CN117034317A true CN117034317A (zh) 2023-11-10

Family

ID=88633109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311008219.1A Pending CN117034317A (zh) 2023-08-11 2023-08-11 一种基于大数据的计算机网络智能分析系统及方法

Country Status (1)

Country Link
CN (1) CN117034317A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113886668A (zh) * 2021-10-21 2022-01-04 福建省三明数字城服科技股份有限公司 一种基于大数据的计算机网络智能分析平台
CN114826770A (zh) * 2022-05-27 2022-07-29 南京福田文化传媒有限公司 一种计算机网络智能分析的大数据管理平台
CN115982309A (zh) * 2022-12-30 2023-04-18 中兴(温州)轨道通讯技术有限公司 一种基于大数据的轨道交通数据分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113886668A (zh) * 2021-10-21 2022-01-04 福建省三明数字城服科技股份有限公司 一种基于大数据的计算机网络智能分析平台
CN114826770A (zh) * 2022-05-27 2022-07-29 南京福田文化传媒有限公司 一种计算机网络智能分析的大数据管理平台
CN115982309A (zh) * 2022-12-30 2023-04-18 中兴(温州)轨道通讯技术有限公司 一种基于大数据的轨道交通数据分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭畅: "《大数据技术》", 31 January 2022, 中国商业出版社, pages: 303 - 305 *

Similar Documents

Publication Publication Date Title
CN112953971A (zh) 一种网络安全流量入侵检测方法和系统
CN114124478A (zh) 电力系统工控流量异常检测方法及系统
CN111654496A (zh) 一种面向工业互联网平台体系安全监测及防护系统
CN110929896A (zh) 一种系统设备的安全分析方法及装置
CN112462212A (zh) 一种基于云技术的人工智能局放监测判别系统及方法
CN111416960B (zh) 一种基于云服务的视频监控系统
CN112291107A (zh) 网络分析程序、网络分析装置以及网络分析方法
CN115616341A (zh) 一种基于物联网的远程自动查找电力电缆线路的运维监控系统
CN113630419A (zh) 一种基于api流量的数据分类分级及数据安全监测方法及系统
CN111371647A (zh) 数据中心监控数据预处理方法及装置
CN110636077A (zh) 一种基于统一平台的网络安全防护系统及方法
CN113934536A (zh) 面向边缘计算的数据采集方法
CN116319081B (zh) 一种基于大数据云平台的电子签章安全管理系统
CN117439916A (zh) 一种网络安全测试评估系统及方法
CN115150248A (zh) 网络流量异常检测方法、装置、电子设备和存储介质
CN117034317A (zh) 一种基于大数据的计算机网络智能分析系统及方法
CN115766297B (zh) 一种基于物联网的信息数据安全防护方法
CN117061555A (zh) 一种基于配电通信网智能感知数据监测系统
CN111667391A (zh) 一种环保大数据监测系统
CN206100072U (zh) 电力监控系统的安全防护合规性数据采集系统
CN115801538A (zh) 场站服务器应用资产深度识别方法、系统及设备
CN114282782A (zh) 一种基于3d可视化和物联网技术的智慧能耗管理系统
CN115343318A (zh) 一种基于无线通信的无源灰分仪远程标定系统
CN112905408A (zh) 一种用于电力运维网络安全监测预警系统的服务器
CN117119503B (zh) 基于5g工业互联网的智慧矿山数据采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination