CN116506196A - 一种基于大数据的通信检测预警平台 - Google Patents
一种基于大数据的通信检测预警平台 Download PDFInfo
- Publication number
- CN116506196A CN116506196A CN202310512974.7A CN202310512974A CN116506196A CN 116506196 A CN116506196 A CN 116506196A CN 202310512974 A CN202310512974 A CN 202310512974A CN 116506196 A CN116506196 A CN 116506196A
- Authority
- CN
- China
- Prior art keywords
- data
- early warning
- mining
- module
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000007418 data mining Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 26
- 239000008280 blood Substances 0.000 claims abstract description 19
- 210000004369 blood Anatomy 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims description 40
- 238000005065 mining Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 12
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000005206 flow analysis Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于大数据的通信检测预警平台，属于通信检测技术领域。一种基于大数据的通信检测预警平台，所述一种基于大数据的通信检测预警平台包括：数据采集模块，且所述数据预处理模块对采集的数据进行数据重构和数据特征提取，清洗后的数据经过数据挖掘模块来发现异常数据和威胁信号，所述预警通知模块针对异常数据设置对应的标记，且利用所述数据血缘标记查找标记数据源头，发送预警信息。本发明中，整个通信检测过程采用采集流程可视化，数据预处理模块设置有特征提取，在数据挖掘模块设置多源数据挖掘和非结构化数据挖掘，且设置有个性化生成和数据血缘标记查找，丰富了预警功能，提高了工作人员对预警信息的关注度和有效性。
Description
技术领域
本发明涉及通信检测技术领域，更具体地说，涉及一种基于大数据的通信检测预警平台。
背景技术
通信检测预警平台是一种利用现代信息技术手段，对通信网络进行实时监测和分析，以便发现网络异常和安全威胁的平台。它可以帮助网络管理人员快速准确地识别和定位网络故障、攻击和其他安全事件，为保障网络安全提供有力支持，通信检测预警平台的主要应用场景包括企业、政府机关、金融机构、电信运营商的网络安全管理，而随着大数据技术的发展，基于大数据的通信检测预警平台开始广泛被各类组织机构应用，并在实际现实中实时监控通信网络的数据流量、通信质量、设备状态信息，通过对这些数据进行大数据分析和挖掘，识别网络中的异常行为和威胁信号，并及时向网络管理人员发出预警，但是很多通信检测预警平台采集模块基于批处理的方式，且以采集到显式的数据为主，造成采集精度低，在数据预处理和数据挖掘阶段没有考虑数据的特征提取，仍然存在大量的非结构化数据需要挖掘，在预警通知阶段缺乏个性化设置，容易忽略用户的个性化需求，预警通知形式也较为单一，且往往只针对异常信号进行标记后删除，缺乏对异常信号来源的识别标记。
发明内容
1.要解决的技术问题
本发明的目的在于提供一种基于大数据的通信检测预警平台，以解决上述背景技术中提出的问题：很多通信检测预警平台采集模块基于批处理的方式，且以采集到显式的数据为主，造成采集精度低，在数据预处理和数据挖掘阶段没有考虑数据的特征提取，仍然存在大量的非结构化数据需要挖掘，在预警通知阶段缺乏个性化设置，容易忽略用户的个性化需求，预警通知形式也较为单一，且往往只针对异常信号进行标记后删除，缺乏对异常信号来源的识别标记。
2.技术方案
一种基于大数据的通信检测预警平台，所述一种基于大数据的通信检测预警平台包括：
数据采集模块，用于将数据从网络设备、社交媒体、在线论坛和网络搜索引擎中提取出来，并将其存储到数据库中，所述数据采集模块设置有高精度采集、实时采集和采集流程可视化，且所述数据采集模块采集的数据进入数据预处理模块；
数据预处理模块，用于对采集的数据进行数据清洗处理，所述数据预处理模块设置有数据重构和数据特征提取，且所述数据预处理模块处理后的数据进入数据挖掘模块；
数据挖掘模块，在采集处理后的数据中挖掘数据关系和规律，所述数据挖掘模块设置有多源数据挖掘、增量式挖掘和非结构化数据挖掘，且所述数据挖掘模块挖掘的数据进入预警通知模块识别判断；
预警通知模块，用于对挖掘的数据进行识别判断，所述预警通知模块设置有人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找；
所述数据采集模块采集网络流量数据和设备状态信息，并将数据进行处理和存储，所述数据预处理模块对采集到的数据进行预处理和清洗，并通过所述数据挖掘模块对数据进行分析和挖掘，发现网络中的异常行为和威胁信号，所述预警通知模块识别到所述网络中的异常行为和威胁信号后针对数据设置对应的标记，且利用数据血缘标记查找标记数据源头，并向网络管理人员发送预警信息，且所述数据采集模块、所述数据预处理模块、所述数据挖掘模块和所述预警通知模块都基于实时数据监控。
优选地，所述数据采集模块包括高精度采集、实时采集和采集流程可视化，所述高精度采集设置有隐式数据采集，所述隐式数据采集用于采集用户行为数据、操作日志和安全事件记录，所述高精度采集经过网络包捕获进行流量分析和统计，并分析出单位时间中网络的数据包数目及数据字节数，且所述高精度采集建立在实时采集基础上，所述实时采集设置有流数据处理技术和实时数据流分析技术，通过所述流数据处理技术和实时数据流分析技术获取实时的网络状态信息和异常数据，且所述实时采集全程采用采集流程可视化。
优选地，所述数据预处理模块包括数据重构和数据特征提取，所述数据重构用于将不同来源的数据进行融合和整合，以及对数据进行变换和转换，且所述不同来源的数据融合、整合过程中进行所述数据特征提取，所述数据特征提取采用机器学习和人工智能技术从所述不同来源的数据中提取出有用的特征。
优选地，所述数据挖掘模块包括多源数据挖掘、增量式挖掘和非结构化数据挖掘，所述多源数据挖掘用于对多个数据源进行联合挖掘，所述联合挖掘的过程中设置有增量式挖掘，所述增量式挖掘对实时数据进行实时挖掘，且多源数据挖掘的过程中涉及有非结构化数据挖掘，所述非结构化数据挖掘采用自然语言处理、计算机视觉和语音识别技术挖掘非结构化数据中的有价值信息。
优选地，所述预警通知模块包括人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找，所述人工智能识别设置有机器学习、自然语言处理和知识图谱技术，并通过所述机器学习、自然语言处理和知识图谱技术自动识别判发出预警。
优选地，所述个性化生成根据用户的个性化需求，定制化生成预警通知。
优选地，所述多模式通知设置有语音通知、APP推送和社交媒体通知。
优选地，所述动态预警根据数据的实时变化设置有动态调整，且所述动态调整用于调节预警阈值和修改触发条件。
优选地，所述数据血缘标记查找用于自动识别信号类型并根据不同的数据信号类型和数据信号威胁程度设置对应的标记，且数据血缘标记查找利用数据血缘关系会查找信号来源，并对这类信号做好标记。
3.有益效果
相比于现有技术，本发明的优点在于：
1)、本发明中，在采集模块利用网络包捕获及分析技术、机器学习和人工智能技术，用于获取更详细、更准确的数据，并利用流数据处理技术和实时数据流分析技术，获取实时的网络状态信息和异常数据，且设置有隐式数据采集，用于采集隐式的数据，包括用户行为数据、操作日志和安全事件记录，以帮助更好地识别和预测网络异常和威胁，提高网络预警的效率和准确性，另外整个采集过程采用采集流程可视化，采集数据过程自动生成动态图形，工作人员可以在图形界面中查看采集各节点的数据变化数值，且除了在数据采集模块进行实时采集和采集流程可视化，在整个通信检测过程都设置有实时动态查看和可视化操作。
2)、本发明中，面对大量不同形式的采集数据，在数据预处理模块的数据融合和整合过程中对采集数据进行特征提取，并采用机器学习和人工智能技术，从大量不同形式的原始采集数据中提取出有用的特征，且在数据挖掘模块设置的多源数据挖掘能够对多个实时数据源进行联合挖掘，面对文本数据、图片数据和音频数据，非结构化数据挖掘采用自然语言处理、计算机视觉和语音识别技术，用于挖掘非结构化数据中的有价值信息，为后续的数据预警和决策提供更好的支持。
3)、本发明中，设置有个性化生成，工作人员根据个人需求生成不同的预警通知形式，且在个性化设置中具有多模式通知选择功能，其中包括语音通知、APP推送和社交媒体通知，有效增加工作人员接收预警信息的渠道和方式和通知频率，此外个性化生成还会根据不同的数据信号类型和数据信号威胁程度，设置有不同的提醒方式和提醒频率，而在预警通知过程中，数据血缘标记查找会自动识别信号类型，并利用数据血缘关系查找、标记信号来源，方便提醒工作人员在数据采集可视化阶段对此类数据信号的观察，以提高工作人员对预警信息的关注度和有效性。
附图说明
图1为本发明的整体系统示意图；
图2为本发明的整体系统各模块对应示意图。
具体实施方式
实施例：请参阅图1-2，一种基于大数据的通信检测预警平台，一种基于大数据的通信检测预警平台包括：
数据采集模块，用于将数据从网络设备、社交媒体、在线论坛和网络搜索引擎中提取出来，并将其存储到数据库中，数据采集模块设置有高精度采集、实时采集和采集流程可视化，且数据采集模块采集的数据进入数据预处理模块；
数据预处理模块，用于对采集的数据进行数据清洗处理，数据预处理模块设置有数据重构和数据特征提取，且数据预处理模块处理后的数据进入数据挖掘模块；
数据挖掘模块，在采集处理后的数据中挖掘数据关系和规律，数据挖掘模块设置有多源数据挖掘、增量式挖掘和非结构化数据挖掘，且数据挖掘模块挖掘的数据进入预警通知模块识别判断；
预警通知模块，用于对挖掘的数据进行识别判断，预警通知模块设置有人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找；
数据采集模块采集网络流量数据和设备状态信息，并将数据进行处理和存储，数据预处理模块对采集到的数据进行预处理和清洗，并通过数据挖掘模块对数据进行分析和挖掘，发现网络中的异常行为和威胁信号，预警通知模块识别到网络中的异常行为和威胁信号，利用数据血缘关系查找信号来源，并对这类信号做好标记，并向网络管理人员发送预警信息，且数据采集模块、数据预处理模块、数据挖掘模块和预警通知模块都基于实时数据监控。
数据采集模块包括高精度采集、实时采集和采集流程可视化，高精度采集设置有隐式数据采集，隐式数据采集用于采集用户行为数据、操作日志和安全事件记录，高精度采集经过网络包捕获进行流量分析和统计，并分析出单位时间中网络的数据包数目及数据字节数，且高精度采集建立在实时采集基础上，实时采集设置有流数据处理技术和实时数据流分析技术，通过流数据处理技术和实时数据流分析技术获取实时的网络状态信息和异常数据，且实时采集全程采用采集流程可视化。
具体的，高精度采集利用网络包捕获和分析技术、机器学习和人工智能技术，用于获取更详细、更准确的数据，且实时采集利用流数据处理技术和实时数据流分析技术，用于获取实时的网络状态信息和异常数据，而在高精度采集设置有隐式数据采集，用于采集隐式的数据，包括用户行为数据、操作日志和安全事件记录，以帮助更好地识别和预测网络异常和威胁，提高网络预警的效率和准确性，另外整个采集过程采用采集流程可视化，采集数据过程自动生成动态图形，工作人员可以在图形界面中查看采集各节点的数据变化数值，且除了在数据采集模块进行实时采集和采集流程可视化，在整个通信检测过程都设置有实时动态查看和可视化操作。
数据预处理模块包括数据重构和数据特征提取，数据重构用于将不同来源的数据进行融合和整合，以及对数据进行变换和转换，且不同来源的数据融合、整合过程中进行数据特征提取，数据特征提取采用机器学习和人工智能技术从不同来源的数据中提取出有用的特征。
具体的，经过数据采集模块实时、高精度的数据采集后，数据进入数据预处理模块，该检测预警平台会对采集数据进行数据重构，即是对原始数据进行重构，将不同来源的数据进行融合和整合，并对不同形式的数据进行变换和转换，且面对大量不同形式的采集数据，在数据融合和整合过程中会对采集数据进行特征提取，并采用机器学习和人工智能技术，从大量不同形式的原始采集数据中提取出有用的特征，并用于后续的数据分析和预警。
数据挖掘模块包括多源数据挖掘、增量式挖掘和非结构化数据挖掘，多源数据挖掘用于对多个数据源进行联合挖掘，联合挖掘的过程中设置有增量式挖掘，增量式挖掘对实时数据进行实时挖掘，且多源数据挖掘的过程中涉及有非结构化数据挖掘，非结构化数据挖掘采用自然语言处理、计算机视觉和语音识别技术挖掘非结构化数据中的有价值信息。
具体的，采集数据在经过数据预处理模块时进行数据重构和特征提取，对于更加隐蔽的数据信息需要借助数据挖掘模块进行深度挖掘用于发现更加深层次和复杂的数据关系和规律，且数据挖掘模块设置的多源数据挖掘能够对多个实时数据源进行联合挖掘，面对文本数据、图片数据和音频数据，非结构化数据挖掘采用自然语言处理、计算机视觉和语音识别技术，用于挖掘非结构化数据中的有价值信息，为后续的数据预警和决策提供更好的支持。
预警通知模块包括人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找，人工智能识别设置有机器学习、自然语言处理和知识图谱技术，并通过机器学习、自然语言处理和知识图谱技术自动识别判发出预警。
个性化生成根据用户的个性化需求，定制化生成预警通知。
多模式通知设置有语音通知、APP推送和社交媒体通知。
动态预警根据数据的实时变化设置有动态调整，且动态调整用于调节预警阈值和修改触发条件。
数据血缘标记查找用于自动识别信号类型并根据不同的数据信号类型和数据信号威胁程度设置对应的标记，且数据血缘标记查找利用数据血缘关系会查找信号来源，并对这类信号做好标记。
具体的，当在数据挖掘模块识别网络中的异常行为和威胁信号时，预警通知模块会通过人工智能识别对网络中的异常行为和威胁信号做分析处理，且在人工智能识别的过程采用机器学习、自然语言处理和知识图谱技术，自动判断该通信检测预警平台是否需要发出预警，有效提高预警的准确率和及时性，而且该通信检测预警平台由于全程采用实时数据记录，在预警通知模块接收到的数据实时都会更新动态，而预警通知模块设置的动态预警根据数据的实时变化，动态调整预警阈值和触发条件，用于更加准确地发现潜在问题，且预警通知模块充分考虑到工作人员工作体验，针对个性化需求，工作人员选择个性化设置生成不同的预警通知形式，具有多模式通知选择功能，其中包括语音通知、APP推送和社交媒体通知，有效增加工作人员接收预警信息的渠道和方式和通知频率，此外个性化生成还会根据不同的数据信号类型和数据信号威胁程度，设置有不同的提醒方式和提醒频率，且在预警通知过程中，数据血缘标记查找会自动识别信号类型，并利用数据血缘关系查找、标记信号来源，方便提醒工作人员在数据采集可视化阶段对此类数据信号的观察，以提高工作人员对预警信息的关注度和有效性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于大数据的通信检测预警平台，其特征在于：所述一种基于大数据的通信检测预警平台包括：
数据采集模块，用于将数据从网络设备、社交媒体、在线论坛和网络搜索引擎中提取出来，并将其存储到数据库中，所述数据采集模块设置有高精度采集、实时采集和采集流程可视化，且所述数据采集模块采集的数据进入数据预处理模块；
数据预处理模块，用于对采集的数据进行数据清洗处理，所述数据预处理模块设置有数据重构和数据特征提取，且所述数据预处理模块处理后的数据进入数据挖掘模块；
数据挖掘模块，在采集处理后的数据中挖掘数据关系和规律，所述数据挖掘模块设置有多源数据挖掘、增量式挖掘和非结构化数据挖掘，且所述数据挖掘模块挖掘的数据进入预警通知模块识别判断；
预警通知模块，用于对挖掘的数据进行识别判断，所述预警通知模块设置有人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找用于自动识别信号类型并根据不同的数据信号类型和数据信号威胁程度设置对应的标记，且数据血缘标记查找；
所述数据采集模块采集网络流量数据和设备状态信息，并将数据进行处理和存储，所述数据预处理模块对采集到的数据进行预处理和清洗，并通过所述数据挖掘模块对数据进行分析和挖掘，发现网络中的异常行为和威胁信号，所述预警通知模块识别到所述网络中的异常行为和威胁信号后针对数据设置对应的标记，且利用数据血缘标记查找标记数据源头，并向网络管理人员发送预警信息，且所述数据采集模块、所述数据预处理模块、所述数据挖掘模块和所述预警通知模块都基于实时数据监控。
2.根据权利要求1所述的一种基于大数据的通信检测预警平台，其特征在于：所述数据采集模块包括高精度采集、实时采集和采集流程可视化，所述高精度采集设置有隐式数据采集，所述隐式数据采集用于采集用户行为数据、操作日志和安全事件记录，所述高精度采集经过网络包捕获进行流量分析和统计，并分析出单位时间中网络的数据包数目及数据字节数，且所述高精度采集建立在实时采集基础上，所述实时采集设置有流数据处理技术和实时数据流分析技术，通过所述流数据处理技术和实时数据流分析技术获取实时的网络状态信息和异常数据，且所述实时采集全程采用采集流程可视化。
3.根据权利要求1所述的一种基于大数据的通信检测预警平台，其特征在于：所述数据预处理模块包括数据重构和数据特征提取，所述数据重构用于将不同来源的数据进行融合和整合，以及对数据进行变换和转换，且所述不同来源的数据融合、整合过程中进行所述数据特征提取，所述数据特征提取采用机器学习和人工智能技术从所述不同来源的数据中提取出有用的特征。
4.根据权利要求1所述的一种基于大数据的通信检测预警平台，其特征在于：所述数据挖掘模块包括多源数据挖掘、增量式挖掘和非结构化数据挖掘，所述多源数据挖掘用于对多个数据源进行联合挖掘，所述联合挖掘的过程中设置有增量式挖掘，所述增量式挖掘对实时数据进行实时挖掘，且多源数据挖掘的过程中涉及有非结构化数据挖掘，所述非结构化数据挖掘采用自然语言处理、计算机视觉和语音识别技术挖掘非结构化数据中的有价值信息。
5.根据权利要求1所述的一种基于大数据的通信检测预警平台，其特征在于：所述预警通知模块包括人工智能识别、个性化生成、多模式通知、动态预警和数据血缘标记查找，所述人工智能识别设置有机器学习、自然语言处理和知识图谱技术，并通过所述机器学习、自然语言处理和知识图谱技术自动识别判发出预警。
6.根据权利要求5所述的一种基于大数据的通信检测预警平台，其特征在于：所述个性化生成根据用户的个性化需求，定制化生成预警通知。
7.根据权利要求5所述的一种基于大数据的通信检测预警平台，其特征在于：所述多模式通知设置有语音通知、APP推送和社交媒体通知。
8.根据权利要求5所述的一种基于大数据的通信检测预警平台，其特征在于：所述动态预警根据数据的实时变化设置有动态调整，且所述动态调整用于调节预警阈值和修改触发条件。
9.根据权利要求5所述的一种基于大数据的通信检测预警平台，其特征在于：所述数据血缘标记查找用于自动识别信号类型并根据不同的数据信号类型和数据信号威胁程度设置对应的标记，且所述数据血缘标记查找利用数据血缘关系会查找信号来源，并对这类信号做好标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310512974.7A CN116506196A (zh) | 2023-05-09 | 2023-05-09 | 一种基于大数据的通信检测预警平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310512974.7A CN116506196A (zh) | 2023-05-09 | 2023-05-09 | 一种基于大数据的通信检测预警平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116506196A true CN116506196A (zh) | 2023-07-28 |
Family
ID=87328196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310512974.7A Pending CN116506196A (zh) | 2023-05-09 | 2023-05-09 | 一种基于大数据的通信检测预警平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116506196A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116827843A (zh) * | 2023-08-30 | 2023-09-29 | 湖北华特信息技术有限公司 | 一种基于大数据技术的通信检测方法及装置 |
| CN117354053A (zh) * | 2023-12-04 | 2024-01-05 | 湖北华特信息技术有限公司 | 一种基于大数据的网络安全保护方法 |
-
2023
- 2023-05-09 CN CN202310512974.7A patent/CN116506196A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116827843A (zh) * | 2023-08-30 | 2023-09-29 | 湖北华特信息技术有限公司 | 一种基于大数据技术的通信检测方法及装置 |
| CN116827843B (zh) * | 2023-08-30 | 2023-11-14 | 湖北华特信息技术有限公司 | 一种基于大数据技术的通信检测方法及装置 |
| CN117354053A (zh) * | 2023-12-04 | 2024-01-05 | 湖北华特信息技术有限公司 | 一种基于大数据的网络安全保护方法 |
| CN117354053B (zh) * | 2023-12-04 | 2024-03-08 | 湖北华特信息技术有限公司 | 一种基于大数据的网络安全保护方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116506196A (zh) | 一种基于大数据的通信检测预警平台 | |
| CN111277578A (zh) | 加密流量分析特征提取方法、系统、存储介质、安全设备 | |
| CN106375339A (zh) | 基于事件滑动窗口的攻击模式检测方法 | |
| CN108965340B (zh) | 一种工业控制系统入侵检测方法及系统 | |
| CN113612763B (zh) | 基于网络安全恶意行为知识库的网络攻击检测装置和方法 | |
| CN107292167A (zh) | 基于精简语法树的sql语句安全检测方法 | |
| CN110689148A (zh) | 一种基于ar技术的计量设备故障检测方法 | |
| CN114039758B (zh) | 一种基于事件检测模式的网络安全威胁识别方法 | |
| CN111538741A (zh) | 一种面向警情大数据的深度学习分析方法及系统 | |
| CN116233902B (zh) | 一种基于大数据的无线通信网络异常识别系统及方法 | |
| CN110908957A (zh) | 电力行业网络安全日志审计分析方法 | |
| CN109660656A (zh) | 一种智能终端应用程序识别方法 | |
| CN118300860A (zh) | 一种基于机器学习和高级语义映射的电力网络异常检测系统 | |
| CN106372083B (zh) | 一种有争议性新闻线索自动发现的方法及系统 | |
| CN112367312B (zh) | 一种研判dns隐蔽隧道的检测方法及装置 | |
| CN117033501A (zh) | 大数据采集分析系统 | |
| CN117914511A (zh) | 一种基于数据交换、日志分析的安全审计系统 | |
| CN115186935B (zh) | 一种机电设备非线性故障预测方法及系统 | |
| CN110837593A (zh) | 一种基于聚焦爬虫技术的旅游跟踪系统 | |
| KR20200007563A (ko) | 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법 | |
| CN114124834A (zh) | 一种工业控制网络内icmp隐蔽隧道检测的集成学习装置及方法 | |
| KR20110026154A (ko) | 시맨틱 메타데이터를 통한 인터넷 상의 개인 특성 및 행위 분석 기술 | |
| CN116208464B (zh) | 基于云计算的广播发射机故障大数据信息分析方法及系统 | |
| CN118334563B (zh) | 一种基于监控环境下电力设备异常检测分析方法及系统 | |
| CN114217591B (zh) | 一种关于工业控制系统网络行为自学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |