CN114172705A - 基于模式识别的网络大数据分析方法和系统 - Google Patents
基于模式识别的网络大数据分析方法和系统 Download PDFInfo
- Publication number
- CN114172705A CN114172705A CN202111431382.XA CN202111431382A CN114172705A CN 114172705 A CN114172705 A CN 114172705A CN 202111431382 A CN202111431382 A CN 202111431382A CN 114172705 A CN114172705 A CN 114172705A
- Authority
- CN
- China
- Prior art keywords
- user behavior
- data stream
- network
- rate
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003909 pattern recognition Methods 0.000 title claims abstract description 13
- 238000007405 data analysis Methods 0.000 title claims description 12
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 69
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于模式识别的网络大数据分析的方法和系统，通过设置分流器的区间档位，将网络数据流进行分流，得到对应高速率、中速率和低速率的三个数据流集合，分别将三个集合输入用户行为模型，检测其分别包含的用户行为字段，以及分析该用户行为字段与当前速率的映射关系，综合得出当前网络环境下的用户行为模式，判断其是否为攻击性。
Description
技术领域
本申请涉及网络多媒体领域，尤其涉及一种基于模式识别的网络大数据分析方法和系统。
背景技术
现有网络大数据分析通常使用固定的分析方法，然而网络数据流却是灵活多变的，网络环境和用户行为难以预测，导致固定的分析方法效果不佳。
同时，现有分析一种网络行为不会结合当前的网络环境，会低估或过度解析该网络行为，导致分析偏差，也是需要改进的地方。
因此，急需一种针对性的基于模式识别的网络大数据分析的方法和系统。
发明内容
本发明的目的在于提供一种基于模式识别的网络大数据分析方法和系统，通过设置分流器的区间档位，将网络数据流进行分流，得到对应高速率、中速率和低速率的三个数据流集合，分别将三个集合输入用户行为模型，检测其分别包含的用户行为字段，以及分析该用户行为字段与当前速率的映射关系，综合得出当前网络环境下的用户行为模式，判断其是否为攻击性。
第一方面，本申请提供一种基于模式识别的网络大数据分析方法，所述方法包括：
服务器采集网络数据流，监测该网络数据流的速率，按照速率高低设置分流器的区间档位，速率高于第一阈值的为高速率，速率低于第一阈值且高于第二阈值的为中速率，速率低于第二阈值的为低速率，其中第一阈值大于第二阈值；
将所述网络数据流输入到所述分流器中，根据不同的区间档位，分流所述网络数据流，得到对应高速率、中速率和低速率的三个数据流集合；
分别依次将所述三个数据流集合输入用户行为模型，检测所述三个数据流集合中包含哪些用户行为字段，分析所述用户行为字段的访问对象，统计所述用户行为字段出现频率，判断是否包含攻击倾向的用户行为，得到第一结果；
分析用户行为字段的类型与所述网络数据流的速率之间的映射关系，判断该用户行为字段对应的用户行为出现在当前速率下是否合理，得到第二结果；
结合所述第一结果和第二结果，得出当前网络环境下的用户行为模式，若该用户行为模式为攻击型，则屏蔽该用户行为的来源，若该用户行为模式为普通型，则允许该用户行为的访问请求。
结合第一方面，在第一方面第一种可能的实现方式中，所述得出当前网络环境下的用户行为模式，还可以包括进一步分析用户行为模式的强弱程度，根据该强弱程度判断用户行为的急迫程度。
结合第一方面，在第一方面第二种可能的实现方式中，所述屏蔽该用户行为的来源之前，还包括找到所有的攻击轨迹途径点，形成攻击轨迹，所述攻击轨迹可复用包括多个不同维度的异常攻击，溯源得到不同维度的异常攻击的源点。
结合第一方面，在第一方面第三种可能的实现方式中，所述用户行为模型使用了神经网络模型。
第二方面，本申请提供一种基于模式识别的网络大数据分析系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
本发明提供一种基于模式识别的网络大数据分析方法和系统，通过设置分流器的区间档位，将网络数据流进行分流，得到对应高速率、中速率和低速率的三个数据流集合，分别将三个集合输入用户行为模型，检测其分别包含的用户行为字段，以及分析该用户行为字段与当前速率的映射关系，综合得出当前网络环境下的用户行为模式，判断其是否为攻击性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的基于模式识别的网络大数据分析方法的流程图，包括：
服务器采集网络数据流，监测该网络数据流的速率，按照速率高低设置分流器的区间档位，速率高于第一阈值的为高速率，速率低于第一阈值且高于第二阈值的为中速率，速率低于第二阈值的为低速率，其中第一阈值大于第二阈值；
将所述网络数据流输入到所述分流器中，根据不同的区间档位，分流所述网络数据流，得到对应高速率、中速率和低速率的三个数据流集合；
分别依次将所述三个数据流集合输入用户行为模型，检测所述三个数据流集合中包含哪些用户行为字段，分析所述用户行为字段的访问对象，统计所述用户行为字段出现频率，判断是否包含攻击倾向的用户行为，得到第一结果；
分析用户行为字段的类型与所述网络数据流的速率之间的映射关系，判断该用户行为字段对应的用户行为出现在当前速率下是否合理，得到第二结果；
结合所述第一结果和第二结果，得出当前网络环境下的用户行为模式，若该用户行为模式为攻击型，则屏蔽该用户行为的来源，若该用户行为模式为普通型，则允许该用户行为的访问请求。
在一些优选实施例中，所述得出当前网络环境下的用户行为模式，还可以包括进一步分析用户行为模式的强弱程度，根据该强弱程度判断用户行为的急迫程度。
在一些优选实施例中，所述屏蔽该用户行为的来源之前，还包括找到所有的攻击轨迹途径点，形成攻击轨迹，所述攻击轨迹可复用包括多个不同维度的异常攻击，溯源得到不同维度的异常攻击的源点。
在一些优选实施例中，所述用户行为模型使用了神经网络模型。
本申请提供一种基于模式识别的网络大数据分析系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (6)
1.一种基于模式识别的网络大数据分析方法，其特征在于，所述方法包括：
服务器采集网络数据流，监测该网络数据流的速率，按照速率高低设置分流器的区间档位，速率高于第一阈值的为高速率，速率低于第一阈值且高于第二阈值的为中速率，速率低于第二阈值的为低速率，其中第一阈值大于第二阈值；
将所述网络数据流输入到所述分流器中，根据不同的区间档位，分流所述网络数据流，得到对应高速率、中速率和低速率的三个数据流集合；
分别依次将所述三个数据流集合输入用户行为模型，检测所述三个数据流集合中包含哪些用户行为字段，分析所述用户行为字段的访问对象，统计所述用户行为字段出现频率，判断是否包含攻击倾向的用户行为，得到第一结果；
分析用户行为字段的类型与所述网络数据流的速率之间的映射关系，判断该用户行为字段对应的用户行为出现在当前速率下是否合理，得到第二结果；
结合所述第一结果和第二结果，得出当前网络环境下的用户行为模式，若该用户行为模式为攻击型，则屏蔽该用户行为的来源，若该用户行为模式为普通型，则允许该用户行为的访问请求。
2.根据权利要求1所述的方法，其特征在于：所述得出当前网络环境下的用户行为模式，还可以包括进一步分析用户行为模式的强弱程度，根据该强弱程度判断用户行为的急迫程度。
3.根据权利要求1-2任一项所述的方法，其特征在于：所述屏蔽该用户行为的来源之前，还包括找到所有的攻击轨迹途径点，形成攻击轨迹，所述攻击轨迹可复用包括多个不同维度的异常攻击，溯源得到不同维度的异常攻击的源点。
4.根据权利要求1-3任一项所述的方法，其特征在于：所述用户行为模型使用了神经网络模型。
5.一种基于模式识别的网络大数据分析系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111431382.XA CN114172705B (zh) | 2021-11-29 | 2021-11-29 | 基于模式识别的网络大数据分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111431382.XA CN114172705B (zh) | 2021-11-29 | 2021-11-29 | 基于模式识别的网络大数据分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114172705A true CN114172705A (zh) | 2022-03-11 |
| CN114172705B CN114172705B (zh) | 2023-11-14 |
Family
ID=80481391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111431382.XA Active CN114172705B (zh) | 2021-11-29 | 2021-11-29 | 基于模式识别的网络大数据分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114172705B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115102736A (zh) * | 2022-06-15 | 2022-09-23 | 天津市国瑞数码安全系统股份有限公司 | 一种基于模式识别的网络安全评估的方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574537A (zh) * | 2015-11-23 | 2016-05-11 | 北京高科中天技术股份有限公司 | 基于多传感器的危险驾驶行为检测和评估方法 |
| CN108512838A (zh) * | 2018-03-19 | 2018-09-07 | 天津大学 | 基于漏洞攻击的无线传感网络路由协议安全性分析方法 |
| CN109800363A (zh) * | 2018-12-13 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 构建资信关系网络的方法、装置、设备及存储介质 |
| US20200271069A1 (en) * | 2019-02-21 | 2020-08-27 | Toyota Jidosha Kabushiki Kaisha | Imbalance detection device, imbalance detection system, data analysis device, and controller for internal combustion engine |
| CN111917792A (zh) * | 2020-08-10 | 2020-11-10 | 武汉思普崚技术有限公司 | 一种流量安全分析挖掘的方法及系统 |
-
2021
- 2021-11-29 CN CN202111431382.XA patent/CN114172705B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574537A (zh) * | 2015-11-23 | 2016-05-11 | 北京高科中天技术股份有限公司 | 基于多传感器的危险驾驶行为检测和评估方法 |
| CN108512838A (zh) * | 2018-03-19 | 2018-09-07 | 天津大学 | 基于漏洞攻击的无线传感网络路由协议安全性分析方法 |
| CN109800363A (zh) * | 2018-12-13 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 构建资信关系网络的方法、装置、设备及存储介质 |
| US20200271069A1 (en) * | 2019-02-21 | 2020-08-27 | Toyota Jidosha Kabushiki Kaisha | Imbalance detection device, imbalance detection system, data analysis device, and controller for internal combustion engine |
| CN111917792A (zh) * | 2020-08-10 | 2020-11-10 | 武汉思普崚技术有限公司 | 一种流量安全分析挖掘的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵礼辉;王震;冯金芝;郑松林;: "基于用户大数据的电驱动系统可靠性工况特征研究", 汽车工程, no. 10, pages 1386 - 1396 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115102736A (zh) * | 2022-06-15 | 2022-09-23 | 天津市国瑞数码安全系统股份有限公司 | 一种基于模式识别的网络安全评估的方法和系统 |
| CN115102736B (zh) * | 2022-06-15 | 2024-04-26 | 天津市国瑞数码安全系统股份有限公司 | 一种基于模式识别的网络安全评估的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114172705B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107168854B (zh) | 互联网广告异常点击检测方法、装置、设备及可读存储介质 | |
| CN106936781B (zh) | 一种用户操作行为的判定方法及装置 | |
| CN106657057B (zh) | 反爬虫系统及方法 | |
| CN110839016A (zh) | 异常流量监测方法、装置、设备及存储介质 | |
| CN111506485B (zh) | 特征分箱方法、装置、设备及计算机可读存储介质 | |
| KR101904436B1 (ko) | 깨진 네트워크 연결들의 기계 학습 기반 식별 | |
| CN112615888B (zh) | 一种网络攻击行为的威胁评估方法及装置 | |
| CN111600894B (zh) | 一种网络攻击检测方法及装置 | |
| CN107341095B (zh) | 一种智能分析日志数据的方法及装置 | |
| CN111787002B (zh) | 一种业务数据网络安全分析的方法及系统 | |
| CN110300008A (zh) | 一种确定网络设备的状态的方法及装置 | |
| CN106909454B (zh) | 一种规则处理方法和设备 | |
| CN111338622B (zh) | 供应链代码识别方法、装置、服务器及可读存储介质 | |
| CN113992340A (zh) | 用户异常行为识别方法、装置、设备、存储介质和程序 | |
| CN114172705A (zh) | 基于模式识别的网络大数据分析方法和系统 | |
| Zuo | Defense of Computer Network Viruses Based on Data Mining Technology. | |
| CN109189840B (zh) | 一种流式在线日志解析方法 | |
| CN111885011B (zh) | 一种业务数据网络安全分析挖掘的方法及系统 | |
| CN106776623B (zh) | 一种用户行为分析方法和设备 | |
| CN114221794B (zh) | 基于改进模式识别算法的用户行为分析方法、系统和介质 | |
| CN109583590B (zh) | 数据处理方法及数据处理装置 | |
| CN115526198A (zh) | 基于模式识别的物体行为识别和压缩方法和系统 | |
| CN115019235B (zh) | 一种场景划分和内容检测的方法和系统 | |
| CN110782276A (zh) | 一种访问分流策略干扰判断方法、装置及电子设备 | |
| CN113572768B (zh) | 一种僵尸网络家族传播源数量变化异常的分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant after: Beijing Guorui Digital Intelligence Technology Co.,Ltd. Address before: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant before: Beijing Zhimei Internet Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |