CN114201955B - 互联网流量平台监测方法和系统 - Google Patents
互联网流量平台监测方法和系统 Download PDFInfo
- Publication number
- CN114201955B CN114201955B CN202111429381.1A CN202111429381A CN114201955B CN 114201955 B CN114201955 B CN 114201955B CN 202111429381 A CN202111429381 A CN 202111429381A CN 114201955 B CN114201955 B CN 114201955B
- Authority
- CN
- China
- Prior art keywords
- cloud computing
- feature vector
- platform
- word
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012502 risk assessment Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种互联网流量平台监测方法和系统，通过搭建云计算平台，获取互联网数据流，按照对象标识字符的相似度聚类，将相似的对象聚类成簇，并结合时间戳得到带有方向的簇状结构，进一步句法分析和语义分析特征向量，得到信息和话题的大类，从而更加容易判断是否合规，对于不合规的数据流调用云计算溯源，利用边缘和中心两种不同的实体服务器，极大地提高了防护效率。
Description
技术领域
本申请涉及网络多媒体领域，尤其涉及一种互联网流量平台监测方法和系统。
背景技术
随着网络技术的发展，需要在安全管理过程中，增加更为详细的技术和方法，可以针对安全隐患进行全面细致的监控和把关，充分利用流量分析的优势。同时，云计算与流量监测天生可以相互契合，如何在流量平台监测中用好云计算也是本领域的重要课题。
因此，急需一种针对性的互联网流量平台监测的方法和系统。
发明内容
本发明的目的在于提供一种互联网流量平台监测方法和系统，通过搭建云计算平台，获取互联网数据流，按照对象标识字符的相似度聚类，将相似的对象聚类成簇，并结合时间戳得到带有方向的簇状结构，进一步句法分析和语义分析特征向量，得到信息和话题的大类，从而更加容易判断是否合规，对于不合规的数据流调用云计算溯源，利用边缘和中心两种不同的实体服务器，极大地提高了防护效率。
第一方面，本申请提供一种互联网流量平台监测方法，所述方法包括：
在服务器上搭建云计算平台，构建句法模型和语义分析模型，所述句法模型和语义分析模型分别位于云计算平台的不同核实体上，所述核实体是所述云计算平台中处于中心地位的实体服务器；
根据获取策略，获取互联网平台的数据流，提取特征向量和对象标识，将所述对象标识转换为字符串，将所述特征向量输入句法模型进行断句，得到词分量；
按字符分解对象标识的所述字符串，根据字符的相似度进行聚类，将相似度高于阈值的若干个对象标识组成簇，并相似度高低和时间戳形成轨迹，所述簇和轨迹构成带有方向的簇状结构；
将所述词分量输入语义分析模型，输出词含义，所述词含义为去除语气词、简洁、含义唯一、使用大类的单词的语句，将所述词含义重组成新的语句，向量化后得到第二特征向量；
计算若干个所述第二特征向量之间的相似度，将相似度高于第二阈值的第二特征向量组成类；
判断所述词含义中是否包括指定的关键词，如果是则继续判断该词含义所在的语句是否形成了指定的含义，如果该语句形成了指定的含义，则认定对应的第二特征向量属于需要报警的情形，针对所述第二特征向量所属的类一起发出报警消息；如果该语句没有形成指定的含义，则认定对应的第二特征向量合规；
所述云计算平台调用边缘地位的实体服务器，溯源对应的词分量和所述簇状结构，将疑似轨迹和疑似源点发送给中心地位的实体服务器，所述中心地位的实体服务器调用所述云计算平台的计算能力，确定对应数据流的源点，通知所述边缘地位的实体服务器屏蔽该源点。
结合第一方面，在第一方面第一种可能的实现方式中，所述溯源还包括风险评估、攻击关联分析和态势感知。
结合第一方面，在第一方面第二种可能的实现方式中，所述获取互联网平台的数据流包括对所述数据流的编解码。
结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析模型和句法模型的内核均使用神经网络模型。
第二方面，本申请提供一种互联网流量平台监测系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
本发明提供一种互联网流量平台监测方法和系统，通过搭建云计算平台，获取互联网数据流，按照对象标识字符的相似度聚类，将相似的对象聚类成簇，并结合时间戳得到带有方向的簇状结构，进一步句法分析和语义分析特征向量，得到信息和话题的大类，从而更加容易判断是否合规，对于不合规的数据流调用云计算溯源，利用边缘和中心两种不同的实体服务器，极大地提高了防护效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的互联网流量平台监测方法的流程图，包括：
在服务器上搭建云计算平台，构建句法模型和语义分析模型，所述句法模型和语义分析模型分别位于云计算平台的不同核实体上，所述核实体是所述云计算平台中处于中心地位的实体服务器；
根据获取策略，获取互联网平台的数据流，提取特征向量和对象标识，将所述对象标识转换为字符串，将所述特征向量输入句法模型进行断句，得到词分量；
按字符分解对象标识的所述字符串，根据字符的相似度进行聚类，将相似度高于阈值的若干个对象标识组成簇，并相似度高低和时间戳形成轨迹，所述簇和轨迹构成带有方向的簇状结构；
将所述词分量输入语义分析模型，输出词含义，所述词含义为去除语气词、简洁、含义唯一、使用大类的单词的语句，将所述词含义重组成新的语句，向量化后得到第二特征向量；
计算若干个所述第二特征向量之间的相似度，将相似度高于第二阈值的第二特征向量组成类；
判断所述词含义中是否包括指定的关键词，如果是则继续判断该词含义所在的语句是否形成了指定的含义，如果该语句形成了指定的含义，则认定对应的第二特征向量属于需要报警的情形，针对所述第二特征向量所属的类一起发出报警消息；如果该语句没有形成指定的含义，则认定对应的第二特征向量合规；
所述云计算平台调用边缘地位的实体服务器，溯源对应的词分量和所述簇状结构，将疑似轨迹和疑似源点发送给中心地位的实体服务器，所述中心地位的实体服务器调用所述云计算平台的计算能力，确定对应数据流的源点，通知所述边缘地位的实体服务器屏蔽该源点。
在一些优选实施例中，所述溯源还包括风险评估、攻击关联分析和态势感知。
在一些优选实施例中，所述获取互联网平台的数据流包括对所述数据流的编解码。
在一些优选实施例中，所述语义分析模型和句法模型的内核均使用神经网络模型。
本申请提供一种互联网流量平台监测系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (6)
1.一种互联网流量平台监测方法，其特征在于，所述方法包括：
在服务器上搭建云计算平台，构建句法模型和语义分析模型，所述句法模型和语义分析模型分别位于云计算平台的不同核实体上，所述核实体是所述云计算平台中处于中心地位的实体服务器；
根据获取策略，获取互联网平台的数据流，提取特征向量和对象标识，将所述对象标识转换为字符串，将所述特征向量输入句法模型进行断句，得到词分量；
按字符分解对象标识的所述字符串，根据字符的相似度进行聚类，将相似度高于阈值的若干个对象标识组成簇，并按照相似度高低和时间戳形成轨迹，所述簇和轨迹构成带有方向的簇状结构；
将所述词分量输入语义分析模型，输出词含义，所述词含义为去除语气词、简洁、含义唯一、使用大类的单词的语句，将所述词含义重组成新的语句，向量化后得到第二特征向量；
计算若干个所述第二特征向量之间的相似度，将相似度高于第二阈值的第二特征向量组成类；
判断所述词含义中是否包括指定的关键词，如果是则继续判断该词含义所在的语句是否形成了指定的含义，如果该语句形成了指定的含义，则认定对应的第二特征向量属于需要报警的情形，针对所述第二特征向量所属的类一起发出报警消息；如果该语句没有形成指定的含义，则认定对应的第二特征向量合规；
所述云计算平台调用边缘地位的实体服务器，溯源对应的词分量和所述簇状结构，将疑似轨迹和疑似源点发送给中心地位的实体服务器，所述中心地位的实体服务器调用所述云计算平台的计算能力，确定对应数据流的源点，通知所述边缘地位的实体服务器屏蔽该源点。
2.根据权利要求1所述的方法，其特征在于：所述溯源还包括风险评估、攻击关联分析和态势感知。
3.根据权利要求1-2任一项所述的方法，其特征在于：所述获取互联网平台的数据流包括对所述数据流的编解码。
4.根据权利要求3所述的方法，其特征在于：所述语义分析模型和句法模型的内核均使用神经网络模型。
5.一种互联网流量平台监测系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111429381.1A CN114201955B (zh) | 2021-11-29 | 2021-11-29 | 互联网流量平台监测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111429381.1A CN114201955B (zh) | 2021-11-29 | 2021-11-29 | 互联网流量平台监测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114201955A CN114201955A (zh) | 2022-03-18 |
| CN114201955B true CN114201955B (zh) | 2024-06-25 |
Family
ID=80649397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111429381.1A Active CN114201955B (zh) | 2021-11-29 | 2021-11-29 | 互联网流量平台监测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114201955B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101453389A (zh) * | 2008-11-19 | 2009-06-10 | 中国网络通信集团公司 | 流量监测方法及系统 |
| CN108270716A (zh) * | 2016-12-30 | 2018-07-10 | 绵阳灵先创科技有限公司 | 一种基于云计算的信息安全审计方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9495358B2 (en) * | 2006-10-10 | 2016-11-15 | Abbyy Infopoisk Llc | Cross-language text clustering |
| US10356106B2 (en) * | 2011-07-26 | 2019-07-16 | Palo Alto Networks (Israel Analytics) Ltd. | Detecting anomaly action within a computer network |
| US9392010B2 (en) * | 2011-11-07 | 2016-07-12 | Netflow Logic Corporation | Streaming method and system for processing network metadata |
| US20190394242A1 (en) * | 2012-09-28 | 2019-12-26 | Rex Wig | System and method of a requirement, active compliance and resource management for cyber security application |
| US20170111245A1 (en) * | 2015-10-14 | 2017-04-20 | International Business Machines Corporation | Process traces clustering: a heterogeneous information network approach |
| US11621969B2 (en) * | 2017-04-26 | 2023-04-04 | Elasticsearch B.V. | Clustering and outlier detection in anomaly and causation detection for computing environments |
| CN110633360B (zh) * | 2019-09-16 | 2023-06-20 | 腾讯科技（上海）有限公司 | 一种语义匹配的方法以及相关装置 |
| CN111866027B (zh) * | 2020-08-10 | 2021-05-25 | 武汉思普崚技术有限公司 | 一种基于情报分析的资产安全评估方法及系统 |
| CN111917792B (zh) * | 2020-08-10 | 2021-11-26 | 武汉思普崚技术有限公司 | 一种流量安全分析挖掘的方法及系统 |
| CN112307172B (zh) * | 2020-10-31 | 2023-08-01 | 平安科技（深圳）有限公司 | 一种语义解析设备、方法、终端及存储介质 |
| CN112671885B (zh) * | 2020-12-21 | 2021-09-14 | 上海路贸通实业集团有限公司 | 基于云计算和大数据的信息解析方法及数字金融服务平台 |
| CN112801359A (zh) * | 2021-01-25 | 2021-05-14 | 海尔数字科技(青岛)有限公司 | 工业互联网安全态势预测方法、装置、电子设备及介质 |
| CN113645065B (zh) * | 2021-07-21 | 2024-03-15 | 武汉虹旭信息技术有限责任公司 | 基于工业互联网的工控安全审计系统及其方法 |
-
2021
- 2021-11-29 CN CN202111429381.1A patent/CN114201955B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101453389A (zh) * | 2008-11-19 | 2009-06-10 | 中国网络通信集团公司 | 流量监测方法及系统 |
| CN108270716A (zh) * | 2016-12-30 | 2018-07-10 | 绵阳灵先创科技有限公司 | 一种基于云计算的信息安全审计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114201955A (zh) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428044B (zh) | 多模态获取监管识别结果的方法、装置、设备及存储介质 | |
| CN106599041A (zh) | 基于大数据平台的文本处理及检索系统 | |
| CN108509793A (zh) | 一种基于用户行为日志数据的用户异常行为检测方法及装置 | |
| CN113590810B (zh) | 摘要生成模型训练方法、摘要生成方法、装置及电子设备 | |
| CN107239694A (zh) | 一种基于用户评论的Android应用权限推理方法及装置 | |
| CN109582954A (zh) | 用于输出信息的方法和装置 | |
| CN111866004A (zh) | 安全评估方法、装置、计算机系统和介质 | |
| CN110674370A (zh) | 域名识别方法及装置、存储介质及电子设备 | |
| CN112069498A (zh) | 一种sql注入检测模型构建方法及检测方法 | |
| CN111586695A (zh) | 短信识别方法及相关设备 | |
| CN115495744A (zh) | 威胁情报分类方法、装置、电子设备及存储介质 | |
| CN115238799A (zh) | 基于ai随机森林恶意流量检测方法和系统 | |
| CN115314268A (zh) | 基于流量指纹和行为的恶意加密流量检测方法和系统 | |
| CN107688594B (zh) | 基于社交信息的风险事件的识别系统及方法 | |
| CN113657090A (zh) | 一种军事新闻长文本层次化事件抽取方法 | |
| CN117874662A (zh) | 基于图模式的微服务日志异常检测方法 | |
| CN114201955B (zh) | 互联网流量平台监测方法和系统 | |
| CN111723182A (zh) | 一种用于漏洞文本的关键信息抽取方法及装置 | |
| CN111209750A (zh) | 车联网威胁情报建模方法、装置及可读存储介质 | |
| CN115115432B (zh) | 基于人工智能的产品信息推荐方法及装置 | |
| CN114168731B (zh) | 互联网媒体流量安全防护方法和系统 | |
| CN114201956B (zh) | 工业互联网的安全防护方法和系统 | |
| CN115563296A (zh) | 基于内容语义的融合检测方法和系统 | |
| CN116822491A (zh) | 日志解析方法及装置、设备、存储介质 | |
| CN114662496A (zh) | 信息识别方法、装置、设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant after: Beijing Guorui Digital Intelligence Technology Co.,Ltd. Address before: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant before: Beijing Zhimei Internet Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |