CN112073393A - 基于云计算和用户行为分析的流量检测方法及大数据中心 - Google Patents
基于云计算和用户行为分析的流量检测方法及大数据中心 Download PDFInfo
- Publication number
- CN112073393A CN112073393A CN202010877208.7A CN202010877208A CN112073393A CN 112073393 A CN112073393 A CN 112073393A CN 202010877208 A CN202010877208 A CN 202010877208A CN 112073393 A CN112073393 A CN 112073393A
- Authority
- CN
- China
- Prior art keywords
- curve
- time
- flow
- user behavior
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000013507 mapping Methods 0.000 claims abstract description 80
- 230000008859 change Effects 0.000 claims abstract description 74
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 230000006399 behavior Effects 0.000 claims description 171
- 238000000034 method Methods 0.000 claims description 39
- 238000001595 flow curve Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Traffic Control Systems (AREA)
Abstract
本说明书公开的基于云计算和用户行为分析的流量检测方法及大数据中心，首先按照确定出的当前时段的流量检测持续时长获取业务端设备上传的实时数据流量并提取业务端设备在生成实时数据流量时的实时用户行为数据，其次按照设备运行日志对实时用户行为数据进行分析得到用户行为分析结果并生成业务端设备从上一时段到当前时段的用户行为变化曲线，最后将绘制得到的实时流量曲线映射到用户行为变化曲线所在的坐标平面中得到流量映射曲线，根据流量映射曲线和用户行为变化曲线检测业务端设备在当前时段内是否存在异常流量。如此，能够以用户行为数据为基准进行流量检测，提高流量检测的准确性和可靠性，避免将业务端设备的正常流量误判为异常流量。
Description
技术领域
本申请涉及云计算和网络通信技术领域，尤其涉及基于云计算和用户行为分析的流量检测方法及大数据中心。
背景技术
网络通信的发展为现代社会的生产生活提供便利的同时也带来了些许风险。例如，恶意流量入侵是导致数据服务器崩溃主要原因之一，由此引发的一些列网络通信事故是不可忽视的。因此，如何对恶意流量进行检测并进行流量拦截是确保数据服务器安全可靠运行的关键。
然而常见的流量检测方法往往容易将正常流量误判为恶意流量。
发明内容
本说明书提供了一种基于云计算和用户行为分析的流量检测方法及大数据中心，以解决或者部分解决常见的流量检测方法往往容易将正常流量误判为恶意流量的技术问题。
第一方面地，用以提供一种基于云计算和用户行为分析的流量检测方法，所述方法包括：
根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，按照所述流量检测持续时长启动对所述业务端设备的流量检测，获取所述业务端设备上传的实时数据流量并提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据；
按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果；基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线；
按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线；根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量。
在第一方面的一个可以实现的实施例中，根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量，包括：
提取所述流量映射曲线的第一曲线描述数据以及所述用户行为变化曲线的第二曲线描述数据；其中，所述第一曲线描述数据用户表征所述流量映射曲线的曲线特征，所述第二曲线描述数据用于表征所述用户行为变化曲线的曲线特征，所述第一曲线描述数据中包括多个流量波动性系数，所述第二曲线描述数据中包括与所述流量波动性系数的数量相同的多个用户行为标签；
确定与每个流量波动性系数对应的用户行为标签的行为风险系数并计算每个流量波动性系数与其对应的行为风险系数之间的时序相关性权重；根据与每个流量波动性系数对应的用户行为标签的标签特征值确定每个流量波动性系数对应的时间节点的第一网络环境参数以及对应的用户行为标签在该时间节点上的第二网络环境参数；
基于每个第一网络环境参数及其对应的第二网络环境参数确定每个时间节点上的网络环境扰动率；通过所述网络环境扰动率生成用于对所述时序相关性权重进行判断的权重区间；
判断每个时序相关性权重是否位于其对应的权重区间内；在所述时序相关性权重位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第一设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量；在所述时序相关性权重没有位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第二设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量；其中，所述第一设定流量值大于所述第二设定流量值。
在第一方面的一个可以实现的实施例中，若判定所述业务端设备在当前时段内存在异常流量，所述方法还包括：
确定所述业务端设备对应的设备标识；
根据所述设备标识生成用于拦截所述业务端设备上传的数据流量的拦截机制并激活所述拦截机制。
在第一方面的一个可以实现的实施例中，按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，包括：
按照所述设定时间步长依次提取所述实时数据流量在当前时段的每个时间节点上的流量值以及该流量值的流量指向信息，根据所述流量指向信息确定每个时间节点上的流量值所对应的关联流量区间，并从所述关联流量区间中筛分出与该流量值对应的流量区间相连续的第一流量区间以及与该流量值对应得流量区间之间存在间隔的第二流量区间；
按照所述第一流量区间对应的第一时序相对系数以及所述第二流量区间对应的第二时序相对系数确定每个时间节点对应的流量值的曲线节点修正系数；
将每个时间节点对应的流量值进行拟合得到初始流量曲线；按照所述时间节点的先后顺序依次采用每个曲线节点修正系数对所述初始流量曲线上与每个曲线节点修正系数对应的流量值进行修正，在每次对流量值进行修正的过程中并行地对当前曲线节点修正系数之后的至少两个曲线节点修正系数进行加权，直至对倒数第三个曲线节点修正系数对应的流量值进行修正；通过修正之后的流量值对所述初始流量曲线进行校正以得到所述实时流量曲线。
在第一方面的一个可以实现的实施例中，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线，包括：
提取所述实时流量曲线对应的第一曲线特征集合以及所述用户行为变化曲线对应的第二曲线特征集合，根据所述第一曲线特征集合以及所述第二曲线特征集合判断所述实时流量曲线的第一特征维度和所述用户行为变化曲线的第二特征维度是否相同；在所述第一特征维度和所述第二特征维度不相同时，以所述第二特征维度对基准对所述第一曲线特征集合进行特征重构以使重构之后的第一曲线特征集合对应的第一目标特征维度与所述第二特征维度相同；
在所述第一特征维度与所述第二特征维度相同时，基于所述第一特征维度或所述第二特征维度对预设特征聚类模型的模型参数进行调整，将特征重构之后的第一曲线特征集合以及所述第二曲线特征集合输入到所述预设特征聚类模型，得到所述预设特征聚类模型输出的与特征重构之后的第一曲线特征集合对应的第一特征聚类分布图以及与所述第二曲线特征集合对应的第二特征聚类分布图；
从所述第一特征聚类分布图中确定出任意一个子图对应的图数据描述信息，将所述图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息；计算所述映射描述信息与所述图数据描述信息之间的信息匹配度，在所述信息匹配度低于预设匹配度时从所述第一特征聚类分布图中确定出除前面的子图之外的任意一个子图对应的图数据描述信息并将该图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息，直至计算得到的信息匹配度大于等于所述预设匹配度，并确定计算得到的信息匹配度大于等于所述预设匹配度时所述实时流量曲线与所述用户行为变化曲线之间的映射路径；
按照所述映射路径将所述实时流量曲线中的每个曲线节点映射到所述用户行为变化曲线所在的坐标平面中得到映射曲线节点，并按照所述用户行为变化曲线的斜率变化对所述映射曲线节点进行拟合得到所述流量映射曲线。
在第一方面的一个可以实现的实施例中，按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果，进一步包括：
分别确定所述设备运行日志包括的各个待识别日志文本对应的各自的文本消息记录；其中，各个待识别日志文本的文本消息记录是根据对应待识别日志文本在所述设备运行日志中的存储地址所对应的脚本文件得到的；
持续统计确定出的文本消息记录；
监控是否已统计所述设备运行日志中包括的所有待识别日志文本的文本消息记录；
若已统计所述设备运行日志包括的所有待识别日志文本的文本消息记录，则将所述设备运行日志包括的所有待识别日志文本的文本消息记录分别进行消息关键词提取得到每个待识别日志文本的文本消息记录对应的关键词队列；从每组关键词队列中确定出不随所述设备运行日志的更新而变化的目标关键词并获取所述目标关键词在其对应的关键词队列的队列位置信息，若所述队列位置信息表征所述目标关键词在其对应的关键词队列的队列尾部，则确定所述关键词队列对应的待识别日志文本为冗余日志文本，将所述设备运行日志中的冗余日志文本剔除以得到目标日志文本；基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果。
在第一方面的一个可以实现的实施例中，基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果，具体包括：
根据所述目标日志文本获取所述实时用户行为数据的行为函数调用记录；其中，所述行为函数调用记录中包括多个的被调用的执行函数；
从所述行为函数调用记录中截取出第一被调用的执行函数，从所述第一被调用的执行函数的函数容器中识别出第一输入输出轨迹，将所述第一输入输出轨迹所在的参数节点从所述第一被调用的执行函数中抽取，并将截取所述第一被调用的执行函数之后的第二被调用的执行函数以得到所述第二被调用的执行函数对应的参数节点，直至获得所有被调用的执行函数对应的参数节点；
根据所述参数节点对应的有向连边将所述参数节点进行连接以得到有向无环图，基于所述有向无环图生成所述用户行为分析结果。
第二方面地，用以提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
第三方面地，用以提供一种大数据中心，包括执行上述方法的步骤的基于云计算和用户行为分析的流量检测装置。
第四方面地，用以提供一种大数据中心，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
通过本说明书的一个或者多个技术方案，本说明书具有以下有益效果或者优点：
首先按照确定出的当前时段的流量检测持续时长获取业务端设备上传的实时数据流量并提取业务端设备在生成实时数据流量时的实时用户行为数据，其次按照设备运行日志对实时用户行为数据进行分析得到用户行为分析结果并生成业务端设备从上一时段到当前时段的用户行为变化曲线，最后将绘制得到的实时流量曲线映射到用户行为变化曲线所在的坐标平面中得到流量映射曲线，从而根据流量映射曲线和用户行为变化曲线检测业务端设备在当前时段内是否存在异常流量。如此，能够以业务端设备的用户行为数据为基准进行流量检测，从而提高流量检测的准确性和可靠性，避免将业务端设备的正常流量误判为异常流量。
上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本说明书一个实施例的基于云计算和用户行为分析的流量检测系统的系统架构图；
图2示出了根据本说明书一个实施例的基于云计算和用户行为分析的流量检测方法的流程示意图；
图3示出了根据本说明书一个实施例的基于云计算和用户行为分析的流量检测装置的功能模块图；
图4示出了根据本说明书一个实施例的一种大数据中心的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
发明人对常见的流量检测方法进行研究和分析后发现，常见的流量检测方法通常基于设定不同时段内的流量接收最大值来检测是否存在流量，这种方法虽然能够检测出流量速率过大的异常流量，但是也会存在“一刀切”的问题。若正常流量的流量速率大于设定的流量速率，则也会将正常流量误判为异常流量，从而影响业务端设备的正常运行。
为改善上述技术问题，本发明实施例旨在提供一种基于云计算和用户行为分析的流量检测方法及大数据中心，能够以业务端设备的用户行为数据为基准进行流量检测，从而提高流量检测的准确性和可靠性，避免将业务端设备的正常流量误判为异常流量。
为便于对整体方案进行说明，首先介绍了上述方案的应用环境，如图1所示，为基于云计算和用户行为分析的流量检测系统100的系统架构示意图，所述流量检测系统可以包括互相之间通信连接的大数据中心200和业务端设备400，大数据中心200用于检测业务端设备400上传的数据流量并进行检测，以实现对业务端设备400在运行过程中的流量的精准检测。
为进一步地阐述上述方案，请结合参阅图2，为基于云计算和用户行为分析的流量检测方法的流程示意图，所述方法可以应用于图1中的大数据中心100，示例性地可以包括以下步骤S210-步骤S230所描述的内容。
步骤S210，根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，按照所述流量检测持续时长启动对所述业务端设备的流量检测，获取所述业务端设备上传的实时数据流量并提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据。
示例性地，流量检测时长为每一轮流量检测所持续的时长，实时数据流量和实时用户行为数据是可变的。
步骤S220，按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果；基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线。
示例性地，设备运行日志记录了业务端设备与其他终端设备的通信交互信息，用户行为分析结果可以通过图数据的形式进行存储，用户行为变化曲线是以一条二维曲线来表示业务端设备的实时状态的曲线。
步骤S230，按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线；根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量。
示例性地，实时流量曲线通过多个时间节点上的流量值拟合而成。流量映射曲线与用户行为变化曲线存在相关性，因此可以结合流量映射曲线和用户行为变化曲线准确可靠地检测业务端设备在当前时段内是否存在异常流量。
在执行上述步骤S210-步骤S230所描述的内容时，首先按照确定出的当前时段的流量检测持续时长获取业务端设备上传的实时数据流量并提取业务端设备在生成实时数据流量时的实时用户行为数据，其次按照设备运行日志对实时用户行为数据进行分析得到用户行为分析结果并生成业务端设备从上一时段到当前时段的用户行为变化曲线，最后将绘制得到的实时流量曲线映射到用户行为变化曲线所在的坐标平面中得到流量映射曲线，从而根据流量映射曲线和用户行为变化曲线检测业务端设备在当前时段内是否存在异常流量。如此，能够以业务端设备的用户行为数据为基准进行流量检测，从而提高流量检测的准确性和可靠性，避免将业务端设备的正常流量误判为异常流量。
在实际应用时发明人发现，为了确保流量检测的可靠性以避免误检，需要考虑流量映射曲线和用户行为变化曲线之间的时序相关性以及流量映射曲线和用户行为变化曲线在相同时间段内的网络环境参数。为了实现上述目的，步骤S230所描述的根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量，具体可以包括以下步骤S231-步骤S234所描述的内容。
步骤S231，提取所述流量映射曲线的第一曲线描述数据以及所述用户行为变化曲线的第二曲线描述数据；其中，所述第一曲线描述数据用户表征所述流量映射曲线的曲线特征，所述第二曲线描述数据用于表征所述用户行为变化曲线的曲线特征，所述第一曲线描述数据中包括多个流量波动性系数，所述第二曲线描述数据中包括与所述流量波动性系数的数量相同的多个用户行为标签。
步骤S232，确定与每个流量波动性系数对应的用户行为标签的行为风险系数并计算每个流量波动性系数与其对应的行为风险系数之间的时序相关性权重；根据与每个流量波动性系数对应的用户行为标签的标签特征值确定每个流量波动性系数对应的时间节点的第一网络环境参数以及对应的用户行为标签在该时间节点上的第二网络环境参数。
步骤S233，基于每个第一网络环境参数及其对应的第二网络环境参数确定每个时间节点上的网络环境扰动率；通过所述网络环境扰动率生成用于对所述时序相关性权重进行判断的权重区间。
步骤S234，判断每个时序相关性权重是否位于其对应的权重区间内；在所述时序相关性权重位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第一设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量；在所述时序相关性权重没有位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第二设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量；其中，所述第一设定流量值大于所述第二设定流量值。
可以理解，通过上述步骤S231-步骤S234所描述的内容，能够考虑流量映射曲线和用户行为变化曲线之间的时序相关性以及流量映射曲线和用户行为变化曲线在相同时间段内的网络环境参数，从而根据不同的第一设定流量值和第二设定流量值确保流量检测的可靠性以避免误检。
在一个可以实现的实施方式中，发明人发现，在绘制实时流量曲线时可能会出现断点，经发明人进一步分析和研究发现，出现断点的原因是没有考虑相邻时间节点的流量值的连续性和关联性，为改善这一问题，步骤S230所描述的按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，具体可以包括以下步骤a-步骤c所描述的内容。
步骤a，按照所述设定时间步长依次提取所述实时数据流量在当前时段的每个时间节点上的流量值以及该流量值的流量指向信息，根据所述流量指向信息确定每个时间节点上的流量值所对应的关联流量区间，并从所述关联流量区间中筛分出与该流量值对应的流量区间相连续的第一流量区间以及与该流量值对应得流量区间之间存在间隔的第二流量区间。
步骤b，按照所述第一流量区间对应的第一时序相对系数以及所述第二流量区间对应的第二时序相对系数确定每个时间节点对应的流量值的曲线节点修正系数。
步骤c，将每个时间节点对应的流量值进行拟合得到初始流量曲线；按照所述时间节点的先后顺序依次采用每个曲线节点修正系数对所述初始流量曲线上与每个曲线节点修正系数对应的流量值进行修正，在每次对流量值进行修正的过程中并行地对当前曲线节点修正系数之后的至少两个曲线节点修正系数进行加权，直至对倒数第三个曲线节点修正系数对应的流量值进行修正；通过修正之后的流量值对所述初始流量曲线进行校正以得到所述实时流量曲线。
这样以来，在应用上述步骤a-步骤c所描述的内容时，能够将相邻时间节点的流量值的连续性和关联性考虑在内，从而避免在绘制实时流量曲线时出现断点。
在一个示例中，为了确保流量映射曲线不会出现缺损，在步骤S230中，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线，进一步可以包括以下步骤(1)-步骤(4)所描述的内容。
(1)提取所述实时流量曲线对应的第一曲线特征集合以及所述用户行为变化曲线对应的第二曲线特征集合，根据所述第一曲线特征集合以及所述第二曲线特征集合判断所述实时流量曲线的第一特征维度和所述用户行为变化曲线的第二特征维度是否相同；在所述第一特征维度和所述第二特征维度不相同时，以所述第二特征维度对基准对所述第一曲线特征集合进行特征重构以使重构之后的第一曲线特征集合对应的第一目标特征维度与所述第二特征维度相同。
(2)在所述第一特征维度与所述第二特征维度相同时，基于所述第一特征维度或所述第二特征维度对预设特征聚类模型的模型参数进行调整，将特征重构之后的第一曲线特征集合以及所述第二曲线特征集合输入到所述预设特征聚类模型，得到所述预设特征聚类模型输出的与特征重构之后的第一曲线特征集合对应的第一特征聚类分布图以及与所述第二曲线特征集合对应的第二特征聚类分布图。
(3)从所述第一特征聚类分布图中确定出任意一个子图对应的图数据描述信息，将所述图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息；计算所述映射描述信息与所述图数据描述信息之间的信息匹配度，在所述信息匹配度低于预设匹配度时从所述第一特征聚类分布图中确定出除前面的子图之外的任意一个子图对应的图数据描述信息并将该图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息，直至计算得到的信息匹配度大于等于所述预设匹配度，并确定计算得到的信息匹配度大于等于所述预设匹配度时所述实时流量曲线与所述用户行为变化曲线之间的映射路径。
(4)按照所述映射路径将所述实时流量曲线中的每个曲线节点映射到所述用户行为变化曲线所在的坐标平面中得到映射曲线节点，并按照所述用户行为变化曲线的斜率变化对所述映射曲线节点进行拟合得到所述流量映射曲线。
在本实施例中，通过应用上述步骤(1)-步骤(4)所描述的内容，能够确保对实时流量曲线进行映射时得到的流量映射曲线不会出现缺损，进而确保流量映射曲线的完整性。
在实际应用时发明人发现，在对实时用户行为进行分析时，如果不对设备运行日志中的冗余日志文本进行剔除，则会影响到用户行为分析的准确性，步骤S220所描述的按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果，进一步可以通过以下步骤S2211-步骤S2214实现。
步骤S2211，分别确定所述设备运行日志包括的各个待识别日志文本对应的各自的文本消息记录；其中，各个待识别日志文本的文本消息记录是根据对应待识别日志文本在所述设备运行日志中的存储地址所对应的脚本文件得到的。
步骤S2212，持续统计确定出的文本消息记录。
步骤S2213，监控是否已统计所述设备运行日志中包括的所有待识别日志文本的文本消息记录。
步骤S2214，若已统计所述设备运行日志包括的所有待识别日志文本的文本消息记录，则将所述设备运行日志包括的所有待识别日志文本的文本消息记录分别进行消息关键词提取得到每个待识别日志文本的文本消息记录对应的关键词队列；从每组关键词队列中确定出不随所述设备运行日志的更新而变化的目标关键词并获取所述目标关键词在其对应的关键词队列的队列位置信息，若所述队列位置信息表征所述目标关键词在其对应的关键词队列的队列尾部，则确定所述关键词队列对应的待识别日志文本为冗余日志文本，将所述设备运行日志中的冗余日志文本剔除以得到目标日志文本；基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果。
可以理解，通过上述步骤S2211-步骤S2214所描述的内容，能够将确定出的冗余日志文本从设备运行日志中剔除，从而基于目标日志文本对实时用户行为数据进行准确的用户行为分析。
在上述基础上，步骤S2214所描述的基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果，具体可以包括以下步骤Sa-步骤Sc所描述的内容。
步骤Sa，根据所述目标日志文本获取所述实时用户行为数据的行为函数调用记录；其中，所述行为函数调用记录中包括多个的被调用的执行函数。
步骤Sb，从所述行为函数调用记录中截取出第一被调用的执行函数，从所述第一被调用的执行函数的函数容器中识别出第一输入输出轨迹，将所述第一输入输出轨迹所在的参数节点从所述第一被调用的执行函数中抽取，并将截取所述第一被调用的执行函数之后的第二被调用的执行函数以得到所述第二被调用的执行函数对应的参数节点，直至获得所有被调用的执行函数对应的参数节点。
步骤Sc，根据所述参数节点对应的有向连边将所述参数节点进行连接以得到有向无环图，基于所述有向无环图生成所述用户行为分析结果。
如此，基于上述步骤Sa-步骤Sc所描述的内容，能够完整准确地确定出用户行为分析结果。
进一步地，为了避免大数据中心被恶意流量入侵而导致运行崩溃，在上述步骤S234的基础上，若判定所述业务端设备在当前时段内存在异常流量，所述方法还可以包括以下步骤S2341和步骤S2342所描述的内容。
步骤S2341，确定所述业务端设备对应的设备标识。
步骤S2342，根据所述设备标识生成用于拦截所述业务端设备上传的数据流量的拦截机制并激活所述拦截机制。
这样以来，能够在判断出业务端设备在当前时段内存在异常流量时通过拦截机制拦截业务端设备上传的数据流量，从而避免大数据中心被恶意流量入侵而导致运行崩溃。
在一种可替换的实施方式中，步骤S220所描述的基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线，示例性地可以包括以下步骤S2221-步骤S2223所描述的内容。
步骤S2221，确定基于所述用户行为分析结果所查询到的设备状态数据集；针对所述设备状态数据集中的当前设备状态数据，基于当前设备状态数据在上一时段内的第一状态变化轨迹以及所述设备状态数据集中除所述当前设备状态数据之外的其他设备状态数据在当前时段内的第二状态变化轨迹，确定当前设备状态数据在所述上一时段内的状态变化置信度。
步骤S2222，根据当前设备状态数据在所述上一时段内的状态变化置信度以及在所述当前时段内的状态变化置信度确定当前设备状态数据在所述上一时段和所述当前时段之间的用户行为更新信息。
步骤S2223，基于所述用户行为更新信息生成所述业务端设备从上一时段到当前时段的用户行为变化曲线。
在具体实施过程中，通过上述步骤S2221-步骤S2223所描述的内容，能够确保用户行为变化曲线的可信度。
在另一种可替换的实施方式中，步骤S210所描述的根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，具体可以包括以下步骤所描述的内容：在上一时段对业务端设备进行流量检测的检测结果表征所述业务端设备不存在异常流量时确定当前时段的流量检测持续时长为第一设定时长，在上一时段对业务端设备进行流量检测的检测结果表征所述业务端设备存在流量风险警示信息时确定当前时段的流量检测持续时长为第二设定时长；其中，所述第二设定时长大于所述第一设定时长。如此，能够灵活、准确地确定流量检测持续时长。
在又一种可替换的实施方式中，步骤S210所描述的提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据具体包括：建立与所述业务端设备对应的数据同步线程并基于所述数据同步线程调取所述业务端设备在生成所述实时数据流量时的实时用户行为数据。
基于与前述实施例中同样的发明构思，请结合参阅图3，提供了一种基于云计算和用户行为分析的流量检测装置300，所述装置包括以下功能模块：
数据获取模块310，用于根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，按照所述流量检测持续时长启动对所述业务端设备的流量检测，获取所述业务端设备上传的实时数据流量并提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据；具体用于：在上一时段对业务端设备进行流量检测的检测结果表征所述业务端设备不存在异常流量时确定当前时段的流量检测持续时长为第一设定时长，在上一时段对业务端设备进行流量检测的检测结果表征所述业务端设备存在流量风险警示信息时确定当前时段的流量检测持续时长为第二设定时长；其中，所述第二设定时长大于所述第一设定时长；
曲线生成模块320，用于按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果；基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线；
流量检测模块330，用于按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线；根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量。
关于上述功能模块的描述请参阅对图2所示的方法的描述，在此不作更多说明。
基于与前述实施例中同样的发明构思，还提供了一种基于云计算和用户行为分析的流量检测系统，包括互相之间通信的大数据中心和业务端设备；其中，所述大数据中心用于：
根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，按照所述流量检测持续时长启动对所述业务端设备的流量检测，获取所述业务端设备上传的实时数据流量并提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据；
按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果；基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线；具体包括：确定基于所述用户行为分析结果所查询到的设备状态数据集；针对所述设备状态数据集中的当前设备状态数据，基于当前设备状态数据在上一时段内的第一状态变化轨迹以及所述设备状态数据集中除所述当前设备状态数据之外的其他设备状态数据在当前时段内的第二状态变化轨迹，确定当前设备状态数据在所述上一时段内的状态变化置信度；根据当前设备状态数据在所述上一时段内的状态变化置信度以及在所述当前时段内的状态变化置信度确定当前设备状态数据在所述上一时段和所述当前时段之间的用户行为更新信息；基于所述用户行为更新信息生成所述业务端设备从上一时段到当前时段的用户行为变化曲线。
按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线；根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量。
关于上述系统的详细描述请参阅对图2所示的方法的说明，在此不作赘述。
基于与前述实施例中同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
基于与前述实施例中同样的发明构思，本说明书的实施例还提供一种大数据中心200，如图4所示，包括存储器204、处理器202及存储在存储器204上并可在处理器202上运行的计算机程序，所述处理器202执行所述程序时实现前文任一所述方法的步骤。
通过本说明书的一个或者多个实施例，本说明书具有以下有益效果或者优点：
首先按照确定出的当前时段的流量检测持续时长获取业务端设备上传的实时数据流量并提取业务端设备在生成实时数据流量时的实时用户行为数据，其次按照设备运行日志对实时用户行为数据进行分析得到用户行为分析结果并生成业务端设备从上一时段到当前时段的用户行为变化曲线，最后将绘制得到的实时流量曲线映射到用户行为变化曲线所在的坐标平面中得到流量映射曲线，从而根据流量映射曲线和用户行为变化曲线检测业务端设备在当前时段内是否存在异常流量。如此，能够以业务端设备的用户行为数据为基准进行流量检测，从而提高流量检测的准确性和可靠性，避免将业务端设备的正常流量误判为异常流量。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本说明书也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本说明书的内容，并且上面对特定语言所做的描述是为了披露本说明书的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本说明书的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本说明书的示例性实施例的描述中，本说明书的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本说明书要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本说明书的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本说明书的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本说明书的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本说明书实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本说明书还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本说明书的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本说明书进行说明而不是对本说明书进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本说明书可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种基于云计算和用户行为分析的流量检测方法，其特征在于，所述方法包括：
根据在上一时段对业务端设备进行流量检测的检测结果确定当前时段的流量检测持续时长，按照所述流量检测持续时长启动对所述业务端设备的流量检测，获取所述业务端设备上传的实时数据流量并提取所述业务端设备在生成所述实时数据流量时的实时用户行为数据；
按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果；基于所述用户行为分析结果生成所述业务端设备从上一时段到当前时段的用户行为变化曲线；
按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线；根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量。
2.如权利要求1所述的方法，其特征在于，根据所述流量映射曲线和所述用户行为变化曲线检测所述业务端设备在当前时段内是否存在异常流量，包括：
提取所述流量映射曲线的第一曲线描述数据以及所述用户行为变化曲线的第二曲线描述数据；其中，所述第一曲线描述数据用户表征所述流量映射曲线的曲线特征，所述第二曲线描述数据用于表征所述用户行为变化曲线的曲线特征，所述第一曲线描述数据中包括多个流量波动性系数，所述第二曲线描述数据中包括与所述流量波动性系数的数量相同的多个用户行为标签；
确定与每个流量波动性系数对应的用户行为标签的行为风险系数并计算每个流量波动性系数与其对应的行为风险系数之间的时序相关性权重；根据与每个流量波动性系数对应的用户行为标签的标签特征值确定每个流量波动性系数对应的时间节点的第一网络环境参数以及对应的用户行为标签在该时间节点上的第二网络环境参数；
基于每个第一网络环境参数及其对应的第二网络环境参数确定每个时间节点上的网络环境扰动率；通过所述网络环境扰动率生成用于对所述时序相关性权重进行判断的权重区间；
判断每个时序相关性权重是否位于其对应的权重区间内；在所述时序相关性权重位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第一设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第一设定流量值时判定所述业务端设备在当前时段内存在异常流量；在所述时序相关性权重没有位于其对应的权重区间内时，判断所述时序相关性权重对应的时间节点的实时流量值是否超过第二设定流量值，在所述时序相关性权重对应的时间节点的实时流量值超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量，在所述时序相关性权重对应的时间节点的实时流量值未超过所述第二设定流量值时判定所述业务端设备在当前时段内存在异常流量；其中，所述第一设定流量值大于所述第二设定流量值。
3.如权利要求2所述的方法，其特征在于，若判定所述业务端设备在当前时段内存在异常流量，所述方法还包括：
确定所述业务端设备对应的设备标识；
根据所述设备标识生成用于拦截所述业务端设备上传的数据流量的拦截机制并激活所述拦截机制。
4.如权利要求1-3任一项所述的方法，其特征在于，按照设定时间步长提取所述实时数据流量在当前时段的每个时间节点上的流量值并绘制实时流量曲线，包括：
按照所述设定时间步长依次提取所述实时数据流量在当前时段的每个时间节点上的流量值以及该流量值的流量指向信息，根据所述流量指向信息确定每个时间节点上的流量值所对应的关联流量区间，并从所述关联流量区间中筛分出与该流量值对应的流量区间相连续的第一流量区间以及与该流量值对应得流量区间之间存在间隔的第二流量区间；
按照所述第一流量区间对应的第一时序相对系数以及所述第二流量区间对应的第二时序相对系数确定每个时间节点对应的流量值的曲线节点修正系数；
将每个时间节点对应的流量值进行拟合得到初始流量曲线；按照所述时间节点的先后顺序依次采用每个曲线节点修正系数对所述初始流量曲线上与每个曲线节点修正系数对应的流量值进行修正，在每次对流量值进行修正的过程中并行地对当前曲线节点修正系数之后的至少两个曲线节点修正系数进行加权，直至对倒数第三个曲线节点修正系数对应的流量值进行修正；通过修正之后的流量值对所述初始流量曲线进行校正以得到所述实时流量曲线。
5.如权利要求4所述的方法，其特征在于，将所述实时流量曲线映射到所述用户行为变化曲线所在的坐标平面中得到流量映射曲线，包括：
提取所述实时流量曲线对应的第一曲线特征集合以及所述用户行为变化曲线对应的第二曲线特征集合，根据所述第一曲线特征集合以及所述第二曲线特征集合判断所述实时流量曲线的第一特征维度和所述用户行为变化曲线的第二特征维度是否相同；在所述第一特征维度和所述第二特征维度不相同时，以所述第二特征维度对基准对所述第一曲线特征集合进行特征重构以使重构之后的第一曲线特征集合对应的第一目标特征维度与所述第二特征维度相同；
在所述第一特征维度与所述第二特征维度相同时，基于所述第一特征维度或所述第二特征维度对预设特征聚类模型的模型参数进行调整，将特征重构之后的第一曲线特征集合以及所述第二曲线特征集合输入到所述预设特征聚类模型，得到所述预设特征聚类模型输出的与特征重构之后的第一曲线特征集合对应的第一特征聚类分布图以及与所述第二曲线特征集合对应的第二特征聚类分布图；
从所述第一特征聚类分布图中确定出任意一个子图对应的图数据描述信息，将所述图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息；计算所述映射描述信息与所述图数据描述信息之间的信息匹配度，在所述信息匹配度低于预设匹配度时从所述第一特征聚类分布图中确定出除前面的子图之外的任意一个子图对应的图数据描述信息并将该图数据描述信息映射到所述第二特征聚类分布图中以得到所述图数据描述信息对应的映射描述信息，直至计算得到的信息匹配度大于等于所述预设匹配度，并确定计算得到的信息匹配度大于等于所述预设匹配度时所述实时流量曲线与所述用户行为变化曲线之间的映射路径；
按照所述映射路径将所述实时流量曲线中的每个曲线节点映射到所述用户行为变化曲线所在的坐标平面中得到映射曲线节点，并按照所述用户行为变化曲线的斜率变化对所述映射曲线节点进行拟合得到所述流量映射曲线。
6.如权利要求1-5任一项所述的方法，其特征在于，按照预存的与所述业务端设备对应的设备运行日志，对所述实时用户行为数据进行分析，得到用户行为分析结果，进一步包括：
分别确定所述设备运行日志包括的各个待识别日志文本对应的各自的文本消息记录；其中，各个待识别日志文本的文本消息记录是根据对应待识别日志文本在所述设备运行日志中的存储地址所对应的脚本文件得到的；
持续统计确定出的文本消息记录；
监控是否已统计所述设备运行日志中包括的所有待识别日志文本的文本消息记录；
若已统计所述设备运行日志包括的所有待识别日志文本的文本消息记录，则将所述设备运行日志包括的所有待识别日志文本的文本消息记录分别进行消息关键词提取得到每个待识别日志文本的文本消息记录对应的关键词队列；从每组关键词队列中确定出不随所述设备运行日志的更新而变化的目标关键词并获取所述目标关键词在其对应的关键词队列的队列位置信息，若所述队列位置信息表征所述目标关键词在其对应的关键词队列的队列尾部，则确定所述关键词队列对应的待识别日志文本为冗余日志文本，将所述设备运行日志中的冗余日志文本剔除以得到目标日志文本；基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果。
7.如权利要求6所述的方法，其特征在于，基于所述目标日志文本对所述实时用户行为数据进行分析得到用户行为分析结果，具体包括：
根据所述目标日志文本获取所述实时用户行为数据的行为函数调用记录；其中，所述行为函数调用记录中包括多个的被调用的执行函数；
从所述行为函数调用记录中截取出第一被调用的执行函数，从所述第一被调用的执行函数的函数容器中识别出第一输入输出轨迹，将所述第一输入输出轨迹所在的参数节点从所述第一被调用的执行函数中抽取，并将截取所述第一被调用的执行函数之后的第二被调用的执行函数以得到所述第二被调用的执行函数对应的参数节点，直至获得所有被调用的执行函数对应的参数节点；
根据所述参数节点对应的有向连边将所述参数节点进行连接以得到有向无环图，基于所述有向无环图生成所述用户行为分析结果。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
9.一种大数据中心，其特征在于，包括执行权利要求1-7任一项所述的方法的步骤的基于云计算和用户行为分析的流量检测装置。
10.一种大数据中心，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110091867.2A CN112866260A (zh) | 2020-08-27 | 2020-08-27 | 结合云计算和用户行为分析的流量检测方法及大数据中心 |
| CN202110094125.5A CN112866261A (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法及存储介质 |
| CN202010877208.7A CN112073393B (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010877208.7A CN112073393B (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110094125.5A Division CN112866261A (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法及存储介质 |
| CN202110091867.2A Division CN112866260A (zh) | 2020-08-27 | 2020-08-27 | 结合云计算和用户行为分析的流量检测方法及大数据中心 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112073393A true CN112073393A (zh) | 2020-12-11 |
| CN112073393B CN112073393B (zh) | 2021-03-19 |
Family
ID=73660378
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110094125.5A Withdrawn CN112866261A (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法及存储介质 |
| CN202110091867.2A Withdrawn CN112866260A (zh) | 2020-08-27 | 2020-08-27 | 结合云计算和用户行为分析的流量检测方法及大数据中心 |
| CN202010877208.7A Active CN112073393B (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110094125.5A Withdrawn CN112866261A (zh) | 2020-08-27 | 2020-08-27 | 基于云计算和用户行为分析的流量检测方法及存储介质 |
| CN202110091867.2A Withdrawn CN112866260A (zh) | 2020-08-27 | 2020-08-27 | 结合云计算和用户行为分析的流量检测方法及大数据中心 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN112866261A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506423A (zh) * | 2020-11-02 | 2021-03-16 | 北京迅达云成科技有限公司 | 一种云储存系统中动态接入存储设备的方法及装置 |
| CN113701832A (zh) * | 2021-08-28 | 2021-11-26 | 上海光华仪表有限公司 | 高压由壬电磁流量计控制方法及其系统 |
| CN117395070A (zh) * | 2023-11-16 | 2024-01-12 | 国家计算机网络与信息安全管理中心 | 一种基于流量特征的异常流量检测方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116382224B (zh) * | 2023-06-05 | 2023-08-04 | 云印技术(深圳)有限公司 | 一种基于数据分析的包装设备监测方法及系统 |
| CN117874842B (zh) * | 2024-01-23 | 2024-05-31 | 广州感应科技有限公司 | 一种用于数据存储设备的安全管控方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
| CN103685052A (zh) * | 2012-09-21 | 2014-03-26 | 中国电信股份有限公司 | 一种对网络数据流量进行分流控制的方法和系统 |
| CN107086944A (zh) * | 2017-06-22 | 2017-08-22 | 北京奇艺世纪科技有限公司 | 一种异常检测方法和装置 |
| CN110138638A (zh) * | 2019-05-16 | 2019-08-16 | 恒安嘉新（北京）科技股份公司 | 一种网络流量的处理方法及装置 |
| CN110161999A (zh) * | 2019-06-14 | 2019-08-23 | 湖南千盟智能信息技术有限公司 | 基于大数据的焦化智能制造系统 |
| US20200067961A1 (en) * | 2018-08-21 | 2020-02-27 | Didi Research America, Llc | Data security risks evaluation for threat detection |
| CN110868431A (zh) * | 2019-12-24 | 2020-03-06 | 华北电力大学 | 一种网络流量异常检测方法 |
| CN110992104A (zh) * | 2019-12-11 | 2020-04-10 | 杭州古点网络科技有限公司 | 一种基于用户画像的异常广告流量检测方法 |
| US20200153855A1 (en) * | 2016-02-26 | 2020-05-14 | Oracle International Corporation | Techniques for discovering and managing security of applications |
| CN111343206A (zh) * | 2020-05-19 | 2020-06-26 | 上海飞旗网络技术股份有限公司 | 一种针对数据流攻击的主动防御方法及装置 |
| CN111405604A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种基于网络流量的监控预警方法及装置 |
| CN111490992A (zh) * | 2020-04-11 | 2020-08-04 | 吴媛媛 | 基于数据流量检测及时序特征提取的入侵检测方法及设备 |
| CN111556440A (zh) * | 2020-05-07 | 2020-08-18 | 之江实验室 | 一种基于流量模式的网络异常检测方法 |
-
2020
- 2020-08-27 CN CN202110094125.5A patent/CN112866261A/zh not_active Withdrawn
- 2020-08-27 CN CN202110091867.2A patent/CN112866260A/zh not_active Withdrawn
- 2020-08-27 CN CN202010877208.7A patent/CN112073393B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
| CN103685052A (zh) * | 2012-09-21 | 2014-03-26 | 中国电信股份有限公司 | 一种对网络数据流量进行分流控制的方法和系统 |
| US20200153855A1 (en) * | 2016-02-26 | 2020-05-14 | Oracle International Corporation | Techniques for discovering and managing security of applications |
| CN107086944A (zh) * | 2017-06-22 | 2017-08-22 | 北京奇艺世纪科技有限公司 | 一种异常检测方法和装置 |
| US20200067961A1 (en) * | 2018-08-21 | 2020-02-27 | Didi Research America, Llc | Data security risks evaluation for threat detection |
| CN111405604A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种基于网络流量的监控预警方法及装置 |
| CN110138638A (zh) * | 2019-05-16 | 2019-08-16 | 恒安嘉新（北京）科技股份公司 | 一种网络流量的处理方法及装置 |
| CN110161999A (zh) * | 2019-06-14 | 2019-08-23 | 湖南千盟智能信息技术有限公司 | 基于大数据的焦化智能制造系统 |
| CN110992104A (zh) * | 2019-12-11 | 2020-04-10 | 杭州古点网络科技有限公司 | 一种基于用户画像的异常广告流量检测方法 |
| CN110868431A (zh) * | 2019-12-24 | 2020-03-06 | 华北电力大学 | 一种网络流量异常检测方法 |
| CN111490992A (zh) * | 2020-04-11 | 2020-08-04 | 吴媛媛 | 基于数据流量检测及时序特征提取的入侵检测方法及设备 |
| CN111556440A (zh) * | 2020-05-07 | 2020-08-18 | 之江实验室 | 一种基于流量模式的网络异常检测方法 |
| CN111343206A (zh) * | 2020-05-19 | 2020-06-26 | 上海飞旗网络技术股份有限公司 | 一种针对数据流攻击的主动防御方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 张龙: "基于云计算的异常流量检测系统的实现", 《CNKI优秀硕士学位论文全文库》 * |
| 李轶璋 等: "基于历史与当前短时特征的异常流量检测", 《计算机工程》 * |
| 胡洋瑞 等: "基于流量行为特征的异常流量检测", 《信息网络安全》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506423A (zh) * | 2020-11-02 | 2021-03-16 | 北京迅达云成科技有限公司 | 一种云储存系统中动态接入存储设备的方法及装置 |
| CN113701832A (zh) * | 2021-08-28 | 2021-11-26 | 上海光华仪表有限公司 | 高压由壬电磁流量计控制方法及其系统 |
| CN117395070A (zh) * | 2023-11-16 | 2024-01-12 | 国家计算机网络与信息安全管理中心 | 一种基于流量特征的异常流量检测方法 |
| CN117395070B (zh) * | 2023-11-16 | 2024-05-03 | 国家计算机网络与信息安全管理中心 | 一种基于流量特征的异常流量检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112866261A (zh) | 2021-05-28 |
| CN112866260A (zh) | 2021-05-28 |
| CN112073393B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112073393B (zh) | 基于云计算和用户行为分析的流量检测方法 | |
| CN110275958B (zh) | 网站信息识别方法、装置和电子设备 | |
| CN108763031B (zh) | 一种基于日志的威胁情报检测方法及装置 | |
| CN111274095B (zh) | 日志数据处理方法、装置、设备及计算机可读存储介质 | |
| CN110888783A (zh) | 微服务系统的监测方法、装置以及电子设备 | |
| US11221904B2 (en) | Log analysis system, log analysis method, and log analysis program | |
| CN110727572A (zh) | 埋点数据处理方法、装置、设备及存储介质 | |
| CN108718298B (zh) | 一种恶意外连流量检测方法及装置 | |
| CN111611140B (zh) | 埋点数据的上报验证方法、装置、电子设备及存储介质 | |
| CN113114680B (zh) | 用于文件上传漏洞的检测方法和检测装置 | |
| CN109344046B (zh) | 一种数据处理方法、装置、介质及电子设备 | |
| CN106600303A (zh) | 评估广告投放合理性的方法和装置 | |
| CN116346456A (zh) | 业务逻辑漏洞攻击检测模型训练方法及装置 | |
| CN114840286B (zh) | 基于大数据的业务处理方法及服务器 | |
| CN114221988A (zh) | 一种内容分发网络热点分析方法和系统 | |
| CN109614382B (zh) | 一种应用的日志分割方法及装置 | |
| EP4221081A1 (en) | Detecting behavioral change of iot devices using novelty detection based behavior traffic modeling | |
| CN112542166B (zh) | 一种语音交互的方法和装置 | |
| CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111814909B (zh) | 基于网络直播和在线电商带货的信息处理方法及云服务器 | |
| CN115412346A (zh) | 一种报文检测方法、装置、电子设备及存储介质 | |
| CN113138960A (zh) | 一种基于云存储空间调整的数据存储方法及系统 | |
| US20210208998A1 (en) | Function analyzer, function analysis method, and function analysis program | |
| CN113139182A (zh) | 一种在线电商平台的数据入侵检测方法 | |
| CN116150118A (zh) | 一种日志信息处理方法、系统、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210302 Address after: 201800 jt1741, room 101, building 6, No. 2222, Huancheng Road, Juyuan New District, Jiading District, Shanghai Applicant after: Shanghai pinfu Information Technology Co.,Ltd. Address before: Room 607, building B, phase II, yundian science and Technology Park, 104 Yunda West Road, economic development zone, Kunming City, Yunnan Province, 650000 Applicant before: Huang Tianhong |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |