CN115277439A - 网络服务的检测方法、装置、电子设备及存储介质 - Google Patents

网络服务的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115277439A
CN115277439A CN202110485287.1A CN202110485287A CN115277439A CN 115277439 A CN115277439 A CN 115277439A CN 202110485287 A CN202110485287 A CN 202110485287A CN 115277439 A CN115277439 A CN 115277439A
Authority
CN
China
Prior art keywords
flow
network service
netflow
netflow data
data flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110485287.1A
Other languages
English (en)
Other versions
CN115277439B (zh
Inventor
常乐
胡建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Shanxi Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Shanxi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Shanxi Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110485287.1A priority Critical patent/CN115277439B/zh
Publication of CN115277439A publication Critical patent/CN115277439A/zh
Application granted granted Critical
Publication of CN115277439B publication Critical patent/CN115277439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网络服务的检测方法、装置、电子设备及存储介质，网络服务的检测方法包括：获取IP网络的NetFlow数据流；从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。本发明的实施例，可以提升网络服务检测的准确率，同时检测速度快、效率高。

Description

网络服务的检测方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种网络服务的检测方法、装置、电子设备及存储介质。
背景技术
目前对于已经注册备案的网站，通过监管和安全手段进行安全防护，但对于私开web服务、未备案网站的发现主要是通过从核心交换机获取镜像流量分析其中HTTP(超文本传输协议，Hypertext Transfer Protocol)链接的HTTP分析技术，或者通过注入初始URL(统一资源定位符，Uniform Resource Locator)然后爬虫主动遍历网站间的链接并分析这些链接达到发现网站的两种方法来实现。
然而对于HTTP分析方法，需要获取全量流量信息，需要占用大量的存储资源、带宽资源，分析过程也需要大量的IT资源来支撑，且需要获取实时流量，占用核心交换机负荷过大，容易导致核心交换机负载过大，进而影响网络稳定性，导致核心交换机访问访问用户感知变差。对于爬虫遍历的方法，部分web网站私开者可以有意识的绕开爬虫，在开发web时不允许爬虫进行爬取，或网站设立时间短与其他网站关联关系较弱，会导致网址识别失败，且使用爬虫技术随机性比较大，同样存在分析时间长，占用资源过大的问题。
发明内容
基于现有技术中存在的问题，本发明实施例提出一种网络服务的检测方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供了一种网络服务的检测方法，包括：
获取IP网络的NetFlow数据流；
从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
进一步地，所述获取IP网络的NetFlow数据流，包括：
启动UDP监听线程，通过所述UDP监听线程从所述IP网络的路由器上采集NetFlow数据；
将NetFlow数据写入队列；
从所述队列取出NetFlow数据，并拆分所述NetFlow数据，得到NetFlow拆分数据；
将NetFlow拆分数据写入内存数据表；
从所述内存数据表中读取NetFlow拆分数据，并对所述NetFlow拆分数据进行聚合，得到NetFlow数据流；
存储所述NetFlow数据流。
进一步地，所述存储所述NetFlow数据流，包括：
以预定的文件存储格式，将所述NetFlow数据流存储到分布式文件系统HDFS。
进一步地，在从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标之前，还包括：基于网站的NetFlow数据流样本对所述web访问识别模型进行训练。
进一步地，所述基于网站的NetFlow数据流样本对所述web访问识别模型进行训练，包括：
从所述网站的NetFlow数据流样本中提取所述流量指标，得到流量指标样本集合；
对所述流量指标样本集合进行排序，并基于排序结果得到所述流量指标样本集合的上四分位值和下四分位值；
基于所述上四分位值和下四分位值，确定非离群点流量指标的范围。
进一步地，在确定所述NetFlow数据流对应网络服务之后，还包括：
将所述NetFlow数据流的所述流量指标更新所述流量指标样本集合，以便基于更新后的流量指标样本集合修正所述非离群点流量指标的范围。
进一步地，所述用于识别网络服务的流量指标包括源端口信息、bps信息和平均包长中的部分或全部。
第二方面，本发明的实施例提供一种网络服务的检测装置，包括：
获取模块，用于获取IP网络的NetFlow数据流；
识别模块，用于从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
网络服务确定模块，用于在所述流量指标是非离群点流量指标时，确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的网络服务的检测方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的网络服务的检测方法。
由上述技术方案可知，本发明实施例提供的网络服务的检测方法、装置、电子设备及存储介质，通过从NetFlow数据流中提取少量的可用于识别网络服务的流量指标，对流量指标进行检测，不需要对整体流量信息进行检测，从而，提升了检测的效率，并且可以实时地检测。另外，通过web访问识别模型确定出流量指标是否为非离群点流量指标的方式确定NetFlow数据流是否对应网络服务，可以有效提升检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的网络服务的检测方法的流程图；
图2是本发明另一实施例提供的网络服务的检测方法的流程图；
图3是本发明一实施例提供的web访问识别模型训练示意图；
图4是本发明一实施例提供的网络服务的检测装置的结构框图；
图5是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
以下结合附图描述根据本发明实施例的网络服务的检测方法、装置、电子设备及存储介质。
图1示出了本发明一实施例提供的网络服务的检测方法的流程图。如图1所示，并结合图2，本发明一个实施例提供的网络服务的检测方法，包括如下内容：
S101：获取IP网络的NetFlow数据流。
具体地，NetFlow可对不同类型的业务流进行准确的流量和流向分析与计量，而且可以对各种类型数据包进行区分。由于IP网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组IP数据包，这组数据包实际上就构成了运营商网络中某种业务的一个数据流Flow。如果管理系统能对全网传送的所有Flow进行区分，准确记录传送时间、传送方向和Flow的大小，就可以对全网所有业务的流量和流向进行分析和统计。
NetFlow可用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流Flow进行测量和统计，可以减少交换机在数据转发过程中的负荷，能有效保证数据实时性的同时不影响该交换机下面业务感知。另外NetFlow技术根据IP数据包的7个属性，快速区分网络中传送的各种不同类型业务的Flow。对区分出的每个Flow，NetFlow技术可以进行单独跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间、服务类型、包含的数据包数量和字节数量等流量信息。
获取IP网络的NetFlow数据流相对于现有技术中采集全部流量分析HTTP的方法更加简洁，同时数据量大幅减少且更加规范，能够在存储、分析过程中具有更大的优势。
在本发明的一个实施例中，本步骤中获取IP网络的NetFlow数据流，包括：启动UDP监听线程，通过UDP监听线程从IP网络的路由器上采集NetFlow数据；将NetFlow数据写入队列；从队列取出NetFlow数据，并拆分NetFlow数据，得到NetFlow拆分数据；将NetFlow拆分数据写入内存数据表；从内存数据表中读取NetFlow拆分数据，并对NetFlow拆分数据进行聚合，得到NetFlow数据流；存储NetFlow数据流。
具体地，如图2所示，为了实现大流量数据及时接收并降低丢包率，NetFlow流量采集与聚合采用多线程实现。首先定义流记录结构，启动UDP监听线程，通过UDP监听线程从IP网络的路由器上采集NetFlow数据，之后将NetFlow数据写入队列，然后从队列取出NetFlow数据，再根据定义的结构将NetFlow数据进行拆分，分离出源IP、目的IP、源端口、目的端口、数据包大小、协议类型等信息，这些信息即NetFlow拆分数据，然后将这些数据写入内存数据表，即压入DataTable中。最后，对源IP、目的IP、源端口、目的端口、数据包大小、协议类型等NetFlow拆分数据进行聚合，得到NetFlow数据流并存储NetFlow数据流。
本发明的实施例，通过UDP监听线程从IP网络的路由器上采集NetFlow数据，将NetFlow数据写入队列并拆分NetFlow数据，再对NetFlow拆分数据进行聚合，得到NetFlow数据流，通过使用NetFlow流量采集与聚合结构，能够实现大流量数据及时接收并降低丢包率。
在本发明的一个实施例中，存储NetFlow数据流，包括：以预定的文件存储格式，将NetFlow数据流存储到分布式文件系统HDFS。
具体地，NetFlow数据存储选用HDFS(分布式文件系统，Hadoop Distributed FileSystem)技术，将NetFlow数据以文本记录文件的形式保存在HDFS上，实现海量数据的存储及共享复用能力。例如，HDFS存储文件以UTF-8编码，每行一条NetFlow数据，字段之间以“`”字符分隔。
S102：从NetFlow数据流中提取用于识别网络服务的流量指标，并将流量指标输入web访问识别模型，识别流量指标是否为非离群点流量指标，其中，web访问识别模型是基于网站的NetFlow数据流样本预先训练得到。
具体地，用于识别网络服务的流量指标也就是指用于判断是否符合web访问特征的数据流，例如源IP分布、源端口分布、bps流量等。在本发明的一个实施例中，用于识别网络服务的流量指标包括源端口信息、bps信息和平均包长中的部分或全部。
离群点是指一个时间序列中，远离序列的一般水平的极端大值和极端小值。通常IP网络中web服务产生的流量指标都符合正态分布，即IP网络中web服务产生的流量指标为非离群点流量指标。当分析非web服务流量时，流量指标数据的分布将发生偏离，此时就会产生离群点。因此，根据采集到的NetFlow数据，构建单指标维度的非离群集分析模型即web访问识别模型，通过检测网络流量中的多个指标是否分别匹配各自单指标维度的非离群集分析模型，就可以检测web服务流量。
在本发明的一个实施例中，在从NetFlow数据流中提取用于识别网络服务的流量指标，并将流量指标输入web访问识别模型，识别流量指标是否为非离群点流量指标之前，还包括：基于网站的NetFlow数据流样本对web访问识别模型进行训练。
具体地，基于网站的NetFlow数据流样本对web访问识别模型进行训练，根据建立的基于NetFlow数据的web访问模型，可以从NetFlow数据中高效抽取出web访问数据，无需对全量NetFlow数据进行分析，实现web访问数据高效抽取。同时可以对确定提供web服务的NetFlow数据再次输入模型，从而进一步提升web访问指标模型的准确性，持续使用过程中不断提升基于NetFlow数据的web访问模型的质量。
在本发明的一个实施例中，基于网站的NetFlow数据流样本对web访问识别模型进行训练，包括：从网站的NetFlow数据流样本中提取流量指标，得到流量指标样本集合；对流量指标样本集合进行排序，并基于排序结果得到流量指标样本集合的上四分位值和下四分位值；基于上四分位值和下四分位值，确定非离群点流量指标的范围。
具体地，如图3所示，web访问识别模型训练的过程如下：
1)数据预处理：按照服务器IP端口维度，对NetFlow流量数据进行汇聚；
2)搜集模型训练数据：将NetFlow流量中服务器端口80流量按照单个指标统计，输出样本集D＝{x1,x2……,xm}；其中，1-m指流量计数，计算样本集D在各特征维度的平均值avg；
3)对样本集D进行排序，取各维度排序中间第m/2的值的作为中位数mid，取各维度排序第m/4位、第3m/4位,分别为下四分位和上四分位值；
4)计算各维度上四分位和下四分位的差dist；变量j从1到m，重复执行以下动作：如果j小于(上四分位+2*dist)，并且j大于(下四分位-2*dist)，将当前j话单作为非离群点，并添加到集合Outlier中，最终输出单指标非离群集合Outlier＝{O1,O2,..,Oi}。
通过上述步骤可以建立高可信度的web访问识别模型。
S103：如果是非离群点流量指标，则确定NetFlow数据流对应网络服务，并上报NetFlow数据流以确定网络服务是否已备案。
具体地，在上述步骤101中获取了IP网络的NetFlow数据流，步骤102从NetFlow数据流中提取用于识别网络服务的流量指标，并将流量指标输入web访问识别模型，识别流量指标是否为非离群点流量指标。在本步骤中，如果步骤102中的识别流量指标是非离群点流量指标，则确定NetFlow数据流对应网络服务，并上报NetFlow数据流以确定网络服务是否已备案。
例如，将从NetFlow数据流中提取的流量指标如源端口信息、bps信息和平均包长输入web访问识别模型之后，得到结果为源端口信息在对应指标的非离群点集合Outlier(源端口)、bps在对应指标的非离群点集合Outlier(bps)、平均包长在对应指标的非离群点集合Outlier(平均包长)，由此可知上述指标均为非离群点流量指标，因此确定NetFlow数据流对应网络服务，并上报NetFlow数据流以确定网络服务是否已备案。
在本发明的一个实施例中，在确定NetFlow数据流对应网络服务之后，还包括：将NetFlow数据流的流量指标更新流量指标样本集合，以便基于更新后的流量指标样本集合修正非离群点流量指标的范围。
根据本发明实施例的网络服务的检测方法，通过从NetFlow数据流中提取少量的可用于识别网络服务的流量指标，对流量指标进行检测，不需要对整体流量信息进行检测，从而，提升了检测的效率，并且可以实时地检测。另外，通过web访问识别模型确定出流量指标是否为非离群点流量指标的方式确定NetFlow数据流是否对应网络服务，可以有效提升检测准确率。
图4示出了本发明一实施例提供的网络服务的检测装置的结构示意图，如图4所示，本发明实施例提供的网络服务的检测装置，包括：
获取模块410，用于获取IP网络的NetFlow数据流。
识别模块420，用于从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到。
网络服务确定模块430，用于在所述流量指标是非离群点流量指标时，确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
根据本发明实施例的网络服务的检测装置，通过从NetFlow数据流中提取少量的可用于识别网络服务的流量指标，对流量指标进行检测，不需要对整体流量信息进行检测，从而，提升了检测的效率，并且可以实时地检测。另外，通过web访问识别模型确定出流量指标是否为非离群点流量指标的方式确定NetFlow数据流是否对应网络服务，可以有效提升检测准确率。
需要说明的是，本发明实施例的网络服务的检测装置的具体实现方式与本发明实施例的网络服务的检测方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，具体此处不做赘述。
基于相同的发明构思，本发明又一个实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器501、存储器502、通信接口503和通信总线504；
其中，所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信；所述通信接口503用于实现各设备之间的信息传输；所述处理器501用于调用所述存储器502中的计算机程序，所述处理器执行所述计算机程序时实现上述网络服务的检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取IP网络的NetFlow数据流；从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述网络服务的检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述的步骤：获取IP网络的NetFlow数据流；从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的指标监控方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络服务的检测方法，其特征在于，包括：
获取IP网络的NetFlow数据流；
从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
2.根据权利要求1所述的网络服务的检测方法，其特征在于，所述获取IP网络的NetFlow数据流，包括：
启动UDP监听线程，通过所述UDP监听线程从所述IP网络的路由器上采集NetFlow数据；
将NetFlow数据写入队列；
从所述队列取出NetFlow数据，并拆分所述NetFlow数据，得到NetFlow拆分数据；
将NetFlow拆分数据写入内存数据表；
从所述内存数据表中读取NetFlow拆分数据，并对所述NetFlow拆分数据进行聚合，得到NetFlow数据流；
存储所述NetFlow数据流。
3.根据权利要求2所述的网络服务的检测方法，其特征在于，所述存储所述NetFlow数据流，包括：
以预定的文件存储格式，将所述NetFlow数据流存储到分布式文件系统HDFS。
4.根据权利要求1-3任一项所述的网络服务的检测方法，其特征在于，在从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标之前，还包括：基于网站的NetFlow数据流样本对所述web访问识别模型进行训练。
5.根据权利要求4所述的网络服务的检测方法，其特征在于，所述基于网站的NetFlow数据流样本对所述web访问识别模型进行训练，包括：
从所述网站的NetFlow数据流样本中提取所述流量指标，得到流量指标样本集合；
对所述流量指标样本集合进行排序，并基于排序结果得到所述流量指标样本集合的上四分位值和下四分位值；
基于所述上四分位值和下四分位值，确定非离群点流量指标的范围。
6.根据权利要求5所述的网络服务的检测方法，其特征在于，在确定所述NetFlow数据流对应网络服务之后，还包括：
将所述NetFlow数据流的所述流量指标更新所述流量指标样本集合，以便基于更新后的流量指标样本集合修正所述非离群点流量指标的范围。
7.根据权利要求1所述的网络服务的检测方法，其特征在于，所述用于识别网络服务的流量指标包括源端口信息、bps信息和平均包长中的部分或全部。
8.一种网络服务的检测装置，其特征在于，包括：
获取模块，用于获取IP网络的NetFlow数据流；
识别模块，用于从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
网络服务确定模块，用于在所述流量指标是非离群点流量指标时，确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至7任一所述的网络服务的检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1至7任一所述的网络服务的检测方法。
CN202110485287.1A 2021-04-30 2021-04-30 网络服务的检测方法、装置、电子设备及存储介质 Active CN115277439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485287.1A CN115277439B (zh) 2021-04-30 2021-04-30 网络服务的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485287.1A CN115277439B (zh) 2021-04-30 2021-04-30 网络服务的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115277439A true CN115277439A (zh) 2022-11-01
CN115277439B CN115277439B (zh) 2023-09-19

Family

ID=83745234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485287.1A Active CN115277439B (zh) 2021-04-30 2021-04-30 网络服务的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115277439B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169360A1 (en) * 2013-04-02 2017-06-15 Patternex, Inc. Method and system for training a big data machine to defend
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN107391616A (zh) * 2017-07-04 2017-11-24 广西电网有限责任公司电力科学研究院 一种生产业务噪声数据检测和分离系统
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
US20180123922A1 (en) * 2016-10-31 2018-05-03 AppDynamics, LLC Correlating performance outliers and network performance impacting event metric
CN108429651A (zh) * 2018-06-06 2018-08-21 腾讯科技（深圳）有限公司 流量数据检测方法、装置、电子设备及计算机可读介质
CN111245667A (zh) * 2018-11-28 2020-06-05 中国移动通信集团浙江有限公司 网络业务识别方法及装置
CN112188532A (zh) * 2019-07-02 2021-01-05 中国移动通信集团贵州有限公司 网络异常检测模型的训练方法、网络检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169360A1 (en) * 2013-04-02 2017-06-15 Patternex, Inc. Method and system for training a big data machine to defend
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
US20180123922A1 (en) * 2016-10-31 2018-05-03 AppDynamics, LLC Correlating performance outliers and network performance impacting event metric
CN107391616A (zh) * 2017-07-04 2017-11-24 广西电网有限责任公司电力科学研究院 一种生产业务噪声数据检测和分离系统
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
CN108429651A (zh) * 2018-06-06 2018-08-21 腾讯科技（深圳）有限公司 流量数据检测方法、装置、电子设备及计算机可读介质
CN111245667A (zh) * 2018-11-28 2020-06-05 中国移动通信集团浙江有限公司 网络业务识别方法及装置
CN112188532A (zh) * 2019-07-02 2021-01-05 中国移动通信集团贵州有限公司 网络异常检测模型的训练方法、网络检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BERK ANBAROGLU, BENJAMIN HEYDECKER, TAO CHENG: "spatio-temporal clustering for non-recurrent traffic congestion detection on urban road networks", TRANSPORTATION RESEARCH PART C: EMERGING TECHNOLOGIES *
王捷;马红艳;: "基于多元高斯分布的数据质量波动监测模型研究", 电信工程技术与标准化, vol. 32, no. 05 *
贵福胜: "基于时间序列分析的Web应用性能异常检测的研究与实现", 中国优秀硕士学位论文全文数据库 信息科技辑 *

Also Published As

Publication number Publication date
CN115277439B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN107302547B (zh) 一种web业务异常检测方法及装置
KR101234326B1 (ko) 분산 트래픽 분석
WO2019169928A1 (zh) 一种流量检测方法和流量检测设备
CN107634848B (zh) 一种采集分析网络设备信息的系统和方法
KR102076861B1 (ko) 네트워크 성능 진단 방법 및 장치, 및 시스템
CN106972985B (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN108337652B (zh) 一种检测流量欺诈的方法及装置
US20210168049A1 (en) Quality of service monitoring method, device, and system
CN111107423A (zh) 一种视频业务播放卡顿的识别方法和装置
CN111222547B (zh) 一种面向移动应用的流量特征提取方法及系统
CN115600128A (zh) 一种半监督加密流量分类方法、装置及存储介质
CN108206769A (zh) 过滤网络质量告警的方法、装置、设备和介质
CN110266726A (zh) 一种识别ddos攻击数据流的方法及装置
Kepner et al. Hypersparse neural network analysis of large-scale internet traffic
CN114221988B (zh) 一种内容分发网络热点分析方法和系统
KR100608541B1 (ko) 샘플링과 시그너쳐 검색 기능을 구비한 인터넷 프로토콜패킷 수집 장치 및 그 방법
CN115277439A (zh) 网络服务的检测方法、装置、电子设备及存储介质
Shaman et al. User profiling based on application-level using network metadata
CN116192527A (zh) 攻击流量检测规则生成方法、装置、设备及存储介质
CN109190408A (zh) 一种数据信息的安全处理方法及系统
CN111988271B (zh) 一种通信流处理方法及装置
KR101345095B1 (ko) 클러스터 환경 기반의 ｂｇｐ 라우팅 정보 분석 방법 및 시스템
CN115150297B (zh) 一种基于移动互联网的数据过滤及内容评价方法和系统
CN116962255B (zh) 发现pcdn用户的检测方法、系统、设备及可读介质
CN113268551B (zh) 一种统一测控系统数据监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant