CN106878074B - 流量过滤方法及装置 - Google Patents

流量过滤方法及装置 Download PDF

Info

Publication number
CN106878074B
CN106878074B CN201710087242.2A CN201710087242A CN106878074B CN 106878074 B CN106878074 B CN 106878074B CN 201710087242 A CN201710087242 A CN 201710087242A CN 106878074 B CN106878074 B CN 106878074B
Authority
CN
China
Prior art keywords
target network
message
content
keywords
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710087242.2A
Other languages
English (en)
Other versions
CN106878074A (zh
Inventor
黄晓炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN201710087242.2A priority Critical patent/CN106878074B/zh
Publication of CN106878074A publication Critical patent/CN106878074A/zh
Application granted granted Critical
Publication of CN106878074B publication Critical patent/CN106878074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种流量过滤方法及装置，该方法应用于用户上网行为分析设备，可包括：抓取目标网络流量；基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；将所述内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，过滤并保存携带有所述内容关键字的目标网络流量。使用本申请提供的方法，可有效地提高用户上网行为的分析效率。

Description

流量过滤方法及装置
技术领域
本申请涉及计算机通信领域，尤其涉及一种流量过滤技术。
背景技术
随着互联网的快速发展，各种基于互联网的应用的不断涌现，为了更好地运营网络，为用户提供更好的体验，很有必要分析用户的上网行为。
然而，在对用户的上网行为进行分析的过程中，由于用户上网行为分析设备抓取的目标网络流量中包含了大量地干扰流量，因此如何有效地去除干扰流量，提高用户上网行为的效率就成为亟待解决的问题。
发明内容
有鉴于此，本申请提供一种流量过滤方法及装置，用以提高用户上网行为的分析效率。
具体地，本申请是通过如下技术方案实现的：
根据本申请的第一方面，提供一种流量过滤方法，所述方法应用于用户上网行为分析设备，所述方法包括：
抓取目标网络流量；
基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
将所述内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，过滤并保存携带有所述内容关键字的目标网络流量。
可选的，所述基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字，包括：
基于目标协议类型，解析所述目标网络流量的请求报文的报文头，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字；
如果未在所述请求报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字；
如果未在所述响应报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文负载，获取所述响应报文负载中携带的与文件格式相关联的内容关键字。
可选的，所述方法还包括：
获取用户输入的扩展协议；
在本地储存与该扩展协议对应的协议格式。
可选的，所述方法还包括：
如果无法基于所述目标协议类型对所述目标网络流量进行解析，则基于所述扩展协议，对所述目标网络流量进行报文格式解析，获取所述目标网络流量携带的内容关键字。
可选的，所述请求报文的报文头、所述响应报文的报文头以及所述响应报文负载携带的内容关键字所对应的字段类型不同，所关联的文件格式相同。
根据本申请的第二方面，提供一种流量过滤装置，所述装置应用于用户上网行为分析设备，所述装置包括：
抓取单元，用于抓取目标网络流量；
获取单元，用于基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
过滤单元，用于将所述内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，过滤并保存携带有所述内容关键字的目标网络流量。
可选的，所述获取单元，具体用于基于目标协议类型，解析所述目标网络流量的请求报文的报文头，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述请求报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述响应报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文负载，获取所述响应报文负载中携带的与文件格式相关联的内容关键字。
可选的，所述装置还包括：
导入单元，用于获取用户输入的扩展协议，并在本地储存与该扩展协议对应的协议格式。
可选的，所述装置还包括：
扩展单元，用于如果无法基于所述目标协议类型对所述目标网络流量进行解析，则基于所述扩展协议，对所述目标网络流量进行报文格式解析，获取所述目标网络流量携带的内容关键字。
可选的，所述请求报文的报文头、所述响应报文的报文头以及所述响应报文负载携带的内容关键字所对应的字段类型不同，所关联的文件格式相同。
本申请提出一种流量过滤方法，用户上网行为分析设备可将抓取到的目标网络流量中携带的与文件格式相关联的内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，则过滤并保存携带有所述内容关键字的目标网络流量。
由于用户分析设备可以通过目标网络流量中携带的与文件格式相关联的内容关键字来对抓取的目标网络流量进行过滤，去除干扰流量，获取所需的流量进行用户行为分析，因此，可有效地提高用户行为分析的效率。
附图说明
图1是本申请一示例性实施例示出的一种流量过滤方法的流程图；
图2是本申请一示例性实施例示出的一种流量过滤装置所在设备的硬件结构图；
图3是本申请一示例性实施例示出的一种流量过滤装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着互联网的快速发展，各种基于互联网的应用的不断涌现，为了更好地运营网络，为用户提供更好的体验，很有必要分析用户的上网行为。
在相关技术中，用户上网行为分析设备通常可基于预设的抓包工具，如Wireshark抓包工具，抓取目标网络流量，然后再对抓取到的目标网络流量进行分析。
然而，在实际应用中，抓取到的目标网络流量中包含了大量的干扰流量，如与服务器交互过程中产生的DNS(Domain Name System，域名系统)报文、UDP(User DatagramProtocol，用户数据报协议)用户数据报文和TCP(Transmission Control Protocol，传输控制协议)握手控制报文等，在本地产生的干扰报文以及用户获取页面时，产生的辅助报文，如JavaScript报文、Cookie操作报文或者广告嵌入报文等。当用户上网行为分析设备对包含有大量地干扰流量的目标网络流量进行分析时，会大大增加用户上网行为分析的难度，大大降低了数据分析地效率。
本申请提出一种流量过滤方法，用户上网行为分析设备可将抓取到的目标网络流量中携带的与文件格式相关联的内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，则过滤并保存携带有所述内容关键字的目标网络流量。
由于用户分析设备可以通过目标网络流量中携带的与文件格式相关联的内容关键字来对抓取的目标网络流量进行过滤，去除干扰流量，获取所需的流量进行用户行为分析，因此，可有效地提高用户行为分析的效率。
参见图1，图1是本申请一示例性实施例示出的一种流量过滤方法的流程图。该流量过滤方法可应用于用户上网行为分析设备，该方法可包括：
步骤101：抓取目标网络流量；
步骤102：基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
步骤103：将所述内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，过滤并保存携带有所述内容关键字的目标网络流量。
上述内容关键字，与目标网络流量的文件格式相关联。例如，当上述目标网络流量的文件格式为音频文件格式时，上述内容关键字可为mp3、mp4、m4a等。当上述目标网络流量的文件格式为图片文件格式时，上述内容关键字可为jpg、jpeg、gif、png等。当上述目标网络流量的文件格式为压缩文件格式，上述内容关键字可为rar、zip等。当然，这里只是对上述内容关键字的示例性说明，不对其进行具体地限定。
上述目标协议，可指网络上层通用协议，例如HTTP(HyperText TransferProtocol，超文本传输协议)协议等。通常，用户上网行为分析设备在基于该类协议，对目标流量进行解析后，可通过解析后的明文信息直接获取内容关键字。
在本申请实施例中，用户上网行为分析设备可基于预设的抓包工具，抓取目标网络流量。
其中，预设的抓包工具可为主流的一些抓包工具，例如Wireshark抓包工具。这里只是对预设的抓包工具进行示例性的说明，不对其进行具体的限定。
在抓取到目标网络流量后，用户上网行为分析设备可基于目标协议类型对该目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字。
为了提高目标网络流量的解析效率，用户上网行为分析设备可基于预设的解析优先级来对目标网络流量进行解析。
在一种可选的实现方式中，用户上网行为分析设备可基于目标协议类型，对上述抓取到的目标网络流量的请求报文的报文头进行解析，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字。
如果用户上网行为分析设备未在上述请求报文的报文头中获取到与上述与文件格式相关联的内容关键字，比如，上述请求报文的报文头中未携带内容关键字，或者携带的内容关键字与文件格式无关，则可基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字。
如果用户上网行为分析设备未在所述响应报文的报文头中获取到与上述文件格式相关联的内容关键字，比如，上述响应报文的报文头中未携带内容关键字，或者携带的内容关键字与文件格式无关，则可基于目标协议类型，解析所述目标网络流量的响应报文负载，获取该响应报文负载中携带的与文件格式相关联的内容关键字。
下面以目标协议类型为HTTP协议，以需要过滤的目标网络流量的文件格式为音频文件为例，对上述基于预设的解析优先级来对目标网络流量进行解析进行详细地说明。
用户上网行为分析设备可基于HTTP协议，对上述抓取到的目标网络流量的请求报文的报文头进行解析，通过Get函数，获取请求报文的报文头相关字段对应的内容关键字。假设目标网络流量的文件格式为音频文件，用户上网行为分析设备可从请求报文的报文头中获取到如mp3、mp4、m4a等字段类型的内容关键字。
当上述请求报文的报文头中未携带有与文件格式相关的内容关键字时，如文件后缀名mp3、mp4、m4a等，或者携带的内容关键字与文件格式无关时，用户上网行为分析设备则无法获取到该内容关键字。此时，用户上网行为分析设备可基于HTTP协议，对响应报文的报文头进行解析。通常，HTTP响应报文的报文头中记录有Contet-Type字段，用户上网行为分析设备可获取该Contet-Type字段记录的与文件格式关联的内容关键字，如audio/x-m4a。
当上述响应报文的报文头的Contet-Type字段未记录有内容关键字，或者记录的内容关键字与文件格式无关，如Contet-Type字段记录的内容关键字为application/octet-stream等，用户上网行为分析设备则无法获取到该响应报文的报文头中携带的与文件格式相关联的内容关键字。此时，用户上网行为分析设备可基于HTTP协议，对响应报文负载进行解析。通常，负载中携带有算法字段等，用户上网行为分析设备可获取算法字段中记录的内容关键字，例如，ID3是音频文件格式的一种算法，用户上网行为分析设备获取到的内容关键字可为ID3。
当然，上述预设的解析优先级可以基于实际情况，由管理人员自行设定，这里只是对上述预设的解析优先级的示例性说明，不对其进行具体地限定。
为了提高用户上网行为分析设备对目标网络流量过滤的通用性，扩大该用户上网行为分析设备所使用的协议类型，在本申请实施例中，用户可基于实际情况，向用户上网行为分析设备导入扩展协议。用户上网行为分析设备可获取用户输入的扩展协议，并可在本地储存与该扩展协议对应的协议格式。
其中，扩展协议可为网络下层协议或者私有协议。对于网络下层协议，可为TCP协议、UDP协议等。
对于私有协议，可为管理人员根据实际情况所使用的较少用的协议，例如可为RTMP(Real Time Messaging Protocol，实时消息传输协议)协议、RTSP(Real TimeStreaming Protocol，实时流传输协议)协议以及RTMFP(Real Time Media FlowProtocol，实时媒体流协议)协议等。
这里，只是对扩展协议进行示例性地说明，不对其进行具体地限定。
在本申请实施例中，如果用户上网行为分析设备无法基于上述目标协议类型对上述目标网络流量进行解析，则可基于扩展协议中的协议格式，对目标网络流量进行报文格式解析，获取该目标网络流量中携带的内容关键字。
在获取到上述内容关键字后，用户上网行为分析设备可将获取到的内容关键字与预设的关键字进行匹配。如果该内容关键字与预设的关键字匹配，则过滤携带有该内容关键字的目标网络流量。
为了缓解数据存储压力，同时方便流量回放等后续操作，用户上网行为分析设备可将过滤出的目标网络流量进行储存。
如果该内容关键字与预设的关键字不匹配，用户上网行为分析设备则可将该内容关键字对应的目标网络流量丢弃。
其中，上述预设的关键字，可为管理人员预先设定的关键字，与其所要过滤流量的文件格式关联。例如，当上述目标网络流量的文件格式为音频格式时，上述预设的关键字可为mp3、mp4、m4a，audio/x-m4a，ID3等。这里只是对预设的关键字进行示例性地说明，不对其进行具体地限定。
在本申请实施例中，上述请求报文的报文头携带的与文件格式相关联的内容关键字、上述响应报文的报文头携带的与文件格式相关联的内容关键字以及上述响应报文负载携带的与文件格式相关联的内容关键字所对应的字段类型不同，但所关联的文件格式是相同的。
例如，仍以上述目标网络流量的文件格式为音频文件为例，上述请求报文的报文头携带的与文件格式相关联的内容关键字可为mp3、mp4、m4a，上述响应报文的报文头携带的与文件格式相关联的内容关键字可为audio/x-m4a，上述响应报文负载携带的与文件格式相关联的内容关键字可为ID3。这三种类型的内容关键字对应的字段类型各不相同，但所关联的文件格式均为音频文件，所关联的文件格式均相同。
本申请提出一种流量过滤方法，用户上网行为分析设备可将抓取到的目标网络流量中携带的与文件格式相关联的内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，则过滤并保存携带有所述内容关键字的目标网络流量。
由于用户分析设备可以通过目标网络流量中携带的与文件格式相关联的内容关键字来对抓取的目标网络流量进行过滤，去除干扰流量，获取所需的流量进行用户行为分析，因此，可有效地提高用户行为分析的效率。
与前述流量过滤方法的实施例相对应，本申请还提供了流量过滤装置的实施例。
本申请流量过滤装置的实施例可以应用在用户上网行为分析设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在用户上网行为分析设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本申请流量过滤装置所在用户上网行为分析设备的一种硬件结构图，除了图2所示的处理器、内存、网络出接口、以及非易失性存储器之外，实施例中装置所在的用户上网行为分析设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图3，图3是本申请一示例性实施例示出的一种流量过滤装置的框图。该流量过滤装置可包括：抓取单元310，获取单元320以及过滤单元330。
其中，抓取单元310，可用于抓取目标网络流量；
获取单元320，可用于基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
过滤单元330，可用于将所述内容关键字与预设关键字进行匹配，如果所述内容关键字匹配所述预设关键字，过滤并保存携带有所述内容关键字的目标网络流量。
在一种可选的实现方式中，所述获取单元320，可具体用于基于目标协议类型，解析所述目标网络流量的请求报文的报文头，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述请求报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述响应报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文负载，获取所述响应报文负载中携带的与文件格式相关联的内容关键字。
在另一种可选的实现方式中，所述装置还包括导入单元340，可用于获取用户输入的扩展协议，并在本地储存与该扩展协议对应的协议格式。
在另一种可选的实现方式中，所述装置还包括扩展单元350，可用于如果无法基于所述目标协议类型对所述目标网络流量进行解析，则基于所述扩展协议，对所述目标网络流量进行报文格式解析，获取所述目标网络流量携带的内容关键字。
在另一种可选的实现方式中，所述请求报文的报文头、所述响应报文的报文头以及所述响应报文负载携带的内容关键字所对应的字段类型不同，所关联的文件格式相同。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种流量过滤方法，其特征在于，所述方法应用于用户上网行为分析设备，所述方法包括：
抓取目标应用中的目标网络流量；
基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
将所述内容关键字与预设关键字进行匹配，所述预设关键字根据目标网络流量包含的文件格式预先设定，如果所述内容关键字匹配所述预设关键字，过滤干扰流量并保存携带有所述内容关键字的目标网络流量；所述携带有所述内容关键字的目标网络流量即为去除干扰流量后的所需流量。
2.根据权利要求1所述的方法，其特征在于，所述基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字，包括：
基于目标协议类型，解析所述目标网络流量的请求报文的报文头，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字；
如果未在所述请求报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字；
如果未在所述响应报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文负载，获取所述响应报文负载中携带的与文件格式相关联的内容关键字。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取用户输入的扩展协议；
在本地储存与该扩展协议对应的协议格式。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果无法基于所述目标协议类型对所述目标网络流量进行解析，则基于所述扩展协议，对所述目标网络流量进行报文格式解析，获取所述目标网络流量携带的内容关键字。
5.根据权利要求2所述的方法，其特征在于，所述请求报文的报文头、所述响应报文的报文头以及所述响应报文负载携带的内容关键字所对应的字段类型不同，所关联的文件格式相同。
6.一种流量过滤装置，其特征在于，所述装置应用于用户上网行为分析设备，所述装置包括：
抓取单元，用于抓取目标应用中的目标网络流量；
获取单元，用于基于目标协议类型对所述目标网络流量进行报文格式解析，获取该目标网络流量中携带的与文件格式相关联的内容关键字；
过滤单元，用于将所述内容关键字与预设关键字进行匹配，所述预设关键字根据目标网络流量包含的文件格式预先设定，如果所述内容关键字匹配所述预设关键字，过滤干扰流量并保存携带有所述内容关键字的目标网络流量；所述携带有所述内容关键字的目标网络流量即为去除干扰流量后的所需流量。
7.根据权利要求6所述的装置，其特征在于，所述获取单元，具体用于基于目标协议类型，解析所述目标网络流量的请求报文的报文头，获取该请求报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述请求报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文的报文头，获取该响应报文的报文头中携带的与文件格式相关联的内容关键字；如果未在所述响应报文的报文头中获取到所述内容关键字，则基于目标协议类型，解析所述目标网络流量的响应报文负载，获取所述响应报文负载中携带的与文件格式相关联的内容关键字。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
导入单元，用于获取用户输入的扩展协议，并在本地储存与该扩展协议对应的协议格式。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
扩展单元，用于如果无法基于所述目标协议类型对所述目标网络流量进行解析，则基于所述扩展协议，对所述目标网络流量进行报文格式解析，获取所述目标网络流量携带的内容关键字。
10.根据权利要求7所述的装置，其特征在于，所述请求报文的报文头、所述响应报文的报文头以及所述响应报文负载携带的内容关键字所对应的字段类型不同，所关联的文件格式相同。
CN201710087242.2A 2017-02-17 2017-02-17 流量过滤方法及装置 Active CN106878074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710087242.2A CN106878074B (zh) 2017-02-17 2017-02-17 流量过滤方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710087242.2A CN106878074B (zh) 2017-02-17 2017-02-17 流量过滤方法及装置

Publications (2)

Publication Number Publication Date
CN106878074A CN106878074A (zh) 2017-06-20
CN106878074B true CN106878074B (zh) 2020-09-08

Family

ID=59167170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710087242.2A Active CN106878074B (zh) 2017-02-17 2017-02-17 流量过滤方法及装置

Country Status (1)

Country Link
CN (1) CN106878074B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111812B (zh) * 2017-12-20 2020-07-03 北京启明星辰信息安全技术有限公司 一种视频安全监测方法及监测系统
CN109327357B (zh) * 2018-11-29 2020-10-09 杭州迪普科技股份有限公司 应用软件的特征提取方法、装置及电子设备
CN111262812A (zh) * 2018-11-30 2020-06-09 比亚迪股份有限公司 数据包筛选方法和装置
CN111030893A (zh) * 2019-12-31 2020-04-17 上海途鸽数据科技有限公司 云通讯应用场景下分析用户行为的方法和装置
CN111353018B (zh) * 2020-02-24 2023-11-10 杭州迪普信息技术有限公司 基于深度包检测的数据处理方法、装置和网络设备
CN112214395A (zh) * 2020-09-02 2021-01-12 浙江大搜车融资租赁有限公司 基于流量数据的接口测试方法、电子装置及存储介质
CN112532616A (zh) * 2020-11-26 2021-03-19 杭州迪普科技股份有限公司 网络应用的特征分析方法及装置
CN112860378B (zh) * 2021-02-23 2022-07-29 哈尔滨工业大学（威海） 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质
CN114884882B (zh) * 2022-06-16 2023-11-21 深圳星云智联科技有限公司 一种流量可视化方法、装置、设备及存储介质
CN117278660B (zh) * 2023-11-21 2024-03-29 华信咨询设计研究院有限公司 一种基于dpdk技术的流量过滤的协议解析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610268A (zh) * 2009-07-16 2009-12-23 杭州华三通信技术有限公司 一种关键字过滤的实现方法和设备
CN101996259A (zh) * 2010-12-12 2011-03-30 成都东方盛行电子有限责任公司 基于白名单机制的数据深度解析方法
CN102217281A (zh) * 2011-06-13 2011-10-12 华为技术有限公司 协议解析方法及装置
CN104079493A (zh) * 2014-06-11 2014-10-01 国家计算机网络与信息安全管理中心 基于下载资源名的流量识别方法和设备、管控方法和设备
CN104079545A (zh) * 2013-03-29 2014-10-01 西门子公司 一种提取数据包过滤规则的方法、装置和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905434A (zh) * 2014-03-13 2014-07-02 亿赞普(北京)科技有限公司 一种网络数据处理方法和装置
CN106254902B (zh) * 2016-08-19 2019-05-31 恒安嘉新（北京）科技股份公司 一种基于移动互联网视频用户感知和分析的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610268A (zh) * 2009-07-16 2009-12-23 杭州华三通信技术有限公司 一种关键字过滤的实现方法和设备
CN101996259A (zh) * 2010-12-12 2011-03-30 成都东方盛行电子有限责任公司 基于白名单机制的数据深度解析方法
CN102217281A (zh) * 2011-06-13 2011-10-12 华为技术有限公司 协议解析方法及装置
CN104079545A (zh) * 2013-03-29 2014-10-01 西门子公司 一种提取数据包过滤规则的方法、装置和系统
CN104079493A (zh) * 2014-06-11 2014-10-01 国家计算机网络与信息安全管理中心 基于下载资源名的流量识别方法和设备、管控方法和设备

Also Published As

Publication number Publication date
CN106878074A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106878074B (zh) 流量过滤方法及装置
WO2019237532A1 (zh) 一种业务数据的监控方法、存储介质、终端设备及装置
US20110125748A1 (en) Method and Apparatus for Real Time Identification and Recording of Artifacts
CN105589943B (zh) 搜索结果页面的图片适应性处理的方法、装置和服务器
WO2005001654A3 (en) Interface for media publishing
WO2013117085A1 (zh) 实现录像检索的方法、设备和系统
CN109361573A (zh) 流量日志分析方法、系统及计算机可读存储介质
CN110413478A (zh) 一种监控日志处理的方法、设备以及介质
CN108093048B (zh) 一种用于获取应用交互数据的方法与装置
CN105159992A (zh) 一种应用程序的页面内容及网络行为的检测方法及装置
CN112559463A (zh) 压缩文件处理的方法及装置
CN105119764B (zh) 用于流量监控的方法和装置
CN102868909A (zh) Mp4在线视频缓存方法及装置
CN101184002A (zh) 一种点对点流量深度监测方法和设备
US20160004776A1 (en) Cloud search analytics
CN108710691A (zh) 一种日志管理的方法及装置
CN104935478A (zh) 一种智能终端深度感知方法及其系统
JP6157189B2 (ja) 識別装置、識別方法および識別プログラム
CN111367686A (zh) 业务接口的调用方法及装置、计算机设备、存储介质
CN113438503B (zh) 视频文件还原方法、装置、计算机设备和存储介质
CN102355504A (zh) Flv在线视频缓存方法及装置
CN106412661B (zh) 智能电视网络视频播放信息采集方法及系统
WO2015027868A1 (en) Storing method and apparatus for data acquisition
JP5820749B2 (ja) 識別装置、識別方法および識別プログラム
US9853946B2 (en) Security compliance for cloud-based machine data acquisition and search system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant