CN111181811A - 统计方法、装置、电子设备及介质 - Google Patents

统计方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111181811A
CN111181811A CN201911402095.9A CN201911402095A CN111181811A CN 111181811 A CN111181811 A CN 111181811A CN 201911402095 A CN201911402095 A CN 201911402095A CN 111181811 A CN111181811 A CN 111181811A
Authority
CN
China
Prior art keywords
mirror image
image data
flow
data
data traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911402095.9A
Other languages
English (en)
Inventor
黄友俊
李星
吴建平
宋文亮
李川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERNET Corp
Original Assignee
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CERNET Corp filed Critical CERNET Corp
Priority to CN201911402095.9A priority Critical patent/CN111181811A/zh
Publication of CN111181811A publication Critical patent/CN111181811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种统计方法、装置、电子设备及介质，该方法包括：采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对；以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚；将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤；对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。该方法可快速统计ISP间排名前M的视频业务流量和内容，帮助网络管理人员快速有效的针对业务流量进行管控和疏导工作，从而减轻网络拥塞的压力，提升用户的体验。

Description

统计方法、装置、电子设备及介质
技术领域
本公开涉及网络行为监控与网络行为管理技术领域，尤其涉及一种统计方法、装置、电子设备及介质。
背景技术
随着互联网和流媒体技术的发展，网络视频业务在网络流量中所占的比例不断攀升。虽然网络的带宽在不断地大幅增加，但是网络使用的效率却没有成正比的提升，网络用户常为网络阻塞所苦恼，极大地降低了用户的体验感。
发明内容
(一)要解决的技术问题
针对于现有的技术问题，本公开提出一种统计方法、装置、电子设备及介质。
(二)技术方案
本公开一方面提供一种统计方法，包括：采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对；以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚；将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤；对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
可选地，方法还包括：将汇聚后的数据报文与汇聚前的数据报文进行对比，得到不均衡流量数据；对不均衡流量数据进行统计排名。
可选地，其中，解析镜像数据流量，得到IP地址对包括：记录IP地址对的方向，方向包括数据下行及数据上行。
可选地，其中，以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚包括：将同一采集时间的镜像数据流量进行汇聚；将同一采集时间的镜像数据流量中IP地址对方向相同的镜像数据流量进行汇聚。
可选地，其中，采用SVW算法对镜像数据流量进行汇聚。
可选地，其中，采用SVW算法对镜像数据流量进行汇聚包括：构造M(M-1)/2个二进制分类器；将镜像数据流量输入M(M-1)/2个二进制分类器；对M(M-1)/2个二进制分类器的输出进行投票，获取票数大于预设值的输出对应的镜像数据流量。
可选地，统计方法还包括：将排名前M的视频业务流量和内容进行存储。
本公开的另一方面提供一种统计装置，包括：采集模块，用于采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对；汇聚模块，用于以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚；处理模块，用于将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤；统计模块，用于对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述提供的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现上述提供的方法。
本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现上述提供的方法。
(三)有益效果
本公开提出一种统计方法、装置、电子设备及介质，有益效果为：以IP地址对为关键字，按照采集时间及IPIP地址对的方向性，对ISP间互联口的镜像数据流量进行汇聚，对汇聚后的数据进行过滤及统计排名，得到ISP间排名前M的视频业务流量和内容，使得网络管理人员了解网络中存在的视频业务流量情况，以便于网络管理人员快速有效的针对业务流量进行管控和疏导工作，从而减轻网络拥塞的压力，提升用户的体验。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了本公开实施例提供的适用于统计方法及装置的系统架构图；
图2示意性示出了根据本公开实施例的统计方法的流程图。；
图3示意性示出了根据本公开实施例的统计装置的框图；以及
图4示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理系统的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的系统。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
相关研究表明，针对特定的网络内容服务商(Internet Content Provider，ICP)的网站视频内容进行分析，解析其中的超链接以及对应的正文信息，然后再通过URL与正文反馈网站的热度，可为企业的广告正确投放提供强有力的依据。基于此，本公开的实施例提供了一种统计方法、装置、电子设备及介质，用于统计大型因特网服务提供商(InternetService Provider，ISP)间互联口视频流量和内容，以帮助网络管理人员了解网络中存在的视频业务流量情况。该方法例如可以包括一下操作统计采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对。以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚。将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤。对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
图1示意性示出了本公开实施例提供的适用于统计方法及装置的系统架构图，需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括分流设备101，数据采集设备102，网络103，通讯交换机104，采集数据存储服务器105，数据处理服务器106，数据存储服务器107以及Web服务器108。数据采集设备102例如可以是服务器。在多个大型ISP间的每个互联互通节点可以部署至少一个数据采集设备102，构成数据采集服务器组。采集数据存储服务器105，数据处理服务器106，数据存储服务器107以及Web服务器108例如可以为单网卡，均通过该单网卡连接至通讯交换机104。
分流设备101例如可以采用支持分流的设备，需要根据数据采集设备102的实际性能将大型ISP间的镜像流量分成多份。
每台数据采集设备102例如可以设置至少两个网卡，如eth0和eth1，其中eth0例如可以为通讯口，通过网络103连接到通讯交换机104上，ethl例如可以为分流数据输入口，连接到分流设备101上。每一个数据采集设备102例如可以连接一个分流设备101。
采集数据存储服务器105例如可以为采集数据临时存储服务器，需要把多个采集设备102采集的数据汇总，数据存储时间可根据实际需要配置，例如可以为一周时间。数据汇总时，需要将同一时间不同采集设备102采集的数据汇总在一起。
数据处理服务器106为主要处理业务服务器，包括数据流量过滤，视频业务分类器，各采集点数据、流量数据、内容获取等。
数据存储服务器107用于存储数据处理服务器106排名统计得到ISP间排名前M的视频业务流量和内容及不均衡流量数据的统计排名。
需要说明的是，本公开实施例所提供的统计方法可以由数据处理服务器106执行。相应地，本公开实施例所提供的统计装置可以设置于数据处理服务器106中。或者，本公开实施例所提供的统计方法也可以由不同于数据处理服务器106且能够与数据采集设备102和/或数据处理服务器106通信的服务器或服务器集群执行。相应地，本公开实施例所提供的统计装置也可以设置于不同于数据处理服务器106且能够与数据采集设备102和/或数据处理服务器106通信的服务器或服务器集群中。或者，本公开实施例所提供的存储设备也可以部分由数据处理服务器106执行，部分由数据采集设备102执行。相应的，本公开实施例所提供的统计装置也可以部分设置于数据处理服务器106中，部分设置于数据采集设备102中。
应该理解，图1中的分流设备、数据采集设备网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的分流设备、网络和服务器。
图2示意性示出了根据本公开实施例的统计方法的流程图。
如图2所示，本公开实施例的统计方法例如可以包括操作S201～操作S204。
S201，采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对。
在本实施例一可行的方式中，例如可以采集13个互联口的所有镜像数据流量，采集过程中，镜像数据流量经过分流设备101分配到各个数据采集设备102，可根据数据采集设备102的实际性能将大型ISP间的镜像流量分成多份。
每一台数据采集设备102可以对分配的镜像数据流量进行解析，解析器包含的的IP地址，端口号，协议类型，流量大小等，得到IP地址对。该IP地址对具有方向性，包括数据上行和数据下行，数据上行是指用户发送数据，数据下行是指接收数据，比如数据从IPa到IPb的记录为数据上行，数据从IPb到IPa记录为数据下行及在解析的过程中，需要记录每一对IP地址对的方向。
数据采集设备102例如可以根据采集的频率存储数据，数据采集频率为每次采集的时间段，比如设定为五分钟采样，则数据采集设备每五分钟产生一个数据文件，文件名以此次开始采集的时间命名，数据采集设备产生的数据文件可以通过网络103及通讯交换机104直接存储在采集数据存储服务器105上。采集数据存储服务器105上还可以存储有解析得到的IP地址对及每一对IP地址对对应的方向。
S202，以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚。
数据处理服务器106可通过通讯交换机104获取采集数据存储服务器105存储的数据，以IP地址对为关键字，根据采集时间及IP地址对方向进行数据汇聚，例如可以首先将同一采集时间(操作S101中的文件名)的数据汇聚在一起，然后针对于同一采集时间的数据，根据数据上行和数据下行的方向，将同一方向的数据进行分类汇聚。
分类汇聚可采用视频业务分类器进行，可以采用SVW算法对镜像数据流量进行分类汇聚。具体地，可首先构造M(M-1)/2个二进制分类器，每个分类器的样本集只来自对应的两类。然后将镜像数据流量输入M(M-1)/2个二进制分类器，采用投票方式对M(M-1)/2个二进制分类器的输出进行投票，获取票数大于预设值的输出对应的镜像数据流量作为最终的识别结果，将分类汇聚后的数据写入文件file1中。
S203，将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤。
具体地，将文件file1中汇聚的出入流量与多个数据采集设备上的出入流量进行对比分析，可获取满足预设条件的数据及非对称路由导致不均衡流量数据，将满足预设条件的数据写入file2，将不均衡流量数据写入file3，并过滤file2及file3中其它网络业务流量，将符合条件的数据分别写入file4和file5文件中。
S204，对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
对file4保留的数据进行统计排序，即可得到在ISP间排名前M(TopM)的视频业务流量和内容，对file5保留的数据进行统计排序即可得到所有流量不均衡统计。统计完成后，可以将结果存储于数据存储服务器107中，以方便管理员查看。
本实施例提供的统计方法，以IP地址对为关键字，按照采集时间及IPIP地址对的方向性，对ISP间互联口的镜像数据流量进行汇聚，对汇聚后的数据进行过滤及统计排名，得到ISP间排名前M的视频业务流量和内容，使得网络管理人员了解网络中存在的视频业务流量情况，以便于网络管理人员快速有效的针对业务流量进行管控和疏导工作，从而减轻网络拥塞的压力，提升用户的体验。
图3示意性示出了根据本公开实施例的统计装置的框图。该装置可执行上述统计方法。
如图3所示，本公开实施例的统计装置300例如可以包括采集模块310、汇聚模块320、处理模块330及统计模块340。
采集模块310，用于采集ISP间互联口的镜像数据流量，解析镜像数据流量，得到IP地址对。
汇聚模块320，用于以IP地址对为关键字，按照采集时间对镜像数据流量进行汇聚。
处理模块330，用于将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对满足预设条件的数据进行过滤。
统计模块340，用于对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。
根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如采集模块310、汇聚模块320、处理模块330及统计模块340中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其它模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，采集模块310、汇聚模块320、处理模块330及统计模块340中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，采集模块310、汇聚模块320、处理模块330及统计模块340中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图4示意性示出了根据本公开实施例的电子设备的框图。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400包括处理器410、计算机可读存储介质420。该电子设备400可以执行根据本公开实施例的方法。
具体地，处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质420，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储系统，如磁带或硬盘(HDD)；光存储系统，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存等等。
计算机可读存储介质420可以包括计算机程序421，该计算机程序421可以包括代码/计算机可执行指令，其在由处理器410执行时使得处理器410执行根据本公开实施例的方法或其任何变形。
计算机程序421可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序421中的代码可以包括一个或多个程序模块，例如包括421A、模块421B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器410执行时，使得处理器410可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例采集模块310、汇聚模块320、处理模块330及统计模块340中的至少一个可以实现为参考图4描述的计算机程序模块，其在被处理器410执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/系统/系统中所包含的，也可以是单独存在，而未装配入该设备/系统/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种统计方法，包括：
采集ISP间互联口的镜像数据流量，解析所述镜像数据流量，得到IP地址对；
以所述IP地址对为关键字，按照采集时间对所述镜像数据流量进行汇聚；
将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对所述满足预设条件的数据进行过滤；
对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
2.根据权利要求1所述的统计方法，所述方法还包括：
将汇聚后的数据报文与汇聚前的数据报文进行对比，得到不均衡流量数据；
对所述不均衡流量数据进行统计排名。
3.根据权利要求1所述的统计方法，其中，所述解析所述镜像数据流量，得到IP地址对包括：
记录所述IP地址对的方向，所述方向包括数据下行及数据上行。
4.根据权利要求3所述的统计方法，其中，所述以所述IP地址对为关键字，按照采集时间对所述镜像数据流量进行汇聚包括：
将同一采集时间的镜像数据流量进行汇聚；
将同一采集时间的镜像数据流量中IP地址对方向相同的镜像数据流量进行汇聚。
5.根据权利要求3或4所述的统计方法，其中，采用SVW算法对所述镜像数据流量进行汇聚。
6.根据权利要求5所述的统计方法，其中，所述采用SVW算法对所述镜像数据流量进行汇聚包括：
构造M(M-1)/2个二进制分类器；
将所述镜像数据流量输入所述M(M-1)/2个二进制分类器；
对M(M-1)/2个二进制分类器的输出进行投票，获取票数大于预设值的输出对应的镜像数据流量。
7.根据权利要求1-7任一项所述的统计方法，所述统计方法还包括：
将所述排名前M的视频业务流量和内容进行存储。
8.一种统计装置，包括：
采集模块，用于采集ISP间互联口的镜像数据流量，解析所述镜像数据流量，得到IP地址对；
汇聚模块，用于以所述IP地址对为关键字，按照采集时间对所述镜像数据流量进行汇聚；
处理模块，用于将汇聚后的镜像数据流量与汇聚前的镜像数据流量进行对比，得到满足预设条件的数据，并对所述满足预设条件的数据进行过滤；
统计模块，用于对过滤后的数据的流量及内容进行统计及排名，得到ISP间排名前M的视频业务流量和内容。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。
CN201911402095.9A 2019-12-30 2019-12-30 统计方法、装置、电子设备及介质 Pending CN111181811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402095.9A CN111181811A (zh) 2019-12-30 2019-12-30 统计方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402095.9A CN111181811A (zh) 2019-12-30 2019-12-30 统计方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111181811A true CN111181811A (zh) 2020-05-19

Family

ID=70658478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402095.9A Pending CN111181811A (zh) 2019-12-30 2019-12-30 统计方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111181811A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256428A (zh) * 2020-10-21 2021-01-22 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN113890843A (zh) * 2021-09-13 2022-01-04 中盈优创资讯科技有限公司 基于netflow分析资源提供业务占比情况四阶报表的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814083A (zh) * 2010-01-08 2010-08-25 上海复歌信息科技有限公司 网页自动分类方法和系统
CN102281337A (zh) * 2011-07-29 2011-12-14 赛尔网络有限公司 目的地址访问控制方法和系统
CN102499649A (zh) * 2011-11-19 2012-06-20 江苏大学 基于机器视觉的猪的体温检测方法
CN103390156A (zh) * 2012-11-05 2013-11-13 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及装置
CN103532796A (zh) * 2013-10-31 2014-01-22 赛尔网络有限公司 大型isp间互联口统计系统及方法
CN103595576A (zh) * 2013-10-31 2014-02-19 赛尔网络有限公司 一种基于内容提供商标识的互联口icp流量统计系统及方法
CN103595577A (zh) * 2013-10-31 2014-02-19 赛尔网络有限公司 Isp间互联口超过阈值流量监控系统及方法
CN104243209A (zh) * 2014-09-10 2014-12-24 赛尔网络有限公司 一种ip地址内容提供商标示覆盖统计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814083A (zh) * 2010-01-08 2010-08-25 上海复歌信息科技有限公司 网页自动分类方法和系统
CN102281337A (zh) * 2011-07-29 2011-12-14 赛尔网络有限公司 目的地址访问控制方法和系统
CN102499649A (zh) * 2011-11-19 2012-06-20 江苏大学 基于机器视觉的猪的体温检测方法
CN103390156A (zh) * 2012-11-05 2013-11-13 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及装置
CN103532796A (zh) * 2013-10-31 2014-01-22 赛尔网络有限公司 大型isp间互联口统计系统及方法
CN103595576A (zh) * 2013-10-31 2014-02-19 赛尔网络有限公司 一种基于内容提供商标识的互联口icp流量统计系统及方法
CN103595577A (zh) * 2013-10-31 2014-02-19 赛尔网络有限公司 Isp间互联口超过阈值流量监控系统及方法
CN104243209A (zh) * 2014-09-10 2014-12-24 赛尔网络有限公司 一种ip地址内容提供商标示覆盖统计方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256428A (zh) * 2020-10-21 2021-01-22 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN112256428B (zh) * 2020-10-21 2024-05-28 赛尔网络有限公司 数据处理方法、装置、电子设备及存储介质
CN113890843A (zh) * 2021-09-13 2022-01-04 中盈优创资讯科技有限公司 基于netflow分析资源提供业务占比情况四阶报表的方法及装置
CN113890843B (zh) * 2021-09-13 2023-10-31 中盈优创资讯科技有限公司 基于netflow分析资源提供业务占比情况四阶报表的方法及装置

Similar Documents

Publication Publication Date Title
US11936764B1 (en) Generating event streams based on application-layer events captured by remote capture agents
US10812514B2 (en) Configuring the generation of additional time-series event data by remote capture agents
US9565076B2 (en) Distributed network traffic data collection and storage
CN107690776B (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
US9531620B2 (en) Control plane packet traffic statistics
CN107210928B (zh) 分布式和自适应计算机网络分析
US7627669B2 (en) Automated capturing and characterization of network traffic using feedback
US7617314B1 (en) HyperLock technique for high-speed network data monitoring
US9420068B1 (en) Log streaming facilities for computing applications
US8391157B2 (en) Distributed flow analysis
CN108900374B (zh) 一种应用于dpi设备的数据处理方法和装置
US20160127180A1 (en) Streamlining configuration of protocol-based network data capture by remote capture agents
US11650994B2 (en) Monitoring network traffic to determine similar content
Moreno et al. Multi‐granular, multi‐purpose and multi‐Gb/s monitoring on off‐the‐shelf systems
CN111181811A (zh) 统计方法、装置、电子设备及介质
US10033583B2 (en) Accelerating device, connection and service discovery
Uramová et al. Packet capture infrastructure based on Moloch
Sai Supreeth et al. Automated Switching Crash Analysis using ELK for Log Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519

RJ01 Rejection of invention patent application after publication