CN114338471A - 一种基于ICP备案结合netflow的分析方法 - Google Patents

Abstract

本发明涉及一种基于ICP备案结合netflow的分析方法，包括违规转售模块，IDC服务流量分析模块，内容流量流向分析模块，流量迁移核查模块，潜在客户挖掘模块，第三方CDN数据挖掘模块，IP反查工具模块，应用数据分析模块，违规转售模块是用来对本省IDC客户进行带宽转售的情况进行核查，IDC服务流量分析模块用来深度分析IDC的服务流量详情，IP反查工具模块是通过IP地址反查出域名、归属、访问量、流量等详细信息的，应用数据分析模块：发现本省用户热点访问互联网内容，指导数据中心的内容引入的方向。本发明坚持着眼全局、统筹考虑、整体规划、立足现实、逐步整合的原则，能够支撑政企市场IDC业务运营提供科学决策依据，实现IDC业务提质增收。

Description

一种基于ICP备案结合netflow的分析方法

技术领域

本发明涉及ICP备案技术领域，特别是涉及一种基于ICP备案结合netflow的分析方法。

背景技术

随着互联网的发展，互联网的内容日益丰富，用户对内容的需求量也随之增加，IDC的发展更是空前。随之而来的是IDC发展与监管的矛盾，运营商需要有效的对内容网络流量，IDC服务的流量，以及IDC流量的各种详情进行监管。一方面保证网络环境的健康，另一方面支撑运营商的市场运营。同时上级部门也下发了各种关于IDC的文，具体工作明确如下：为实现对互联网网站流量流向定量分析，从技术上实现对IDC客户内容分发行为、热点互联网应用分布趋势、客户流量调度操作的实时监控和深度分析，急需建设一套开展IDC客户及业务流量深度分析，为支撑政企市场IDC业务运营提供科学决策依据，实现IDC业务提质增收。针对上述要求，提出了本期工程的建设。

发明内容

本发明提供了一种基于ICP备案结合netflow的分析方法，解决了现有技术中的技术问题。

本发明解决上述技术问题的方案如下：一种基于ICP备案结合netflow的分析方法，包括违规转售模块，IDC服务流量分析模块，内容流量流向分析模块，流量迁移核查模块，潜在客户挖掘模块，第三方CDN数据挖掘模块，IP反查工具模块，应用数据分析模块，所述违规转售模块是用来对本省IDC客户进行带宽转售的情况进行核查，所述IDC服务流量分析模块用来深度分析IDC的服务流量详情，所述内容流量流向分析模块用来深度分析本省用户的流量情况，所述流量迁移核查模块用来分析IDC客户流量流失迁移的情况，所述潜在客户挖掘模块用来分析周边省份IDC机房的大客户分布情况，所述第三方CDN数据挖掘模块用来分析CDN客户的内容分发详情，所述IP反查工具模块是通过IP地址反查出域名、归属、访问量、流量等详细信息的，所述应用数据分析模块：发现本省用户热点访问互联网内容，指导数据中心的内容引入的方向。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述违规转售模块在运行时，结合DNS日志和flow信息，以及ICP户籍表信息和ICP允许服务的列表，能够发现IDC客户服务非约定的客户，并找出违规的IDC客户名称、违规的IP数、服务总流量、违规总流量、违规流量占比、服务域名数、服务网站数、服务公司数，并发现违规服务的资源名称、违规流量、违规点击量、违规的具体IP及每个IP对应的流量、使用者、点击量，同时总机房违规，发现该机房的违规流量、违规流量变化率、违规总IP数、违规客户数、违规客户变化率，所述违规转售模块支持TOP55的违规转售分析；支持分析时，能够例外IDC客户允许服务的资源；能够以天粒度分析违规流量、违规IP数量趋势；支持按机房名进行查询；支持按所属区域进行查询；支持在页面上对机房配置进行增删改。

进一步，所述IDC服务流量分析模块在运行时，结合DNS日志、flow信息、本省ICP户籍表信息，分析出IDC ICP客户的服务流量、平均流速、峰值流速、服务省内峰值流速、服务省外峰值流速、服务出网峰值流速、服务本省率、服务本网率，能够统计服务省内各地市各种用户类型(家宽、集客等)的流量及流速信息，所述IDC服务流量分析模块能够通过5分钟、天、最近一周粒度统计省内、省外、出网、本网率、本省率的流速信息；具备统计每个ICP客户服务的IP，以及每个IP对应的IP使用者、服务总流量、平均流速、峰值流速、服务省内流速、服务省内峰值流速、服务省外流速、服务省外峰值流速、服务出网流速、服务出网峰值流速、服务本省率、服务本网率；具备根据不同IDC商户的业务，统计省内、外流量情况；具备根据不同IDC商户的域名，统计省内、外流量情况；支持所有字段在三秒内完成排序；支持展示TOP10机房流量分布图；支持展示服务省内的TOP10流量分布；支持展示IDC机房流速趋势图；支持按照IDC客户名称进行查询；支持按照服务流量区间进行查询；支持按照服务本省率区间进行查询。

进一步，所述内容流量流向分析模块是基于netflow和DNS数据，从内容维度统计流量流向分布情况，判断该流量属于网内、网外还是出网，以及判断该流量归属情况，所述内容流量流向分析模块采集核心网的netflow入流量的目的地址为本省移动用户，且源地址的端口为80/8080/443等常用端口的流量，从内容维度进行分析，结合省内的DNS日志，统计省内用户访问流量流向分布情况，并分析这些流量服务了什么业务，最终流向如何，为我方提供精准的运营建议，所述内容流量流向分析模块所分析的内容流量流向分析统计字段包含但不限于公司名、总流量、省内流量、省内流量占比、省外流量、省外流量占比、出网流量、出网流量占比、本省率和本网率等，所述内容流量流向分析模块支持天粒度查询；支持按所有字段进行排序，3S内完成；支持按不同的用户类型统计，默认全部、移动和固网；支持按公司名查询；支持按照本省率和本网率范围查询；支持天粒度和小时粒度的流量趋势图展示；支持天粒度流量类型分布趋势图，至少包含的流量类型：省内流量、省外流量和出网流量；支持TOP10的他省流量统计，统计字段包含但不限于省份、总流量、移动流量、电信流量、联通流量和其他流量等，并支持导出；支持按公司名下钻，下钻统计字段包含但不限于省份、总流量、移动流量、电信流量联通流量和其他流量等，下钻满足如下：

要求满足天粒度查询；

要求满足按所有字段进行排序，3S内完成；

要求总流量、移动流量、电信流量、联通流量和其他流量均支持下钻，下钻具体要求如下：支持查看流量分布详情，统计字段包含但不限于IP地址、IP归属、运营商和服务流量等，支持查看流量趋势图；

支持小时粒度流量趋势图展示。

进一步，所述流量迁移核查模块在运行时，结合IDC机房地址信息，并设定ICP客户，发现ICP在不同机房(地市、它省、它运营商)机房之间的流量变化，及时发现有流量是否存在迁移的情况，统计分析疑似迁移的客户信息、迁出地机房、迁入地机房、疑似平均流速、发现时间、客户ICP服务总流量、在本IDC服务流量、在其他IDC总流量、迁出总流量、迁出流量占比，所述流量迁移核查模块能够从服务总流量、迁移流量、迁移流量占比等维度综合判断是否疑似迁移的；具备分析ICP在每个服务机房的服务流量、迁移流量、迁移流量占比；具备发现每个服务机房对应的服务IP及每个Ip的流量、每个IP对应的服务域名。

进一步，所述潜在客户挖掘模块在运行时，结合IP_DNS基础信息库和IP_Flow基础信息库，分析周边省份节点的服务客户信息并展示，展示的信息包含但不限于公司名称、服务流量、平均流速、流量占比、IP数、是否服务CDN和点击本省率等信息，所述潜在客户挖掘模块支持按天粒度查询；支持按公司名称批量精确查询和模糊查询；支持查询结果支持导出；支持公司名称、服务流量和平均流速的下钻，下钻支持查看如下：满足天粒度查询流量变化24小时趋势图，满足服务器IP流量统计，统计指标包含但不限于IP、流量、流量占比和平均流速等，服务器IP流量统计需满足以下要求，支持按天粒度查询，支持IP地址批量精确查询，支持模糊查询，查询结果中，按“流量”列排序，并在3S内完成，要求“IP”字段支持下钻查看具体的域、域属性、网站名、公司名和DNS次数；页面上可自行配置ACL地址管理以及添加不同的IDC节点信息。

进一步，所述第三方CDN数据挖掘模块能够完成CDN分发的大数据分析，协助分析访问的热点资源和CDN分发详情，提高CDN引入质量和引入工作效率，定位CDN分发问题，解决运营的相关问题，所述第三方CDN数据挖掘模块能够提供概览统计，统计所有CDN厂家的域名分发情况。统计分发的域名总量，出网的域名总量，总解析数量，解析出网数量，本省率，本网率，和域名调度的分布占比；提供厂商维度的调度数据挖掘分析，统计每个三方CDN服务的域名总数、省内域名数、他省移动域名数、网外域名数、不稳定域名数、以及相应解析次数的统计和解析占比、本省率、本网率等；提供从第三方CDN维度统计各厂商的总解析次数的出网占比和分发域名数的出网占比。通过分析出网占比高的厂商，和CDN厂商洽谈。要求厂商对内容的调度策略进行调整，或加大内容引入的力度；支持在前台页面上进行SQL语句的编写，并保存为可复用的定制化报表工具；支持按单日进行定制化报表工具的查询；支持查询结果的预览；支持查询结果的另存为或导出，并在5秒内完成。

进一步，所述IP反查工具模块通过基于DNS日志、流量数据、ICP户籍数据、IP归属数据、域名备案数据和IP_DNS/IP_Flow基础信息库，实现IP地址、IP地址段快速反查，可获得IP基础信息、服务内容信息、实际使用信息和流量四类资源信息，所述IP反查工具模块的IP反查的结果包含但不限于IP地址、IP归属者、点击次数、服务域名数、服务域数、服务网站数、服务公司数、CNAME个数、CNAME域个数、非CNAME域个数、合并前公司数、服务流量和平均流速等信息，所述IP反查工具模块支持按天粒度查询；支持IPv4业务和IPv6业务的IP反查；持按地址范围反查结果；支持查询结果可通过IP归属者和IP使用者过滤；结果支持按列排序，并保证3S内完成；要求服务流量支持下钻，下钻支持具体端口号和端口流量；要求以上查询结果均可导出。

进一步，所述应用数据分析模块支持应用维度呈现；支持多维度信息分析性能；支持报表自定义功能。

进一步，所述支持应用维度呈现的内容包括支持国内主流应用类型(必须支持https应用)和应用网内外流量流向的分析报表；支持根据应用流量大小、点击量大小进行网站应用排名的分析的报表；支持热点应用网内源地址分析和服务提供商关联分析报表；支持识别应用内域名情况，分析各域名的流量大小、点击量及流量分布情况分析报表，所述支持多维度信息分析性能能够支持全网总流量的汇总分析，必须包括但不限于TOP55的应用流量，要求具备扩展到识别不少于500种应用，以及任意客户(如阿里，腾讯)流量在总流量中的占比分析；支持不同形式的数据分析，必须包括但不限于95计费，96计费，峰值流量，保底流量；支持识别内容服务提供商(如腾讯云、阿里云，必须包括但不限于TOP55的内容服务商)所提供的流量及业务的分析；支持业务分类到基于IP地址段归属的客户类型(如家宽、集客、移动等用户)的关联分析；支持全网流量进行应用分析，展示不同应用的流量情况；支持分析互联网公司业务流量详细的业务组成和流量流向，分析服务本省用户流量的省内外IDC分布情况；支持分析ISP业务分布情况，包括商户与CDN厂家维度；支持分析业务的域名情况，包括域名省内外的流量情况，所述支持报表自定义功能为支持基于平台前台页面针对具体的网站、域名进行点击量、流量及流向等指标进行报表定制、查询和下载的功能。

本发明提供了一种基于ICP备案结合netflow的分析方法，具有以下优点：

本发明坚持着眼全局、统筹考虑、整体规划、立足现实、逐步整合的原则。具体为以下设计原则：

(1)整体性原则：在系统的规划上坚持整体规划、重点突出的原则，大处着眼，远处着眼，小处着手。在对系统做统一的设计的基础上，按照轻重缓急依次实现，同时又兼顾不同部分之间一致性和可协调性。在具体实施过程中，按照统一领导、统一规划、统一管理，有序实施；

(2)标准化原则：系统的总体设计充分参照国际上的规范、标准，支持国内外目前所流行的主流网络体系结构和网络运行系统，采用国际上成熟的模式；

(3)安全性原则：系统应具有高度的安全性，重要部件应具有备份措施，在一个设备出现故障不可用时，其他设备应能承担起其业务量，从而保证整个系统的正常运行；

(4)扩展性原则：系统投入运营后，将面临业务流量不断增长的压力。系统处理能力也需要具备同步扩展的能力，即通过增强系统单机性能或者增加系统的节点资源来满足不断增长的业务流量的需要。应满足系统资源的横向扩展和纵向扩展的需要，能在逐渐增加系统资源的情况下不断增长相应的处理能力；

(5)可靠性原则：对于运营商来说，对可靠性的要求是非常重要的，系统必须能够7*24小时不间断地运行，因为系统服务停止即意味着运营商的服务质量下降、服务声誉下降和经济损失。所以应保证系统的连续，防止单点故障；

(6)高性能、大容量原则：系统应采用并行多进程、多线程的处理技术，解决多用户多并发请求的处理问题。使得系统在处理每次业务的各个环节，都能够充分利用系统资源，从而加快处理速度，极大提高系统的吞吐量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例提供的一种基于ICP备案结合netflow的分析方法中Netflow流量采集图；

图2为图1提供的一种基于ICP备案结合netflow的分析方法中DNS流量采集图；

图3为本发明中硬件资源要求表。

具体实施方式

以下结合附图1-3对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1-3所示，本发明提供了一种基于ICP备案结合netflow的分析方法，包括违规转售模块，IDC服务流量分析模块，内容流量流向分析模块，流量迁移核查模块，潜在客户挖掘模块，第三方CDN数据挖掘模块，IP反查工具模块，应用数据分析模块，违规转售模块是用来对本省IDC客户进行带宽转售的情况进行核查，IDC服务流量分析模块用来深度分析IDC的服务流量详情，内容流量流向分析模块用来深度分析本省用户的流量情况，流量迁移核查模块用来分析IDC客户流量流失迁移的情况，潜在客户挖掘模块用来分析周边省份IDC机房的大客户分布情况，第三方CDN数据挖掘模块用来分析CDN客户的内容分发详情，IP反查工具模块是通过IP地址反查出域名、归属、访问量、流量等详细信息的，应用数据分析模块：发现本省用户热点访问互联网内容，指导数据中心的内容引入的方向。Netflow流量采集方案为：在省网内部署NetFlow采集预处理设备。在各省网出口，地市出口及IDC机房出口的汇聚路由器指定NetFlow采集预处理设备的目的地址，对流量进行采集，采集节点分布包括1个省网出口，14个地市出口；3个IDC机房出口；采集性能要求：要求两台NetFlow采集预处理设备完成全省所有NetFlow的流量采集和预处理工作。

优选的，违规转售模块在运行时，结合DNS日志和flow信息，以及ICP户籍表信息和ICP允许服务的列表，能够发现IDC客户服务非约定的客户，并找出违规的IDC客户名称、违规的IP数、服务总流量、违规总流量、违规流量占比、服务域名数、服务网站数、服务公司数，并发现违规服务的资源名称、违规流量、违规点击量、违规的具体IP及每个IP对应的流量、使用者、点击量，同时总机房违规，发现该机房的违规流量、违规流量变化率、违规总IP数、违规客户数、违规客户变化率，违规转售模块支持TOP55的违规转售分析；支持分析时，能够例外IDC客户允许服务的资源；能够以天粒度分析违规流量、违规IP数量趋势；支持按机房名进行查询；支持按所属区域进行查询；支持在页面上对机房配置进行增删改。DNS流量采集方案为：在省网内部署DNS采集预处理设备。将省网的DNS日志由SFTP的传输方式，传输到DNS采集预处理设备的指定目录，采集性能要求为：单台DNS采集预处理设备完成全区DNS日志的汇聚和预处理工作。

优选的，IDC服务流量分析模块在运行时，结合DNS日志、flow信息、本省ICP户籍表信息，分析出IDC ICP客户的服务流量、平均流速、峰值流速、服务省内峰值流速、服务省外峰值流速、服务出网峰值流速、服务本省率、服务本网率，能够统计服务省内各地市各种用户类型(家宽、集客等)的流量及流速信息，IDC服务流量分析模块能够通过5分钟、天、最近一周粒度统计省内、省外、出网、本网率、本省率的流速信息；具备统计每个ICP客户服务的IP，以及每个IP对应的IP使用者、服务总流量、平均流速、峰值流速、服务省内流速、服务省内峰值流速、服务省外流速、服务省外峰值流速、服务出网流速、服务出网峰值流速、服务本省率、服务本网率；具备根据不同IDC商户的业务，统计省内、外流量情况；具备根据不同IDC商户的域名，统计省内、外流量情况；支持所有字段在三秒内完成排序；支持展示TOP10机房流量分布图；支持展示服务省内的TOP10流量分布；支持展示IDC机房流速趋势图；支持按照IDC客户名称进行查询；支持按照服务流量区间进行查询；支持按照服务本省率区间进行查询。

11.优选的，内容流量流向分析模块是基于netflow和DNS数据，从内容维度统计流量流向分布情况，判断该流量属于网内、网外还是出网，以及判断该流量归属情况，内容流量流向分析模块采集核心网的netflow入流量的目的地址为本省移动用户，且源地址的端口为80/8080/443等常用端口的流量，从内容维度进行分析，结合省内的DNS日志，统计省内用户访问流量流向分布情况，并分析这些流量服务了什么业务，最终流向如何，为我方提供精准的运营建议，内容流量流向分析模块所分析的内容流量流向分析统计字段包含但不限于公司名、总流量、省内流量、省内流量占比、省外流量、省外流量占比、出网流量、出网流量占比、本省率和本网率等，内容流量流向分析模块支持天粒度查询；支持按所有字段进行排序，3S内完成；支持按不同的用户类型统计，默认全部、移动和固网；支持按公司名查询；支持按照本省率和本网率范围查询；支持天粒度和小时粒度的流量趋势图展示；支持天粒度流量类型分布趋势图，至少包含的流量类型：省内流量、省外流量和出网流量；支持TOP10的他省流量统计，统计字段包含但不限于省份、总流量、移动流量、电信流量、联通流量和其他流量等，并支持导出；支持按公司名下钻，下钻统计字段包含但不限于省份、总流量、移动流量、电信流量联通流量和其他流量等，下钻满足如下：

要求满足天粒度查询；

要求满足按所有字段进行排序，3S内完成；

要求总流量、移动流量、电信流量、联通流量和其他流量均支持下钻，下钻具体要求如下：支持查看流量分布详情，统计字段包含但不限于IP地址、IP归属、运营商和服务流量等，支持查看流量趋势图；

支持小时粒度流量趋势图展示。

优选的，流量迁移核查模块在运行时，结合IDC机房地址信息，并设定ICP客户，发现ICP在不同机房(地市、它省、它运营商)机房之间的流量变化，及时发现有流量是否存在迁移的情况，统计分析疑似迁移的客户信息、迁出地机房、迁入地机房、疑似平均流速、发现时间、客户ICP服务总流量、在本IDC服务流量、在其他IDC总流量、迁出总流量、迁出流量占比，流量迁移核查模块能够从服务总流量、迁移流量、迁移流量占比等维度综合判断是否疑似迁移的；具备分析ICP在每个服务机房的服务流量、迁移流量、迁移流量占比；具备发现每个服务机房对应的服务IP及每个Ip的流量、每个IP对应的服务域名。

优选的，潜在客户挖掘模块在运行时，结合IP_DNS基础信息库和IP_Flow基础信息库，分析周边省份节点的服务客户信息并展示，展示的信息包含但不限于公司名称、服务流量、平均流速、流量占比、IP数、是否服务CDN和点击本省率等信息，潜在客户挖掘模块支持按天粒度查询；支持按公司名称批量精确查询和模糊查询；支持查询结果支持导出；支持公司名称、服务流量和平均流速的下钻，下钻支持查看如下：满足天粒度查询流量变化24小时趋势图，满足服务器IP流量统计，统计指标包含但不限于IP、流量、流量占比和平均流速等，服务器IP流量统计需满足以下要求，支持按天粒度查询，支持IP地址批量精确查询，支持模糊查询，查询结果中，按“流量”列排序，并在3S内完成，要求“IP”字段支持下钻查看具体的域、域属性、网站名、公司名和DNS次数；页面上可自行配置ACL地址管理以及添加不同的IDC节点信息。

优选的，第三方CDN数据挖掘模块能够完成CDN分发的大数据分析，协助分析访问的热点资源和CDN分发详情，提高CDN引入质量和引入工作效率，定位CDN分发问题，解决运营的相关问题，第三方CDN数据挖掘模块能够提供概览统计，统计所有CDN厂家的域名分发情况。统计分发的域名总量，出网的域名总量，总解析数量，解析出网数量，本省率，本网率，和域名调度的分布占比；提供厂商维度的调度数据挖掘分析，统计每个三方CDN服务的域名总数、省内域名数、他省移动域名数、网外域名数、不稳定域名数、以及相应解析次数的统计和解析占比、本省率、本网率等；提供从第三方CDN维度统计各厂商的总解析次数的出网占比和分发域名数的出网占比。通过分析出网占比高的厂商，和CDN厂商洽谈。要求厂商对内容的调度策略进行调整，或加大内容引入的力度；支持在前台页面上进行SQL语句的编写，并保存为可复用的定制化报表工具；支持按单日进行定制化报表工具的查询；支持查询结果的预览；支持查询结果的另存为或导出，并在5秒内完成。

优选的，IP反查工具模块通过基于DNS日志、流量数据、ICP户籍数据、IP归属数据、域名备案数据和IP_DNS/IP_Flow基础信息库，实现IP地址、IP地址段快速反查，可获得IP基础信息、服务内容信息、实际使用信息和流量四类资源信息，IP反查工具模块的IP反查的结果包含但不限于IP地址、IP归属者、点击次数、服务域名数、服务域数、服务网站数、服务公司数、CNAME个数、CNAME域个数、非CNAME域个数、合并前公司数、服务流量和平均流速等信息，IP反查工具模块支持按天粒度查询；支持IPv4业务和IPv6业务的IP反查；持按地址范围反查结果；支持查询结果可通过IP归属者和IP使用者过滤；结果支持按列排序，并保证3S内完成；要求服务流量支持下钻，下钻支持具体端口号和端口流量；要求以上查询结果均可导出。

优选的，应用数据分析模块支持应用维度呈现；支持多维度信息分析性能；支持报表自定义功能。

优选的，支持应用维度呈现的内容包括支持国内主流应用类型(必须支持https应用)和应用网内外流量流向的分析报表；支持根据应用流量大小、点击量大小进行网站应用排名的分析的报表；支持热点应用网内源地址分析和服务提供商关联分析报表；支持识别应用内域名情况，分析各域名的流量大小、点击量及流量分布情况分析报表，支持多维度信息分析性能能够支持全网总流量的汇总分析，必须包括但不限于TOP55的应用流量，要求具备扩展到识别不少于500种应用，以及任意客户(如阿里，腾讯)流量在总流量中的占比分析；支持不同形式的数据分析，必须包括但不限于95计费，96计费，峰值流量，保底流量；支持识别内容服务提供商(如腾讯云、阿里云，必须包括但不限于TOP55的内容服务商)所提供的流量及业务的分析；支持业务分类到基于IP地址段归属的客户类型(如家宽、集客、移动等用户)的关联分析；支持全网流量进行应用分析，展示不同应用的流量情况；支持分析互联网公司业务流量详细的业务组成和流量流向，分析服务本省用户流量的省内外IDC分布情况；支持分析ISP业务分布情况，包括商户与CDN厂家维度；支持分析业务的域名情况，包括域名省内外的流量情况，支持报表自定义功能为支持基于平台前台页面针对具体的网站、域名进行点击量、流量及流向等指标进行报表定制、查询和下载的功能。

本次建设的IDC内容精细化运营分析平台需要对NetFlow和DNS数据进行融合分析，以日报表的形式支撑IDC内容精细化运营工作。需要达到以下性能目标：

海量数据的运算能力。单日处理4T的NetFlow日志+1T的DNS日志，能够满足2021年底IDC总出口流量及省网总出口流量的数据分析需求，要求当日分析结果次日工作时间呈现；

数据快速呈现，快速查询能力。前台页面查询结果三秒内展示，重要指标升降序排序结果三秒内展示；

数据快速导出能力，要求报表支持查询导出，5W条数据导出操作15s内完成。

本发明的非功能要求包括：安全要求；系统稳定性要求；系统规范性要求；系统易用性要求。

安全要求：由于系统将包含了大量的基础、核心数据，并集中存放，因此系统应具有防攻击的能力，针对流量监控及系统工程的安全要求如下：

(1)系统安全性：在系统中，只有合法用户才能访问和操作被授权的系统功能，并对其操作进行日志管理；

(2)网络安全性：根据中国移动网络系统建设信息安全“三同步”要求，按照《中国移动安全域管理办法》，本工程建设方案严格划分核心区、停火区和对外互联区，不同网络系统之间连接经过防火墙进行物理和逻辑上的安全隔离，符合安全域划分和边界整合要求；

(3)数据安全性：系统具有数据备份和恢复的功能，以保证数据的完备、可靠和安全；同时数据库必须设计严格的存取控制措施，根据用户的权限及职能划分对该用户能够管理和使用的数据进行控制。

系统稳定性要求为：要求构建的系统在现网生产环境下7×24小时运行，平均重大故障时间间隔必须大于60天；通过性能监测、系统巡检等方式，及时发现并避免系统故障。

系统规范性要求为：系统应提供多厂商的互联与可移植性，不依赖于某一特定的计算机系统和操作系统，同时保证系统设计的标准化和规范性，包括系统内部程序设计的规范、系统各模块接口之间的规范、系统内部模块与外部接口之间的规范以及系统用户界面的规范，以便于同其他系统(包括业务子系统和外部系统)进行信息交互。系统易用性要求：该系统作为一个应用范围广泛、用户众多的系统，系统的易用性决定了业务的推广能力。如何做到简洁的用户界面，使用户能够比较容易的理解使用方法，不至于在使用上出现大量的疑惑，是本系统功能的关键。

以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种基于ICP备案结合netflow的分析方法，其特征在于，包括违规转售模块，IDC服务流量分析模块，内容流量流向分析模块，流量迁移核查模块，潜在客户挖掘模块，第三方CDN数据挖掘模块，IP反查工具模块，应用数据分析模块，所述违规转售模块是用来对本省IDC客户进行带宽转售的情况进行核查，所述IDC服务流量分析模块用来深度分析IDC的服务流量详情，所述内容流量流向分析模块用来深度分析本省用户的流量情况，所述流量迁移核查模块用来分析IDC客户流量流失迁移的情况，所述潜在客户挖掘模块用来分析周边省份IDC机房的大客户分布情况，所述第三方CDN数据挖掘模块用来分析CDN客户的内容分发详情，所述IP反查工具模块是通过IP地址反查出域名、归属、访问量、流量等详细信息的，所述应用数据分析模块：发现本省用户热点访问互联网内容，指导数据中心的内容引入的方向。

2.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述违规转售模块在运行时，结合DNS日志和flow信息，以及ICP户籍表信息和ICP允许服务的列表，能够发现IDC客户服务非约定的客户，并找出违规的IDC客户名称、违规的IP数、服务总流量、违规总流量、违规流量占比、服务域名数、服务网站数、服务公司数，并发现违规服务的资源名称、违规流量、违规点击量、违规的具体IP及每个IP对应的流量、使用者、点击量，同时总机房违规，发现该机房的违规流量、违规流量变化率、违规总IP数、违规客户数、违规客户变化率，所述违规转售模块支持TOP55的违规转售分析；支持分析时，能够例外IDC客户允许服务的资源；能够以天粒度分析违规流量、违规IP数量趋势；支持按机房名进行查询；支持按所属区域进行查询；支持在页面上对机房配置进行增删改。

3.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述IDC服务流量分析模块在运行时，结合DNS日志、flow信息、本省ICP户籍表信息，分析出IDCICP客户的服务流量、平均流速、峰值流速、服务省内峰值流速、服务省外峰值流速、服务出网峰值流速、服务本省率、服务本网率，能够统计服务省内各地市各种用户类型(家宽、集客等)的流量及流速信息，所述IDC服务流量分析模块能够通过5分钟、天、最近一周粒度统计省内、省外、出网、本网率、本省率的流速信息；具备统计每个ICP客户服务的IP，以及每个IP对应的IP使用者、服务总流量、平均流速、峰值流速、服务省内流速、服务省内峰值流速、服务省外流速、服务省外峰值流速、服务出网流速、服务出网峰值流速、服务本省率、服务本网率；具备根据不同IDC商户的业务，统计省内、外流量情况；具备根据不同IDC商户的域名，统计省内、外流量情况；支持所有字段在三秒内完成排序；支持展示TOP10机房流量分布图；支持展示服务省内的TOP10流量分布；支持展示IDC机房流速趋势图；支持按照IDC客户名称进行查询；支持按照服务流量区间进行查询；支持按照服务本省率区间进行查询。

4.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述内容流量流向分析模块是基于netflow和DNS数据，从内容维度统计流量流向分布情况，判断该流量属于网内、网外还是出网，以及判断该流量归属情况，所述内容流量流向分析模块采集核心网的netflow入流量的目的地址为本省移动用户，且源地址的端口为80/8080/443等常用端口的流量，从内容维度进行分析，结合省内的DNS日志，统计省内用户访问流量流向分布情况，并分析这些流量服务了什么业务，最终流向如何，为我方提供精准的运营建议，所述内容流量流向分析模块所分析的内容流量流向分析统计字段包含但不限于公司名、总流量、省内流量、省内流量占比、省外流量、省外流量占比、出网流量、出网流量占比、本省率和本网率等，所述内容流量流向分析模块支持天粒度查询；支持按所有字段进行排序，3S内完成；支持按不同的用户类型统计，默认全部、移动和固网；支持按公司名查询；支持按照本省率和本网率范围查询；支持天粒度和小时粒度的流量趋势图展示；支持天粒度流量类型分布趋势图，至少包含的流量类型：省内流量、省外流量和出网流量；支持TOP10的他省流量统计，统计字段包含但不限于省份、总流量、移动流量、电信流量、联通流量和其他流量等，并支持导出；支持按公司名下钻，下钻统计字段包含但不限于省份、总流量、移动流量、电信流量联通流量和其他流量等，下钻满足如下：

要求满足天粒度查询；

要求满足按所有字段进行排序，3S内完成；

要求总流量、移动流量、电信流量、联通流量和其他流量均支持下钻，下钻具体要求如下：支持查看流量分布详情，统计字段包含但不限于IP地址、IP归属、运营商和服务流量等，支持查看流量趋势图；支持小时粒度流量趋势图展示。

5.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述流量迁移核查模块在运行时，结合IDC机房地址信息，并设定ICP客户，发现ICP在不同机房(地市、它省、它运营商)机房之间的流量变化，及时发现有流量是否存在迁移的情况，统计分析疑似迁移的客户信息、迁出地机房、迁入地机房、疑似平均流速、发现时间、客户ICP服务总流量、在本IDC服务流量、在其他IDC总流量、迁出总流量、迁出流量占比，所述流量迁移核查模块能够从服务总流量、迁移流量、迁移流量占比等维度综合判断是否疑似迁移的；具备分析ICP在每个服务机房的服务流量、迁移流量、迁移流量占比；具备发现每个服务机房对应的服务IP及每个Ip的流量、每个IP对应的服务域名。

6.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述潜在客户挖掘模块在运行时，结合IP_DNS基础信息库和IP_Flow基础信息库，分析周边省份节点的服务客户信息并展示，展示的信息包含但不限于公司名称、服务流量、平均流速、流量占比、IP数、是否服务CDN和点击本省率等信息，所述潜在客户挖掘模块支持按天粒度查询；支持按公司名称批量精确查询和模糊查询；支持查询结果支持导出；支持公司名称、服务流量和平均流速的下钻，下钻支持查看如下：满足天粒度查询流量变化24小时趋势图，满足服务器IP流量统计，统计指标包含但不限于IP、流量、流量占比和平均流速等，服务器IP流量统计需满足以下要求，支持按天粒度查询，支持IP地址批量精确查询，支持模糊查询，查询结果中，按“流量”列排序，并在3S内完成，要求“IP”字段支持下钻查看具体的域、域属性、网站名、公司名和DNS次数；页面上可自行配置ACL地址管理以及添加不同的IDC节点信息。

7.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述第三方CDN数据挖掘模块能够完成CDN分发的大数据分析，协助分析访问的热点资源和CDN分发详情，提高CDN引入质量和引入工作效率，定位CDN分发问题，解决运营的相关问题，所述第三方CDN数据挖掘模块能够提供概览统计，统计所有CDN厂家的域名分发情况。统计分发的域名总量，出网的域名总量，总解析数量，解析出网数量，本省率，本网率，和域名调度的分布占比；提供厂商维度的调度数据挖掘分析，统计每个三方CDN服务的域名总数、省内域名数、他省移动域名数、网外域名数、不稳定域名数、以及相应解析次数的统计和解析占比、本省率、本网率等；提供从第三方CDN维度统计各厂商的总解析次数的出网占比和分发域名数的出网占比。通过分析出网占比高的厂商，和CDN厂商洽谈。要求厂商对内容的调度策略进行调整，或加大内容引入的力度；支持在前台页面上进行SQL语句的编写，并保存为可复用的定制化报表工具；支持按单日进行定制化报表工具的查询；支持查询结果的预览；支持查询结果的另存为或导出，并在5秒内完成。

8.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述IP反查工具模块通过基于DNS日志、流量数据、ICP户籍数据、IP归属数据、域名备案数据和IP_DNS/IP_Flow基础信息库，实现IP地址、IP地址段快速反查，可获得IP基础信息、服务内容信息、实际使用信息和流量四类资源信息，所述IP反查工具模块的IP反查的结果包含但不限于IP地址、IP归属者、点击次数、服务域名数、服务域数、服务网站数、服务公司数、CNAME个数、CNAME域个数、非CNAME域个数、合并前公司数、服务流量和平均流速等信息，所述IP反查工具模块支持按天粒度查询；支持IPv4业务和IPv6业务的IP反查；持按地址范围反查结果；支持查询结果可通过IP归属者和IP使用者过滤；结果支持按列排序，并保证3S内完成；要求服务流量支持下钻，下钻支持具体端口号和端口流量；要求以上查询结果均可导出。

9.根据权利要求1所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述应用数据分析模块支持应用维度呈现；支持多维度信息分析性能；支持报表自定义功能。

10.根据权利要求9所述一种基于ICP备案结合netflow的分析方法，其特征在于，所述支持应用维度呈现的内容包括支持国内主流应用类型(必须支持https应用)和应用网内外流量流向的分析报表；支持根据应用流量大小、点击量大小进行网站应用排名的分析的报表；支持热点应用网内源地址分析和服务提供商关联分析报表；支持识别应用内域名情况，分析各域名的流量大小、点击量及流量分布情况分析报表，所述支持多维度信息分析性能能够支持全网总流量的汇总分析，必须包括但不限于TOP55的应用流量，要求具备扩展到识别不少于500种应用，以及任意客户(如阿里，腾讯)流量在总流量中的占比分析；支持不同形式的数据分析，必须包括但不限于95计费，96计费，峰值流量，保底流量；支持识别内容服务提供商(如腾讯云、阿里云，必须包括但不限于TOP55的内容服务商)所提供的流量及业务的分析；支持业务分类到基于IP地址段归属的客户类型(如家宽、集客、移动等用户)的关联分析；支持全网流量进行应用分析，展示不同应用的流量情况；支持分析互联网公司业务流量详细的业务组成和流量流向，分析服务本省用户流量的省内外IDC分布情况；支持分析ISP业务分布情况，包括商户与CDN厂家维度；支持分析业务的域名情况，包括域名省内外的流量情况，所述支持报表自定义功能为支持基于平台前台页面针对具体的网站、域名进行点击量、流量及流向等指标进行报表定制、查询和下载的功能。

Images