CN108111435A - 一种海量数据审计方法和审计系统 - Google Patents
一种海量数据审计方法和审计系统 Download PDFInfo
- Publication number
- CN108111435A CN108111435A CN201711360724.7A CN201711360724A CN108111435A CN 108111435 A CN108111435 A CN 108111435A CN 201711360724 A CN201711360724 A CN 201711360724A CN 108111435 A CN108111435 A CN 108111435A
- Authority
- CN
- China
- Prior art keywords
- data
- orientation
- audit
- optical fiber
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
- H04L47/2433—Allocation of priorities to traffic types
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/78—Architectures of resource allocation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例的海量数据审计方法和审计系统,用于解决数据审计过程缺少必要优化造成数据审计成本与审计效率不匹配的技术问题。海量数据审计方法包括:在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;根据解析服务器的解析负荷调整定向流向数据的传输链路特征。通过实时耦合保证高审计优先级的定向流向数据优先获得解析资源,通过分时耦合形成低审计优先级的定向流向数据的汇聚和筛选,形成了传输链路内部和外部特征的主动修正参数,克服了上位路由器对解析审计状态响应缓慢,传输链路特征调整偏差较大的技术缺陷。
Description
技术领域
本发明涉及网络流量的数据分析领域,特别涉及一种海量数据审计方法和审计系统。
背景技术
现有技术中,对于汇聚和交换至数据中心的海量数据需要进行必要的网络行为审计(Network Behavior Audit),或称作网络行为分析(Network Behavior Analysis),其目的都是借助协议分析技术,或者异常流量分析技术通过分析网络流量中的数据包发现网络中的异常和违规行为,往往还具有网络行为控制、流量控制的功能。
图1为现有技术中数据审计的架构示意图。如图1所示主要包括地理位置离散的数据中心机房01和数据审计机房02。分光设备11配置在各数据中心机房01中,用于在机房交换机的主要交换光路上形成光线旁路,通常利用分光设备11可以将光线旁路合路形成若干个高容量等级(如10Gb)的旁路光纤线路。在各数据中心机房01和数据审计机房02分别设置波分复用设备03,通过各数据中心机房01的波分复用设备03将机房内的旁路光纤线路接入,通过各数据中心机房01的波分复用设备03与数据审计机房02的波分复用设备03间的光路连接将各机房旁路光纤线路的旁路数据流汇聚至数据审计机房02。数据审计机房02包括骨干融合路由器21、解码服务器22和审计服务器23,骨干融合路由器21用于根据过滤规则对接入的旁路数据流进行数据汇聚和过滤,形成兼容或相同类型协议数据的定向流向数据,完成数据分流,骨干融合路由器21根据端口配置规则对定向流向数据配置对应的数据输出光端口。每个数据输出光端口通过交换设备与解码服务器22建立数据连接,解码服务器22成组设置,具有负载均衡机制,每组解码服务器22对输入的兼容或相同类型协议数据进行协议解析还原原始数据,原始数据通过交换设备送至审计服务器23,审计服务器23成组设置,具有负载均衡机制,用于根据审计规则进行具体数据审计。
随着近年来互联网技术的高速发展,互联网流量快速增加,运营商带宽的快速扩容,数据审计机房02的接入流量不断增大,采用现有审计架构所需的解码服务器和审计服务器也需大量增加才能覆盖全部流量的审计需求,造成审计成本和维护成本巨大。
发明内容
有鉴于此,本发明实施例提供了一种海量数据审计方法和审计系统,用于解决数据审计过程缺少必要优化造成数据审计成本与审计效率不匹配的技术问题。
本发明实施例的海量数据审计方法,包括:
在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;
根据所述解析服务器的解析负荷调整所述定向流向数据的传输链路特征。
本发明实施例的海量数据审计系统,包括处理器和存储器,
所述存储器用于存储上述的海量数据审计方法的处理过程对应的程序代码;
所述处理器用于执行所述存储器中的所述程序代码。
本发明实施例的海量数据审计系统,包括:
链路端口建立装置,用于在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;
优化参数建立装置,用于根据所述解析服务器的解析负荷调整所述定向流向数据的传输链路特征。
本发明实施例的海量数据审计系统,包括光矩阵设备,用于提供与上位路由器的输出端口数据连接的高审计优先级输入端口和低审计优先级输入端口,以及与解析服务器的输入端口数据连接的高级中继输出端口和低级中继输出端口;所述低级中继输出端口与所述低审计优先级输入端口分时耦合形成分时传输链路,所述高级中继输出端口与所述高审计优先级输入端口实时耦合形成实时传输链路。
本发明实施例的海量数据审计方法和审计系统在定向流向数据在传输链路中的审计优先级完成划分,通过实时耦合一部分输入端口和中继输出端口形成实时传输链路保证高审计优先级的定向流向数据优先获得解析资源,通过分时耦合一部分输入端口和中继输出端口形成分时传输链路形成了低审计优先级的定向流向数据的汇聚和筛选,保证了解析资源的适度分配,避免了解析和审计成本的快速上升。通过采集定向流向数据的解析负荷和传输链路来源状态形成传输链路内部和外部链路特征的主动修正参数,克服了上位路由器对解析审计状态响应缓慢,传输链路特征调整偏差较大的技术缺陷,使得定向流向数据传输效率可以随解析负荷及时调整,缓解了上位路由器和解析服务器的数据处理压力。
附图说明
图1为现有技术中数据审计系统的架构示意图。
图2为本发明一实施例的海量数据审计方法的流程图。
图3为本发明一实施例的海量数据审计方法的分步流程图。
图4为本发明一实施例的海量数据审计系统的结构示意图。
图5为本发明一实施例的海量数据审计系统的架构示意图。
图6为本发明一实施例的海量数据审计系统的光矩阵设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中的步骤编号仅用于作为该步骤的附图标记,不表示执行顺序。
图2为本发明一实施例海量数据审计方法的流程图。如图2所示,本发明一实施例的海量数据审计方法包括:
步骤100:在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;
定向流向数据由上位路由器形成,例如骨干融合路由器21,或其他符合OSI标准的四层或四层以上交换机,或其他符合OSI标准的四层或四层以上路由器等数据分流路由设备。
中继输出端口与审计优先级输入端口间的耦合是指中继输出端口与审计优先级输入端口间的光信号或电信号连通,形成光信号或电信号的传输链路。
中继输出端口与审计优先级输入端口可以同为电接口,例如STM-1、STM-4或STM-16速率或其他速率的电接口,也可以同为光接口例如OC-3、OC-12或STM-48速率或其他速率的光接口。
分时耦合是通过低级中继输出端口数量小于低审计优先级输入端口数量形成,低级中继输出端口与耦合的低审计优先级输入端口间形成一定耦合时长的传输链路。
实时耦合是通过高级中继输出端口数量等于高审计优先级输入端口数量形成,高级中继输出端口与耦合的高审计优先级输入端口间形成固定的传输链路。
步骤200:根据解析服务器的解析负荷调整定向流向数据的传输链路特征。
传输链路特征包括形成传输链路的各设备或端口的工作状态、工作参数或控制规则,以及传输链路的路由方向。例如传输链路特征可以包括传输链路中分时耦合时长、上位路由器过滤重定向规则、解析负载均衡参数等参数。
本发明实施例的海量数据审计方法对定向流向数据的审计优先级作出区分并分配相应的审计优先级输入端口,同时为不同级别的审计优先级输入端口配置不同数量的中继输出端口,使得高级中继输出端口与高审计优先级输入端口实时耦合形成实时传输链路(即高优先级数据链路),使得低级中继输出端口与低审计优先级输入端口分时耦合形成分时传输链路(即低优先级数据链路),使得确定审计优先级的定向流向数据、审计优先级输入端口与中继输出端口与上位路由器的输出端口和解析服务器的输入设备(负载均衡设备)形成对应的传输链路。
通过分时耦合实现了对低审计优先级的定向流向数据的汇聚和筛选,避免了后续解析过程中低审计优先级的定向流向数据占用过多的解析资源。通过实时耦合实现了对高审计优先级的定向流向数据的汇聚和被解析数据预优化,提高了后续解析过程中解析服务器负载均衡的效率,保证了高审计优先级的定向流向数据的解析资源。
进一步利用解析服务器的解析负荷状态作为调整参数,使得在解析过程可以根据不同定向流向数据的解析状态形成对传输链路特征的调整改善传输链路的传输效率,对上位路由器的过滤规则适时适度优化调整定向流向数据的传输链路,充分利用解析服务器的解析资源。避免上位路由器的过滤规则缺乏灵活性使高审计优先级的实时传输链路利用效率持续低效。本发明实施例的海量数据审计方法可以缓解上位路由器的处理负荷,避免在上位路由器加载过多的高级过滤规则导致处理器资源和端口资源消耗过快,避免随着接入流量不断增大上位路由器的配置成本快速上升。
图3为本发明一实施例的海量数据审计方法的分步流程图。如图3所示,本发明一实施例的海量数据审计方法在步骤100中包括:
步骤110:获得定向流向数据的协议特征确定高审计优先级输入端口数量和低审计优先级输入端口数量。
定向流向数据通常是由上位路由器形成,特定定向流向数据的协议特征相同或相似,例如特定定向流向数据的协议特征包括但不限于以下协议的一种:
使用80端口或8080端口的HTTP协议定向流向数据;
使用21端口的FTP协议定向流向数据;
使用433端口的HTTPS协议定向流向数据;
使用110端口的POP3协议定向流向数据;使用25端口的SMTP协议定向流向数据;
具有关联数据的定向流向数据上位路由器可以合并为一个定向流向数据,单一海量的定向流向数据上位路由器可以拆分为若干个定向流向数据。
通常上位路由器根据审计业务需求对不同协议类型的定向流向数据标定了审计优先级,根据审计优先级和不同协议类型定向流向数据数量确定匹配的高审计优先级输入端口数量和低审计优先级输入端口数量。
步骤120:根据高审计优先级输入端口数量配置相同数量的高级中继输出端口。
步骤130:根据分时筛选规则形成与低审计优先级输入端口低比例系数配置的低级中继输出端口。
分时筛选规则包括以哪种比例数量为低审计优先级输入端口配置低级中继输出端口。采用低比例系数是指低级中继输出端口数量小于低审计优先级输入端口数量,低级中继输出端口数量:低审计优先级输入端口数量的低比例系数范围包括1:2至1:20,低比例系数的范围针对低审计优先级的定向流向数据的汇聚和筛选效率。在本发明一实施例中可以采用特殊的系数范围包括1:2至2:3,用于保证对低审计优先级的定向流向数据的汇聚和筛选的稳定性。
步骤140:配置交换设备形成高级中继输出端口和低级中继输出端口与解码服务器间的数据连接。
形成的数据连接是为了保证与解析服务器群组的负载均衡连接结构适配。
步骤150:将高级中继输出端口与高审计优先级输入端口成对耦合,形成端到端实时高优先级数据链路。
步骤160:根据分时筛选规则将低级中继输出端口与相应数量的低审计优先级输入端口成对耦合,形成端到端低优先级数据链路。
首先形成分时耦合的初始低优先级数据链路。
步骤170:根据分时筛选规则将低级中继输出端口分时与全部低审计优先级输入端口成对耦合,形成端到端分时低优先级数据链路。
形成循环的分时低优先级数据链路。
本发明实施例的海量数据审计方法通过与上位路由器配合获取必要的配置信息,形成对定向流向数据审计优先级的划分并分配对应的审计优先级输入端口,同时建立与审计优先级输入端口耦合的中继输出端口,并利用分时筛选规则确定分时耦合时长,形成了与审计优先级对应的具有不同连接时长的数据链路,与上位路由器配合可以将定向流向数据在不同的数据链路上调配,形成需要的汇聚和筛选效率或汇聚和筛选稳定性。
如图3所示,本发明一实施例的海量数据审计方法在步骤200中包括:
步骤210:采集解码服务器进行定向流向数据协议解析时的负荷状态。
负荷状态是由完成特定协议解析的解码服务器的负载均衡饱和百分比、处理器利用率、内存利用率、TPS每秒事务数、磁盘利用率等运行参数形成,包括但不限于以上参数类型。通常定向流向数据的协议解析由一组解码服务器或虚拟机构成的解码服务器处理。
步骤220:判断协议解析负荷是否达到上限或下限,否则继续监控,是达到上限则执行步骤230,是达到下限则执行步骤260。
步骤230:判断协议解析的定向流向数据来源于高优先级数据链路还是低优先级数据链路,是来自高优先级数据链路的执行步骤250,是来自低优先级数据链路的执行步骤240。
高优先级数据链路由高级中继输出端口与高审计优先级输入端口耦合形成,低优先级数据链路由低级中继输出端口与低审计优先级输入端口耦合形成。
步骤240:形成过滤规则修正参数,将协议解析的定向流向数据重定向至高审计优先级输入端口。过滤规则修正参数提供给上位路由器,上位路由器根据过滤规则修正参数将对应的定向流向数据重定向至对应的高审计优先级输入端口。
过滤规则修正参数可以修改或更新上位路由器对协议过滤规则,使相应的定向流向数据的输出端口发生改变,使得相应的定向流向数据重定向至新的高审计优先级输入端口,进入高优先级数据链路。
步骤250:形成调整解码服务器针对协议解析的负载均衡参数。通常负载均衡参数提供给解码服务器22。
负载均衡参数使得解码服务器为达到上限的协议解析的定向流向数据非配更多的解析资源,适时适度满足解析量的增长。
步骤260:判断协议解析的定向数据来源于高优先级数据链路还是低优先级数据链路,是来自高优先级数据链路的执行步骤1270,是来自低优先级数据链路的执行步骤1280。
步骤270:形成过滤规则修正参数,将协议解析的定向流向数据重定向至低审计优先级输入端口。过滤规则修正参数提供给上位路由器,上位路由器根据过滤规则修正参数将对应的定向流向数据重定向至对应的低审计优先级输入端口。
过滤规则修正参数可以修改或更新上位路由器对协议过滤规则,使相应的定向流向数据的输出端口发生改变,使得相应的定向流向数据重定向至新的低审计优先级输入端口,进入低优先级数据链路。
步骤280:形成分时筛选规则修正参数,调整协议解析的定向数据所在低优先级数据链路的耦合时长。通常筛选规则修正参数提供给光矩阵设备04。
分时筛选规则修正参数通过改变各低优先级数据链路的耦合时长,将耦合时长向低优先级数据链路中的协议解析负荷要求高的数据链路倾斜,满足低审计优先级的定向流向数据中的相对高解析效率。
本发明实施例的海量数据审计方法通过采集协议解析时的负荷状态判断每一个协议解析的定向流向数据是否具有适当的数据链路优先级,并根据负荷状态的综合判断形成反馈上位路由器的过滤规则修正参数、反馈后续解析过程的负载均衡修正参数和分时传输链路自调节的分时耦合时长修正参数等不同传输链路特征的优化手段,满足了在海量数据审计过程中适时适度调节定向流向数据的解析资源以降低审计成本提升审计效率的需求。
本发明一实施例的海量数据审计系统,包括处理器和存储器,其中:
存储器用于存储与上述实施例的海量数据审计方法的处理过程对应的程序代码;
处理器用于执行存储器中的程序代码。
图4为本发明一实施例的海量数据审计系统的结构示意图。如图4所示,本发明一实施例的海量数据审计系统包括:
链路端口建立装置1100,用于在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合。
优化参数建立装置1200,用于根据解析服务器的解析负荷调整定向流向数据的传输链路特征。
如图4所示,本发明一实施例的海量数据审计系统中链路端口建立装置1100包括:
优先级端口确定模块1110,用于获得定向流向数据的协议特征确定高审计优先级输入端口数量和低审计优先级输入端口数量。
高级输出端口确定模块1120,用于根据高审计优先级输入端口数量配置相同数量的高级中继输出端口。
低级输出端口确定模块1130,用于根据分时筛选规则形成与低审计优先级输入端口低比例系数配置的低级中继输出端口。
数据连接模块1140,用于配置交换设备形成高级中继输出端口和低级中继输出端口与解码服务器间的数据连接。
高级耦合链路模块1150,用于将高级中继输出端口与高审计优先级输入端口成对耦合,形成端到端高优先级数据链路。
低级耦合链路模块1160,用于根据分时筛选规则将低级中继输出端口与相应数量的低审计优先级输入端口成对耦合,形成端到端低优先级数据链路。
低级耦合链路分时模块1170,用于根据分时筛选规则将低级中继输出端口分时与全部低审计优先级输入端口成对耦合,形成端到端分时低优先级数据链路。
如图4所示,本发明一实施例的海量数据审计系统中优化参数建立装置1200包括:
负荷采集模块1210,用于采集解码服务器进行定向流向数据协议解析时的负荷状态。
第一判断模块1220,用于判断协议解析负荷是否达到上限或下限,否则继续监控,是达到上限则执行步骤1230,是达到下限则执行步骤1260。
第二判断模块1230,用于判断协议解析的定向流向数据来源于高优先级数据链路还是低优先级数据链路,是来自高优先级数据链路的执行步骤1250,是来自低优先级数据链路的执行步骤1240。
优先级提升模块1240,用于形成过滤规则修正参数,将协议解析的定向流向数据重定向至高审计优先级输入端口。
解码服务器调节模块1250,用于形成调整解码服务器针对协议解析的负载均衡参数。
第三判断模块1260,用于判断协议解析的定向数据来源于高优先级数据链路还是低优先级数据链路,是来自高优先级数据链路的执行步骤1270,是来自低优先级数据链路的执行步骤1280。
优先级降低模块1270,用于形成过滤规则修正参数,将协议解析的定向流向数据重定向至低审计优先级输入端口。
耦合时长调节模块1280,用于形成分时筛选规则修正参数,调整协议解析的定向数据所在低优先级数据链路的耦合时长。
图5为本发明一实施例的海量数据审计系统的架构示意图。如图5所示,在骨干融合路由器21与解析服务器22间的传输链路中设置光矩阵设备04,用于提供与上位路由器(如骨干融合路由器21)的输出端口数据连接的高审计优先级输入端口和低审计优先级输入端口,以及与解析服务器22的输入端口数据连接的高级中继输出端口和低级中继输出端口,低级中继输出端口与低审计优先级输入端口分时耦合形成分时传输链路(即低优先级数据链路),高级中继输出端口与高审计优先级输入端口实时耦合形成实时传输链路(即高优先级数据链路)。
图6为本发明一实施例的海量数据审计系统的光矩阵设备的结构示意图。如图6所示,光矩阵设备04包括光纤接入盘41、光纤输出盘42、光纤接入环43和光纤输出环44,光纤接入盘41与光纤接入环43共轴线设置,光纤接入环43内圈固定在光纤接入盘41的圆周侧壁上。光纤输出盘42与光纤接入盘41共轴线设置,光纤输出盘42与光纤接入盘41邻接固定。光纤输出环44与光纤输出盘42共轴线设置,光纤输出环44内圈转动固定在光纤输出盘42的圆周侧壁上,光纤输出环44与光纤接入环43邻接。
光纤接入盘41的端面上设置有第一光纤接入接口45,光纤输出盘42的端面上设置有与第一光纤接入接口45相同数量的第一光纤输出接口46,第一光纤接入接口45与固定在光纤接入盘41中对应位置的第一接入光耦合器件连接,第一光纤输出接口46与固定在光纤输出盘42中对应位置的第一输出光耦合器件连接,成对的第一接入光耦合器件与第一输出光耦合器件光路耦合。
光纤接入环43的端面上设置有第二光纤接入接口47,第二光纤接入接口沿周向均匀布设并保持相同的第一径向距离,第二光纤接入接口47与固定在光纤接入环43中对应位置的第二接入光耦合器件连接,光纤输出环44的端面上设置第二光纤输出接口48,第二光纤输出接口48沿周向均匀布设并保持相同的第一径向距离,第二光纤输出接口48与固定在光纤输出环44中对应位置的第二输出光耦合器件连接,第二输出光耦合器件与部分第二接入光耦合器件成对光路耦合。
光纤输出环44(直接或间接)连接伺服电机的功率输出轴,伺服电机受控带动光纤输出环44环绕光纤输出盘42转动。
如图6所示,本发明一实施例中包括8个第二光纤接入接口,成45度夹角均匀排列,包括4个第二光纤输出接口,成90度夹角均匀排列。
本发明一实施例中包括24个第二光纤接入接口,成15度夹角均匀排列,包括2个第二光纤输出接口,成180度夹角排列。
本发明一实施例中均匀夹角排列的第二光纤接入接口可以为4个至48个,均匀夹角排列的第二光纤输出接口可以为1个至24个。
本发明一实施例中均匀夹角排列的第二光纤接入接口可以为48个,均匀夹角排列的第二光纤输出接口可以为32。
本发明一实施例中光纤输出环44为可更换设备。根据实际汇聚和分时筛选需要更换具有不同第二光纤输出接口数量的光纤输出环44。
本发明一实施例中光纤输出环44设置有与光纤接入环43上第二光纤接入接口47数量相同的第二光纤输出接口48,第二光纤输出接口48受控处于有效或失效状态。可以减少光纤输出环44的配置型号,灵活配置有效的第二光纤输出接口48数量适应分时筛选规则。
本发明一实施例中第一光纤接入接口45作为高审计优先级输入端口,第一光纤输出接口46作为高级中继输出端口,第二光纤接入接口47作为低审计优先级输入端口,第二光纤输出接口48作为低级中继输出端口。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种海量数据审计方法,其特征在于,包括:
在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;
根据所述解析服务器的解析负荷调整所述定向流向数据的传输链路特征。
2.如权利要求1所述的海量数据审计方法,其特征在于,所述配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合包括:
获得所述定向流向数据的协议特征确定所述高审计优先级输入端口数量和所述低审计优先级输入端口数量;
根据所述高审计优先级输入端口数量配置相同数量的所述高级中继输出端口;
根据分时筛选规则形成与所述低审计优先级输入端口低比例系数配置的所述低级中继输出端口。
3.如权利要求2所述的海量数据审计方法,其特征在于,所述低比例系数的范围包括:
所述低级中继输出端口数量:所述低审计优先级输入端口数量为1:2至1:20,或者所述低级中继输出端口数量:所述低审计优先级输入端口数量为1:2至2:3。
4.如权利要求1所述的海量数据审计方法,其特征在于,所述形成分时耦合包括:
根据分时筛选规则将所述低级中继输出端口与相应数量的所述低审计优先级输入端口成对耦合,形成端到端低优先级数据链路;
根据所述分时筛选规则将所述低级中继输出端口分时与全部所述低审计优先级输入端口成对耦合,形成端到端分时低优先级数据链路;
所述形成实时耦合包括:
将所述高级中继输出端口与所述高审计优先级输入端口成对耦合,形成端到端实时高优先级数据链路。
5.如权利要求1所述的海量数据审计方法,其特征在于,所述根据所述解析服务器的解析负荷调整所述定向流向数据的传输链路特征包括:
采集解码服务器进行所述定向流向数据协议解析的负荷状态,根据所述协议解析的负荷状态和所述定向流向数据的所述数据链路来源调整所述定向流向数据的所述传输链路特征。
6.如权利要求5所述的海量数据审计方法,其特征在于,所述根据协议解析负荷状态和定向流向数据的数据链路来源调整定向流向数据的传输链路特征包括:
当所述协议解析负荷达到上限且所述协议解析的所述定向流向数据来源于高优先级数据链路时,形成调整解码服务器针对所述协议解析的负载均衡参数。
7.如权利要求5所述的海量数据审计方法,其特征在于,所述根据协议解析负荷状态和定向流向数据的数据链路来源调整定向流向数据的传输链路特征包括:
当所述协议解析负荷达到上限且所述协议解析的所述定向流向数据来源于低优先级数据链路时,形成过滤规则修正参数反馈,使上位路由器将所述协议解析的所述定向流向数据重定向至所述高审计优先级输入端口。
8.如权利要求5所述的海量数据审计方法,其特征在于,所述根据协议解析负荷状态和定向流向数据的数据链路来源调整定向流向数据的传输链路特征包括:
当所述协议解析负荷达到下限且所述协议解析的所述定向流向数据来源于高优先级数据链路时,形成过滤规则修正参数反馈,使上位路由器将所述协议解析的所述定向流向数据重定向至所述低审计优先级输入端口。
9.如权利要求5所述的海量数据审计方法,其特征在于,所述根据协议解析负荷状态和定向流向数据的数据链路来源调整定向流向数据的传输链路特征包括:
当所述协议解析负荷达到下限且所述协议解析的所述定向流向数据来源于低优先级数据链路时,形成分时筛选规则修正参数,调整所述协议解析的定向流向数据所在所述低优先级数据链路的耦合时长。
10.一种海量数据审计系统,包括处理器和存储器,其特征在于,
所述存储器用于存储如权利要求1至9任一所述的海量数据审计方法的处理过程对应的程序代码;
所述处理器用于执行所述存储器中的所述程序代码。
11.一种海量数据审计系统,其特征在于,包括:
链路端口建立装置,用于在定向流向数据至解析服务器的传输链路中,配置低级中继输出端口与低审计优先级输入端口形成分时耦合,配置高级中继输出端口与高审计优先级输入端口形成实时耦合;
优化参数建立装置,用于根据所述解析服务器的解析负荷调整所述定向流向数据的传输链路特征。
12.一种海量数据审计系统,其特征在于,包括光矩阵设备,用于提供与上位路由器的输出端口数据连接的高审计优先级输入端口和低审计优先级输入端口,以及与解析服务器的输入端口数据连接的高级中继输出端口和低级中继输出端口;所述低级中继输出端口与所述低审计优先级输入端口分时耦合形成分时传输链路,所述高级中继输出端口与所述高审计优先级输入端口实时耦合形成实时传输链路。
13.如权利要求12所述的海量数据审计系统,其特征在于,所述光矩阵设备包括光纤接入盘、光纤输出盘、光纤接入环和光纤输出环,所述光纤接入盘与所述光纤接入环共轴线设置,所述光纤接入环内圈固定在所述光纤接入盘的圆周侧壁上,所述光纤输出盘与所述光纤接入盘共轴线设置,所述光纤输出盘与所述光纤接入盘邻接固定,所述光纤输出环与所述光纤输出盘共轴线设置,所述光纤输出环内圈转动固定在所述光纤输出盘的圆周侧壁上,所述光纤输出环与所述光纤接入环邻接;
所述光纤接入盘的端面上设置有第一光纤接入接口,所述光纤输出盘的端面上设置有与所述第一光纤接入接口相同数量的第一光纤输出接口,所述第一光纤接入接口与固定在所述光纤接入盘中对应位置的第一接入光耦合器件连接,所述第一光纤输出接口与固定在所述光纤输出盘中对应位置的第一输出光耦合器件连接,成对的所述第一接入光耦合器件与所述第一输出光耦合器件光路耦合;
所述光纤接入环的端面上设置有第二光纤接入接口,所述第二光纤接入接口沿周向均匀布设并保持相同的第一径向距离,所述第二光纤接入接口与固定在所述光纤接入环中对应位置的第二接入光耦合器件连接,所述光纤输出环的端面上设置第二光纤输出接口,所述第二光纤输出接口沿周向均匀布设并保持相同的所述第一径向距离,所述第二光纤输出接口与固定在所述光纤输出环中对应位置的第二输出光耦合器件连接,所述第二输出光耦合器件与部分所述第二接入光耦合器件成对光路耦合,所述光纤输出环连接伺服电机的功率输出轴,所述伺服电机受控带动所述光纤输出环环绕所述光纤输出盘转动。
14.如权利要求13所述的海量数据审计系统,其特征在于,所述光纤输出环设置有与所述光纤接入环上所述第二光纤接入接口数量相同的所述第二光纤输出接口,所述第二光纤输出接口受控处于有效或失效状态。
15.如权利要求13所述的海量数据审计系统,其特征在于,所述第二光纤接入接口为4个至48个,所述第二光纤输出接口数量:所述第二光纤接入接口数量为1:2至1:20,或者为1:2至2:3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711360724.7A CN108111435A (zh) | 2017-12-15 | 2017-12-15 | 一种海量数据审计方法和审计系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711360724.7A CN108111435A (zh) | 2017-12-15 | 2017-12-15 | 一种海量数据审计方法和审计系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108111435A true CN108111435A (zh) | 2018-06-01 |
Family
ID=62216516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711360724.7A Pending CN108111435A (zh) | 2017-12-15 | 2017-12-15 | 一种海量数据审计方法和审计系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108111435A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483553A (zh) * | 2009-02-24 | 2009-07-15 | 中兴通讯股份有限公司 | 一种用户网络行为审计装置及方法 |
CN101651492A (zh) * | 2008-08-15 | 2010-02-17 | 华为技术有限公司 | 光接入网络的远程传输装置、系统和异常发光故障处理方法 |
CN201479143U (zh) * | 2009-09-17 | 2010-05-19 | 北京鼎普科技股份有限公司 | 内网安全管理系统 |
-
2017
- 2017-12-15 CN CN201711360724.7A patent/CN108111435A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651492A (zh) * | 2008-08-15 | 2010-02-17 | 华为技术有限公司 | 光接入网络的远程传输装置、系统和异常发光故障处理方法 |
CN101483553A (zh) * | 2009-02-24 | 2009-07-15 | 中兴通讯股份有限公司 | 一种用户网络行为审计装置及方法 |
CN201479143U (zh) * | 2009-09-17 | 2010-05-19 | 北京鼎普科技股份有限公司 | 内网安全管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2829039B1 (en) | Supporting software defined networking with application layer traffic optimization | |
US10356011B2 (en) | Partial software defined network switch replacement in IP networks | |
CN107360100B (zh) | 一种基于sdn技术的网络流量编排系统和方法 | |
US20160134527A1 (en) | System and method for virtual network-based distributed multi-domain routing control | |
EP2979397B1 (en) | System and method for a control plane reference model framework | |
US7336605B2 (en) | Bandwidth allocation for link aggregation | |
WO2016155330A1 (zh) | 基于sdn的idc网络出口流量均衡调整方法、设备及系统 | |
CN110177054B (zh) | 一种端口队列调度方法、装置、网络控制器及存储介质 | |
CN104025552A (zh) | 链路聚合中流量多路复用的同步 | |
CN103731373B (zh) | 带宽资源的调整方法、装置及系统 | |
JP2001282760A (ja) | マルチドメインに対応した品質保証型通信サービス提供方式およびサービス提供方法並びにサービス仲介装置 | |
JPH1070574A (ja) | パケット交換網へのアクセス調整方法 | |
CN105812294A (zh) | 开流交换器、包交换方法、sdn控制器及数据流控制方法 | |
AU2007291370A1 (en) | Method for optimizing the transfer of information in a telecommunication network | |
CN113497759B (zh) | 网络服务功能链中的sla分组操纵 | |
CN102143042A (zh) | 虚拟集群路由器系统及其流量分担方法、控制器和子路由器 | |
KR101841026B1 (ko) | 최적 경로 설정을 위한 서비스 기능 체이닝 네트워크 시스템 | |
CN105573193A (zh) | 网络布置和融合承载网络中实时电报区分优先次序的方法 | |
CN106572009A (zh) | 一种多运营商链路环境下报文转发方法和装置 | |
US8693328B2 (en) | Method and apparatus for distributing credits to multiple shapers to enable shaping traffic targets in packet communication networks | |
CN108111435A (zh) | 一种海量数据审计方法和审计系统 | |
CN106921583A (zh) | 网络设备流量控制方法及装置 | |
US10027557B2 (en) | Method for transmitting data streams through a telecommunication network | |
CN114039863B (zh) | 一种远程控制的多路由器vpn自动组网方法及系统 | |
EP3637685B1 (en) | Orchestration multi scheduler for multi slice network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180601 |