CN106941517A - 一种非对称条件下的五元组话单合成方法及装置 - Google Patents
一种非对称条件下的五元组话单合成方法及装置 Download PDFInfo
- Publication number
- CN106941517A CN106941517A CN201710072557.XA CN201710072557A CN106941517A CN 106941517 A CN106941517 A CN 106941517A CN 201710072557 A CN201710072557 A CN 201710072557A CN 106941517 A CN106941517 A CN 106941517A
- Authority
- CN
- China
- Prior art keywords
- tuple
- ticket
- key
- processing
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种非对称条件下的五元组话单合成方法及装置,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。本发明的非对称条件下的五元组话单合成方法包括:通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;以五元组作为Key对在大数据平台的全部话单进行合并处理。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种非对称条件下的五元组话单合成方法及装置。
背景技术
DPI(Deep Packet Inspection)设备通过对网络的关键点处的流量和报文内容进行检测分析,可以根据事先定义的策略对检测流量进行过滤控制,能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。统一DPI指一套DPI设备对链路上的流量进行采集与识别,并将满足其它系统所需的流量或分析统计数据分发给各第三方应用系统服务器。网络中各类流量管理相关的应用系统,如网间流控、Web Cache、非法VoIP检测、上网日志留存等,主要由DPI设备和应用服务器组成。其中,DPI设备负责数据采集、流量分析统计、日志合成,应用服务器主要完成对数据的进一步分析处理,合理组织和存储数据,并进行呈现。统一DPI整合了多个第三方应用系统的DPI设备,通过DPI复用为多个系统提供DPI能力。
在机房链路部署DPI设备,对经过的报文进行识别并生成话单。于同一机房内存在多条链路和多台话单采集处理终端时,对从DPI设备镜像出的镜像报文做同源同宿分发,实现同一个五元组的双向报文进入同一台话单采集处理终端,输出对称的话单。
目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。特别是省网出口,非对称的技术问题更为明显。
发明内容
本发明实施例提供了一种非对称条件下的五元组话单合成方法及装置,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。
本发明实施例提供的一种非对称条件下的五元组话单合成方法,包括:
将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
以五元组作为Key对在大数据平台的全部话单进行合并处理。
可选地,将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理具体包括:
当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单。
可选地,以五元组作为Key对在大数据平台的全部话单进行合并处理具体包括:
以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理。
可选地,以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理具体包括:
对在大数据平台的全部话单进行关键事件的高精度时戳记录;
以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
可选地,以五元组作为Key对在大数据平台的全部话单进行合并处理之后还包括:
在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器;
将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
本发明实施例提供的一种非对称条件下的五元组话单合成装置,包括:
第一合并单元,用于将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
第二合并单元,用于以五元组作为Key对在大数据平台的全部话单进行合并处理。
可选地,第一合并单元,具体用于当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单。
可选地,第二合并单元,具体用于以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理。
可选地,第二合并单元包括:
记录子单元,用于对在大数据平台的全部话单进行关键事件的高精度时戳记录;
合并子单元,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
计算子单元,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
可选地,非对称条件下的五元组话单合成装置还包括:
指标优化单元,用于在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器,并将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例提供的一种非对称条件下的五元组话单合成方法及装置,其中,非对称条件下的五元组话单合成方法包括:将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;以五元组作为Key对在大数据平台的全部话单进行合并处理。本实施例中,通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;以五元组作为Key对在大数据平台的全部话单进行合并处理,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种非对称条件下的五元组话单合成方法的一个实施例的流程示意图;
图2为本发明实施例提供的一种非对称条件下的五元组话单合成方法的另一个实施例的流程示意图;
图3为本发明实施例提供的一种非对称条件下的五元组话单合成装置的一个实施例的结构示意图;
图4为本发明实施例提供的一种非对称条件下的五元组话单合成装置的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种非对称条件下的五元组话单合成方法及装置,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供的一种非对称条件下的五元组话单合成方法的一个实施例包括:
101、将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
本实施例中,当需要非对称条件下的五元组话单合成时,首先需要将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理。
102、以五元组作为Key对在大数据平台的全部话单进行合并处理。
当将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理之后,需要以五元组作为Key对在大数据平台的全部话单进行合并处理。
本实施例中,通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;以五元组作为Key对在大数据平台的全部话单进行合并处理,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题。
上面是对非对称条件下的五元组话单合成方法的过程进行的描述,下面将对具体过程进行详细的描述,请参阅图2,本发明实施例提供的一种非对称条件下的五元组话单合成方法的另一个实施例包括:
201、当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单;
本实施例中,当需要非对称条件下的五元组话单合成时,首先当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单。
202、对在大数据平台的全部话单进行关键事件的高精度时戳记录;
当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单之后,需要对在大数据平台的全部话单进行关键事件的高精度时戳记录。
203、以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
当对在大数据平台的全部话单进行关键事件的高精度时戳记录之后,需要以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量。
204、以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标;
当以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量之后,需要以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
205、在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器;
当步骤201至204后,需要在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器。
206、将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
当在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器之后,需要将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
下面以一具体应用场景进行描述,应用例包括:
通过同源同宿,大数据关联的方式将非对称五元组的话单进行合并,使五元组话单包含更多更准确信息。比如说在XX省省网出口部署DPI系统,上报话单记录。关键在于话单质量,指标填充率尽量高而准确。
第一步:同机房合并:
于同一机房内存在多条链路和多台话单采集处理终端时,对从DPI设备镜像出的镜像报文做同源同宿分发,实现同一个五元组的双向报文进入同一台话单采集处理终端,输出对称的话单。唯一区别一条网络中传输的数据流的key:服务器IP,服务器端口号,协议号,客户端IP,客户端端口号,又称五元组。
通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,实现不同设备将同一个分发到话单采集处理终端。
第二步:跨机房合并:
在大数据平台按照对全部的话单按照五元组进行关联,主要方案如下:
1.话单中记录关键事件的高精度时戳(例如SYN、最后一个ACK等)。
2.以五元组作为Key,将相同五元组的记录汇聚成一条记录。在汇聚的时候考虑上下行方向,合并上下行流量。
3.以五元组作为Key,将相同五元组的记录汇聚成一条记录。在汇聚的时候考虑上下行方向,计算时延指标。
4.特别的,HTTP协议同一五元组可以存在多个会话,话单需要细化到会话级别,因此以五元组加会话ID作为key汇聚。会话ID取自请求报文的ACK号和响应报文的SEQ号。
第三步:重要指标优化:
以HOST字段为例。在全量话单中分析计算服务器IP端口与HOST的对应关系,并根据算法确定服务器IP端口是否是独立服务。将独立服务器的IP端口与HOST的对应关系建立起来。在做有关域名分析的时候根据上述IP+端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填。此方法适用于业务和流量纠正,依据单向传输流量的传输速率亦有效。
本实施例中,通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;以五元组作为Key对在大数据平台的全部话单进行合并处理,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题,本发明可以通过分析历史话单分析过程,总结和形成话单分析资源库,方便分析者从多个方面对话单进行分析和价值挖掘,以及验证话单的正确性,同时通过优化分析工具,更友好和高效的帮助分析者,而第三条无法实现学习、整合和优化的功能,可以在链路非对称甚至跨机房条件下生成信息更为全面精准的五元组话单。
请参阅图3,本发明实施例提供的一种非对称条件下的五元组话单合成装置的一个实施例包括:
第一合并单元301,用于将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
第二合并单元302,用于以五元组作为Key对在大数据平台的全部话单进行合并处理。
本实施例中,第一合并单元301通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;第二合并单元302以五元组作为Key对在大数据平台的全部话单进行合并处理,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题,本发明可以通过分析历史话单分析过程,总结和形成话单分析资源库,方便分析者从多个方面对话单进行分析和价值挖掘,以及验证话单的正确性,同时通过优化分析工具,更友好和高效的帮助分析者,而第三条无法实现学习、整合和优化的功能,可以在链路非对称甚至跨机房条件下生成信息更为全面精准的五元组话单。
上面是对非对称条件下的五元组话单合成装置的各单元进行详细的描述,下面将对子单元进行描述,请参阅图4,本发明实施例提供的一种非对称条件下的五元组话单合成装置的另一个实施例包括:
第一合并单元401,用于将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
第一合并单元401,具体用于当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单.
第二合并单元402,用于以五元组作为Key对在大数据平台的全部话单进行合并处理,第二合并单元402,具体用于以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理。
第二合并单元402包括:
记录子单元4021,用于对在大数据平台的全部话单进行关键事件的高精度时戳记录;
合并子单元4022,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
计算子单元4023,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
指标优化单元403,用于在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器,并将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
本实施例中,第一合并单元401通过将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;第二合并单元402以五元组作为Key对在大数据平台的全部话单进行合并处理,解决了目前由于路由策略,会出现上下行报文通过不同链路传输的情况,当两条链路在出口的不同的机房时,到达DPI设备的报文就会出现只有上行报文或只有下行报文的情况,对话单采集造成不良影响,部分业务信息不全、时延指标无法计算、部分业务无法精准识别的技术问题,本发明可以通过分析历史话单分析过程,总结和形成话单分析资源库,方便分析者从多个方面对话单进行分析和价值挖掘,以及验证话单的正确性,同时通过优化分析工具,更友好和高效的帮助分析者,而第三条无法实现学习、整合和优化的功能,可以在链路非对称甚至跨机房条件下生成信息更为全面精准的五元组话单。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,非对称条件下的五元组话单合成服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种非对称条件下的五元组话单合成方法,其特征在于,包括:
将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
以五元组作为Key对在大数据平台的全部话单进行合并处理。
2.根据权利要求1所述的非对称条件下的五元组话单合成方法,其特征在于,将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理具体包括:
当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单。
3.根据权利要求2所述的非对称条件下的五元组话单合成方法,其特征在于,以五元组作为Key对在大数据平台的全部话单进行合并处理具体包括:
以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理。
4.根据权利要求3所述的非对称条件下的五元组话单合成方法,其特征在于,以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理具体包括:
对在大数据平台的全部话单进行关键事件的高精度时戳记录;
以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
5.根据权利要求1至4中任意一项所述的非对称条件下的五元组话单合成方法,其特征在于,以五元组作为Key对在大数据平台的全部话单进行合并处理之后还包括:
在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器;
将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
6.一种非对称条件下的五元组话单合成装置,其特征在于,包括:
第一合并单元,用于将同机房的DPI设备镜像出的镜像报文进行五元组的双向报文进入同一台话单采集处理终端,输出对称的话单的处理;
第二合并单元,用于以五元组作为Key对在大数据平台的全部话单进行合并处理。
7.根据权利要求6所述的非对称条件下的五元组话单合成装置,其特征在于,第一合并单元,具体用于当同机房内存在多条链路和多台话单采集处理终端时,通过DPI设备或分流平台,将镜像报文按照网内IP或IP地址对进行分发,同机房内不同的DPI采用相同的分发算法,使得五元组的双向报文进入同一台话单采集处理终端,并输出对称的话单。
8.根据权利要求7所述的非对称条件下的五元组话单合成装置,其特征在于,第二合并单元,具体用于以五元组作为Key,并基于上下行方向对在大数据平台的全部话单进行合并关联处理。
9.根据权利要求8所述的非对称条件下的五元组话单合成装置,其特征在于,第二合并单元包括:
记录子单元,用于对在大数据平台的全部话单进行关键事件的高精度时戳记录;
合并子单元,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向合并上下行流量;
计算子单元,用于以五元组作为Key,将相同五元组的记录汇聚成一条记录,并基于上下行方向计算时延指标。
10.根据权利要求6或8所述的非对称条件下的五元组话单合成装置,其特征在于,非对称条件下的五元组话单合成装置还包括:
指标优化单元,用于在进行合并处理之后的全部话单中分析计算服务器IP端口与HOST的对应关系,并根据预置算法确定服务器IP端口是否是独立服务服务器,并将确定的独立服务器的IP端口与HOST的对应关系建立起来,并在域名分析的时候根据IP端口与HOST的对应关系对下行无HTTP请求的话单中的HOST进行回填处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710072557.XA CN106941517A (zh) | 2017-02-10 | 2017-02-10 | 一种非对称条件下的五元组话单合成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710072557.XA CN106941517A (zh) | 2017-02-10 | 2017-02-10 | 一种非对称条件下的五元组话单合成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106941517A true CN106941517A (zh) | 2017-07-11 |
Family
ID=59469839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710072557.XA Pending CN106941517A (zh) | 2017-02-10 | 2017-02-10 | 一种非对称条件下的五元组话单合成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106941517A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109995602A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团设计院有限公司 | 一种协议识别的方法、系统和装置 |
CN110166359A (zh) * | 2019-05-27 | 2019-08-23 | 新华三信息安全技术有限公司 | 一种报文转发方法及装置 |
CN110855424A (zh) * | 2019-10-12 | 2020-02-28 | 武汉绿色网络信息服务有限责任公司 | 一种DPI领域非对称流量xDR合成的方法和装置 |
CN111988271A (zh) * | 2020-06-30 | 2020-11-24 | 联想(北京)有限公司 | 一种通信流处理方法及装置 |
CN112732764A (zh) * | 2021-03-29 | 2021-04-30 | 北京浩瀚深度信息技术股份有限公司 | 一种电信海量数据的关联方法、装置及存储介质 |
CN113037859A (zh) * | 2021-03-24 | 2021-06-25 | 新华三技术有限公司 | 一种会话信息管理方法、装置、交换设备及介质 |
CN114301960A (zh) * | 2021-12-15 | 2022-04-08 | 山石网科通信技术股份有限公司 | 集群非对称流量的处理方法及装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530144A (zh) * | 2015-12-16 | 2016-04-27 | 北京浩瀚深度信息技术股份有限公司 | 非对称路由环境中的业务识别方法和系统 |
-
2017
- 2017-02-10 CN CN201710072557.XA patent/CN106941517A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530144A (zh) * | 2015-12-16 | 2016-04-27 | 北京浩瀚深度信息技术股份有限公司 | 非对称路由环境中的业务识别方法和系统 |
Non-Patent Citations (1)
Title |
---|
潘洁,高峰,刘栋,董昭,侯慧芳: "基于DPI不对称流量的同源同宿解决方案", 《电信科学》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109995602A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团设计院有限公司 | 一种协议识别的方法、系统和装置 |
CN109995602B (zh) * | 2017-12-29 | 2021-03-16 | 中国移动通信集团设计院有限公司 | 一种协议识别的方法、系统和装置 |
CN110166359A (zh) * | 2019-05-27 | 2019-08-23 | 新华三信息安全技术有限公司 | 一种报文转发方法及装置 |
CN110855424A (zh) * | 2019-10-12 | 2020-02-28 | 武汉绿色网络信息服务有限责任公司 | 一种DPI领域非对称流量xDR合成的方法和装置 |
CN110855424B (zh) * | 2019-10-12 | 2023-04-07 | 武汉绿色网络信息服务有限责任公司 | 一种DPI领域非对称流量xDR合成的方法和装置 |
CN111988271A (zh) * | 2020-06-30 | 2020-11-24 | 联想(北京)有限公司 | 一种通信流处理方法及装置 |
CN111988271B (zh) * | 2020-06-30 | 2021-11-16 | 联想(北京)有限公司 | 一种通信流处理方法及装置 |
CN113037859A (zh) * | 2021-03-24 | 2021-06-25 | 新华三技术有限公司 | 一种会话信息管理方法、装置、交换设备及介质 |
CN113037859B (zh) * | 2021-03-24 | 2022-04-22 | 新华三技术有限公司 | 一种会话信息管理方法、装置、交换设备及介质 |
CN112732764A (zh) * | 2021-03-29 | 2021-04-30 | 北京浩瀚深度信息技术股份有限公司 | 一种电信海量数据的关联方法、装置及存储介质 |
CN114301960A (zh) * | 2021-12-15 | 2022-04-08 | 山石网科通信技术股份有限公司 | 集群非对称流量的处理方法及装置、电子设备及存储介质 |
CN114301960B (zh) * | 2021-12-15 | 2024-03-15 | 山石网科通信技术股份有限公司 | 集群非对称流量的处理方法及装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106941517A (zh) | 一种非对称条件下的五元组话单合成方法及装置 | |
CN102497362B (zh) | 异常网络流量的攻击源追踪方法及装置 | |
CN103684803B (zh) | 流量采集装置和定向流量计费系统和方法 | |
CN103179132B (zh) | 一种检测和防御cc攻击的方法及装置 | |
CN107948172A (zh) | 一种基于人工智能行为分析的车联网入侵攻击检测方法和系统 | |
CN107819854A (zh) | 基于云边缘计算的公共安全系统及构建方法 | |
CN106355405A (zh) | 风险识别方法、装置及风险防控系统 | |
CN108537666A (zh) | 一种区块链系统以及区块链网络交易方法 | |
CN110519298A (zh) | 一种基于机器学习的Tor流量识别方法及装置 | |
CN106548343A (zh) | 一种非法交易检测方法及装置 | |
CN107294966A (zh) | 一种基于内网流量的ip白名单构建方法 | |
CN107395565A (zh) | 一种定长单字节格式报文协议下串口接收预处理方法 | |
CN107528852A (zh) | 一种基于网络安全的大数据实施系统及方法 | |
CN108764909A (zh) | 一种区块链数据监管方法 | |
CN107579874A (zh) | 一种检测流量采集设备数据采集漏报的方法及装置 | |
CN105763449A (zh) | 基于存储资源自适应调整的单包溯源方法 | |
CN109818820A (zh) | 流量数据监控方法、装置、电子设备及存储介质 | |
CN105100015A (zh) | 一种采集互联网访问数据的方法及装置 | |
CN104734894A (zh) | 一种流量数据筛选方法和装置 | |
CN105050068B (zh) | 一种计费话单记录检测校正方法、装置及话单处理系统 | |
CN106131078A (zh) | 一种处理业务请求的方法及装置 | |
CN108880934A (zh) | 一种基于区块链的数据流量统计方法和装置 | |
CN104640138A (zh) | 一种定位问题终端的方法及装置 | |
CN110266603A (zh) | 基于http协议的身份认证业务网络流量分析系统及方法 | |
CN103281158A (zh) | 深度网络通信粒度检测方法及其检测设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170711 |