CN111818041A - 一种基于网络层报文解析的实时报文处理系统及方法 - Google Patents

一种基于网络层报文解析的实时报文处理系统及方法 Download PDF

Info

Publication number
CN111818041A
CN111818041A CN202010640108.2A CN202010640108A CN111818041A CN 111818041 A CN111818041 A CN 111818041A CN 202010640108 A CN202010640108 A CN 202010640108A CN 111818041 A CN111818041 A CN 111818041A
Authority
CN
China
Prior art keywords
message
data
module
rule
messages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010640108.2A
Other languages
English (en)
Other versions
CN111818041B (zh
Inventor
梅芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaying Shanghai Information Technology Co ltd
Original Assignee
Huaying Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaying Shanghai Information Technology Co ltd filed Critical Huaying Shanghai Information Technology Co ltd
Priority to CN202010640108.2A priority Critical patent/CN111818041B/zh
Publication of CN111818041A publication Critical patent/CN111818041A/zh
Application granted granted Critical
Publication of CN111818041B publication Critical patent/CN111818041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/325—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the network layer [OSI layer 3], e.g. X.25
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于网络层报文解析的实时报文处理系统及方法，所述系统包括：报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理；报文回放模块，用于对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出；规则服务器，用于为报文获取模块、报文处理模块和报文回放模块配置相应的数据处理规则。本发明从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗。

Description

一种基于网络层报文解析的实时报文处理系统及方法
技术领域
本发明涉及报文处理，特别是涉及一种基于网络层报文解析的实时报文处理系统及方法。
背景技术
大数据的实时应用越来越多，包括在实时风控、客户发现、精准营销、业务监控等领域。怎样尽可能的提升实时的时效，能在秒级毫秒级的范围内完成计算及分析是大家关心的问题。目前大部分实时计算都是基于应用的处理，包括从业务系统的数据库做实时抽取或者DSG/OGG等数据库同步技术或者日志同步技术，这些都是在应用层实现。从网络层到应用层的转换还是会有时间损耗。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于网络层报文解析的实时报文处理系统及方法，从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗，并应用了分布式处理设计，并发式处理，可按需扩展计算资源，进一步压缩了报文处理时间。
本发明的目的是通过以下技术方案来实现的：一种基于网络层报文解析的实时报文处理系统，包括：
报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；
报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；
报文回放模块，用于对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出；
规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则。
优选地，所述报文监控系统还包括持久化保存模块，用于收集报文处理模块输出的数据，并进行持久化保存。
一种基于网络层报文解析的实时报文处理方法，包括以下步骤：
S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；
S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；
S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；
S5.报文回放模块对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出。
其中，所述步骤S4包括：
对接收到的报文进行通讯协议识别；
对接收到的报文进行报文内容的组织结构识别；
构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，对不同格式的报文进行分流操作；
构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据；
根据规则服务器中的关联规则，将结构化报文数据中关联的请求和响应报文匹配成对；
根据规则服务器中的加解密规则，连接加密机对匹配成对的报文中的关键域进行加解密操作；
根据规则服务器中的敏感信息和对应的替换规则，对加解密后报文中的敏感信息进行脱敏处理；
将脱敏后的结构化报文组装成新的报文数据包。
本发明的有益效果是：本发明从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗，并应用了分布式处理设计，并发式处理，可按需扩展计算资源，进一步压缩了报文处理时间。
附图说明
图1为数据传输的分层架构示意图；
图2为本发明的系统原理框图；
图3为本发明的方法流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，为数据传输的分层架构示意图，直接从数据链路层、网络层、传输层获取报文包重组成需要的指标或者数据会比从应用数据库或者应用日志获取数据更快捷高效。通过tcpdump出的pcap网络通讯数据包。其内容的格式为“Pcap文件头、数据包头、数据包、数据包头、数据包……”，其中Pcap 文件头占24个字节且唯一，即一个Pcap文件中只有一个Pcap文件头。Pcap 数据包头占16字节，其后面紧跟这数据包。数据包中又分为三层，即以太网数据帧(占据14个字节)、IP包头(一般为20字节)、TCP/UDP。
本申请就是对三层底层网络协议报文进行解包、组包，为实时流式应用提供高并发的网络解析报文，其结构包括：数据获取及分发、报文解析、报文持久化及缓存、规则配置管理等功能，具体地：
如图2所示，一种基于网络层报文解析的实时报文处理系统，包括：
报文获取模块（PCAP抓包模块），用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
在本申请的实施例中，pcap主要由两部份组成：网络分接头(NetworkTap)和数据过滤器(PacketFilter)。网络分接头从网络设备驱动程序中收集数据拷贝，过滤器决定是否接收该数据包。
pcap利用BSDPacketFilter(BPF)算法对网卡接收到的链路层数据包进行过滤。BPF算法的基本思想是在有BPF监听的网络中，网卡驱动将接收到的数据包复制一份交给BPF过滤器，过滤器根据用户定义的规则决定是否接收此数据包以及需要拷贝该数据包的那些内容，然后将过滤后的数据给与过滤器相关联的上层应用程序。
pcap的包捕获机制就是在数据链路层加一个旁路处理。当一个数据包到达网络接口时，pcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，再通过Tap函数将数据包发给BPF过滤器。BPF过滤器根据用户已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传递给用户缓冲区，匹配失败则直接丢弃。如果没有设置过滤规则，所有数据包都将放入内核缓冲区，并传递给用户层缓冲区。
在本申请的实施例中，通过网卡抓取网络以太网中的数据包。这个库为不同的平台提供了一致的c函数编程接口。pcap结构简单，使用方便；它提供了20多个api封装函数，我们利用这些api函数即可完成本网络探测器所需的网络数据包监听和快照功能。
报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；
为了提供解析的速度，报文解析采用分布式并行处理模式，那么对报文的分发就需要有相应的算法机制，通过白名单配置定义筛选过滤需要的相应应用的报，再对不同级别的报文进行分发处理。算法需要考虑重要度及紧急度两个因素及权重设计，在满足应用的重要度及紧急度的设计前提之下，再对整体需要发送报文用hash算法进行散列分发，及报文发送高可用设计。
报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；
所述报文处理模块包括：协议识别单元，用于对接收到的报文进行通讯协议识别，所述通讯协议包括TCP、UDP、HTTP或HTTPS协议；类型识别单元，用于对接收到的报文进行报文内容的组织结构识别，所述组织结构包括ISO8583、Json、XML、SOP或SOAP；协议分流单元，用于构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，故对不同格式的报文进行分流操作；协议解析单元，用于构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据，所述属性信息包括域名称、域数据类型和域长度；报文配对单元，用于将结构化报文数据中关联的请求和响应报文匹配成对；报文加解密单元，用于连接加密机对匹配成对的报文中的关键域进行加解密操作；报文脱敏单元，用于对加解密后报文中的敏感信息进行脱敏处理；报文组装单元，用于将脱敏后的结构化报文组装成新的报文数据包。
报文回放模块，用于对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出；在具体实施例中，报文解析中不能通过规则识别及机器学习能识别的报文，可以通用明文解析后前端页面展示给业务人员分析判别，并将识别后的报文定义规则更新于规则服务器中。
规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则。
在本申请的实施例中，所述报文监控系统还包括持久化保存模块，用于收集报文处理模块输出的数据，并进行持久化保存。
进一步地，所述规则服务器包括：
过滤规则配置单元，用于为报文分发模块配置筛选过滤规则，所述筛选过滤规则包括白名单配置；
加解密规则配置单元，用于为数据处理模块配置加解密规则，以便于数据处理模块按照配置规则进行加解密操作；
管理规则配置单元，用于配置请求和响应报文的关联规则，以便于数据处理模块进行报文配对；
替换规则配置单元，用于配置敏感信息和对应的替换规则，以便于数据处理模块在进行脱敏处理时，确定报文中的敏感信息，并利用对应的替换规则进行替换，以实现脱敏处理。
如图3所示，一种基于网络层报文解析的实时报文处理方法，包括以下步骤：
S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；
S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；
S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装：
对接收到的报文进行通讯协议识别；
对接收到的报文进行报文内容的组织结构识别；
构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，对不同格式的报文进行分流操作；
构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据；
根据规则服务器中的关联规则，将结构化报文数据中关联的请求和响应报文匹配成对；
根据规则服务器中的加解密规则，连接加密机对匹配成对的报文中的关键域进行加解密操作；
根据规则服务器中的敏感信息和对应的替换规则，对加解密后报文中的敏感信息进行脱敏处理；
将脱敏后的结构化报文组装成新的报文数据包。
S5.报文回放模块对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出。
综上，本发明从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗，并应用了分布式处理设计，并发式处理，可按需扩展计算资源，进一步压缩了报文处理时间。
以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于网络层报文解析的实时报文处理系统，其特征在于：包括：
报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；
报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；
报文回放模块，用于对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出；
规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则。
2.根据权利要求1所述的一种基于网络层报文解析的实时报文处理系统，其特征在于：所述报文监控系统还包括持久化保存模块，用于收集报文处理模块输出的数据，并进行持久化保存。
3.根据权利要求1所述的一种基于网络层报文解析的实时报文处理系统，其特征在于：所述报文获取模块采用PCAP抓包进行报文获取，包括网络分接单元和BPF过滤器；
所述网络分接单元，用于在数据链路层增加一个旁路处理，当一个数据包到达网络接口时利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，再通过Tap函数将数据包发给BPF过滤器；
所述BPF过滤器，用于根据用预定义的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传输给报文分发模块，匹配失败则直接丢弃。
4.根据权利要求1所述的一种基于网络层报文解析的实时报文处理系统，其特征在于：所述报文分发模块包括：
白名单过滤单元，用于通过白名单配置的方式对报文获取模块输出的数据进行筛选过滤，得到需要的应用报文；
任务分发单元，用于对报文进行分发处理：考虑重要度及紧急度两个因素及权重设计，在满足应用的重要度和紧急度的前提下，对整体需要发送报文用hash算法进行散列分发。
5.根据权利要求1所述的一种基于网络层报文解析的实时报文处理系统，其特征在于：所述报文处理模块包括：
协议识别单元，用于对接收到的报文进行通讯协议识别，所述通讯协议包括TCP、UDP、HTTP或HTTPS协议；
类型识别单元，用于对接收到的报文进行报文内容的组织结构识别，所述组织结构包括ISO8583、Json、XML、SOP或SOAP；
协议分流单元，用于构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，对不同格式的报文进行分流操作；
协议解析单元，用于构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据，所述属性信息包括域名称、域数据类型和域长度；
报文配对单元，用于将结构化报文数据中关联的请求和响应报文匹配成对；
报文加解密单元，用于连接加密机对匹配成对的报文中的关键域进行加解密操作；
报文脱敏单元，用于对加解密后报文中的敏感信息进行脱敏处理；
报文组装单元，用于将脱敏后的结构化报文组装成新的报文数据包。
6.根据权利要求1所述的一种基于网络层报文解析的实时报文处理系统，其特征在于：所述规则服务器包括：
过滤规则配置单元，用于为报文分发模块配置筛选过滤规则，所述筛选过滤规则包括白名单配置；
加解密规则配置单元，用于为数据处理模块配置加解密规则，以便于数据处理模块按照配置规则进行加解密操作；
管理规则配置单元，用于配置请求和响应报文的关联规则，以便于数据处理模块进行报文配对；
替换规则配置单元，用于配置敏感信息和对应的替换规则，以便于数据处理模块在进行脱敏处理时，确定报文中的敏感信息，并利用对应的替换规则进行替换，以实现脱敏处理。
7.一种基于网络层报文解析的实时报文处理方法，采用权利要求1~6中任意一项所述的报文监控系统，其特征在于：包括以下步骤：
S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；
S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；
S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；
S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；
S5.报文回放模块对报文数据处理模块输出的数据进行保存、回放，并供用户根据需要选择报文数据对外输出。
8.根据权利要求7所述的一种基于网络层报文解析的实时报文处理方法，其特征在于：所述步骤S4包括：
对接收到的报文进行通讯协议识别；
对接收到的报文进行报文内容的组织结构识别；
构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，对不同格式的报文进行分流操作；
构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据；
根据规则服务器中的关联规则，将结构化报文数据中关联的请求和响应报文匹配成对；
根据规则服务器中的加解密规则，连接加密机对匹配成对的报文中的关键域进行加解密操作；
根据规则服务器中的敏感信息和对应的替换规则，对加解密后报文中的敏感信息进行脱敏处理；
将脱敏后的结构化报文组装成新的报文数据包。
CN202010640108.2A 2020-07-06 2020-07-06 一种基于网络层报文解析的实时报文处理系统及方法 Active CN111818041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010640108.2A CN111818041B (zh) 2020-07-06 2020-07-06 一种基于网络层报文解析的实时报文处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010640108.2A CN111818041B (zh) 2020-07-06 2020-07-06 一种基于网络层报文解析的实时报文处理系统及方法

Publications (2)

Publication Number Publication Date
CN111818041A true CN111818041A (zh) 2020-10-23
CN111818041B CN111818041B (zh) 2022-06-03

Family

ID=72856876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010640108.2A Active CN111818041B (zh) 2020-07-06 2020-07-06 一种基于网络层报文解析的实时报文处理系统及方法

Country Status (1)

Country Link
CN (1) CN111818041B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595931A (zh) * 2021-07-08 2021-11-02 杭州海康威视数字技术股份有限公司 一种报文处理方法、装置、设备及存储介质
CN114338440A (zh) * 2021-12-28 2022-04-12 杭州安恒信息技术股份有限公司 一种抓包方法、装置、系统及计算机可读存储介质
CN115499332A (zh) * 2022-09-13 2022-12-20 科东(广州)软件科技有限公司 网络报文的监测方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281213A (zh) * 2013-04-18 2013-09-04 西安交通大学 一种网络流量内容提取和分析检索方法
US20170103113A1 (en) * 2015-10-09 2017-04-13 Bank Of America Corporation System for inline message detail extraction and transformation
CN107241305A (zh) * 2016-12-28 2017-10-10 神州灵云（北京）科技有限公司 一种基于多核处理器的网络协议分析系统及其分析方法
US20170366449A1 (en) * 2014-06-30 2017-12-21 Cfph, Llc Financal network
US20180069917A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Message parsing in a distributed stream processing system
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
US10187400B1 (en) * 2016-02-23 2019-01-22 Area 1 Security, Inc. Packet filters in security appliances with modes and intervals
CN110535855A (zh) * 2019-08-28 2019-12-03 北京安御道合科技有限公司 一种网络事件监测分析方法和系统、信息数据处理终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281213A (zh) * 2013-04-18 2013-09-04 西安交通大学 一种网络流量内容提取和分析检索方法
US20170366449A1 (en) * 2014-06-30 2017-12-21 Cfph, Llc Financal network
US20170103113A1 (en) * 2015-10-09 2017-04-13 Bank Of America Corporation System for inline message detail extraction and transformation
US10187400B1 (en) * 2016-02-23 2019-01-22 Area 1 Security, Inc. Packet filters in security appliances with modes and intervals
US20180069917A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Message parsing in a distributed stream processing system
CN107241305A (zh) * 2016-12-28 2017-10-10 神州灵云（北京）科技有限公司 一种基于多核处理器的网络协议分析系统及其分析方法
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN110535855A (zh) * 2019-08-28 2019-12-03 北京安御道合科技有限公司 一种网络事件监测分析方法和系统、信息数据处理终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595931A (zh) * 2021-07-08 2021-11-02 杭州海康威视数字技术股份有限公司 一种报文处理方法、装置、设备及存储介质
CN113595931B (zh) * 2021-07-08 2024-01-16 杭州海康威视数字技术股份有限公司 一种报文处理方法、装置、设备及存储介质
CN114338440A (zh) * 2021-12-28 2022-04-12 杭州安恒信息技术股份有限公司 一种抓包方法、装置、系统及计算机可读存储介质
CN115499332A (zh) * 2022-09-13 2022-12-20 科东(广州)软件科技有限公司 网络报文的监测方法、装置、设备及介质
CN115499332B (zh) * 2022-09-13 2023-12-15 科东(广州)软件科技有限公司 网络报文的监测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111818041B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN111818041B (zh) 一种基于网络层报文解析的实时报文处理系统及方法
US8806550B1 (en) Rules engine for troubleshooting video content delivery network
CN103609071B (zh) 用于通过多连接中间装置跟踪应用层流的系统和方法
US7801985B1 (en) Data transfer for network interaction fraudulence detection
US7805510B2 (en) Hierarchy for characterizing interactions with an application
US8819807B2 (en) Apparatus and method for analyzing and monitoring sap application traffic, and information protection system using the same
US7996523B2 (en) Free string match encoding and preview
CA2854270C (en) Network analysis device and method
US20130191890A1 (en) Method and system for user identity recognition based on specific information
US20070266149A1 (en) Integrating traffic monitoring data and application runtime data
US9231982B2 (en) Data transfer for network interaction fraudulence detection
CN101399715B (zh) 一种光纤通道网络测试平台和测试方法
WO2022088791A1 (zh) 分流设备性能测试方法、装置、系统、电子设备以及介质
KR101439018B1 (ko) 차량정보 제공 시스템
CN110633195A (zh) 一种性能数据的展示方法、装置、电子设备及存储介质
CN111741007B (zh) 一种基于网络层报文解析的金融业务实时监控系统及方法
CN114710416B (zh) 一种基于工艺流程的网络流量实时数据采集方法
US20130290476A1 (en) Identifying Business Transactions from Traffic in an Enterprise Content Management System
CN102271331B (zh) 一种检测业务提供商sp站点可靠性的方法及系统
CN105530137A (zh) 流量数据分析方法及流量数据分析系统
CN111818154B (zh) 一种基于网络层报文解析的业务推送系统及方法
CN103368783A (zh) 一种网络通信过程的监听方法、系统和设备
CN111367686A (zh) 业务接口的调用方法及装置、计算机设备、存储介质
CN108039986A (zh) 监控web应用性能的方法、装置及存储介质
CN111814183A (zh) 一种基于网络层报文解析的金融实时风控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant