CN106230825B - 兼顾处理速度与解析质量的自适应的网络协议解析策略 - Google Patents

兼顾处理速度与解析质量的自适应的网络协议解析策略 Download PDF

Info

Publication number
CN106230825B
CN106230825B CN201610622452.2A CN201610622452A CN106230825B CN 106230825 B CN106230825 B CN 106230825B CN 201610622452 A CN201610622452 A CN 201610622452A CN 106230825 B CN106230825 B CN 106230825B
Authority
CN
China
Prior art keywords
data packet
strategy
speed
data
processing speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610622452.2A
Other languages
English (en)
Other versions
CN106230825A (zh
Inventor
杨爽
张立
杨爱民
程洪彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gold And Network Ltd Co
Original Assignee
Beijing Gold And Network Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gold And Network Ltd Co filed Critical Beijing Gold And Network Ltd Co
Priority to CN201610622452.2A priority Critical patent/CN106230825B/zh
Publication of CN106230825A publication Critical patent/CN106230825A/zh
Application granted granted Critical
Publication of CN106230825B publication Critical patent/CN106230825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种兼顾处理速度与解析质量的自适应的网络协议解析策略，包括如下步骤：采用速度优先策略识别网络传输来的数据包；若采用速度优先策略识别不出当前数据包，则开始在缓存区中缓存数据包数据，并自动切换至采用质量优先策略解析数据包；当利用质量优先策略处理完缓冲区内数据并且再次接收到的数据包为完整数据包时，自动切换到采用速度优先策略识别数据包。本方法可以很好改善上述问题，自动进行策略切换并兼顾处理速度与解析质量，充分利用了网络服务的处理性能，加速处理速度的同时，兼顾了质量。

Description

兼顾处理速度与解析质量的自适应的网络协议解析策略
技术领域
本发明属于网络数据包通信技术领域，特别涉及一种兼顾处理速度与解析质量的自适应的网络协议解析策略。
背景技术
在处理海量使用公开通信协议通信的数据包时，接收到的数据包非常非常之多。目前一般的策略是使用严谨的数据包格式逻辑判断，来进行数据包的识别。虽然能够时时刻刻保证解析包的质量，但是由于接收到有问题的数据包的时间不确定，并且问题数据包存在的概率比较低，因此，在长时间的接收无问题数据报时，严谨的判断逻辑的同时，严重地损失了网络服务优越的处理性能，使得服务的处理速度大大降低。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种兼顾处理速度与解析质量的自适应的网络协议解析策略。
本发明提供的技术方案为：
一种兼顾处理速度与解析质量的自适应的网络协议解析策略，包括如下步骤：
采用速度优先策略识别网络传输来的数据包；
若采用速度优先策略识别不出当前数据包，则开始在缓存区中缓存数据包数据，并自动切换至采用质量优先策略解析数据包；
当利用质量优先策略处理完缓冲区内所述数据并且再次接收到的数据包为完整数据包时，自动切换到采用速度优先策略识别数据包。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，所述速度优先策略根据自定义通信协议规定的格式进行数据包的解析，若该数据包的格式符合自定义通信协议规定的格式，则判定该数据包为完整数据包，若该数据包的格式不符合自定义通信协议规定的格式，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，所述速度优先策略根据自定义通信协议数据包的主要特征逻辑进行识别，识别时同时判断批量字符，若该批量字符符合自定义通信协议数据包的主要特征逻辑，则判定该数据包为完整数据包，若该批量字符不符合自定义通信协议数据包的主要特征逻辑，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，质量优先策略为依次对数据包的逐个字节进行解析并效验其是否符合自定义通信协议的全部特征逻辑。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，启动网络服务时，默认采用速度优先策略识别数据包。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，若服务长时间处于质量优先策略，则将传输来的数据包对应的IP加入到黑名单中，不再接收其数据包。
优选的是，所述的兼顾处理速度与解析质量的自适应的网络协议解析策略中，该网络协议解析策略应用于实现以redis通信协议为基础的redis cluster代理中。
本发明至少包括以下有益效果：
单一使用简单的包格式逻辑判断，虽然满足处理速度的要求，但是在面对各种存在问题的数据包时可能会存在漏洞，影响包的解析质量。
单一使用严谨的包格式逻辑判断，虽然时时刻刻保证解析包的质量，但是问题数据包的接收时间不确定，在无问题数据包时，严谨的判断逻辑的同时损失的了网络服务的处理性能。
本方法可以很好改善上述问题，自动进行策略切换并兼顾处理速度与解析质量，充分利用了网络服务的处理性能，加速处理速度的同时，兼顾了质量，为其他模块后续处理过滤大量的非法数据包。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明其中一个实施例中兼顾处理速度与解析质量的自适应的网络协议解析策略的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1所示，本发明提供一种兼顾处理速度与解析质量的自适应的网络协议解析策略，包括如下步骤：
采用速度优先策略识别网络传输来的数据包；
若采用速度优先策略识别不出当前数据包，则开始在缓存区中缓存数据包数据，并自动切换至采用质量优先策略解析数据包；
当利用质量优先策略处理完缓冲区内所述数据并且再次接收到的数据包为完整数据包时，自动切换到采用速度优先策略识别数据包。
单一使用简单的包格式逻辑判断，虽然满足处理速度的要求，但是在面对各种存在问题的数据包时可能会存在漏洞，影响包的解析质量。
单一使用严谨的包格式逻辑判断，虽然时时刻刻保证解析包的质量，但是问题数据包的接收时间不确定，在无问题数据包时，严谨的判断逻辑的同时损失的了网络服务的处理性能。
因此，采用本方法可以很好改善上述问题，自动进行策略切换并兼顾处理速度与解析质量。
在本发明的其中一个实施例中，作为优选，所述速度优先策略根据自定义通信协议规定的格式进行数据包的解析，若该数据包的格式符合自定义通信协议规定的格式，则判定该数据包为完整数据包，若该数据包的格式不符合自定义通信协议规定的格式，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据。
在本发明的其中一个实施例中，作为优选，所述速度优先策略根据数据包的内容进行识别，识别时同时判断批量字符，若该批量字符符合自定义通信协议数据包的主要特征逻辑，则判定该数据包为完整数据包，若该批量字符不符合自定义通信协议数据包的主要特征逻辑，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据。
比如，若该数据包中写明该数据包实质上有10个参数，但是在识别过程中发现只有9个参数，那么利用速度优先策略识别不出该数据包，因此，开始在缓存中缓存数据包数据。
再例如，以一行为一个单位进行批量识别，若识别符合逻辑，则判定该数据包为完整数据包，继续采用速度优先策略。
在本发明的其中一个实施例中，作为优选，质量优先策略为依次对数据包的逐个字节进行解析，并效验其是否符合自定义通信协议的全部特征逻辑。
在本发明的其中一个实施例中，作为优选，启动网络服务时，默认采用速度优先策略识别数据包。
在本发明的其中一个实施例中，作为优选，若服务长时间处于质量优先策略，则将传输来的数据包对应的IP加入到黑名单中，不再接收其数据包。
在本发明的其中一个实施例中，作为优选，该网络协议解析策略应用于实现以redis通信协议为基础的redis cluster代理中。
可将问题数据包存储起来，做一个日志以备后期查阅。
这里说明的模块数量和处理规模是用来简化本发明的说明的。对本发明的网络协议解析策略的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (4)

1.一种兼顾处理速度与解析质量的自适应的网络协议解析策略，其特征在于，包括如下步骤：
采用速度优先策略识别网络传输来的数据包；
若采用速度优先策略识别不出当前数据包，则开始在缓存区中缓存数据包数据，并自动切换至采用质量优先策略解析数据包；
当利用质量优先策略处理完缓冲区内所述数据并且再次接收到的数据包为完整数据包时，自动切换到采用速度优先策略识别数据包；
所述速度优先策略根据自定义通信协议规定的格式进行数据包的解析，若该数据包的格式符合自定义通信协议规定的格式，则判定该数据包为完整数据包，若该数据包的格式不符合自定义通信协议规定的格式，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据；
所述速度优先策略根据自定义通信协议数据包的主要特征逻辑进行识别，识别时同时判断批量字符，若该批量字符符合自定义通信协议数据包的的主要特征逻辑，则判定该数据包为完整数据包，若该批量字符不符合自定义通信协议数据包的的主要特征逻辑，则判定采用速度优先策略识别不出当前数据包，开始在缓存区中缓存数据包数据；
质量优先策略为依次对数据包的逐个字节进行解析并效验其是否符合自定义通信协议的全部特征逻辑。
2.如权利要求1所述的兼顾处理速度与解析质量的自适应的网络协议解析策略，其特征在于，启动网络服务时，默认采用速度优先策略识别数据包。
3.如权利要求1所述的兼顾处理速度与解析质量的自适应的网络协议解析策略，其特征在于，若服务长时间处于质量优先策略，则将传输来的数据包对应的IP加入到黑名单中，不再接收其数据包。
4.如权利要求1所述的兼顾处理速度与解析质量的自适应的网络协议解析策略，其特征在于，该网络协议解析策略应用于实现以redis通信协议为基础的redis cluster代理中。
CN201610622452.2A 2016-08-01 2016-08-01 兼顾处理速度与解析质量的自适应的网络协议解析策略 Active CN106230825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610622452.2A CN106230825B (zh) 2016-08-01 2016-08-01 兼顾处理速度与解析质量的自适应的网络协议解析策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610622452.2A CN106230825B (zh) 2016-08-01 2016-08-01 兼顾处理速度与解析质量的自适应的网络协议解析策略

Publications (2)

Publication Number Publication Date
CN106230825A CN106230825A (zh) 2016-12-14
CN106230825B true CN106230825B (zh) 2019-05-24

Family

ID=57536251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610622452.2A Active CN106230825B (zh) 2016-08-01 2016-08-01 兼顾处理速度与解析质量的自适应的网络协议解析策略

Country Status (1)

Country Link
CN (1) CN106230825B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937623A (zh) * 2006-10-18 2007-03-28 华为技术有限公司 一种控制网络业务的方法及系统
US7996374B1 (en) * 2008-03-28 2011-08-09 Symantec Corporation Method and apparatus for automatically correlating related incidents of policy violations
CN102148720A (zh) * 2010-11-22 2011-08-10 北京邮电大学 Ip多媒体子系统分布式拒绝服务脆弱性检测方法及系统
CN103326894A (zh) * 2013-05-29 2013-09-25 深信服网络科技（深圳）有限公司 Dns隧道检测的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937623A (zh) * 2006-10-18 2007-03-28 华为技术有限公司 一种控制网络业务的方法及系统
US7996374B1 (en) * 2008-03-28 2011-08-09 Symantec Corporation Method and apparatus for automatically correlating related incidents of policy violations
CN102148720A (zh) * 2010-11-22 2011-08-10 北京邮电大学 Ip多媒体子系统分布式拒绝服务脆弱性检测方法及系统
CN103326894A (zh) * 2013-05-29 2013-09-25 深信服网络科技（深圳）有限公司 Dns隧道检测的方法和装置

Also Published As

Publication number Publication date
CN106230825A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
US20220060555A1 (en) Accelerated network packet processing
CN107135049B (zh) 一种面向离散数据流的可靠异步通信方法
US20060251120A1 (en) Host ethernet adapter for networking offload in server environment
JP2001500680A (ja) 分類キーを利用したフレーム分類
CN106685827B (zh) 一种下行报文的转发方法及ap设备
JP4485529B2 (ja) 逆パターン・マッチングを用いたネットワーク・メッセージ処理
EP2747381A1 (en) Method, network card, host system and network device for implementing network card unloading function
CN103067281A (zh) 一种路由器快速转发方法及实施该方法的系统
US9225654B2 (en) Method and apparatus for sending packet
CN105743702B (zh) 一种goose报文的订阅识别方法
CN101699795B (zh) 一种报文拥塞处理方法及系统
US8990422B1 (en) TCP segmentation offload (TSO) using a hybrid approach of manipulating memory pointers and actual packet data
CN106230825B (zh) 兼顾处理速度与解析质量的自适应的网络协议解析策略
EP2466925B1 (en) Mms (multimedia messaging service) decoding method, mms decoder and mobile terminal
US20040120329A1 (en) SNMP management with a layer 2 bridge device
CN113132270B (zh) 基于虚拟交换机的多协议兼容的数据交互方法及装置
US20130329739A1 (en) Obtaining information from data items
CN112565105A (zh) 一种降低时间敏感帧转发时延的方法、装置及设备
CN101635721B (zh) 一种网络游戏业务操作指令处理系统及其处理方法
US9559857B2 (en) Preprocessing unit for network data
CN115866103A (zh) 一种报文处理方法、装置、智能网卡和服务器
CN109379342B (zh) 基于udp网络协议的上位机与dsp数据传输方法
CN112612670A (zh) 一种会话信息统计方法、装置、交换设备及存储介质
KR100637933B1 (ko) 가입자 액세스망 접속 장비에서의 패킷 포워딩 방법 및장치
CN106936824A (zh) Lldp邻居信息处理方法及lldp邻居信息处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant