CN112380257A - 一种网络数据流锁定方法、终端设备及存储介质 - Google Patents
一种网络数据流锁定方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN112380257A CN112380257A CN202011347453.3A CN202011347453A CN112380257A CN 112380257 A CN112380257 A CN 112380257A CN 202011347453 A CN202011347453 A CN 202011347453A CN 112380257 A CN112380257 A CN 112380257A
- Authority
- CN
- China
- Prior art keywords
- rule
- data stream
- keywords
- keyword
- locking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种网络数据流锁定方法、终端设备及存储介质，该方法中包括：S1：配置网络数据流锁定的规则，并提取规则中的所有关键字，分别建立关键字与索引的映射关系和规则内容与规则序号的映射关系，其中规则内容通过规则中包含的所有关键字对应的索引进行表示；S2：接收数据流，并查找数据流的所有报文中包含的所有关键字；S3：根据数据流包含的所有关键字判断数据流是否锁定规则，如果是，进入S4；否则，返回S2；S4：按照锁定的规则对应的配置进行数据流输出。本发明将组合规则关键字映射为可查询索引，具有节省内存、提高效率、方便管理的有益效果。
Description
技术领域
本发明涉及网络通信领域，尤其涉及一种网络数据流锁定方法、终端设备及存储介质。
背景技术
分流系统是一种在通信网络中进行数据分流的系统。传统分流设备，只要根据数据的五元组信息(源地址、目的地址、源端口、目的端口、网络协议)进行汇聚和分流，在数据流表的实现上只需考虑流的输入输出信息，同一数据流里的报文间互不耦合，没有中间状态需要记录。
随着互联网技术的飞速发展，网络应用的高速增长，使用传统的数据流表方式，满足不了客户的大量规则配置的需求，且由于大量的遍历开销导致的性能瓶颈，为了增强分流设备的分流能力，有必要考虑更高效的流信息管理模式。
发明内容
为了解决上述问题，本发明提出了一种网络数据流锁定方法、终端设备及存储介质。
具体方案如下：
一种网络数据流锁定方法，包括以下步骤：
S1：配置网络数据流锁定的规则，并提取规则中的所有关键字，分别建立关键字与索引的映射关系和规则内容与规则序号的映射关系，其中规则内容通过规则中包含的所有关键字对应的索引进行表示；
S2：接收数据流，并查找数据流的所有报文中包含的所有关键字；
S3：根据数据流包含的所有关键字判断数据流是否命中规则，如果是，进入S4；否则，返回S2；
S4：按照命中的规则对应的配置进行数据流输出。
进一步的，数据流中关键字的查找方式为建立关键字命中表，将数据流的每条报文进行一一查找，当某条报文查找到关键字后，判断关键字命中表中是否包含该关键字，如果是，跳到下一条报文进行查找；否则，将该关键字添加至关键字命中表内，直到所有报文均查找完毕；判断数据流是否命中规则后，将关键字命中表清空。
进一步的，数据流是否命中规则的判断方法为：将提取的关键字对应的索引相互关联，生成有限状态机，通过有限状态机进行判定。
一种网络数据流锁定终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，将组合规则关键字映射为可查询索引，具有节省内存、提高效率、方便管理的有益效果。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中有限状态机的状态示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种网络数据流锁定方法，如图1所示，所述方法包括以下步骤：
S1：配置网络数据流锁定的规则，并提取规则中的所有关键字，分别建立关键字与索引的映射关系和规则内容与规则序号的映射关系，其中规则内容通过规则中包含的所有关键字对应的索引进行表示。
例如：用户配置的规则如下：
1、“aaa转发1口”；
2、“bbb转发2口”；
3、“ccc转发3口”；
4、“ddd&aaa转发4口”；
5、“bbb&eee&ddd转发5口”。
需要说明的是，“aaa转发至1口”表示所有含有“aaa”的数据流均输出至1物理口；包含两种关键字的规则为组合规则，“ddd&aaa转发4口”表示所有含有“ddd”和“aaa”的数据流均输出至1物理口，即一个数据流包含的多个报文中可能仅有一个报文同时包含“ddd”和“aaa”两个关键字，或有两个报文分别包含关键字“ddd”和“aaa”，则将该数据流的所有报文全部输出至4物理口。
则建立的关键字与索引的映射关系通过表1表示。
表1
| 索引 | 关键字 |
| 1 | “aaa” |
| 2 | “bbb” |
| 3 | “ccc” |
| 4 | “ddd” |
| 5 | “eee” |
建立的规则内容与规则序号的映射关系通过表2表示。
表2
| 规则序号 | 规则内容 |
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
| 4 | 1、4 |
| 5 | 2、4、5 |
S2：接收数据流，并查找数据流的所有报文中包含的所有关键字。
例如数据流中包含6个报文，报文中的原始数据内容分别如表3所示。
表3
| 报文顺序 | 原始数据内容 |
| 1 | “aa000” |
| 2 | “999999999999999999” |
| 3 | “444444444444444444” |
| 4 | “333bbb333” |
| 5 | “111eee222” |
| 6 | “555ddd555” |
经过查找后，得到的关键字分别为“bbb”、“ddd”、“eee”，其对应的索引(表1)分别为2、4、5。
该实施例中数据流中关键字的查找方式为建立关键字命中表，将数据流的每条报文进行一一查找，当某条报文查找到关键字后，判断关键字命中表中是否包含该关键字，如果是，跳到下一条报文进行查找；否则，将该关键字添加至关键字命中表内，直到所有报文均查找完毕。
S3：判断数据流是否命中规则。
命中规则即包含规则内容(表2)。将数据流中包含的所有关键字对应的索引组成的集合与规则内容与规则序号的映射关系进行对比，则能够判定是否命中。上述数据流中的三个关键字2、4、5命中了规则5，则判定该数据流命中了规则。
进一步的，由于配置规则数量庞大，逐条比对显然满足不了大压力情况下的数据分流。该实施例中将配置的关键字对应的索引相互关联，生成有限状态机，通过有限状态机进行快速的判定。该实施例中上述例子生成的有限状态机的状态如图2所示。
判断数据流是否命中规则后，将关键字命中表清空。
S4：按照命中的规则对应的配置进行数据流输出。
上述数据流中命中了规则5，规则5对应的配置为：“bbb&eee&ddd转发5口”，则将所有含有“bbb”、“eee”和“ddd”的数据流均输出至5物理口。
本发明实施例一将组合规则关键字映射为可查询索引，具有节省内存、提高效率、方便管理的有益效果。
实施例二：
本发明还提供一种网络数据流锁定终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述网络数据流锁定终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述网络数据流锁定终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述网络数据流锁定终端设备的组成结构仅仅是网络数据流锁定终端设备的示例，并不构成对网络数据流锁定终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述网络数据流锁定终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述网络数据流锁定终端设备的控制中心，利用各种接口和线路连接整个网络数据流锁定终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述网络数据流锁定终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述网络数据流锁定终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (5)
1.一种网络数据流锁定方法，其特征在于，包括以下步骤：
S1：配置网络数据流锁定的规则，并提取规则中的所有关键字，分别建立关键字与索引的映射关系和规则内容与规则序号的映射关系，其中规则内容通过规则中包含的所有关键字对应的索引进行表示；
S2：接收数据流，并查找数据流的所有报文中包含的所有关键字；
S3：根据数据流包含的所有关键字判断数据流是否锁定规则，如果是，进入S4；否则，返回S2；
S4：按照锁定的规则对应的配置进行数据流输出。
2.根据权利要求1所述的网络数据流锁定方法，其特征在于：数据流中关键字的查找方式为建立关键字锁定表，将数据流的每条报文进行一一查找，当某条报文查找到关键字后，判断关键字锁定表中是否包含该关键字，如果是，跳到下一条报文进行查找；否则，将该关键字添加至关键字锁定表内，直到所有报文均查找完毕；判断数据流是否锁定规则后，将关键字锁定表清空。
3.根据权利要求1所述的网络数据流锁定方法，其特征在于：数据流是否锁定规则的判断方法为：将提取的关键字对应的索引相互关联，生成有限状态机，通过有限状态机进行判定。
4.一种网络数据流锁定终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～3中任一所述方法的步骤。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～3中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347453.3A CN112380257A (zh) | 2020-11-26 | 2020-11-26 | 一种网络数据流锁定方法、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347453.3A CN112380257A (zh) | 2020-11-26 | 2020-11-26 | 一种网络数据流锁定方法、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380257A true CN112380257A (zh) | 2021-02-19 |
Family
ID=74588483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011347453.3A Pending CN112380257A (zh) | 2020-11-26 | 2020-11-26 | 一种网络数据流锁定方法、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380257A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286936A (zh) * | 2008-05-16 | 2008-10-15 | 华为技术有限公司 | 数据报文的处理方法及装置 |
| CN101848248A (zh) * | 2010-06-04 | 2010-09-29 | 华为技术有限公司 | 一种规则查找方法和装置 |
| CN103618733A (zh) * | 2013-12-06 | 2014-03-05 | 北京中创信测科技股份有限公司 | 一种应用于移动互联网的数据过滤系统及方法 |
| CN103778200A (zh) * | 2014-01-09 | 2014-05-07 | 中国科学院计算技术研究所 | 一种报文信息源抽取方法及其系统 |
| CN104579940A (zh) * | 2013-10-10 | 2015-04-29 | 杭州华三通信技术有限公司 | 查找访问控制列表的方法及装置 |
| CN106165359A (zh) * | 2014-10-17 | 2016-11-23 | 华为技术有限公司 | 数据流分发方法和设备 |
| CN107592306A (zh) * | 2017-09-08 | 2018-01-16 | 四川省绵阳太古软件有限公司 | 基于物联网环境大数据的信息安全监测管理方法及系统 |
-
2020
- 2020-11-26 CN CN202011347453.3A patent/CN112380257A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286936A (zh) * | 2008-05-16 | 2008-10-15 | 华为技术有限公司 | 数据报文的处理方法及装置 |
| CN101848248A (zh) * | 2010-06-04 | 2010-09-29 | 华为技术有限公司 | 一种规则查找方法和装置 |
| CN104579940A (zh) * | 2013-10-10 | 2015-04-29 | 杭州华三通信技术有限公司 | 查找访问控制列表的方法及装置 |
| CN103618733A (zh) * | 2013-12-06 | 2014-03-05 | 北京中创信测科技股份有限公司 | 一种应用于移动互联网的数据过滤系统及方法 |
| CN103778200A (zh) * | 2014-01-09 | 2014-05-07 | 中国科学院计算技术研究所 | 一种报文信息源抽取方法及其系统 |
| CN106165359A (zh) * | 2014-10-17 | 2016-11-23 | 华为技术有限公司 | 数据流分发方法和设备 |
| CN107592306A (zh) * | 2017-09-08 | 2018-01-16 | 四川省绵阳太古软件有限公司 | 基于物联网环境大数据的信息安全监测管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9077669B2 (en) | Efficient lookup methods for ternary content addressable memory and associated devices and systems | |
| CN108563796A (zh) | 区块链的数据压缩处理方法、装置及电子设备 | |
| US20120102055A1 (en) | Regular expression matching method and system, and searching device | |
| US20050018683A1 (en) | IP address storage technique for longest prefix match | |
| CN107368527B (zh) | 基于数据流的多属性索引方法 | |
| CN111988231B (zh) | 一种掩码五元组规则匹配的方法及装置 | |
| US9535702B2 (en) | Asset management device and method in a hardware platform | |
| US11068536B2 (en) | Method and apparatus for managing a document index | |
| CN111817978B (zh) | 一种流分类方法及装置 | |
| CN107085570A (zh) | 数据处理方法、应用服务器和路由器 | |
| CN101620623A (zh) | 内容可寻址存储器表项管理方法和装置 | |
| CN104025520A (zh) | 查找表的创建方法、查询方法、控制器、转发设备和系统 | |
| US20220231945A1 (en) | Message matching table lookup method, system, storage medium, and terminal | |
| CN112380257A (zh) | 一种网络数据流锁定方法、终端设备及存储介质 | |
| CN116032837A (zh) | 一种流表卸载方法及装置 | |
| CN113806803B (zh) | 一种数据存储方法、系统、终端设备及存储介质 | |
| CN111819552A (zh) | 访问控制列表的管理方法及装置 | |
| CN116263770A (zh) | 基于数据库的业务数据存储方法、装置、终端设备及介质 | |
| CN112261168A (zh) | 一种多ip端口段用户信息查找方法、终端设备及存储介质 | |
| Li et al. | Deterministic and efficient hash table lookup using discriminated vectors | |
| CN114547476A (zh) | 一种基于二部图的社区搜索方法、装置以及处理设备 | |
| CN112307272A (zh) | 确定对象之间关系信息的方法、装置、计算设备及存储介质 | |
| CN116600031B (zh) | 报文处理方法、装置、设备及存储介质 | |
| CN115996203B (zh) | 网络流量分域方法、装置、设备和存储介质 | |
| US6970878B1 (en) | Range optimization algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
| RJ01 | Rejection of invention patent application after publication |