CN114143259A - 一种海量网络数据处理方法及系统 - Google Patents

一种海量网络数据处理方法及系统 Download PDF

Info

Publication number
CN114143259A
CN114143259A CN202111416588.5A CN202111416588A CN114143259A CN 114143259 A CN114143259 A CN 114143259A CN 202111416588 A CN202111416588 A CN 202111416588A CN 114143259 A CN114143259 A CN 114143259A
Authority
CN
China
Prior art keywords
data packet
data
node
control node
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111416588.5A
Other languages
English (en)
Inventor
夏波
李进
黄正峰
叶朱兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Hui Construction Technology Co ltd
Original Assignee
China Hui Construction Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Hui Construction Technology Co ltd filed Critical China Hui Construction Technology Co ltd
Priority to CN202111416588.5A priority Critical patent/CN114143259A/zh
Publication of CN114143259A publication Critical patent/CN114143259A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种海量网络数据处理方法及系统，涉及网络数据处理技术领域，其包括接收第一个数据包，发送到对应的发送控制节点组成的发送数据节点；接收包含目的地地址的上述第一数据包，并决定目的地控制节点的发送控制节点；以及接收第一数据包，生成第二数据包和匹配策略规则的目的地控制节点。本发明的网络数据处理方法系统中节点间的协作操作性能得到了显著提高，网络设备中多节点处理的过剩执行大大减少，从而提高了海量网络数据及服务处理的效率。

Description

一种海量网络数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，具体涉及一种海量网络数据处理方法及系统。
背景技术
随着互联网时代的高速发展，人们的生活发生了巨大的变化，现代社会已经进入高科技时代，所有的办公环境及沟通交流都是通过电子产品，数据的产生速度及共享速度也成指数增长，从而导致数据量的剧增。但由于数据的来源及类型变得复杂多样性，数据量非常庞大，与传统的数据有很大的区别。在传统数据中，数据存储、处理及分析的数据量相对较少，可以采用关系型数据库和并行仓库处理，难以保证扩展性。在海量数据存在的大数据时代，由于大数据处理大量的非结构化数据，因此，其存储及处理与传统数据有很大的区别，同时也带来了极大的挑战。
发明内容
针对现有技术中的问题，本发明提供了一种海量网络数据处理方法及系统。
为了达到上述目的，本发明通过以下技术方案来实现的：
一种海量网络数据处理方法及系统，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据所述第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据所述第一数据包和匹配策略规则生成第二数据包的目的地控制节点；匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；
其中，发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据所述第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的所述第一数据包，并根据所述第一数据包的目的地地址决定所述目的地数据节点；如果所述发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；目的地控制节点为：接收所述第一数据包，并根据第一数据包的子图信息或第应用层信息，在策略规则中搜索其动作参数或策略参数。
进一步的，上述网络数据处理方法及系统还包括多个服务节点；依据搜索到的动作参数或策略参数，在一个以上的服务节点中，由具有动作参数或策略参数执行性能的一服务节点发送性能要求信息；所述服务节点由响应性能要求信息发送到目的地控制节点；所述目的地控制节点是根据性能响应信息生成第二数据包而额外组成的。
目的地控制节点由目的地地址的第二数据包追加组成，并将其发送到发送地数据节点；所述发送地数据节点在目的地控制节点的管理下，为对应所述第二数据包目的地地址的数据节点增加了第二数据包的发送。
进一步的，上述网络数据处理方法及系统还包括一个或多个的中继数据节点，所述目的地控制节点由管理每一个中继数据节点组成；中继数据节点用于存储数据包处理规则的流表。
目的地控制节点生成路由分散规则，并将所述路由分散规则添加到中继数据节点及发送地数据节点，所述路由分散规则用于分配第二数据包的路径；中继数据节点由所述目的地控制节点接收并发送路由目的地规则，并根据路由分散规则追加组成，以更新中继数据节点的流表；所述发送地数据节点根据更新的流表，由对应第二数据包目的地地址的中继数据节点追加组成；所述中继数据节点根据更新的流程表，由对应第二数据包目的地地址的目的地数据节点发送第二数据包组成。
进一步的，上述网络数据处理方法及系统还额外组成一发送地数据节点用于存储服务流数据包的子调度器信息以及对应于子调度器信息的处理规则的流表；所述目的地控制节点由额外的控制节点编号字段和服务参数字段组成，控制节点编号字段用于表示对应发送地数据节点的目的地控制节点的索引，所述服务参数字段用于表示对应服务流数据包子调度器信息处理结果的索引。
进一步的，上述网络数据处理方法及系统还额外组成一发送地数据节点接收第三个数据包，第三数据包和第一数据包均属于服务流数据包，对应第三数据包子图信息的处理规则与对应第一数据包子图信息的处理规则相同。
进一步的，发送地数据节点根据流程表，从与第三数据包的子调度器信息相匹配的处理规则记录中添加了对应于子调度器信息的服务参数，所述服务参数用于表示对第三数据包执行的动作参数或策略参数的索引；所述发送地数据节点在第三数据包中添加了服务参数，以将所述第三数据包发送到目的地控制节点；所述目的地控制节点根据第三数据包的服务参数及应用层信息，决定对第三数据包执行的动作参数或策略参数，以生成第四数据包。
进一步的，目的地控制节点由上述发送地数据节点的流表、对应上述第一数据包的服务参数字段和控制节点编号字段组成，控制节点编号字段用于表示对应上述发射机数据节点的目的地控制节点的索引，对应上述第一数据包的服务参数字段用于表示对应上述第一数据包子调度器信息的匹配策略规则的索引，对应上述第三数据包的服务参数是对应上述第一数据包子调度器信息的匹配策略规则的索引；
进一步的，发送地数据节点在第三数据包中添加了对应第一数据包子调度器信息的匹配策略规则的索引，以将第三数据包发送到目的地控制节点，所述目的地控制节点根据第一数据包的子图信息上第三数据包的应用层信息和对应匹配策略规则索引的匹配策略规则。
与现有技术相比，本发明具有如下的有益效果：
本发明的网络数据处理方法系统中节点间的协作操作性能得到了显著提高，网络设备中多节点处理的过剩执行大大减少，从而提高了海量网络数据及服务处理的效率。
具体实施方式
下面结合实施例对本发明的具体实施方式作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
一种海量网络数据处理方法及系统，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据第一数据包和匹配策略规则生成第二数据包的目的地控制节点；匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；
其中，发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的第一数据包，并根据第一数据包的目的地地址决定目的地数据节点；如果发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；目的地控制节点为：接收第一数据包，并根据第一数据包的子图信息或第应用层信息，在策略规则中搜索其动作参数或策略参数。
实施例2
基于上述实施例1，上述网络数据处理方法及系统还包括多个服务节点；依据搜索到的动作参数或策略参数，在一个以上的服务节点中，由具有动作参数或策略参数执行性能的一服务节点发送性能要求信息；服务节点由响应性能要求信息发送到目的地控制节点；目的地控制节点是根据性能响应信息生成第二数据包而额外组成的。
目的地控制节点由目的地地址的第二数据包追加组成，并将其发送到发送地数据节点；发送地数据节点在目的地控制节点的管理下，为对应第二数据包目的地地址的数据节点增加了第二数据包的发送。
实施例3
基于上述实施例2，上述网络数据处理方法及系统还包括一个或多个的中继数据节点，目的地控制节点由管理每一个中继数据节点组成；中继数据节点用于存储数据包处理规则的流表。目的地控制节点生成路由分散规则，并将路由分散规则添加到中继数据节点及发送地数据节点，路由分散规则用于分配第二数据包的路径；中继数据节点由目的地控制节点接收并发送路由目的地规则，并根据路由分散规则追加组成，以更新中继数据节点的流表；发送地数据节点根据更新的流表，由对应第二数据包目的地地址的中继数据节点追加组成；中继数据节点根据更新的流程表，由对应第二数据包目的地地址的目的地数据节点发送第二数据包组成。
实施例4
基于上述实施例3，上述网络数据处理方法及系统还额外组成一发送地数据节点用于存储服务流数据包的子调度器信息以及对应于子调度器信息的处理规则的流表；目的地控制节点由额外的控制节点编号字段和服务参数字段组成，控制节点编号字段用于表示对应发送地数据节点的目的地控制节点的索引，服务参数字段用于表示对应服务流数据包子调度器信息处理结果的索引。
实施例5
基于上述实施例4，上述网络数据处理方法及系统还额外组成一发送地数据节点接收第三个数据包，第三数据包和第一数据包均属于服务流数据包，对应第三数据包子图信息的处理规则与对应第一数据包子图信息的处理规则相同。
发送地数据节点根据流程表，从与第三数据包的子调度器信息相匹配的处理规则记录中添加了对应于子调度器信息的服务参数，服务参数用于表示对第三数据包执行的动作参数或策略参数的索引；发送地数据节点在第三数据包中添加了服务参数，以将第三数据包发送到目的地控制节点；目的地控制节点根据第三数据包的服务参数及应用层信息，决定对第三数据包执行的动作参数或策略参数，以生成第四数据包。
目的地控制节点由上述发送地数据节点的流表、对应上述第一数据包的服务参数字段和控制节点编号字段组成，控制节点编号字段用于表示对应上述发射机数据节点的目的地控制节点的索引，对应上述第一数据包的服务参数字段用于表示对应上述第一数据包子调度器信息的匹配策略规则的索引，对应上述第三数据包的服务参数是对应上述第一数据包子调度器信息的匹配策略规则的索引；
发送地数据节点在第三数据包中添加了对应第一数据包子调度器信息的匹配策略规则的索引，以将第三数据包发送到目的地控制节点，目的地控制节点根据第一数据包的子图信息上第三数据包的应用层信息和对应匹配策略规则索引的匹配策略规则。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种海量网络数据处理方法及系统，其特征在于，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据所述第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据所述第一数据包和匹配策略规则生成第二数据包的目的地控制节点；
所述匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；
其中，所述发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据所述第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；
所述发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的所述第一数据包，并根据所述第一数据包的目的地地址决定所述目的地数据节点；如果所述发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；
所述目的地控制节点为：接收所述第一数据包，并根据第一数据包的子图信息或第应用层信息，在策略规则中搜索其动作参数或策略参数。
2.根据权利要求1所述的海量网络数据处理方法及系统，其特征在于，还包括多个服务节点；依据搜索到的动作参数或策略参数，在一个以上的服务节点中，由具有动作参数或策略参数执行性能的一服务节点发送性能要求信息；所述服务节点由响应性能要求信息发送到目的地控制节点；所述目的地控制节点是根据性能响应信息生成第二数据包而额外组成的。
3.根据权利要求2所述的海量网络数据处理方法及系统，其特征在于，所述目的地控制节点由目的地地址的第二数据包追加组成，并将其发送到发送地数据节点；所述发送地数据节点在目的地控制节点的管理下，为对应所述第二数据包目的地地址的数据节点增加了第二数据包的发送。
4.根据权利要求3所述的海量网络数据处理方法及系统，其特征在于，还包括一个或多个的中继数据节点，所述目的地控制节点由管理每一个中继数据节点组成；中继数据节点用于存储数据包处理规则的流表。
5.根据权利要求4所述的海量网络数据处理方法及系统，其特征在于，所述目的地控制节点生成路由分散规则，并将所述路由分散规则添加到中继数据节点及发送地数据节点，所述路由分散规则用于分配第二数据包的路径；中继数据节点由所述目的地控制节点接收并发送路由目的地规则，并根据路由分散规则追加组成，以更新中继数据节点的流表；所述发送地数据节点根据更新的流表，由对应第二数据包目的地地址的中继数据节点追加组成；所述中继数据节点根据更新的流程表，由对应第二数据包目的地地址的目的地数据节点发送第二数据包组成。
6.根据权利要求5所述的海量网络数据处理方法及系统，其特征在于，额外组成一发送地数据节点用于存储服务流数据包的子调度器信息以及对应于子调度器信息的处理规则的流表；所述目的地控制节点由额外的控制节点编号字段和服务参数字段组成，控制节点编号字段用于表示对应发送地数据节点的目的地控制节点的索引，所述服务参数字段用于表示对应服务流数据包子调度器信息处理结果的索引。
7.根据权利要求6所述的海量网络数据处理方法及系统，其特征在于，额外组成一发送地数据节点接收第三个数据包，第三数据包和第一数据包均属于服务流数据包，对应第三数据包子图信息的处理规则与对应第一数据包子图信息的处理规则相同。
8.根据权利要求7所述的海量网络数据处理方法及系统，其特征在于，所述发送地数据节点根据流程表，从与第三数据包的子调度器信息相匹配的处理规则记录中添加了对应于子调度器信息的服务参数，所述服务参数用于表示对第三数据包执行的动作参数或策略参数的索引；所述发送地数据节点在第三数据包中添加了服务参数，以将所述第三数据包发送到目的地控制节点；所述目的地控制节点根据第三数据包的服务参数及应用层信息，决定对第三数据包执行的动作参数或策略参数，以生成第四数据包。
9.根据权利要求8所述的海量网络数据处理方法及系统，其特征在于，所述目的地控制节点由所述发送地数据节点的流表、对应所述第一数据包的服务参数字段和控制节点编号字段组成，控制节点编号字段用于表示对应所述发射机数据节点的目的地控制节点的索引，对应所述第一数据包的服务参数字段用于表示对应所述第一数据包子调度器信息的匹配策略规则的索引，对应所述第三数据包的服务参数是对应所述第一数据包子调度器信息的匹配策略规则的索引。
10.根据权利要求9所述的海量网络数据处理方法及系统，其特征在于，所述发送地数据节点在第三数据包中添加了对应第一数据包子调度器信息的匹配策略规则的索引，以将第三数据包发送到目的地控制节点，所述目的地控制节点根据第一数据包的子图信息上第三数据包的应用层信息和对应匹配策略规则索引的匹配策略规则。
CN202111416588.5A 2021-11-26 2021-11-26 一种海量网络数据处理方法及系统 Pending CN114143259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111416588.5A CN114143259A (zh) 2021-11-26 2021-11-26 一种海量网络数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111416588.5A CN114143259A (zh) 2021-11-26 2021-11-26 一种海量网络数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN114143259A true CN114143259A (zh) 2022-03-04

Family

ID=80387763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111416588.5A Pending CN114143259A (zh) 2021-11-26 2021-11-26 一种海量网络数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN114143259A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714628A (zh) * 2010-01-05 2012-10-03 日本电气株式会社 通信系统、控制装置、处理规则设置方法、分组传输方法和程序
CN103051629A (zh) * 2012-12-24 2013-04-17 华为技术有限公司 一种基于软件定义网络中数据处理的系统、方法和节点
US20170339109A1 (en) * 2015-07-29 2017-11-23 Shenyang Institute Of Automation, Chinese Academy Of Sciences Method for controlling transmission security of industrial communications flow based on sdn architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714628A (zh) * 2010-01-05 2012-10-03 日本电气株式会社 通信系统、控制装置、处理规则设置方法、分组传输方法和程序
CN103051629A (zh) * 2012-12-24 2013-04-17 华为技术有限公司 一种基于软件定义网络中数据处理的系统、方法和节点
CN106170024A (zh) * 2012-12-24 2016-11-30 华为技术有限公司 一种基于软件定义网络中数据处理的系统、方法和节点
US20170339109A1 (en) * 2015-07-29 2017-11-23 Shenyang Institute Of Automation, Chinese Academy Of Sciences Method for controlling transmission security of industrial communications flow based on sdn architecture

Similar Documents

Publication Publication Date Title
US10554555B2 (en) Hash-based overlay routing architecture for information centric networks
US9110884B2 (en) Message publishing and subscribing method and apparatus
US10277481B2 (en) Stateless forwarding in information centric networks with bloom filters
CN102035735A (zh) 用于提供转发信息和服务质量信息的设备和方法
US10956501B2 (en) Network-wide, location-independent object identifiers for high-performance distributed graph databases
US8615015B1 (en) Apparatus, systems and methods for aggregate routes within a communications network
Hou et al. Bloom-filter-based request node collaboration caching for named data networking
CN111786857B (zh) 基于分布式的网络资产主动探测方法及系统
JP7202558B1 (ja) ヒューマンサイバーフィジカル融合環境におけるデジタルオブジェクトアクセス方法及びシステム
WO2021017907A1 (zh) 一种优化的微服务间通信的方法及装置
CN111611348A (zh) 一种基于学习布隆过滤器的icn网络信息名字查找方法
CN104252504B (zh) 数据查询方法、设备和系统
CN111200542B (zh) 一种基于确定性替换策略的网络流量管理方法及系统
CN107528794B (zh) 一种数据处理方法和装置
CN114143259A (zh) 一种海量网络数据处理方法及系统
CN115865844B (zh) 基于sdn与ndn的虚实结合动态流量调度方法及装置
US10541914B2 (en) Data packet forwarding method and network device
CN114401199A (zh) 一种层次化的网络能力模型
CN102572602B (zh) 在p2p直播流系统中基于dht的分布式索引实现方法
Zhang et al. Search mechanism for data contents based on bloom filter and tree hybrid structure in system wide information management
CN111262785A (zh) 一种命名数据网络中的多属性概率缓存方法
Tran et al. Iot data discovery: Routing table and summarization techniques
CN111917658B (zh) 一种命名数据网络下基于分组的隐私保护协作缓存方法
CN115065602B (zh) 分布式系统网元控制方法及其装置
Cui et al. NSTN: Name-based smart tracking for network status in information-centric internet of things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220304