CN104618304B - 数据处理方法及数据处理系统 - Google Patents

数据处理方法及数据处理系统 Download PDF

Info

Publication number
CN104618304B
CN104618304B CN201310535210.6A CN201310535210A CN104618304B CN 104618304 B CN104618304 B CN 104618304B CN 201310535210 A CN201310535210 A CN 201310535210A CN 104618304 B CN104618304 B CN 104618304B
Authority
CN
China
Prior art keywords
module
slave
data
characteristic
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310535210.6A
Other languages
English (en)
Other versions
CN104618304A (zh
Inventor
魏新喆
任泽全
孙晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN201310535210.6A priority Critical patent/CN104618304B/zh
Priority to US15/031,630 priority patent/US20160269428A1/en
Priority to EP14858882.5A priority patent/EP3063643A4/en
Priority to PCT/CN2014/089986 priority patent/WO2015062536A1/en
Publication of CN104618304A publication Critical patent/CN104618304A/zh
Application granted granted Critical
Publication of CN104618304B publication Critical patent/CN104618304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1013—Network architectures, gateways, control or user entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1063—Application servers providing network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Stored Programmes (AREA)

Abstract

本申请提供了数据处理方法及数据处理系统。本发明中，通过数据处理层模块中的客户端模块处理文件系统的访问，而不再是像现有技术中的网络设备通过本地的操作系统和原存储系统进行处理，这样可以将多个计算任务并发输出到多个对像存储模块上，同时，利用硬链接功能减少磁盘阻塞的可能性。

Description

数据处理方法及数据处理系统
技术领域
本申请涉及网络通信技术，特别涉及数据处理方法及数据处理系统。
背景技术
随着网络数据的爆炸式增长，目前，对于大多数网络设备而言，其在业务处理过程中，会因为网络数据的增多而出现网络资源不足的情况出现，比如出现CPU资源、存储资源不足的情况，这会导致网络设备的处理速度缓慢、甚至导致网络设备故障等情况。
下面以应用于入侵防御系统中的网络设备为例描述网络资源不足的情况。
通常入侵防御系统部署为在线(Inline)的工作模式，在数据传输的路径中，任何报文都必须经过其中的网络设备做检测，网络设备一旦发现有蠕虫、病毒、后门、木马、间谍软件、可疑代码、网络钓鱼等攻击行为，就会立即阻断攻击，隔离攻击源，屏蔽蠕虫、病毒和间谍软件等，同时记录日志告知网络管理员，这样就会预防病毒在网络中传播。图1具体示出了入侵防御系统对报文的处理流程图。
在图1所示的处理流程中，应用识别(UAAE)、深度检测(OCIF)两个处理操作大量占用网络设备的CPU资源，通过测试数据发现，UAAE、OCIF在运行时几乎占用了网络设备的所有CPU资源，这在目前入侵防御系统中计算的数据诸多的情况下，网络设备就会出现CPU资源不足的情况，无法满足入侵防御的需求，也会影响网络设备执行图1所示其他处理操作。
发明内容
本申请提供了数据处理方法及数据处理系统，以避免网络设备出现网络资源不足的情况。
本申请提供的技术方案包括：
一种数据处理系统，包括：
业务逻辑层模块，用于接收到任一网络设备转发的应用报文时，对所述应用报文的应用进行分类识别，并依据识别结果决策出对所述应用报文进行的处理操作；以及接收数据处理层模块反馈的处理结果，并依据处理结果决策出对应的处理操作；
数据处理层模块，包括单任务读/写(I/O)并发处理模块和检索模块；
其中，单任务I/O并发处理模块，用于用于在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；
检索模块，用于在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块。
一种数据处理方法，该方法应用于如上所述的数据处理系统，包括：
业务逻辑层模块接收任一网络设备转发的原本由该网络设备处理的应用报文；
所述业务逻辑层模块对所述应用报文的应用进行分类识别，并依据识别结果决策出对所述应用报文进行的处理操作；
数据处理层模块的单任务读/写(I/O)并发处理模块在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；
数据处理层模块的检索模块在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块；
业务逻辑层模块接收数据处理层模块反馈的处理结果，并依据处理结果继续决策出对应的处理操作。
由以上技术方案可以看出，本发明中，业务逻辑层模块能够对种类繁多的应用协议进行模型化，分类进行识别，同时在模型化识别的基础上进行智能决策，这能够提高数据处理精度；
进一步地，本发明中，通过单任务I/O并发处理模块能够实现单个任务并发执行，解决现有技术中单个任务无法并发执行的问题；
更进一步地，本发明中，通过将现有网络设备比较耗费CPU资源的检索模块移除出来，放至本发明提供的系统中执行，并且采用异构方式执行检索，这能够在任务层面实现I/O的并发，避免网络设备出现网络资源不足的情况。
附图说明
图1为现有入侵防御的流程图；
图2为本发明实施例提供的数据处理系统的结构图；
图3为本发明实施例提供的数据处理系统运行的硬件结构图；
图4为本发明实施例提供的数据处理系统的运行流程图；
图5为本发明实施例提供的单任务I/O并发处理模块的结构图；
图6为本发明实施例提供的检索模块的结构图；
图7为本发明实施例提供的特征匹配的实现流程图；
图8为本发明实施例提供的网络设备与本发明的数据处理系统相结合实现入侵防御的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
本发明提供了一种数据处理系统，其中，该系统可以运行在一台由若干个虚拟机构成的物理主机上，也可以运行在一组物理主机组成的集群设备上。
下面对本发明提供的数据处理系统进行描述：
参见图2，图2为本发明实施例提供的数据处理系统的结构图。如图2所示，所述数据处理系统包括：业务逻辑层模块和数据处理层模块。下面对业务逻辑层模块和数据处理层模块这两个模块进行描述：
业务逻辑层模块：
本发明中，业务逻辑层模块，其存储了预先设置的业务逻辑，比如预设的用于对应用报文的数据特征进行跟踪的具有状态的特征状态机，以及预先针对至少一种应用协议建立的应用协议模型化，该应用协议模型化能够方便业务逻辑层模块对后续收到的应用报文进行应用识别。
当然，业务逻辑层模块存储的业务逻辑还包括目前安全产品常用的逻辑，这里不再一一赘述。
本发明中，所述业务逻辑层模块用于接收任一网络设备转发的原本由该网络设备处理的应用报文，当接收到所述应用报文时，利用预先设置的应用协议模型对所述应用报文的应用进行分类识别，和/或，对所述应用报文的数据特征进行识别，并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪，以精确识别出所述应用报文的应用。
之后，所述业务逻辑层模块依据识别结果决策出对所述应用报文进行的处理操作，并通知数据处理层模块执行本业务逻辑层模块决策出的处理操作。反过来，业务逻辑层模块还会结合当前的应用环境对数据处理层模块执行完处理操作的结果进行分析，并依据分析结果继续决策出对应的处理操作，如果该处理操作需要数据处理层模块执行，则再通知数据处理层模块，而如果该处理操作需要网络设备执行，比如该处理操作为策略管理，其执行时占用的CPU资源比较少，则返回给网络设备执行。这能够提高数据处理精度。
作为本发明的一个实施例，本发明中，所述业务逻辑层模块接收到的来自所述网络设备的应用报文，是由所述网络设备依据所述应用报文本身的需求识别出针对该应用报文的处理满足设定条件时发送的。
优选地，所述设定条件包括但不限于：针对所述应用报文的处理占用所述网络设备的CPU资源大于设定阈值。这里，设定阈值可依据实际情况设置，其在设置时可考虑由网络设备将所有原由本设备处理的所有应用报文发送至本发明的数据处理系统，也可考虑由网络设备仅将原本由本设备处理的部分应用报文发送至本发明的数据处理系统，本发明并不具体限定。
优选地，本发明中，业务逻辑层模块内置统一的定义语言，为用户提供了可扩展、可升级的应用识别和行为识别能力。业务逻辑层的定义语言融合了协议定义、攻击特征定义、内容过滤特征定义、应用协议行为定义，能够很好地扩展各项功能。
以应用于入侵防御系统为例，由于应用识别UAAE执行时占用的网络设备的CPU资源比较大，以大于上述的设定阈值为例，则应用于本发明，当网络设备收到应用报文后，识别出该应用报文是用于入侵防御，则对该应用报文进行一些占用CPU资源远远小于设定阈值的处理，之后，将该处理后的应用报文发送至所述业务逻辑层模块。业务逻辑层模块收到应用报文后，在应用中识别攻击等特征行为，对应用报文的应用协议进行协议解析，然后决策出对应的处理操作为UAAE，并通知给数据处理层模块执行UAAE。反过来，业务逻辑层模块会结合当前的应用环境对数据处理层模块的UAAE结果进行分析，并继续智能决策出对应的处理操作，如果该处理操作需要数据处理层模块执行，则通知数据处理层模块，而如果该处理操作需要网络设备执行，比如该处理操作为策略管理，其执行时占用的CPU资源比较少，则返回给网络设备执行。这能够提高数据处理精度。
数据处理层模块：
数据处理层模块，其依赖于业务逻辑层模块决策出的处理操作执行，其中，数据处理层模块具体实现时可包括单任务读/写(I/O)并发处理模块和检索模块。
这里，单任务I/O并发处理模块，用于在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；
检索模块，用于在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块。
至此，完成图2所示系统的描述。
对应于图2所示的系统，优选地，本发明还提供了数据处理系统所运行的硬件结构描述。参见图3，图3为本发明实施例提供的数据处理系统所运行的硬件结构示意图。
本发明中，数据处理系统中的数据处理层模块可由多个系统节点组成的，具体是由主节点(Master)和至少一个数据节点(Slave)相结合的架构实现。图3所示的本发明提供的数据处理系统的硬件结构具体进行了示出。而数据处理层模块中的单任务I/O并发处理模块和检索模块就分布在图3所示的Master和至少一个Slave上，这在图3未示出，下文会通过图5、图6进行详细描述。
在本发明中，作为一个实施例，数据处理系统中的业务逻辑层模块可以集成在上述的Master上实现；而作为本发明另一实施例，数据处理系统中的业务逻辑层模块也可以通过一个单独的虚拟机作为上述Master的上游设备实现。图3以业务逻辑层模块作为Master的上游设备实现为例示出的。
需要说明的是，图3所示的Master和Salve之间，以及Slave与Slave之间采用硬链接的方式进行连接。
这里，所述Master与Slave之间采用硬链接的方式进行连接为：所述Master与Slave之间直接通信，不由第三方设备转发；
Slave与Slave之间采用硬链接的方式进行连接为：Slave与Slave之间直接通信，不由第三方设备转发。
本发明中，由于Master与Slave之间、Slave与Slave之间采用硬链接来替代现有技术常用的HTTP传输，这样能够保证单任务I/O并发处理，也能有效减少网络风暴，分散网络流量，减小出现网络瓶颈的可能性。
至此，完成本发明提供的数据处理系统所运行的硬件结构描述。
对应于图2所示的数据处理系统、以及图3所示的数据处理系统所运行的硬件结构，本发明提供了数据处理系统的运行流程图。
参见图4，图4为本发明实施例提供的数据处理系统的运行流程图。如图4所示，该流程可包括以下步骤：
步骤401，数据处理系统的业务逻辑层模块接收任一网络设备转发的原本由该网络设备处理的应用报文。
如上所述，这里，所述网络设备依据所述应用报文本身的需求识别出针对该应用报文的处理满足设定条件时发送至数据处理系统的。
优选地，所述设定条件包括但不限于：针对所述应用报文的处理占用所述网络设备的CPU资源大于设定阈值。这里，设定阈值可依据实际情况设置，其在设置时可考虑由网络设备将所有原由本设备处理的所有应用报文发送至本发明的数据处理系统，也可考虑由网络设备仅将原本由本设备处理的部分应用报文发送至本发明的数据处理系统，本发明并不具体限定。
步骤402，业务逻辑层模块对所述应用报文的应用进行分类识别，并依据识别结果决策出对所述应用报文进行的处理操作。
另外，本步骤402中，如上所述，业务逻辑层模块对所述应用报文的应用进行分类识别时，可利用预先针对至少一个应用协议建立的应用协议模型对所述应用报文的应用进行分类识别，和/或，对所述应用报文的数据特征进行识别，并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪，以精确识别出所述应用报文的应用。
步骤403，业务逻辑层模块在决策出的处理操作需要数据处理系统的数据处理层模块执行时，通知给数据处理系统的数据处理层模块，在决策出的处理操作需要网络设备执行时，通知给网络设备执行。
这里，由于在现有技术中网络设备执行所有的处理操作，如此，本发明中，当业务逻辑层模块决策出某一些处理操作需要网络设备执行时，其会通知给网络设备，由网络设备按照现有该处理操作对应的方式进行处理，这里不再具体描述，仅描述数据处理系统的数据处理层模块执行的操作。
步骤404，数据处理层模块的单任务I/O并发处理模块在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；数据处理层模块的检索模块在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块。
步骤405，业务逻辑层模块接收数据处理层模块反馈的处理结果，并依据处理结果决策出对应的处理操作，返回至步骤403。
至此，完成图4所示的流程。
通过上面图2至图4描述可以看出，本发明中，业务逻辑层模块能够对种类繁多的应用协议进行模型化，分类进行识别，同时在模型化识别的基础上进行智能决策，这能够提高数据处理精度；
进一步地，本发明中，通过单任务I/O并发处理模块能够实现单个任务并发执行，解决现有技术中单个任务无法并发执行的问题；
更进一步地，本发明中，通过将现有网络设备比较耗费CPU资源的检索模块移除出来，放至本发明提供的系统中执行，并且采用异构方式执行检索，这能够在任务层面实现I/O的并发，避免网络设备出现网络资源不足的情况。
下面对所述数据处理层模块包括的单任务I/O并发处理模块和检索模块进行详细描述；
其中，基于所述数据处理层模块采用一个Master和至少一个Slave相结合的架构，本发明中，所述单任务I/O并发处理模块包括：分布在所述Master上的存储管理平台、存储客户端Client；以及包括分布在每一Slave上的存储客户端、对象存储模块；图5示出了单任务I/O并发处理模块的具体结构。
在本发明中，存储管理平台，用于管理整个文件系统，具体功能如下：
负责向所处Master上的存储客户端提供整个文件系统的元数据，管理整个文件系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统的一致性。
在本发明中，Master上的存储客户端，用于同存储管理平台交互，以进行目录管理和命名空间管理等，并确定需要执行单任务I/O并发处理的数据。
在本发明中，Slave上存储客户端，用于提供文件系统的访问，并同对象存储模块进行文件数据的交互执行I/O并发处理，包括文件数据的读写、对象属性的改动等。
在本发明中，Slave上的对象存储模块，具有一定的智能和弹性，它有自己的CPU、内存、网络和磁盘系统，其功能如下：
数据存储；
智能和弹性分布；
对象元数据的管理。
作为本发明一个实施例，本发明中，对象存储模块是以对象为基本单位进行数据存储的。其中，所谓对象，其维护自己的属性，具有唯一的标识，其至少包含文件数据的一组属性的组合。其中，文件数据的一组属性可以基于文件的RAID参数、数据分布和服务质量等定义。以入侵防御应用来说，对象存储模块存储的对象为漏洞特征库、病毒特征库、协议特征库对应的属性。
本发明中，对象存储模块通过以对象为单位进行数据存储，能够简化存储管理任务，增加了灵活性。这里，对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。
本发明中，对象存储系统使用对象对对象所包含的元数据进行管理，它将数据存放到相关连的元数据存储模块比如磁盘，并且通过对象向外界提供数据的访问。将对象的元数据存放到与对象存储模块相关连的元数据存储模块上，能够大大减轻了文件系统管理模块的负担，增强了整个文件系统的并行访问性能和可扩展性。
基于上面描述的如本发明提供的如图3所示的单任务I/O并发处理模块，能够通过存储客户端处理I/O操作，而不是本地文件系统和存储系统，这样可以通过存储客户端将单个任务并发输出到多个对象存储模块上，减少磁盘阻塞的可能性。
至此，完成单任务I/O并发处理模块的描述。传统的数据处理方式是将多个作业分配到各个节点执行，实现工作级别的并发，但对于每个单独的任务，计算和I/O都是无并发的，当遇到一些任务对计算和I/O能力要求较高时，易产生系统瓶颈以及集群不稳定。而本发明中，通过上面描述的单任务I/O并发处理模块，能够实现单任务的I/O并发处理，减少磁盘阻塞的可能性。
检索模块：
本领域技术人员知道，数据检索过程是一个数据密集型计算过程，需要消耗大量的CPU资源，当数据量较小时，目前的网络设备是可以解决的；但是，当数据量很大时，由于资源的限制，得到一个检索结果需要很长时间。而当数据达到海量时，单纯凭借目前的网络设备资源已经远远不够处理所需。
为提高数据检索效率，本发明将原本由目前网络设备执行的数据检索放在独立于网络设备的数据处理系统来执行，即充分利用目前网络设备以外的资源进行分担网络设备CPU资源，从而提高网络设备资源利用率。
本发明中，基于图5所示的单任务I/O并发处理模块，如图6所示，所述检索模块可包括：
分布在Master上的作业调度管理模块、特征匹配模块、以及分布在各个Slave上的各个作业模块。
其中，当进行数据检索时，Master上的存储客户端提交检索作业至作业调度管理模块；
所述作业调度管理模块接收到检索作业，将所述检索作业调度分配至一个以上作业模块；
所述作业模块，接收所述作业调度管理模块的调度，并从对象存储模块中获取对应的特征数据；
特征匹配模块，用于对所述作业模块获取的所述特征数据进行映射化简运算得到最终的检索结果，并返回给所述网络设备。
本发明中，特征匹配模块采用映射(Map)和化简(Reduce)方式实现最终检索结果的检索，具体包括：映射模块和化简模块；
所述映射模块，用于将各个作业模块获取的特征数据进行分割，得到特征数据片段，按照负载均衡原则将分割得到的特征数据片段作为映射任务分发至各个作业模块；
所述作业模块读取接收的映射任务对应的特征数据片段，根据需求将读取的特征数据片段分解为一个个以键值Key/Value对形式存在的特征数据，并调用自定义的映射函数对每一Key/Value对进行处理，得到每一Key/Value对的中间Key/Value对并输出至化简模块；其中，特征数据的Key是以特征数据在读取的特征数据片段中偏移的距离，特征数据的Value就是特征数据；
化简模块，接收各个中间Key/Value对，对接收的各个中间Key/Value对进行分区，将各个中间Key/Value对中Key值相同的Value合并，得到合并Key/Value对，将得到的合并Key/Value对进行汇总、排序得到最终检索结果，并返回给所述网络设备。
对应于图6所示的特征匹配模块的实现结构，图7示出了特征匹配的实现流程图。在图7中，特征匹配的流程包括：
数据分割：所述特征匹配模块将各个作业模块从所述特征库存储模块中获取的特征数据进行分割，得到特征数据片段；
Map输入：所述特征匹配模块按照负载均衡原则将分割得到的特征数据片段作为映射(Map)任务分发或输入至各个作业模块；
Map输出、复制Map输出：所述作业模块读取接收的映射任务对应的特征数据片段，根据需求将读取的特征数据片段分解为一个个以键值Key/Value对形式存在的特征数据，并调用自定义的映射函数对每一Key/Value对进行处理，得到并复制每一Key/Value对的中间Key/Value对并输出至化简模块；其中，特征数据的Key是以特征数据在读取的特征数据片段中偏移的距离，特征数据的Value就是特征数据；
合并Key/Value对：所述特征匹配模块接收各个中间Key/Value对，对接收的各个中间Key/Value对进行分区，将各个中间Key/Value对中Key值相同的Value合并，得到合并Key/Value对；
Reduce输入：所述特征匹配模块将得到的合并Key/Value对进行汇总、排序得到最终检索结果；
Reduce输出：所述特征匹配模块将得到的最终检索结果返回给所述网络设备。
通过上面描述可以看出，本发明在实现数据检索时，运用大数据集群处理技术，结合目前网络设备中的检索技术，在大数据集群系统中通过计算处理框架，将应用的检索需求分配给集群中的“空闲”节点进行处理，从而解决高并发访问以及海量数据处理带来的实时性问题，并提供可靠的检索服务。
至此，完成图7所示的特征匹配的流程。
以上对本发明提供的数据处理系统和方法进行了描述。下面以应用于入侵防御为例对本发明提供的数据处理系统进行实例描述：
参见图8，图8为本发明提供的网络设备与本发明的数据处理系统相结合实现入侵防御的结构图。在入侵防御技术中，UAAE、OCIF两个操作在运行时几乎占用了网络设备的所有CPU资源，这会导致网络设备没有多余的CPU资源处理其他操作，影响其他业务进程的处理。
针对这种情况，本发明在目前网络设备的实现原理的基础上，将运行时占用CPU资源较高的UAAE、OCIF两个操作移出来，放到本发明中的数据处理系统中进行处理，具体如图8所示。
如图8所示，网络设备接收到应用于入侵防御的应用报文时，先执行如图8所示的初期处理所包含的各个步骤。其中，该图8所示的初期处理所包含的各个步骤为现有技术，这里不再一一赘述。
之后，当网络设备将执行完初期处理后的应用报文发送给图8所示本发明数据处理系统中的业务逻辑层模块。
业务逻辑层模块接收到经由网络设备初期处理的应用报文后，通过已建立的应用协议模型进行应用协议解析以进行应用识别UAAE。
进一步地，如图8所示，为精确执行UAAE，业务逻辑层模块还会对所述应用报文的数据特征进行识别，并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪，以精确执行UAAE。
同时，业务逻辑层模块还依赖UAAE结果对接收的应用报文进行智能决策。
一种决策结果是，业务逻辑层模块对应用报文直接执行OCIF，将执行完OCIF的应用报文发送给数据处理层模块；
另一种决策结果是：业务逻辑层模块直接将应用报文发送给数据处理层模块。图8分别示出了这两种决策结果。
当图8所示本发明数据处理系统中的数据处理层模块收到来自业务逻辑层模块发送的应用报文时，对该应用报文进行检索和/或单任务I/O并发处理。
在数据处理层模块对应用报文进行检索时，图8所示Master上的存储客户端提交检索作业至作业调度管理模块；
当作业调度管理模块接收到检索作业时，作业调度管理模块控制所述检索作业调度分配至一个以上作业模块；
作业模块接收所述作业调度管理模块的调度，并从所处Slave的对象存储模块中获取对应的特征数据；
特征匹配模块，用于对所述作业模块获取的所述特征数据进行映射化简运算得到最终的检索结果；
当数据处理层模块完成检索时，数据处理层模块会反馈检索的结果给业务逻辑层模块。
在数据处理层模块对应用报文进行单任务I/O并发处理时，图8所示Master上的存储客户端同存储管理平台交互以从存储管理平台确定需要执行所述I/O并发处理的文件数据对应的对象，将确定的对象发送给存储了所述对象的Slave上的存储客户端；
Slave上的存储客户端同本Slave上的对象存储模块交互执行I/O并发处理；其中，Slave上的对象存储模块，用于以对象为单位存储数据，而对象对应的文件的数据存储至对象存储模块相关联的元数据存储模块。
当数据处理层模块完成单任务I/O并发处理时，数据处理层模块会反馈结果给业务逻辑层模块。
当业务逻辑层模块收到数据处理层模块反馈的结果时，一种方式是直接对该反馈的结果进行智能决策。另一种方式是先对反馈的结果执行OCIF，之后对执行完OCIF的结果进行智能决策。
优选地，本发明中，业务逻辑层模块在对该反馈的结果进行智能决策时，或者在对执行完OCIF的结果进行智能决策时，会结合当前的应用环境分析进行智能决策，当决策出需要网络设备执行相应的操作时，会通知网络设备执行相应的操作，而当决策出需要数据处理层模块执行相应的操作时，会通知给数据处理层模块执行相应的操作。
至此，完成图8所示的结构描述。
由以上技术方案可以看出，本发明中，业务逻辑层模块能够对种类繁多的应用协议进行模型化，分类进行识别，同时在模型化识别的基础上进行智能决策，这能够提高数据处理精度；
并且，本发明中，客户端模块、文件系统管理模块和各个对象存储模块之间采用硬链接来替代现有技术常用的HTTP传输，在需要访问文件系统时通过客户端模块访问，可以有效减少网络风暴，分散网络流量，减小出现网络瓶颈的可能性；
还有，本发明中，通过数据处理层模块中的客户端模块处理文件系统的访问，而不再是像现有技术中的网络设备通过本地的操作系统和原存储系统进行处理，这样可以将多个计算任务并发输出到多个对像存储模块上，减少磁盘阻塞的可能性。
进一步地，本发明在进行特征数据检索时，本发明将原本由目前网络设备执行的数据检索放在独立于网络设备的数据处理系统来执行，即充分利用目前网络设备以外的资源进行分担网络设备CPU资源，从而提高网络设备资源利用率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种数据处理系统，其特征在于，所述数据处理系统包括：
业务逻辑层模块，用于接收到任一网络设备转发的应用报文时，对所述应用报文的应用进行分类识别，并依据识别结果决策出对所述应用报文进行的处理操作；以及接收数据处理层模块反馈的结果，并依据结果决策出对应的处理操作；
数据处理层模块，包括单任务读/写I/O并发处理模块和检索模块；
其中，单任务I/O并发处理模块，用于在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；
检索模块，用于在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块。
2.根据权利要求1所述的系统，其特征在于，
所述业务逻辑层模块接收的所述应用报文是由所述网络设备在所述应用报文对应的处理满足设定条件时发送的；
其中，所述设定条件为所述应用报文对应的处理占用所述网络设备的CPU资源大于设定阈值。
3.根据权利要求1所述的系统，其特征在于，所述业务逻辑层模块利用预先针对至少一个应用协议建立的应用协议模型对所述应用报文的应用进行分类识别，和/或，
所述业务逻辑层模块对所述应用报文的数据特征进行识别，并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪，以精确识别出所述应用报文的应用。
4.根据权利要求1所述的系统，其特征在于，所述数据处理层模块采用一个主节点Master和至少一个数据节点Slave相结合的架构实现；
所述单任务I/O并发处理模块包括：分布在所述Master上的存储管理平台、存储客户端Client；以及包括分布在每一Slave上的存储客户端、对象存储模块；
所述存储管理平台，用于管理整个文件系统；
所述Master上的存储客户端，用于同所述存储管理平台交互，确定需要执行单任务I/O并发处理的对象；
每一Slave上的存储客户端，用于提供文件系统的访问，并与对象存储模块进行文件数据的交互执行I/O并发处理；
每一Slave上的对象存储模块是以对象为基本单位进行数据存储，而对象对应的元数据存放于对象存储模块相关联的元数据存储模块上；
所述检索模块包括：分布在Master上的作业调度管理模块、特征匹配模块、以及分布在各个Slave上的各个作业模块；
Master上的存储客户端在进行数据检索时，提交检索作业至作业调度管理模块；
所述作业调度管理模块接收到检索作业，将所述检索作业调度分配至一个以上作业模块；
所述作业模块，接收所述作业调度管理模块的调度，并从对象存储模块中获取对应的特征数据；
特征匹配模块，用于对所述作业模块获取的所述特征数据进行映射化简运算得到最终的检索结果，并返回给所述网络设备。
5.根据权利要求4所述的系统，其特征在于，所述数据处理层模块中，Master与Slave之间、Slave与Slave之间采用硬链接的方式进行连接；
其中，所述Master与Slave之间采用硬链接的方式进行连接为：所述Master与Slave之间直接通信，不由第三方设备转发；
Slave与Slave之间采用硬链接的方式进行连接为：Slave与Slave之间直接通信，不由第三方设备转发。
6.根据权利要求4所述的系统，其特征在于，所述特征匹配模块包括：映射模块和化简模块；
所述映射模块，用于将各个作业模块获取的特征数据进行分割，得到特征数据片段，按照负载均衡原则将分割得到的特征数据片段作为映射任务分发至各个作业模块；
所述作业模块读取接收的映射任务对应的特征数据片段，根据需求将读取的特征数据片段分解为一个个以键值Key/Value对形式存在的特征数据，并调用自定义的映射函数对每一Key/Value对进行处理，得到每一Key/Value对的中间Key/Value对并输出至化简模块；其中，特征数据的Key是以特征数据在读取的特征数据片段中偏移的距离，特征数据的Value就是特征数据；
化简模块，接收各个中间Key/Value对，对接收的各个中间Key/Value对进行分区，将各个中间Key/Value对中Key值相同的Value合并，得到合并Key/Value对，将得到的合并Key/Value对进行汇总、排序得到最终检索结果，并返回给所述网络设备。
7.一种数据处理方法，其特征在于，该方法应用于如权利要求1至6任一所述的数据处理系统，包括：
业务逻辑层模块接收任一网络设备转发的原本由该网络设备处理的应用报文；
所述业务逻辑层模块对所述应用报文的应用进行分类识别，并依据识别结果决策出对所述应用报文进行的处理操作；
数据处理层模块的单任务读/写I/O并发处理模块在所述业务逻辑层模块决策出的处理操作为针对单任务的I/O处理操作时，控制单任务的I/O并发处理，并在执行完单任务的I/O并发处理后，会将最终的处理结果反馈给业务逻辑层模块；
数据处理层模块的检索模块在所述业务逻辑层模块决策出的处理操作为数据检索时，执行数据检索以找到最终的检索结果，并将最终的检索结果反馈给业务逻辑层模块；
业务逻辑层模块接收数据处理层模块反馈的结果，并依据结果继续决策出对应的处理操作。
8.根据权利要求7所述的方法，其特征在于，所述业务逻辑层模块接收的所述应用报文是由所述网络设备在所述应用报文对应的处理满足设定条件时发送的；
其中，所述设定条件为所述应用报文对应的处理占用所述网络设备的CPU资源大于设定阈值。
9.根据权利要求7所述的方法，其特征在于，所述业务逻辑层模块对所述应用报文的应用进行分类识别包括：
所述业务逻辑层模块利用预先针对至少一个应用协议建立的应用协议模型对所述应用报文的应用进行分类识别，和/或，
所述业务逻辑层模块对所述应用报文的数据特征进行识别，并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪，以精确识别出所述应用报文的应用。
10.根据权利要求7所述的方法，其特征在于，所述数据处理层模块采用一个主节点Master和至少一个数据节点Slave相结合的架构实现；
所述单任务I/O并发处理模块包括：分布在所述Master上的存储管理平台、存储客户端Client；以及包括分布在每一Slave上的存储客户端、对象存储模块；
所述单任务I/O并发处理模块控制单任务的I/O并发处理包括：
所述Master上的存储客户端同Master上的存储管理平台交互以从存储管理平台确定需要执行所述I/O并发处理的文件数据对应的对象，将确定的对象发送给存储了所述对象的Slave上的存储客户端；
Slave上的存储客户端同本Slave上的对象存储模块交互执行I/O并发处理；其中，Slave上的对象存储模块，用于以对象为单位存储数据，而对象对应的文件的数据存储至对象存储模块相关联的元数据存储模块；
所述检索模块包括：分布在Master上的作业调度管理模块、特征匹配模块、以及分布在各个Slave上的各个作业模块；所述检索模块执行数据检索包括：
Master上的存储客户端在进行数据检索时，提交检索作业至作业调度管理模块；
所述作业调度管理模块接收到检索作业，将所述检索作业调度分配至一个以上作业模块；
所述作业模块接收所述作业调度管理模块的调度，并从对象存储模块中获取对应的特征数据；
所述特征匹配模块对所述作业模块获取的所述特征数据进行映射化简运算得到最终的检索结果，并返回给所述网络设备。
11.根据权利要求10所述的方法，其特征在于，所述数据处理层模块中，Master与Slave之间、Slave与Slave之间采用硬链接的方式进行连接；
其中，所述Master与Slave之间采用硬链接的方式进行连接为：所述Master与Slave之间直接通信，不由第三方设备转发；
Slave与Slave之间采用硬链接的方式进行连接为：Slave与Slave之间直接通信，不由第三方设备转发。
12.根据权利要求10所述的方法，其特征在于，所述特征匹配模块对所述作业模块获取的所述特征数据进行映射化简运算得到最终的检索结果，并返回给所述网络设备包括：
将各个作业模块获取的特征数据进行分割，得到特征数据片段，按照负载均衡原则将分割得到的特征数据片段作为映射任务分发至各个作业模块，以由所述作业模块读取接收的映射任务对应的特征数据片段，根据需求将读取的特征数据片段分解为一个个以键值Key/Value对形式存在的特征数据，并调用自定义的映射函数对每一Key/Value对进行处理，得到每一Key/Value对的中间Key/Value对并输出至化简模块；其中，特征数据的Key是以特征数据在读取的特征数据片段中偏移的距离，特征数据的Value就是特征数据；
接收各个中间Key/Value对，对接收的各个中间Key/Value对进行分区，将各个中间Key/Value对中Key值相同的Value合并，得到合并Key/Value对，将得到的合并Key/Value对进行汇总、排序得到最终检索结果，并返回给所述网络设备。
CN201310535210.6A 2013-11-01 2013-11-01 数据处理方法及数据处理系统 Active CN104618304B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310535210.6A CN104618304B (zh) 2013-11-01 2013-11-01 数据处理方法及数据处理系统
US15/031,630 US20160269428A1 (en) 2013-11-01 2014-10-31 Data processing
EP14858882.5A EP3063643A4 (en) 2013-11-01 2014-10-31 Data processing
PCT/CN2014/089986 WO2015062536A1 (en) 2013-11-01 2014-10-31 Data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310535210.6A CN104618304B (zh) 2013-11-01 2013-11-01 数据处理方法及数据处理系统

Publications (2)

Publication Number Publication Date
CN104618304A CN104618304A (zh) 2015-05-13
CN104618304B true CN104618304B (zh) 2017-12-15

Family

ID=53003383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310535210.6A Active CN104618304B (zh) 2013-11-01 2013-11-01 数据处理方法及数据处理系统

Country Status (4)

Country Link
US (1) US20160269428A1 (zh)
EP (1) EP3063643A4 (zh)
CN (1) CN104618304B (zh)
WO (1) WO2015062536A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789587B (zh) * 2016-12-28 2021-05-18 国家计算机网络与信息安全管理中心 一种云计算环境下可靠消息的通信装置及方法
CN107526706B (zh) * 2017-08-04 2021-07-13 北京奇虎科技有限公司 一种分布式计算平台中的数据处理方法和装置
CN107920067B (zh) * 2017-11-10 2020-05-19 华中科技大学 一种主动对象存储系统上的入侵检测方法
CN108600173B (zh) * 2018-03-22 2020-09-25 中国南方电网有限责任公司超高压输电公司检修试验中心 一种具备加密安全性的分布式行波测距系统与方法
CN110163380B (zh) * 2018-04-28 2023-07-07 腾讯科技（深圳）有限公司 数据分析方法、模型训练方法、装置、设备及存储介质
CN109508231B (zh) * 2018-11-17 2020-09-18 中国人民解放军战略支援部队信息工程大学 异构多模处理器的等价体间的同步方法及装置
CN110362279B (zh) * 2019-08-08 2024-02-09 西安中飞航空测试技术发展有限公司 基于机载高速总线的数据实时处理与存储系统
CN110838952B (zh) * 2019-10-31 2023-02-07 深圳市高德信通信股份有限公司 一种网络流量监控管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376948A1 (en) * 2002-06-24 2004-01-02 Lucent Technologies Inc. Quality of service scheduling for packet switched data services
CN1677952A (zh) * 2004-03-30 2005-10-05 武汉烽火网络有限责任公司 线速分组并行转发方法和装置
US7864764B1 (en) * 2008-09-16 2011-01-04 Juniper Networks, Inc. Accelerated packet processing in a network acceleration device
CN102004674A (zh) * 2010-05-18 2011-04-06 卡巴斯基实验室封闭式股份公司 用于基于策略的适应性程序配置的系统及方法
WO2013116160A1 (en) * 2012-02-03 2013-08-08 Apple Inc. System and method for scheduling packet transmission on a client device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141705A (en) * 1998-06-12 2000-10-31 Microsoft Corporation System for querying a peripheral device to determine its processing capabilities and then offloading specific processing tasks from a host to the peripheral device when needed
US6631422B1 (en) * 1999-08-26 2003-10-07 International Business Machines Corporation Network adapter utilizing a hashing function for distributing packets to multiple processors for parallel processing
US7564847B2 (en) * 2004-12-13 2009-07-21 Intel Corporation Flow assignment
US7920478B2 (en) * 2008-05-08 2011-04-05 Nortel Networks Limited Network-aware adapter for applications
US9104482B2 (en) * 2009-12-11 2015-08-11 Hewlett-Packard Development Company, L.P. Differentiated storage QoS
CN102262557B (zh) * 2010-05-25 2015-01-21 运软网络科技(上海)有限公司 通过总线架构构建虚拟机监控器的方法及性能服务框架
US8792491B2 (en) * 2010-08-12 2014-07-29 Citrix Systems, Inc. Systems and methods for multi-level quality of service classification in an intermediary device
US9165011B2 (en) * 2011-09-30 2015-10-20 Oracle International Corporation Concurrent calculation of resource qualification and availability using text search
KR101672349B1 (ko) * 2011-12-27 2016-11-07 한국전자통신연구원 파일 클라우드 서비스 장치 및 방법
JP5980040B2 (ja) * 2012-08-10 2016-08-31 キヤノン株式会社 管理装置、管理装置の制御方法およびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376948A1 (en) * 2002-06-24 2004-01-02 Lucent Technologies Inc. Quality of service scheduling for packet switched data services
CN1677952A (zh) * 2004-03-30 2005-10-05 武汉烽火网络有限责任公司 线速分组并行转发方法和装置
US7864764B1 (en) * 2008-09-16 2011-01-04 Juniper Networks, Inc. Accelerated packet processing in a network acceleration device
CN102004674A (zh) * 2010-05-18 2011-04-06 卡巴斯基实验室封闭式股份公司 用于基于策略的适应性程序配置的系统及方法
WO2013116160A1 (en) * 2012-02-03 2013-08-08 Apple Inc. System and method for scheduling packet transmission on a client device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Hadoop平台的实体识别系统的研究与实现;毕玉龙;《中国优秀硕士学位论文全文数据库 信息科技辑（2012）》;20121115(第11期);全文 *

Also Published As

Publication number Publication date
EP3063643A4 (en) 2017-08-09
EP3063643A1 (en) 2016-09-07
CN104618304A (zh) 2015-05-13
WO2015062536A1 (en) 2015-05-07
US20160269428A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN104618304B (zh) 数据处理方法及数据处理系统
US8655805B2 (en) Method for classification of objects in a graph data stream
US10237295B2 (en) Automated event ID field analysis on heterogeneous logs
US9787706B1 (en) Modular architecture for analysis database
Xu et al. LogGP: A log-based dynamic graph partitioning method
Siddique et al. Apache Hama: An emerging bulk synchronous parallel computing framework for big data applications
US9992269B1 (en) Distributed complex event processing
US11546380B2 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
US10496645B1 (en) System and method for analysis of a database proxy
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
Kumar et al. Scalable intrusion detection systems log analysis using cloud computing infrastructure
JP7313382B2 (ja) 分散システムの頻繁パターン分析
CN113282630B (zh) 基于接口切换的数据查询方法及装置
Al-Masri et al. Crawling multiple UDDI business registries
WO2017019717A1 (en) Dynamic attachment delivery in emails for advanced malicious content filtering
EP3058481A1 (en) Acceleration based on cached flows
CN110147507A (zh) 一种获取短链接地址的方法、装置及服务器
Al-Shaikhly et al. Cloud security using Markov chain and genetic algorithm
Ting et al. Constructing a cloud computing based social networks data warehousing and analyzing system
Weigert et al. Mining large distributed log data in near real time
Nasir et al. Partial key grouping: Load-balanced partitioning of distributed streams
Poltavtseva et al. Data protection in heterogeneous big data systems
De Francisci et al. Scaling out all pairs similarity search with mapreduce
Sun et al. Key nodes discovery in large-scale logistics network based on MapReduce
Ruano‐Ordás et al. Using new scheduling heuristics based on resource consumption information for increasing throughput on rule‐based spam filtering systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Applicant after: Xinhua three Technology Co., Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Applicant before: Huasan Communication Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant