CN111327604B - 数据处理系统及其方法 - Google Patents

数据处理系统及其方法 Download PDF

Info

Publication number
CN111327604B
CN111327604B CN202010072975.0A CN202010072975A CN111327604B CN 111327604 B CN111327604 B CN 111327604B CN 202010072975 A CN202010072975 A CN 202010072975A CN 111327604 B CN111327604 B CN 111327604B
Authority
CN
China
Prior art keywords
processing
data
identification
strategy
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010072975.0A
Other languages
English (en)
Other versions
CN111327604A (zh
Inventor
刘昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ticomm Information Technology Co ltd
Original Assignee
Shenzhen Ticomm Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ticomm Information Technology Co ltd filed Critical Shenzhen Ticomm Information Technology Co ltd
Priority to CN202010072975.0A priority Critical patent/CN111327604B/zh
Publication of CN111327604A publication Critical patent/CN111327604A/zh
Application granted granted Critical
Publication of CN111327604B publication Critical patent/CN111327604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Hardware Redundancy (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理系统,所述数据处理系统包括:控制设备,用于编制第一识别策略以及第一处理策略;与所述控制设备连接的一个或多个边缘设备,用于根据所述控制设备发送的第一识别策略以及第一处理策略对流经所述边缘设备的数据进行第一识别以及第一处理,其中,所述第一处理包括数据的安全处理。本发明还公开一种数据处理方法。本发明避免不安全的数据流入或流出终端、提升流入或流出终端数据的服务质量、且能够对数据进行数据服务等级对应的处理。

Description

数据处理系统及其方法
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理系统及其方法。
背景技术
随着网络设备的普及,联网浏览资讯已成为人们日常生活必不可少的娱乐活动。
现有技术,网络中的数据并未进行识别以及控制,使得不安全的数据流入或流出终端,也即使得终端流入或流出不安全的数据。
发明内容
本发明的主要目的在于提供一种数据处理系统及其方法,旨在解决终端流入或流出不安全的数据的问题。
为实现上述目的,本发明提供的一种数据处理系统,所述数据处理系统包括:
控制设备,用于编制第一识别策略以及第一处理策略;
与所述控制设备连接的一个或多个边缘设备,用于根据所述控制设备发送的第一识别策略以及第一处理策略对流经所述边缘设备的数据进行第一识别以及第一处理,其中,所述第一处理包括数据的安全处理。
在一实施例中,所述控制设备还用于编制第二识别策略以及第二处理策略,所述数据处理系统还包括一个或多个集中处理设备,所述集中处理设备分别与所述控制设备以及所述边缘设备连接;所述集中处理设备,用于根据所述控制设备发送的第二识别策略以及第二处理策略对流经所述集中处理设备的数据进行第二识别以及第二处理。
在一实施例中,所述控制设备获取编制信息,根据所述编制信息编制第一识别策略、第二识别策略、第一处理策略以及第二处理策略,所述编制信息包括所述边缘设备的环境信息、所述集中处理设备的环境信息、用户对数据的配置信息、以及应用识别信息中的至少一种。
在一实施例中,所述第一处理包括数据的服务质量处理及/或数据的服务等级处理;所述第二处理包括数据的安全处理、数据的服务质量处理及/或数据的服务等级处理。
为实现上述目的,本发明还提供一种数据处理方法,应用于数据处理系统,所述数据处理系统包括一个或多个边缘设备,所述数据处理方法包括以下步骤:
在检测到数据传输至所述边缘设备时,控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数;
在所述第一参数满足第一处理条件时,控制所述边缘设备采用第一处理策略对所述数据进行第一处理,其中,所述第一处理包括数据的安全处理。
在一实施例中,所述数据处理系统包括还包括一个或多个集中处理设备,所述集中处理设备与所述边缘设备连接,所述数据处理方法,还包括:
在检测到数据传输至所述集中处理设备时,控制所述集中处理设备采用第二识别策略对所述数据进行识别得到所述数据的第二参数;
在所述第二参数满足第二处理条件时,控制所述集中处理设备采用第二处理策略对所述数据进行第二处理。
在一实施例中,所述集中处理设备连接一个或多个应用服务器,所述边缘设备连接一个或多个用户设备,所述数据处理方法,还包括:
在所述集中处理设备接收到所述应用服务器传输的数据时,确定所述应用服务器传输的数据的第一用户设备,并判断所述集中处理设备是否设有所述第一用户设备对应的第二识别策略以及第二处理策略;
在所述集中处理设备未设有所述第一用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述边缘设备,以供所述边缘设备对所述数据进行第一识别以及第一处理;
在所述集中处理设备设有所述第一用户设备对应的第二识别策略以及第二处理策略,所述集中处理设备对所述数据进行第二识别以及第二处理。
在一实施例中,所述数据处理方法,还包括:
在所述边缘设备对所述数据进行第一处理后,确定传输数据的第二用户设备,并判断所述集中处理设备是否设有所述第二用户设备对应的第二识别策略以及第二处理策略;
在所述集中处理设备未设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至应用服务器;
在所述集中处理设备设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述集中处理设备,以供所述集中处理设备对所述数据进行第二识别以及第二处理。
在一实施例中,所述数据处理系统还包括控制设备,所述控制设备分别与所述集中处理设备以及所述边缘设备连接,所述控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数的步骤之前,还包括:
获取编制信息,其中,所述编制信息包括所述边缘设备的环境信息、所述集中处理设备的环境信息、用户对数据的配置信息、以及应用识别信息中的至少一种;
控制所述控制设备根据所述编制信息编制第一识别策略、第二识别策略、第一处理策略以及第二处理策略;
控制所述控制设备将所述第一识别策略以及所述第一处理策略发送至所述边缘设备,且控制所述控制设备将所述第二识别策略以及所述第二处理策略发送至所述集中处理设备。
在一实施例中,所述第一处理包括对数据的服务质量处理及/或对数据的服务等级处理;所述第二处理包括数据的安全处理、数据的服务质量处理及/或数据的服务等级处理。
本发明提供的数据处理系统和方法,数据处理系统包括控制设备以及与控制设备连接的一个或多个边缘设备,边缘设备中存储有控制设备发送的第一识别策略以及第一处理策略,使得边缘设备根据第一识别策略识别传输至边缘设备的数据的参数,并在参数满足处理条件时,对数据进行安全处理以保证数据的安全性,也即边缘设备输出的数据为安全的,从而避免终端流出或流入不安全的数据。
附图说明
图1为本发明实施例涉及的数据处理系统的一结构示意图;
图2为本发明实施例控制设备的结构示意图;
图3为图2中控制中心模块110的结构示意图;
图4为本发明实施例边缘设备的结构示意图;
图5为本发明实施例数据处理系统的另一结构示意图;
图6为本发明实施例集中处理设备的结构示意图;
图7为本发明数据处理方法第一实施例的流程示意图;
图8为本发明数据处理方法第二实施例的流程示意图;
图9为本发明数据处理方法第三实施例的流程示意图;
图10为本发明数据处理方法第四实施例的流程示意图;
图11为本发明数据处理方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据处理系统。
参照图1,数据处理系统包括控制设备100以及多个边缘设备200,控制设备100分别与各个边缘设备200连接。
控制设备100可编制第一识别策略以及第一处理策略,并将编制的第一识别策略以及第一处理策略发送至边缘设备200内。不同的边缘设备连接不同的网络分支,不同的网络分支对应不同的用户设备,用户设备可为PC、移动终端等。因此,控制设备100可根据用户设备的需求编制第一识别策略以及第一处理策略,并将第一识别策略以及第一处理策略发送至该用户设备对应的边缘设备200,使得边缘设备200保存并执行该用户设备对应的第一识别策略以及第一处理策略。
需要说明的是,边缘设备需要在控制设备上进行数据处理注册,控制设备通过同边缘设备的信息交互(可以使双向认证和鉴权),使得边缘设备注册到控制设备上,且控制设备获取注册后的边缘设备的设备标识以及边缘设备的环境信息、边缘设备所归属的用户的Profile信息。在边缘设备完成注册后,当该边缘设备对应的用户的管理员或者更高一级的管理员在控制设备上完成数据配置策略后,数据配置策略即为配置信息,控制设备即可根据配置信息为边缘设备配置第一识别策略以及第一处理策略。第一识别策略指的是识别数据的某些参数,而第一处理策略包括但不限于对数据进行安全性处理,例如,第一处理策略还包括对数据的服务等级处理以及服务质量处理。不同类型的数据对应的服务质量不同,例如,数据为话音数据,则需保障话音数据的低延迟,即使得话音数据尽快传输减少缓存时间,话音数据的低延迟处理即为服务质量处理的一种;又例如,数据为视频数据(例如VoD),此种视频数据允许延迟,但需控制视频数据的丢包率,丢包可能导致视频的马赛克,对视频数据的丢包补偿处理即为服务质量处理。服务等级指的是不同的用户的处理等级不同,假设A用户的服务等级高于B用户的服务等级,则对流入A用户的终端的话音数据的延迟时间控制要更优于B用户,而对流入B用户的终端的话音的数据如果遇到了同A用户的话音数据的冲突,则应优先处理A用户的话音数据,也即服务等级的处理与服务质量的处理相关。当然,服务等级的处理可独立进行,而无需依附服务质量的处理,例如,对服务等级较高的用户的各种数据全面优先于服务等级较低的用户的数据。
控制设备还可收集边缘设备的环境信息。环境信息包括这些设备本身的设备能力信息以及与设备连接的网络的网络信息,设备能力信息包括但不限于设备端口的总带宽、设备端口已用的带宽、设备的系统资源占用、设备的挂载模块的能力以及MUT等。网络信息包括但不限于设备所连接的网络链路的延迟、丢包、抖动、包尺寸统计等。控制设备可根据环境信息以及用户配置信息为用户设备对应的边缘设备配置第一识别策略以及第一处理策略。当然,控制设备可仅根据环境信息为用户设备对应的边缘设备配置第一识别策略以及第一处理策略。
进一步的,控制设备还可获取应用识别信息,应用识别信息包括但不限于IP地址信息、应用信息、访问网站URL信息以及邮件协议等信息。例如,应用识别信息包括用户设备访问的网站、邮件协议(POP3/SMTP等)、微博的内容、视频、语音等。控制设备可以根据应用识别信息确定应用的类型,从而为不同的类型的应用编制第一识别策略以及第一处理策略,也即边缘设备中存储有不同应用对应的第一识别策略以及第一处理策略。当然,控制设备可以根据环境信息、应用识别信息以及配置信息中的至少一种为边缘设备编制第一识别策略以及第一处理策略。
在本实施例中,数据处理系统包括控制设备以及与控制设备连接的一个或多个边缘设备,边缘设备中存储有控制设备发送的第一识别策略以及第一处理策略,使得边缘设备根据第一识别策略识别传输至边缘设备的数据的参数,并在参数满足处理条件时,对数据进行安全处理处理以增大数据的安全性,也即边缘设备输出的数据为安全,从而避免网络向用户终端输入不安全、低价值的数据,同样的在安全处理以外也可以进行服务等级处理以及服务质量等级的处理。
进一步的,参照图2以及图3。图2为控制设备的结构示意图,控制设备100包括应用识别控制中心模块110。图3为应用识别控制中心模块的结构示意图。应用识别控制中心模块110包括应用识别编排单元111、应用控制编排单元112、环境信息接口单元113、用户及策略接口单元114、应用识别控制单元115、设备管理单元116。
其中,应用识别编排单元111根据应用识别控制单元115分配的识别编排任务编制第一识别策略,并将第一识别策略发送至边缘设备200。需要说明的是,应用识别编排单元111可以输出第一识别策略给边缘设备,边缘设备使用所述第一识别策略识别网络流量的应用识别信息后,上报给应用识别控制单元115,应用识别控制单元115可以根据该上报的应用识别信息进行调整,并将调整的应用识别信息输出给应用识别编排单元111的识别编排任务。特别的,当初次运行时,边缘设备未使用第一识别策略对网络流量仅识别得到应用识别信息,也即应用识别控制单元115在没有获得应用识别信息的情况下,可以根据用户及策略接口单元114获得的用户(管理员)基本配置和策略信息发送初始化的识别编排任务给应用识别编排单元111,使得应用识别控制单元115从应用识别编排单元111获取应用识别信息。
应用控制编排单元112根据应用识别控制单元115分配的控制编排任务编制第一处理策略,并将第一处理策略发送至边缘设备200。
环境信息接口单元113用于获取环境信息,环境信息可为边缘设备的环境信息和集中处理设备的环境信息。环境信息包括这些设备的设备本身的信息以及其所连接的网络的信息,设备信息包括但不限于设备传输数据的总带宽、设备传输数据已用的带宽、设备的系统资源占用、设备的挂载模块的能力以及设备的具备的功能和配置,例如MTU(最大传输单元,Maximum Transmission Unit)等。网络信息包括但不限于其所连接网络的延迟、丢包、抖动、包尺寸统计等。
用户及策略接口单元114用于接收用户(管理员用户)输入的配置信息,配置信息包括本系统的管理员用户对本系统的数配置以及处理策略。用户及策略接口单元114还用于本系统需要向管理员用户输出的信息,例如告警、日志、统计等。
应用识别控制单元115根据环境信息、配置信息以及应用识别信息中的至少一种信息确定边缘设备的识别策略信息以及处理策略信息,并将识别策略信息发送至应用识别编排单元111,以及将处理策略信息发送至应用控制编排单元112,使得应用识别编排单元111根据识别策略信息编制第一识别策略,且使得应用控制编排单元112根据处理策略信息编制第一处理策略。
设备管理单元116,用于对各个边缘设备进行管理。例如,对所有边缘设备以及集中处理设备进行认证、鉴权、注册、并在完成认证、鉴权以及注册后的边缘设备以及集中处理设备进行统一的管理,并提供给用户(管理员)可查看的且包含所有边缘设备属性信息的列表。
进一步,参照图4,图4为边缘设备的结构示意图。边缘设备200包括初级识别模块210以及一般控制模块220。控制设备发送的第一识别策略存储于初始识别模块210中,初始识别模块210依据第一识别策略对数据进行识别。控制设备发送的第一处理策略存储于一般控制模块220,一般控制模块220依据第一处理策略对数据进行处理。
参照图5,图5为本发明数据处理系统的另一结构示意图。数据处理系统还包括一个或多个集中处理设备300,集中处理设备300分别与控制设备100以及边缘设备200通信连接。控制设备100将第二识别策略以及第二处理策略发送至集中处理设备300,使得集中处理设备300根据第二识别策略识别数据,且根据第二处理策略对数据进行处理,第二处理包括数据的安全处理、数据的服务质量处理以及数据的服务等级处理。需要说明的是,一般来说,边缘设备200用于对数据进行简单的参数识别以及简单的数据处理,而集中处理设备300则用于对数据进行较为复杂的参数识别以及较为复杂的数据处理。需要说明的是,如果边缘设备已经完成了数据的处理任务,数据流量则不必流经集中处理设备进行处理;同理,如果集中处理设备已经完成了数据的处理任务,数据流量则不必流经边缘设备进行处理。可以理解的是,数据可以传输至边缘设备或者集中处理设备进行处理,数据也可传输至边缘设备以及集中处理设备中依次进行处理。
控制设备100编制的第二识别策略以及第二处理策略的流程以及原理可参照第一识别策略以及第一处理策略的流程以及原理,在此不再进行赘述。
参照图6,图6为集中处理设备的结构示意图,集中处理设备300包括高级识别模块310以及高级处理模块320。高级识别模块310存储有第二识别策略,高级识别模块310依据第二识别策略识别数据的参数。高级处理模块320存储第二处理策略,高级处理模块320依据第二处理策略处理数据的参数。
一般来说,双向的数据流向是这样的:集中处理设备连接一个或多个应用服务器,而边缘设备连接一个或多个用户设备。应用服务器可将数据传输至集中处理设备、再由集中处理设备将处理后的数据发送至边缘设备、最后边缘设备再将处理后的数据发送至用户设备。另外一个方向,用户设备将数据发送至边缘设备,边缘设备再将处理后的数据发送至集中处理设备,再由集中处理设备将处理后的数据发送至应用服务器,这就是比较典型的双向数据流的走向。特别的,由于集中处理设备可能有多个,边缘设备并不与某一个集中处理设备固定配对使用,控制设备可以根据环境信息中的网络链路的延迟、丢包、抖动、包尺寸统计等信息选择集中处理设备与边缘设备配对。边缘设备可通过区域网络与用户设备通信连接,且边缘设备可通过广域网络与集中处理设备连接。控制设备与集中处理设备以及边缘设备并非为常连接,控制设备在需要对边缘设备以及集中处理设备发送识别策略以及处理策略时,控制设备向边缘设备以及集中处理设备发送连接请求并进行连接,使得边缘设备以及集中处理设备接收对应的识别策略以及处理策略并上报设备状态、线路状态和应用识别信息等信息。也即边缘设备以及集中处理设备可以依据缺省的策略或最新下发的策略对流经的数据进行识别以及处理,无需控制设备进行实时控制,最大程度的提升整个系统的处理效率。
此外,当用户对数据识别和控制的要求比较简单的情况下,可仅对此类用户设备对应的数据进行初步的识别以及初步处理,也即仅通过边缘设备对数据进行第一识别以及第一处理,数据无需传输至集中处理设备进行第二识别以及第二处理。
数据处理系统通过边缘设备对数据的初级识别处理以及集中处理设备对数据的高级识别处理,使得数据处理系统分级处理数据,满足了不同用户对数据的不同要求,而且降低了边缘设备的复杂度、成本、处理负载以及数据处理延迟,集中处理设备还可以根据环境信息进行选择使用,从整体上大幅度的提升了系统的效率、性价比和处理效果。
基于上述数据处理系统,提出本发明数据处理方法的各个实施例。
参照图7,图7为本发明数据处理方法的第一实施例,所述数据处理方法包括以下步骤:
步骤S10,在检测到数据传输至所述边缘设备时,控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数;
在本实施例中,数据处理系统包括边缘设备以及与边缘设备通信连接的控制设备。控制设备将编制的第一识别策略以及第一处理策略发送至边缘设备,以供边缘设备将第一处理策略以及第一识别策略进行保存和使用。
边缘设备在检测到有数据流入边缘设备时,边缘设备通过第一识别策略对数据进行识别得到数据的第一参数。需要说明的是,边缘设备可以连接一个或多个用户设备,且边缘设备可连接一个或多个应用服务器,不同的用户、不同的用户设备或者不同的应用服务器对数据的要求不同,因此,边缘设备需确定用户或者用户设备或者应用服务器对应的第一识别策略,从而采用第一识别策略识别数据的第一参数。
步骤S20,在所述第一参数满足第一处理条件时,控制所述边缘设备采用第一处理策略对所述数据进行第一处理,其中,所述第一处理至少包括数据的安全处理。
边缘设备中存储有第一处理条件。边缘设备在识别到数据的第一参数后,判定第一参数满足第一处理条件时,则对数据进行第一处理。
以下对边缘设备的第一识别以及第一处理进行举例说明。边缘设备可识别数据的源、目的MAC、源IP、目的IP、源TCP/UDP、目的TCP/UDP协议端口号等五元组信息,且能够识别包括URL(网址)、email的协议、微博的内容、业务的类型(语音/视频/上网/等)、用户的身份(需要其他设备配合)等应用信息。
第一处理包括丢弃或者过滤或者限速或者设置传输优先级。具体的,在源IP访问互联网某URL(例如www.baidu.com)的数据报文时(第一处理条件),丢弃或者过滤该数据,此访问为上行访问,也即用户设备通过边缘设备向应用服务器发送访问请求。具体的,在外部向内部访问某IP+TCP/UDP端口的访问是不允许的时候(例如因为某IP为重要数据主机且这个TCP端口也为敏感数据连接端口,不允许外网访问),过滤或丢弃这个目的IP+目的TCP/UDP端口的下行访问,下行访问为服务器通过边缘设备访问用户设备。具体的,在根据第三方提供的用户身份信息匹配用户的MAC地址和IP地址,识别到报文来自该MAC和IP,针对该用户的数据给予最高优先级SLA策略,SLA(Service Level Agreement)是服务等级协议,可以针对某个用户提供差异化的服务等级;同时此SLA还可以结合QoS(Quality of Service,服务质量)一起使用,其中QoS主要用于针对不同服务类型的业务进行质量控制,例如语音、数据、视频等。
在本实施例提供的技术方案中,数据处理系统包括一个或多个控制设备以及与控制设备连接的一个或多个边缘设备,边缘设备中存储有控制设备发送的第一识别策略以及第一处理策略,使得边缘设备采用第一识别策略对数据进行识别,并在识别的数据的参数满足处理条件时,对数据进行安全或者QoS或者SLA相关的处理。特别的,将数据传输至某集中处理设备,也可以是第一处理策略的一部分,因为有些数据不需要传输到集中处理设备,另有些设备需要选择集中处理设备进行传输。
参照图8,图8为本发明数据处理方法的第二实施例,基于第一实施例,所述数据处理方法包括以下步骤:
步骤S30,在检测到数据传输至所述集中处理设备时,控制所述集中处理设备采用第二识别策略对所述数据进行识别得到所述数据的第二参数;
步骤S40,在所述第二参数满足第二处理条件时,控制所述集中处理设备采用第二处理策略对所述数据进行第二处理。
在本实施例中,数据处理系统还包括一个或多个集中处理设备,集中处理设备分别与边缘设备以及控制设备连接。
控制设备可生成第二识别策略以及第二处理策略,控制设备再将第二识别策略以及第二处理策略发送至集中处理设备。第二识别策略的识别等级一般高于第一识别策略的识别等级,因为集中处理设备一般为专用的识别设备,所以可以精细的识别数据。第二处理策略的处理级别一般高于第一处理策略的处理级别,因为集中处理设备一般为专用的处理设备,可以高性能细颗粒度的进行处理。在检测到数据传输至集中处理设备时,集中处理设备采用第二识别策略对数据进行第二识别,从而得到数据的第二参数。再判断第二参数是否满足第二处理条件。若满足,集中处理设备再采用第二处理策略对数据进行第二次处理。数据可从应用服务器流入至集中处理设备,也可从边缘设备流入至集中处理设备,即双向数据的流入和处理。第二处理包括数据的安全或者QoS或者SLA相关的处理。
以下对第二识别以及第二处理进行举例说明。
用户需要上网流量进行精细的上网行为控制的时候,由于上网行为控制的URL库比较庞大而且经常变化,即URL库庞大且随着时间经常变化,故需集中处理设备对上网流量进行精细的控制(主要考虑到性能、URL库更新、处理延迟等方面的因素)。
集中处理设备可对下行的报文进行数据流量内病毒和攻击威胁的识别(第二识别),集中处理装置将流量导引(第二处理)至专业的防病毒网关和IDS上进行处理,然后再将流量导引到边缘设备进而进入用户的内部网络。可以理解的是,流量内含有病毒和共计威胁信息均可视为第二参数满足第二处理条件。
需要说明的是,为了便于描述,本实施例所示的流程图是以上行进行说明的,也即用户设备将数据传输至边缘设备,边缘设备将数据处理后,将处理后的数据传输至集中处理设备,集中处理设备对数据进行处理,并将处理后的数据发送至应用服务器,集中处理设备连接一个或多个应用服务器,而边缘设备连接一个或多个用户设备。但本实施例也可按照下行进行说明,也即应用服务器将发送至集中处理设备,集中处理设备将数据处理后,将输出发送至边缘设备,最后边缘设备将处理的数据发送至用户设备,也即步骤S30以及步骤S40位于步骤S10之前,即双向流量的识别和处理。
在本实施例提供的技术方案中,数据在传输至集中处理设备后,集中处理设备采用第二识别策略对参数进行识别得到第二参数,并在第二参数满足第二处理条件时,采用第二处理策略对参数进行处理,从而使得数据的传输参数符合用户需求。
在一实施例中,控制设备获取编制信息,编制信息包括环境信息、用户的配置信息以及应用识别信息。控制设备可根据编制信息编制第一识别策略、第一处理策略、第二识别策略以及第二处理策略。控制设备根据编制信息编制策略的流程以及原理可参照前述说明,在此不再进行赘述。控制设备再将第一识别策略以及第一处理策略发送至边缘设备,且将第二识别策略以及第二处理策略发送至集中处理设备。
参照图9,图9为本发明数据处理系统的第三实施例,基于第二实施例,所述S30之前,还包括:
步骤S50,在所述集中处理设备接收到所述应用服务器传输的数据时,确定所述应用服务器传输的数据对应的第一用户设备,并判断所述集中处理设备是否设有所述第一用户设备对应的第二识别策略以及第二处理策略;
步骤S60,在所述集中处理设备未设有所述第一用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述边缘设备,以供所述边缘设备对所述数据进行第一识别以及第一处理;
步骤S70,在所述集中处理设备设有所述第一用户设备对应的第二识别策略以及第二处理策略,所述集中处理设备对所述数据进行第二识别以及第二处理。
本实施例涉及以下行访问。在接收到应用服务器传输的数据时,集中处理设备可确定应用服务器传输的数据对应的第一用户设备,并判断集中处理设备中是否存储第一用户设备对应的第二识别策略以及第二处理策略。若集中处理设备中有第一用户设备对应的第二识别策略以及第二处理策略,则进行第二识别以及第二处理。若集中处理设备中没有第一用户设备对应的第二识别策略以及第二处理策略,则可将数据直接传输至边缘设备中,使得边缘设备对数据进行第一识别以及第一处理。特别的,也有一种下行访问情况,应用服务器也可能将数据直接传输给边缘设备,此种情况下会有两种情况发生:第一,数据直接被边缘设备根据第一识别策略和第一处理策略处理并传输给用户设备;第二,数据由边缘设备传输回到集中处理设备根据第二识别策略和第二处理策略处理后再回到所述边缘设备根据第一识别策略和第一处理策略处理。
在本实施例提供的技术方案中,集中处理设备在接收到应用服务器传输的数据时,确定应用服务器传输的数据对应的第一用户设备,从而判断集中处理设备中是否存储第一用户设备对应的第二识别策略以及第二处理策略,若有,则将在集中处理设备处理,满足用户对数据的高要求识别和处理,若无,则直接将数据传输至边缘设备中,以进行数据在边缘设备中的识别和处理。如果因为路由的原因,数据直接传输到边缘设备,也可以根据情况直接在边缘设备上处理或者回到集中设备上处理后再返回边缘设备上处理。
参照图10,图10为本发明数据处理方法的第四实施例,基于第一实施例,所述步骤S10之后,还包括:
步骤S80,在所述边缘设备对所述数据进行第一处理后,确定传输数据的第二用户设备,并判断所述集中处理设备是否设有所述第二用户设备对应的第二识别策略以及第二处理策略;
步骤S90,在所述集中处理设备未设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至应用服务器;
步骤S100,在所述集中处理设备设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述集中处理设备,以供所述集中处理设备对所述数据进行第二识别以及第二处理。
本实施例涉及上行访问。边缘设备可将数据传输至集中处理设备。在边缘设备对所述第二用户设备的数据进行识别和处理后,判断集中处理设备是否有第二用户设备的第二识别策略以及第二处理策略。若集中处理设备没有第二用户设备对应的第二识别策略以及第二处理策略,则直接将数据传输至应用服务器。在当集中处理设备有第二用户设备对应的第二识别策略以及第二处理策略,则将数据传输至集中处理设备,以供集中处理设备对数据进行第二识别以及第二处理。
在本实施例提供的技术方案中,在边缘设备处理数据后,在边缘设备对所述的第二用户设备的数据进行识别和处理后,判断集中处理设备中是否有第二用户设备对应的第二识别策略以及第二处理策略,若有,则将数据传输至集中处理设备,满足用户对数据的高要求,若无,则直接将数据传输至应用服务器。
参照图11,图11为本发明数据处理方法的第五实施例,基于第一至第四中任一实施例,所述步骤S10之前,还包括:
步骤S110,获取传输数据对应的第三用户设备,并获取所述第三用户设备对应的身份标识;
步骤S120,根据所述身份标识对所述第三用户设备进行验证;
步骤S130,在所述第三用户设备验证通过后,将数据传输至边缘设备,以执行所述控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数的步骤。
在本实施例中,用户需要在控制设备上进行注册或者在于控制设备有通信接口的第三方注册管理设备上进行注册,注册完成后,控制设备可为用户设备对应的边缘设备以及集中处理设备编制识别策略以及处理策略。
故在接收到用户发送的数据时,控制设备获取用户的第三用户设备的身份信息。身份信息可为用户设备的设备标识等。控制设备再根据身份信息对第三用户设备进行验证。若控制设备中存储有第三用户设备的有效身份信息时,即可表明用户在控制设备上完成了注册或通过控制设备连接的第三方注册管理设备进行了注册,也即第三用户设备验证通过,此时,可将数据传输至边缘设备中,使得边缘设备对数据进行第一识别以及第一处理。在第三用户设备验证未通过,则输出提示信息使得第三用户设备进行注册。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据处理系统,其特征在于,所述数据处理系统包括:
控制设备,用于编制第一识别策略、第一处理策略、第二识别策略以及第二处理策略;
与所述控制设备连接的一个或多个边缘设备,用于根据所述控制设备发送的第一识别策略对流经所述边缘设备的数据进行第一识别以得到数据的参数,并在所述参数满足处理条件时,采用所述控制设备发送的第一处理策略对数据进行第一处理;
与所述控制设备以及所述边缘设备连接的一个或多个集中处理设备,所述集中处理设备,用于根据所述控制设备发送的第二识别策略以及第二处理策略对流经所述集中处理设备的数据进行第二识别以及第二处理,所述第一处理策略和第二处理策略包括数据的服务质量处理及服务等级处理,所述服务等级处理对应的服务等级与用户的服务等级保持一致;
其中,所述控制设备根据所述边缘设备和所述集中处理设备的环境信息中包括的网络链路的延迟、丢包、抖动以及包尺寸统计,选择所述集中处理设备与边缘设备配对,如果所述边缘设备未完成数据的处理任务,数据流量则流经所述集中处理设备进行处理,如果所述集中处理设备未完成数据的处理任务,数据流量则流经所述边缘设备进行处理;
在所述第一处理既包括数据的服务质量处理又包括服务等级处理的情况下,对服务等级高的数据进行的服务质量处理时优于服务等级低的数据,以提高数据的传输质量。
2.如权利要求1所述的数据处理系统,其特征在于,所述控制设备获取编制信息,根据所述编制信息编制第一识别策略、第二识别策略、第一处理策略以及第二处理策略,所述编制信息包括所述边缘设备的环境信息、所述集中处理设备的环境信息、用户对数据的配置信息、以及应用识别信息中的至少一种。
3.如权利要求1所述的数据处理系统,其特征在于,所述第一处理和所述第二处理还包括数据的安全处理。
4.一种数据处理方法,应用于数据处理系统,其特征在于,所述数据处理系统包括一个或多个边缘设备、一个或多个集中处理设备,所述数据处理方法包括以下步骤:
在检测到数据传输至所述边缘设备时,控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数;
在所述第一参数满足第一处理条件时,控制所述边缘设备采用第一处理策略对所述数据进行第一处理;
在检测到数据传输至所述集中处理设备时,控制所述集中处理设备采用第二识别策略对所述数据进行识别得到所述数据的第二参数;
在所述第二参数满足第二处理条件时,控制所述集中处理设备采用第二处理策略对所述数据进行第二处理,所述第一处理策略和第二处理策略包括数据的服务质量处理及服务等级处理,所述服务等级处理对应的服务等级与用户的服务等级保持一致;
其中,控制设备根据所述边缘设备和所述集中处理设备的环境信息中包括的网络链路的延迟、丢包、抖动以及包尺寸统计,选择所述集中处理设备与边缘设备配对,如果所述边缘设备未完成数据的处理任务,数据流量则流经所述集中处理设备进行处理,如果所述集中处理设备未完成数据的处理任务,数据流量则流经所述边缘设备进行处理;
在所述第一处理既包括数据的服务质量处理又包括服务等级处理的情况下,对服务等级高的数据进行的服务质量处理时优于服务等级低的数据,以提高数据的传输质量。
5.如权利要求4所述的数据处理方法,其特征在于,所述集中处理设备连接一个或多个应用服务器,所述边缘设备连接一个或多个用户设备,所述数据处理方法,还包括:
在所述集中处理设备接收到所述应用服务器传输的数据时,确定所述应用服务器传输的数据的第一用户设备,并判断所述集中处理设备是否设有所述第一用户设备对应的第二识别策略以及第二处理策略;
在所述集中处理设备未设有所述第一用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述边缘设备,以供所述边缘设备对所述数据进行第一识别以及第一处理;
在所述集中处理设备设有所述第一用户设备对应的第二识别策略以及第二处理策略,所述集中处理设备对所述数据进行第二识别以及第二处理。
6.如权利要求4所述的数据处理方法,其特征在于,所述数据处理方法,还包括:
在所述边缘设备对所述数据进行第一处理后,确定传输数据的第二用户设备,并判断所述集中处理设备是否设有所述第二用户设备对应的第二识别策略以及第二处理策略;
在所述集中处理设备未设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至应用服务器;
在所述集中处理设备设有所述第二用户设备对应的第二识别策略以及第二处理策略,将所述数据传输至所述集中处理设备,以供所述集中处理设备对所述数据进行第二识别以及第二处理。
7.如权利要求5所述的数据处理方法,其特征在于,所述数据处理系统还包括控制设备,所述控制设备分别与所述集中处理设备以及所述边缘设备连接,所述控制所述边缘设备采用第一识别策略对所述数据进行识别得到所述数据的第一参数的步骤之前,还包括:
获取编制信息,其中,所述编制信息包括所述边缘设备的环境信息、所述集中处理设备的环境信息、用户对数据的配置信息、以及应用识别信息中的至少一种;
控制所述控制设备根据所述编制信息编制第一识别策略、第二识别策略、第一处理策略以及第二处理策略;
控制所述控制设备将所述第一识别策略以及所述第一处理策略发送至所述边缘设备,且控制所述控制设备将所述第二识别策略以及所述第二处理策略发送至所述集中处理设备。
8.如权利要求4-7任一项所述的数据处理方法,其特征在于,所述第一处理和所述第二处理还包括数据的安全处理。
CN202010072975.0A 2020-01-21 2020-01-21 数据处理系统及其方法 Active CN111327604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010072975.0A CN111327604B (zh) 2020-01-21 2020-01-21 数据处理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010072975.0A CN111327604B (zh) 2020-01-21 2020-01-21 数据处理系统及其方法

Publications (2)

Publication Number Publication Date
CN111327604A CN111327604A (zh) 2020-06-23
CN111327604B true CN111327604B (zh) 2022-09-06

Family

ID=71172538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010072975.0A Active CN111327604B (zh) 2020-01-21 2020-01-21 数据处理系统及其方法

Country Status (1)

Country Link
CN (1) CN111327604B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717158A (zh) * 2015-03-02 2015-06-17 中国联合网络通信集团有限公司 一种调整带宽调度策略的方法及装置
CN108605032A (zh) * 2015-06-01 2018-09-28 华为技术有限公司 用于针对无线通信网络进行客户服务管理的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ865700A0 (en) * 2000-07-07 2000-08-03 Toneguzzo Group Pty Limited, The Content filtering and management
CN101399749B (zh) * 2007-09-27 2012-04-04 华为技术有限公司 一种报文过滤的方法、系统和设备
CN101277315A (zh) * 2008-05-21 2008-10-01 中兴通讯股份有限公司 一种互联网业务的服务质量控制方法
US8638795B2 (en) * 2010-08-12 2014-01-28 Citrix Systems, Inc. Systems and methods for quality of service of encrypted network traffic

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717158A (zh) * 2015-03-02 2015-06-17 中国联合网络通信集团有限公司 一种调整带宽调度策略的方法及装置
CN108605032A (zh) * 2015-06-01 2018-09-28 华为技术有限公司 用于针对无线通信网络进行客户服务管理的方法和设备

Also Published As

Publication number Publication date
CN111327604A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US11743299B2 (en) System, method, and apparatus of securing and managing internet-connected devices and networks
US8804511B2 (en) Policy-enabled dynamic deep packet inspection for telecommunications networks
US20190363979A1 (en) Methods and apparatus to provide a consumer services cloud in a communications network
US8599695B2 (en) Selective internet priority service
US7586871B2 (en) Platform and method for providing data services in a communication network
EP3565306B1 (en) Quality of service provisioning for wireless networks
CN108781207B (zh) 动态创建访问控制列表的方法和系统
US10681086B2 (en) Methods, devices and computer programs for subjecting traffic associated with a service to a specific treatment
CN101399749A (zh) 一种报文过滤的方法、系统和设备
KR102026140B1 (ko) 서비스 처리 방법, pcrf 및 서비스 처리 시스템
CN113906771A (zh) 使用域名的通信流控制
CN101390361A (zh) 一种动态流量控制方法及系统
US10594603B2 (en) Transmission of packets relating to a processing rule
RU2373656C2 (ru) Посредник по предоставлению содержимого и обеспечению защиты в системе мобильной связи
US20240089178A1 (en) Network service processing method, system, and gateway device
CN111327604B (zh) 数据处理系统及其方法
EP4005166A1 (en) Traffic monitoring in a network node
Fallon et al. Using the compa autonomous architecture for mobile network security
US20230319684A1 (en) Resource filter for integrated networks
CN110417566B (zh) 一种多头配置方法、设备及系统
CN113630388B (zh) 一种单向传输方法、装置、计算机设备以及可读存储介质
KR20130085502A (ko) 복수의 호스트와 서버간의 패킷의 전송을 제어하는 방법 및 부하 분산 장치, 그리고 부하 분산 장치로부터 패킷을 수신하는 방법 및 서버
WO2023011291A1 (zh) 节点调度方法、装置、介质及设备
US20230198862A1 (en) Method for processing a data packet in a communication network, method for processing a request to change the quality of service level of a connection, method for requesting to change the quality of service level of a connection, method for managing a quality of service, corresponding devices, system and computer programs
Vasudevan Firewall a new approach to solve issues in software define networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant