CN112256428A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112256428A CN112256428A CN202011135414.7A CN202011135414A CN112256428A CN 112256428 A CN112256428 A CN 112256428A CN 202011135414 A CN202011135414 A CN 202011135414A CN 112256428 A CN112256428 A CN 112256428A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- flow data
- traffic
- ranking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000003203 everyday effect Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000000586 desensitisation Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 230000002354 daily effect Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Abstract
本公开提供了一种数据处理方法、装置、电子设备及存储介质，包括：对每日采集到的流量数据进行分类，得到分类结果，按照分类结果，对类别不同的流量数据分别按照流量大小依次排名，根据每个待选设备的设备参数，对多个该待选设备进行加权排名，根据每个该流量数据在所在分类结果中的排名，在多个该待选设备中选择与该流量数据排名一致的待选设备处理，利用该待选设备处理对应的该流量数据。可以根据流量数据的类型和大小，选择出最适合的设备去处理流量数据。解决设备性能过剩或者性能过低无法处理流量数据的问题，实现处理效率的最大化。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在传统的流量预处理过程中，通常采用一个设备去处理流量数据，容易出现设备性能过低，无法处理采集到的流量数据的情况，或者，使用性能较好的设备去处理流量较小的流量数据的现象。
发明内容
本申请的主要目的在于提供一种数据处理方法、装置、电子设备及存储介质，可选择合适的设备去处理流量数据，合理利用资源。
为实现上述目的，本申请实施例第一方面提供一种数据处理方法，包括：
对每日采集到的流量数据进行分类，得到分类结果；
按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
利用所述待选设备处理对应的所述流量数据。
可选的，所述对每日采集到的流量数据进行分类，得到分类结果包括：
将每日采集到的流量数据分类为netflow流量数据和全流量数据。
可选的，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名之前，包括：
分别获取每个类别下，流量最大的流量数据；
分别筛选出每个类别下可用于处理所述流量最大的流量数据的全部待选设备。
可选的，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名包括：
根据每个所述待选设备的cpu个数、内存大小，硬盘类型和大小，计算每个所述待选设备处理流量数据的处理能力；
根据每个所述待选设备处理流量数据的处理能力，对多个所述待选设备进行加权排名。
可选的，所述利用所述待选设备处理对应的所述流量数据包括：
利用所述待选设备对所述netflow流量数据进行地址段整合、地址后缀及其他用户信息的脱敏预处理操作；
利用所述待选设备对所述全流量数据进行地址、源端口、目的端口、URL数据以及其他用户信息的脱敏预处理操作。
可选的，还包括：
建立每个所述流量数据在所在分类结果中的排名与每个所述待选设备在多个所述待选设备中的排名的对应关系；
将所述对应关系存储到日志表中。
可选的，还包括：
当获取到流量大小与当日的日志表中存储的任一流量数据一致的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备处理所述待处理流量数据。
本申请实施例第二方面提供一种数据处理装置，包括：
分类模块，用于对每日采集到的流量数据进行分类，得到分类结果；
流量排名模块，用于按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
设备排名模块，用于根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
选择模块，用于根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
处理模块，用于利用所述待选设备处理对应的所述流量数据。
本申请实施例第三方面提供了一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本申请实施例第一方面提供的数据处理方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的数据处理方法。
从上述本申请实施例可知，本申请提供的数据处理方法、装置、电子设备及存储介质，对每日采集到的流量数据进行分类，得到分类结果，按照分类结果，对类别不同的流量数据分别按照流量大小依次排名，根据每个待选设备的设备参数，对多个该待选设备进行加权排名，根据每个该流量数据在所在分类结果中的排名，在多个该待选设备中选择与该流量数据排名一致的待选设备处理，利用该待选设备处理对应的该流量数据。可以根据流量数据的类型和大小，选择出最适合的设备去处理流量数据。解决设备性能过剩或者性能过低无法处理流量数据的问题，实现处理效率的最大化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的数据处理方法的流程示意图；
图2为本申请一实施例提供的数据处理装置的结构示意图；
图3示出了一种电子设备的硬件结构示意图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
请参阅图1，图1为本申请一实施例提供的数据处理方法的流程示意图，该方法主要包括以下步骤：
S101、对每日采集到的流量数据进行分类，得到分类结果；
S102、按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
S103、根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
S104、根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
S105、利用所述待选设备处理对应的所述流量数据。
其中，待选设备包括性能不同的虚拟机、容器等等。
可选的，处理后的流量数据可存储成文件或者存在数据库中，以供后续的分析和研究，或者将流量数据开放给用户作为实验课题的数据源。
在本公开其中一个实施例中，步骤S101包括：将每日采集到的流量数据分类为netflow流量数据和全流量数据。
具体的，采集到的流量数据分为两种类型：netflow流量数据和全流量数据，不同类型的流量数据，处理的力度也不同。对于netflow流量数据，只需要进行地址段和用户信息等数据的脱敏和整合等预处理操作，但对于全流量数据，涉及具体的IP地址、源端口、目的端口、数据类型等具体信息，需要进行更复杂的脱敏和预处理操作。所以，可使用性能较好的虚拟机预处理全流量数据，使用性能一般的虚拟机和大多数容器处理netflow流量数据。
更多的，对于全流量数据和netflow流量数据，可以对其进行同时处理。或者由于全流量的数据更为复杂，可以先对全流量数据进行处理，后对netflow流量数据进行处理。
在本公开其中一个实施例中，步骤S103之前，包括：分别获取每个类别下，流量最大的流量数据；分别筛选出每个类别下可用于处理所述流量最大的流量数据的全部待选设备。
可理解的，分别获取全流量数据和netflow流量数据下，流量最大的流量数据。筛选出全流量数据下可用于处理流量最大的全流量数据的全部待选设备，以及，筛选出netflow流量数据下可用于处理流量最大的netflow流量数据的全部待选设备。
在本公开其中一个实施例中，步骤S103包括：根据每个所述待选设备的cpu个数、内存大小，硬盘类型和大小，计算每个所述待选设备处理流量数据的处理能力；根据每个所述待选设备处理流量数据的处理能力，对多个所述待选设备进行加权排名。
具体的，可以获取用户对待选设备具体加权设置进行加权排名。
在本公开其中一个实施例中，步骤S105包括：利用所述待选设备对所述netflow流量数据进行地址段整合、地址后缀及其他用户信息的脱敏预处理操作；利用所述待选设备对所述全流量数据进行地址、源端口、目的端口、URL数据以及其他用户信息的脱敏预处理操作。
在本公开其中一个实施例中，数据处理方法还包括：建立每个所述流量数据在所在分类结果中的排名与每个所述待选设备在多个所述待选设备中的排名的对应关系；将所述对应关系存储到日志表中。
示例性的，在netflow流量数据中具有三个流量数据，第一个流量数据A的流量大小为12kb、第二个流量数据B的流量大小为10kb、第三个流量数据C的流量大小为5kb，对应netflow流量数据筛选出三个待选设备，第一个待选设备a的处理能力在三个待选设备中排第一，第二个待选设备的处理能力在三个待选设备b中排第二，第三个待选设备c的处理能力在三个待选设备中排第三。则将第一个流量数据A与第一个待选设备a对应，第二个流量数据B与第二个待选设备b对应，第三个流量数据C与第三个待选设备c对应。
在本公开其中一个实施例中，数据处理方法还包括：当获取到流量大小与当日的日志表中存储的任一流量数据一致的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备处理所述待处理流量数据。
更多的，若获取到流量大小与当日的日志表中存储的任一流量数据一致或相似的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备或处理能力相似的待选设备处理所述待处理流量数据。
请参阅图2，图2是本申请一实施例提供的数据处理装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：
分类模块201，用于对每日采集到的流量数据进行分类，得到分类结果；
流量排名模块202，用于按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
设备排名模块203，用于根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
选择模块204，用于根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
处理模块205，用于利用所述待选设备处理对应的所述流量数据。
在本公开其中一个实施例中，分类模块201具体用于将每日采集到的流量数据分类为netflow流量数据和全流量数据。
在本公开其中一个实施例中，所述装置还包括：
获取模块，用于分别获取每个类别下，流量最大的流量数据；
筛选模块，用于分别筛选出每个类别下可用于处理所述流量最大的流量数据的全部待选设备。
在本公开其中一个实施例中，设备排名模块203包括：计算子模块，用于根据每个所述待选设备的cpu个数、内存大小，硬盘类型和大小，计算每个所述待选设备处理流量数据的处理能力；排名子模块，用于根据每个所述待选设备处理流量数据的处理能力，对多个所述待选设备进行加权排名。
在本公开其中一个实施例中，处理模块205包括：第一处理模块，用于利用所述待选设备对所述netflow流量数据进行地址段整合、地址后缀及其他用户信息的脱敏预处理操作；第二处理模块，用于利用所述待选设备对所述全流量数据进行地址、源端口、目的端口、URL数据以及其他用户信息的脱敏预处理操作。
在本公开其中一个实施例中，该装置还包括：建立模块，用于建立每个所述流量数据在所在分类结果中的排名与每个所述待选设备在多个所述待选设备中的排名的对应关系；存储模块，用于将所述对应关系存储到日志表中。
在本公开其中一个实施例中，该装置还包括：选择处理模块，用于当获取到流量大小与当日的日志表中存储的任一流量数据一致的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备处理所述待处理流量数据。
根据本公开的实施例，分类模块201、流量排名模块202、设备排名模块203、选择模块204、处理模块205等模块的具体实施过程与上述方法的操作过程相同或者类似，可以参见上面参考图1的描述，这里不再重复。
可以理解的是，分类模块201、流量排名模块202、设备排名模块203、选择模块204、处理模块205等模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，分类模块201、流量排名模块202、设备排名模块203、选择模块204、处理模块205等模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，分类模块201、流量排名模块202、设备排名模块203、选择模块204、处理模块205等模块中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图3示意性示出了根据本公开实施例的电子设备的框图。
如图3所示，电子设备300包括处理器310和计算机可读存储介质320。该电子设备300可以执行上面参考图1描述的方法，以实现电子设备的。
具体地，处理器310例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器310还可以包括用于缓存用途的板载存储器。处理器310可以是用于执行参考图1描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质320，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质320可以包括计算机程序321，该计算机程序321可以包括代码/计算机可执行指令，其在由处理器310执行时使得处理器310执行例如上面结合图1所描述的方法流程及其任何变形。
计算机程序321可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序321中的代码可以包括一个或多个程序模块，例如包括321A、模块321B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器310执行时，使得处理器310可以执行例如上面结合图1所描述的方法流程及其任何变形。
根据本公开的实施例，处理器310可以执行上面结合图1所描述的方法流程及其任何变形。
根据本发明的实施例，分类模块201、流量排名模块202、设备排名模块203、选择模块204、处理模块205等模块中的至少一个可以实现为参考图3描述的计算机程序模块，其在被处理器310执行时，可以实现上面描述的相应操作。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
对每日采集到的流量数据进行分类，得到分类结果；
按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
利用所述待选设备处理对应的所述流量数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述对每日采集到的流量数据进行分类，得到分类结果包括：
将每日采集到的流量数据分类为netflow流量数据和全流量数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名之前，包括：
分别获取每个类别下，流量最大的流量数据；
分别筛选出每个类别下可用于处理所述流量最大的流量数据的全部待选设备。
4.根据权利要求1所述的数据处理方法，其特征在于，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名包括：
根据每个所述待选设备的cpu个数、内存大小，硬盘类型和大小，计算每个所述待选设备处理流量数据的处理能力；
根据每个所述待选设备处理流量数据的处理能力，对多个所述待选设备进行加权排名。
5.根据权利要求2所述的数据处理方法，其特征在于，所述利用所述待选设备处理对应的所述流量数据包括：
利用所述待选设备对所述netflow流量数据进行地址段整合、地址后缀及其他用户信息的脱敏预处理操作；
利用所述待选设备对所述全流量数据进行地址、源端口、目的端口、URL数据以及其他用户信息的脱敏预处理操作。
6.根据权利要求1所述的数据处理方法，其特征在于，还包括：
建立每个所述流量数据在所在分类结果中的排名与每个所述待选设备在多个所述待选设备中的排名的对应关系；
将所述对应关系存储到日志表中。
7.根据权利要求6所述的数据处理方法，其特征在于，还包括：
当获取到流量大小与当日的日志表中存储的任一流量数据一致的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备处理所述待处理流量数据。
8.一种数据处理装置，其特征在于，包括：
分类模块，用于对每日采集到的流量数据进行分类，得到分类结果；
流量排名模块，用于按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；
设备排名模块，用于根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；
选择模块，用于根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；
处理模块，用于利用所述待选设备处理对应的所述流量数据。
9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任一项所述的数据处理方法中的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任一项所述的数据处理方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135414.7A CN112256428A (zh) | 2020-10-21 | 2020-10-21 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135414.7A CN112256428A (zh) | 2020-10-21 | 2020-10-21 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112256428A true CN112256428A (zh) | 2021-01-22 |
Family
ID=74264130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011135414.7A Pending CN112256428A (zh) | 2020-10-21 | 2020-10-21 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112256428A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050075A1 (en) * | 2003-08-29 | 2005-03-03 | Fujitsu Limited | Data classification processing apparatus, data classification processing method and storage medium |
| CN108804668A (zh) * | 2018-06-08 | 2018-11-13 | 珠海格力智能装备有限公司 | 数据处理方法及装置 |
| CN109361573A (zh) * | 2018-12-13 | 2019-02-19 | 武汉市硅丰科技发展有限责任公司 | 流量日志分析方法、系统及计算机可读存储介质 |
| CN109818820A (zh) * | 2018-12-21 | 2019-05-28 | 上海瑞家信息技术有限公司 | 流量数据监控方法、装置、电子设备及存储介质 |
| CN109886772A (zh) * | 2019-01-16 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 产品推荐方法、装置、计算机设备和存储介质 |
| CN110019087A (zh) * | 2017-11-09 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
| CN111181811A (zh) * | 2019-12-30 | 2020-05-19 | 赛尔网络有限公司 | 统计方法、装置、电子设备及介质 |
| CN111343143A (zh) * | 2020-01-23 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 数据识别方法、装置及存储介质 |
| CN111445375A (zh) * | 2019-01-16 | 2020-07-24 | 阿里巴巴集团控股有限公司 | 水印嵌入方案和数据处理方法、装置及设备 |
| CN111710051A (zh) * | 2020-06-17 | 2020-09-25 | 京东方科技集团股份有限公司 | 人体模型数据处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-21 CN CN202011135414.7A patent/CN112256428A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050075A1 (en) * | 2003-08-29 | 2005-03-03 | Fujitsu Limited | Data classification processing apparatus, data classification processing method and storage medium |
| CN110019087A (zh) * | 2017-11-09 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN108804668A (zh) * | 2018-06-08 | 2018-11-13 | 珠海格力智能装备有限公司 | 数据处理方法及装置 |
| CN109361573A (zh) * | 2018-12-13 | 2019-02-19 | 武汉市硅丰科技发展有限责任公司 | 流量日志分析方法、系统及计算机可读存储介质 |
| CN109818820A (zh) * | 2018-12-21 | 2019-05-28 | 上海瑞家信息技术有限公司 | 流量数据监控方法、装置、电子设备及存储介质 |
| CN109886772A (zh) * | 2019-01-16 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 产品推荐方法、装置、计算机设备和存储介质 |
| CN111445375A (zh) * | 2019-01-16 | 2020-07-24 | 阿里巴巴集团控股有限公司 | 水印嵌入方案和数据处理方法、装置及设备 |
| CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
| CN111181811A (zh) * | 2019-12-30 | 2020-05-19 | 赛尔网络有限公司 | 统计方法、装置、电子设备及介质 |
| CN111343143A (zh) * | 2020-01-23 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 数据识别方法、装置及存储介质 |
| CN111710051A (zh) * | 2020-06-17 | 2020-09-25 | 京东方科技集团股份有限公司 | 人体模型数据处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| YANHONG XU: ""Network traffic on-line classification using decision tree fast parallel processing strategy"", 《2012 3RD IEEE INTERNATIONAL CONFERENCE ON NETWORK INFRASTRUCTURE AND DIGITAL CONTENT》 * |
| 尹江华: ""一个企业数据中心负载均衡系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 肖宇玲;胡蔚星;: "数据宽带网的流量控制与整形技术", 中国有线电视, no. 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10114682B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
| US8423605B2 (en) | Parallel distributed processing method and computer system | |
| US20160275178A1 (en) | Method and apparatus for search | |
| US9477512B2 (en) | Task-based modeling for parallel data integration | |
| KR102310187B1 (ko) | 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법 | |
| CN111913955A (zh) | 数据的排序处理装置、方法和存储介质 | |
| CN104346433A (zh) | 用于数据库查询操作的可缩放加速的方法和系统 | |
| US20140333638A1 (en) | Power-efficient nested map-reduce execution on a cloud of heterogeneous accelerated processing units | |
| US20220083917A1 (en) | Distributed and federated learning using multi-layer machine learning models | |
| US11036608B2 (en) | Identifying differences in resource usage across different versions of a software application | |
| DE112020003066T5 (de) | Transponierungsoperationen mit verarbeitungselementarray | |
| US20200364258A1 (en) | Container Image Size Reduction Via Runtime Analysis | |
| KR102325047B1 (ko) | 그래프 데이터 처리 방법 및 그래프 데이터 처리 장치 | |
| CN103647850A (zh) | 一种分布式版本控制系统的数据处理方法、设备及系统 | |
| US11308396B2 (en) | Neural network layer-by-layer debugging | |
| CA3094727C (en) | Transaction processing method and system, and server | |
| CN107193940A (zh) | 大数据优化分析方法 | |
| US20190065075A1 (en) | Method to improve mixed workload performance on storage devices that use cached operations | |
| CN106649800A (zh) | 一种基于Solr的中文检索方法 | |
| US8295308B2 (en) | Systems and methods of configuring a resource pool as a network end point | |
| CN109101531A (zh) | 文件处理方法、装置及系统 | |
| CN112256428A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN114756730A (zh) | 一种使用网络设备进行数据查询的系统、方法、及装置 | |
| US20170228404A1 (en) | Information processing apparatus, processing apparatus, data search method | |
| CN111159213A (zh) | 一种数据查询方法、装置、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |