CN110134578A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN110134578A
CN110134578A CN201910434955.0A CN201910434955A CN110134578A CN 110134578 A CN110134578 A CN 110134578A CN 201910434955 A CN201910434955 A CN 201910434955A CN 110134578 A CN110134578 A CN 110134578A
Authority
CN
China
Prior art keywords
data
thread
thread pool
equipment
target device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910434955.0A
Other languages
English (en)
Other versions
CN110134578B (zh
Inventor
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Qi Polytron Technologies Inc
Original Assignee
Zhejiang Qi Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Qi Polytron Technologies Inc filed Critical Zhejiang Qi Polytron Technologies Inc
Priority to CN201910434955.0A priority Critical patent/CN110134578B/zh
Publication of CN110134578A publication Critical patent/CN110134578A/zh
Application granted granted Critical
Publication of CN110134578B publication Critical patent/CN110134578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3428Benchmarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种数据处理方法及装置,目标设备可以利用第一线程池接收来自第一设备的第一数据,而后,目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,并利用所述第二线程池对所述第一数据进行处理。而所述第一线程池为多路复用线程池,当所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池之后,在所述第二线程池对所述第一数据进行处理的过程中,目标设备可以利用第一线程池接收来自其它设备例如第二设备的第二数据。这样一来,即使多个设备均向目标设备发送数据,第一线程池均可以接收到这些数据,不会丢失部分数据。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据处理领域,特别是涉及一种数据处理方法及装置。
背景技术
随着网络技术的发展,一些设备为了抵御网络攻击,确保设备正常运行,往往会设置一些安全设备例如隔离装置、加密装置以及防火墙等。进一步地,为了对设备的安全性进行评估,可以对前述安全设备进行实时监控,并采集安全设备的日志。
目前,前述设备可以利用一个线程来接收安全设备上报的日志并进行相应的处理例如存储安全设备上报的日志。但是,采用这种方式,在未得到一个安全设备上报的日志对应的处理结果之前,该线程处于阻塞状态,无法再接收其它安全设备上报的日志。
可以理解的是,若利用一个线程来接收安全设备上报的日志,当多个安全设备均向该设备上报日志时,该设备可能只能接收其中一部分日志,从而导致丢失一部分日志,进一步地,会影响对该设备的安全性进行评估的效果。
发明内容
本申请所要解决的技术问题是若利用一个线程来接收安全设备上报的日志,当多个安全设备均向该设备上报日志时,该设备可能只能接收其中一部分日志,从而导致丢失一部分日志,提供一种数据处理方法及装置。
第一方面,本申请实施例提供了一种数据处理方法,所述方法包括:
目标设备利用第一线程池接收来自第一设备的第一数据;所述第一线程池为多路复用线程池;
所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,所述目标设备利用所述第二线程池对所述第一数据进行处理;在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,所述目标设备利用所述第一线程池接收来自所述第二设备的第二数据。
可选的,所述目标设备利用第二线程池对所述第一数据进行处理,包括:
所述目标设备利用所述第二线程池对所述第一数据进行存储。
可选的,所述目标设备利用所述第二线程池对所述第一数据进行存储,包括:
所述目标设备利用所述第二线程池对所述第一数据进行数据分类;
所述目标设备利用所述第二线程池根据所述第一数据的分类结果为所述第一数据添加标签,并对应存储所述第一数据和所述第一数据的标签。
可选的,所述目标设备利用所述第二线程池对所述第一数据进行数据分类,包括:
所述目标设备利用所述第二线程池按照预设规则对所述第一数据进行分类;
所述预设规则包括以下任意一项或者组合:
所述第一数据的危险级别、所述第一数据的内容类别和上报所述第一数据的第一设备的设备类别。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述方法还包括:
在所述第二线程池对所述第一数据进行处理的过程中,所述目标设备利用第一线程池接收来自所述第二设备的所述第二数据;
所述目标设备将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
第二方面,本申请实施例提供了一种数据处理装置,应用于目标设备,所述装置包括:
接收单元,用于利用第一线程池接收来自第一设备的第一数据;所述第一线程池为多路复用线程池;
传递单元,用于将所述第一线程池接收的所述第一数据传递给第二线程池;
处理单元,用于利用所述第二线程池对所述第一数据进行处理;
所述接收单元,还用于在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,利用所述第一线程池接收来自所述第二设备的第二数据。
可选的,所述处理单元,具体用于:
利用所述第二线程池对所述第一数据进行存储。
可选的,所述处理单元,包括:
分类子单元,用于利用所述第二线程池对所述第一数据进行数据分类;
存储子单元,用于利用所述第二线程池根据所述第一数据的分类结果为所述第一数据添加标签,并对应存储所述第一数据和所述第一数据的标签。
可选的,所述分类子单元,具体用于:
利用所述第二线程池按照预设规则对所述第一数据进行分类;
所述预设规则包括以下任意一项或者组合:
所述第一数据的危险级别、所述第一数据的内容类别和上报所述第一数据的第一设备的设备类别。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述接收单元还用于:在所述第二线程池对所述第一数据进行处理的过程中,利用第一线程池接收来自所述第二设备的所述第二数据;
所述传递单元,还用于将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
与现有技术相比,本申请实施例具有以下优点:
本申请实施例提供的数据处理方法,目标设备可以利用第一线程池接收来自第一设备的第一数据,而后,目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,并利用所述第二线程池对所述第一数据进行处理。而所述第一线程池为多路复用线程池,当所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池之后,在所述第二线程池对所述第一数据进行处理的过程中,目标设备可以利用第一线程池接收来自其它设备例如第二设备的第二数据。这样一来,即使多个设备均向目标设备发送数据,第一线程池均可以接收到这些数据,不会丢失部分数据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统技术中采用一个线程进行数据处理的示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的又一种数据处理方法的流程示意图;
图4为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的发明人经过研究发现,目前可以采用一个线程来处理来自客户端的数据处理请求。但是,采用这种方式,在未得到该数据处理请求对应的处理结果之前,该线程处于阻塞状态,无法再处理其它数据处理请求,例如无法再处理来自其它客户端的数据处理请求。可参见图1进行理解,图1为传统技术中采用一个线程进行数据处理的示意图。在图1中,目标设备110利用线程101处理来自第一设备120的第一数据。可以理解的是,线程101接收到来自第一设备120的第一数据并将该第一数据传递给数据处理模块102处理的过程中,若第二设备130向目标设备110发送第二数据,则由于前述线程101处于阻塞状态,故而该线程101不能接收来自第二设备130的第二数据,进一步的导致数据处理模块103不能对来自第二设备130的第二数据进行处理。
本申请的发明人发现,可以为每个给目标设备发送数据的设备分别配置一个对应的线程,用于处理该设备发送给目标设备的数据,从而解决上述问题。但是,对于这种方案,若给目标设备发送数据的设备的数量比较多,则需要配置大量的线程,从而占用目标设备大量的资源。故而这种方案的可行性不是很高。
鉴于此,本申请实施例提供了一种数据处理方法,目标设备可以利用第一线程池接收来自第一设备的第一数据,而后,目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,并利用所述第二线程池对所述第一数据进行处理。而所述第一线程池为多路复用线程池,当所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池之后,在所述第二线程池对所述第一数据进行处理的过程中,目标设备可以利用第一线程池接收来自其它设备例如第二设备的第二数据。这样一来,即使多个设备均向目标设备发送数据,第一线程池均可以接收到这些数据,不会丢失部分数据。
下面结合附图,详细说明本申请的各种非限制性实施方式。
示例性方法
参见图2,该图为本申请实施例提供的一种数据处理方法的流程示意图。
本申请实施例提供的数据处理方法,例如可以通过以下步骤S201-S202实现。
S201:目标设备利用第一线程池接收来自第一设备的第一数据。
需要说明的是,本申请实施例中提及的目标设备可以为服务器,也可以为终端设备,本申请实施例不做具体限定。作为一种示例,目标设备可以为配置在电厂或者变电站的服务器。作为又一种示例,目标设备可以是为相应的服务提供数据处理的服务器,例如为视频播放服务提供数据处理的服务器。
本申请实施例提供的第一设备例如可以为相应的安全设备,例如,该第一设备可以为隔离装置、加密装置以及防火墙等安全设备中的任意一种。本申请实施例中提及的第一设备还可以为客户端,例如当前述目标设备为为相应的服务器提供数据处理请求的服务器时,第一设备可以为访问该服务的客户端。
在本申请实施例,第一线程池为所述目标设备中的一个线程池,所述第一线程池为多路复用线程池。所述第一线程池用于接收来自其它设备例如第一设备的第一数据。在本申请实施例中,所述第一线程池中可以包括一个或者多个线程。所述第一线程池具体包括的线程的数量,可以根据所述目标设备所提供的数据处理功能确定,此处不一一展开说明。
可以理解的是,在实际应用中,目标设备可以包括端口,目标设备首先将所述目标设备的端口的状态设置为可连接,这样一来,第一设备即可通过与该端口对应的通道(英文:channel)将第一数据发送给所述目标设备。换言之,步骤S201在具体实现时,目标设备可以利用所述第一线程池接收所述第一设备在第一通道中发送的第一数据,所述第一通道与所述目标设备的某一状态为可连接的端口对应。
本申请实施例不具体限定第一设备发送给目标设备的第一数据,作为一种示例,第一数据可以为第一设备的日志;作为又一种示例,第一数据可以为请求获取相应数据的数据获取请求。
S202:所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,所述目标设备利用所述第二线程池对所述第一数据进行处理。在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,所述目标设备利用所述第一线程池接收来自所述第二设备的第二数据。
在本申请实施例中,与传统技术不同,传统技术中,目标设备上的一个端口只能绑定线程池中的一个线程,从而导致线程池中其他线程空闲,当目标设备接收的数据量过大,则可能会导致缓冲区数据堆积,一旦堆积的数据量超过缓冲区的大小,就会导致缓冲区溢出,从而导致数据丢失。这种方式不仅浪费了线程池中的线程资源,而且数据处理的效率也比较低。而在本申请实施例中,利用linux内核3.9带来的新特性SO_REUSEPORT,采用linux的原生组件epoll,使得一个线程池中的多个线程可以绑定同一个端口。
故而在本申请实施例中,第一线程池接收到第一数据之后,目标设备将第一数据传递给第二线程池,并利用第二线程池对所述第一数据进行处理。这样一来,在第二线程池对第一数据进行处理的过程中,第一线程池不再处于阻塞状态,若其它设备例如第二设备向目标设备发送第二数据,则目标设备可以利用所述第一线程池接收所述第二设备发送的第二数据,充分利用linux系统的多核CPU资源,不浪费线程池中的线程资源。
本申请实施例不具体限定第二设备发送给目标设备的第二数据,与第一数据类似,作为一种示例,第二数据可以为第二设备的日志;作为又一种示例,第二数据可以为请求获取相应数据的数据获取请求。
需要说明的是,在本申请实施例中,第二线程池包括一个或者多个线程,所述第二线程池具体包括的线程的数目以及各个线程的具体处理逻辑,与所述目标设备所提供的数据处理功能、向目标设备发送数据的其它设备的数量、目标设备接收的数据量大小以及目标设备接收数据的并发量来确定。在本申请实施例中,目标设备利用第二线程池对第一数据进行处理,例如可以为利用第二线程池中的第一线程对第一数据进行处理。
本申请实施例不具体限定目标设备利用第二线程池对第一数据进行处理的具体实现方式,作为一种示例,若前述第一数据为第一设备的日志,则目标设备利用第二线程池对第一数据进行处理,例如可以为所述目标设备利用第二线程池对所述第一数据进行存储。以便于后续利用该第一数据和其它数据对目标设备的安全性能进行评估,或者以便于管理员查看该采集的日志。作为又一种示例,若前述第一数据为第一设备请求获取相应数据的数据获取请求,则目标设备利用第二线程池对第一数据进行处理,例如可以为获取该数据获取请求对应的数据,并将获取的数据发送给第一设备。
通过以上描述可知,本申请实施例提供的数据处理方法,目标设备可以利用第一线程池接收来自第一设备的第一数据,而后,目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,并利用所述第二线程池对所述第一数据进行处理。而所述第一线程池为多路复用线程池,当所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池之后,在所述第二线程池对所述第一数据进行处理的过程中,目标设备可以利用第一线程池接收来自其它设备例如第二设备的第二数据。这样一来,即使多个设备均向目标设备发送数据,第一线程池均可以接收到这些数据,不会丢失部分数据。
可以理解的是,若前述第一数据为第一设备的日志,第二数据为第二设备的日志,则传统的利用一个线程池接收这些日志的方式,可能导致丢失部分重要日志,从而导致对目标设备的安全性能的评估结果不准确。而采用本申请实施例提供的方案,由于不会丢失日志,故而提升了对目标设备的安全性能的评估结果的准确性。
若前述第一数据为第一设备的日志,则目标设备利用第二线程池对第一数据进行处理,例如可以为所述目标设备利用第二线程池对所述第一数据进行存储。在传统技术中,目标设备对采集回来的日志仅仅是简单的存储,从而导致当管理员或者其他人员要查找特定的日志时,无法高效的检索到该特定的日志。故而在本申请实施例中,目标设备利用第二线程池对第一数据进行存储在具体实现时,目标设备可以首先利用第二线程池对第一数据进行分类,而后利用第二线程池根据第一数据的分类结果为第一数据添加标签,并对应存储第一数据和第一数据的标签。
可以理解的是,在本申请实施例中,第一数据的标签可以表征第一数据的分类结果。由于对应存储了第一数据和第一数据的标签,因此,管理员或者其它人员可以利用第一数据的标签作为索引进行检索,从而快速的查找到第一数据。可以理解的是,若目标数据对采集的日志均进行分类,并将采集的日志和表征该日志的分类结果的标签对应存储,则当管理员或者其他人员要查找特定的日志时,可以利用前述特定的日志具有的标签作为索引,从而高效的检索到该特定的日志。
本申请实施例不具体限定目标设备利用第二线程池对第一数据进行数据分类的具体实现方式,作为一种示例,所述目标设备可以利用第二线程池中的第一线程按照预设规则对第一数据进行分类。其中,该预设规则例如可以为第一数据的危险级别、第一数据的内容类别和上报第一数据的第一设备的设备类别中的任意以上或者多项。换言之,当第一数据为第一设备的日志时,可以根据该日志的危险级别、该日志的内容类别、上报该日志的第一设备的设备类别中的任意一项或者多项,对所述第一数据进行分类。
本申请实施例不具体限定第一数据的危险级别,第一数据的危险级别,例如可以包括紧急、严重和普通等中的任意两项或者组合。当所述第一数据为第一设备的日志时,所述第一数据的危险级别,例如可以为所述第一设备的系统日志syslog所指示的危险级别。其中,syslog中可以携带该日志的危险级别,故而在本申请实施例中,可以提取syslog中携带的危险级别,并基于提取的危险级别对所述第一设备的日志进行分类。
本申请实施例不具体限定第一数据的内容类别,第一数据的内容类别,例如可以包括运行数据、操作数据和安全数据中的任意两项或者组合。当第一数据为第一设备的日志时,该日志的内容类别,可以包括运行日志、操作日志和安全日志中的任意两项或者组合。其中,所述第一数据的内容类别,例如可以为所述第一设备的系统日志syslog所指示的内容类别。syslog中可以携带该日志的内容类别,故而在本申请实施例中,可以提取syslog中携带的内容类别,并基于提取的内容类别对所述第一设备的日志进行分类。
本申请实施例不具体限定发送该第一数据的第一设备的设备类别,第一设备的设备类别,例如可以包括防火墙、交换机、隔离装置以及加密装置等中的任意两项或者组合。在本申请实施例中,当第一数据为第一设备的日志时,第一设备的设备类别,可以根据syslog中可以携带的设备标识确定。故而在本申请实施例中,可以提取syslog中携带的设备标识,并基于提取的设备标识对所述第一设备的日志进行分类。
如前文所述,在第二线程池对第一数据进行处理的过程中,第一线程池不再处于阻塞状态,若其它设备例如第二设备向目标设备发送第二数据,则目标设备可以利用所述第一线程池接收所述第二设备发送的第二数据。本申请实施例提供的数据处理方法,还可以包括图3所示的步骤S301-S302,图3为本申请实施例提供的又一种数据处理方法的流程示意图。
S301:在所述第二线程池对所述第一数据进行处理的过程中,所述目标设备利用第一线程池接收来自所述第二设备的所述第二数据。
S302:所述目标设备将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
需要说明的是,在本申请实施例的一种实现方式中,可以由第一线程池接收第二数据,若第二线程池中的第一线程已经处理完第一数据,则可以由第二线程池中的第一线程对该第二数据进行处理。如前文对第二线程池的描述部分可知,第二线程池可以包括多个线程,除了包括上述对第一数据进行处理的第一线程之外,还可以包括第二线程,当然,还可以包括第三线程甚至第四线程等等。在本申请实施例中,接收到第二数据之后,第二线程池对所述第二数据进行处理时,也可以由除第一线程之外的其它线程例如第二线程对第二数据进行处理。在本申请实施例中,是由第一线程对第二数据进行处理,还是由第二线程对第二数据进行处理,本申请实施例不做具体限定,作为一种示例,可以根据接收到第一数据和第二数据之间的时间差,确定由哪个线程对第二数据进行处理。例如,若接收到第一数据和第二数据之间的时间差比较小,则接收到第二数据时,第一线程正在处理第一数据,而第二线程处于空闲状态,故而可以由第二线程对第二数据进行处理;若接收到第一数据和第二数据之间的时间差比较大,则接收到第二数据时,第一线程对第一数据的处理已经结束,则可以由第一线程对第二数据进行处理。当然,还可以通过其它方式确定是由第一线程对第二数据进行处理,还是由第二线程对第二数据进行处理,此处不再一一列举说明。
关于目标设备利用第二线程池对第二数据进行处理的具体实现,与目标设备利用第二线程池对第一数据进行处理的实现方式类似,相关描述可以参考上文关于目标设备利用第二线程池对第一数据进行处理的具体实现部分,此处不再详述。
示例性设备
基于以上实施例提供的数据处理方法,本申请实施例还提供了一种数据处理装置,以下结合附图介绍该装置。
参见图4,该图为本申请实施例提供的一种数据处理装置的结构示意图。
本申请实施例提供的数据处理装置400,可以应用于前述目标设备,所述装置400例如可以具体包括:接收单元401、传递单元402和处理单元403。
接收单元401,用于利用第一线程池接收来自第一设备的第一数据;所述第一线程池为多路复用线程池;
传递单元402,用于将所述第一线程池接收的所述第一数据传递给第二线程池;
处理单元403,用于利用所述第二线程池对所述第一数据进行处理;
所述接收单元401,还用于在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,利用所述第一线程池接收来自所述第二设备的第二数据。
可选的,所述处理单元403,具体用于:
利用所述第二线程池对所述第一数据进行存储。
可选的,所述处理单元403,包括:
分类子单元,用于利用所述第二线程池对所述第一数据进行数据分类;
存储子单元,用于利用所述第二线程池根据所述第一数据的分类结果为所述第一数据添加标签,并对应存储所述第一数据和所述第一数据的标签。
可选的,所述分类子单元,具体用于:
利用所述第二线程池按照预设规则对所述第一数据进行分类;
所述预设规则包括以下任意一项或者组合:
所述第一数据的危险级别、所述第一数据的内容类别和上报所述第一数据的第一设备的设备类别。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述第一数据为所述第一设备的日志。
可选的,所述接收单元401还用于:在所述第二线程池对所述第一数据进行处理的过程中,利用第一线程池接收来自所述第二设备的所述第二数据;
所述传递单元402,还用于将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
由于所述装置400是与以上方法实施例提供的方法对应的装置,所述装置400的各个单元的具体实现,均与以上方法实施例为同一构思,因此,关于所述装置400的各个单元的具体实现,可以参考以上方法实施例的描述部分,此处不再赘述。
通过以上描述可知,本申请实施例提供的数据处理装置,接收单元可以利用第一线程池接收来自第一设备的第一数据,而后,传递单元将所述第一线程池接收的所述第一数据传递给第二线程池,处理单元利用所述第二线程池对所述第一数据进行处理。而所述第一线程池为多路复用线程池,当所述传递单元将所述第一线程池接收的所述第一数据传递给第二线程池之后,在所述第二线程池对所述第一数据进行处理的过程中,接收单元可以利用第一线程池接收来自其它设备例如第二设备的第二数据。这样一来,即使多个设备均向目标设备发送数据,第一线程池均可以接收到这些数据,不会丢失部分数据。
可以理解的是,若前述第一数据为第一设备的日志,第二数据为第二设备的日志,则传统的利用一个线程池接收这些日志的方式,可能导致丢失部分重要日志,从而导致对目标设备的安全性能的评估结果不准确。而采用本申请实施例提供的方案,由于不会丢失日志,故而提升了对目标设备的安全性能的评估结果的准确性。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法包括:
目标设备利用第一线程池接收来自第一设备的第一数据;所述第一线程池为多路复用线程池;
所述目标设备将所述第一线程池接收的所述第一数据传递给第二线程池,所述目标设备利用所述第二线程池对所述第一数据进行处理;在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,所述目标设备利用所述第一线程池接收来自所述第二设备的第二数据。
2.根据权利要求1所述的方法,其特征在于,所述目标设备利用第二线程池对所述第一数据进行处理,包括:
所述目标设备利用所述第二线程池对所述第一数据进行存储。
3.根据权利要求2所述的方法,其特征在于,所述目标设备利用所述第二线程池对所述第一数据进行存储,包括:
所述目标设备利用所述第二线程池对所述第一数据进行数据分类;
所述目标设备利用所述第二线程池根据所述第一数据的分类结果为所述第一数据添加标签,并对应存储所述第一数据和所述第一数据的标签。
4.根据权利要求3所述的方法,其特征在于,所述目标设备利用所述第二线程池对所述第一数据进行数据分类,包括:
所述目标设备利用所述第二线程池按照预设规则对所述第一数据进行分类;
所述预设规则包括以下任意一项或者组合:
所述第一数据的危险级别、所述第一数据的内容类别和上报所述第一数据的第一设备的设备类别。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述第一数据为所述第一设备的日志。
6.根据权利要求1-4任意一项所述的方法,其特征在于,所述第一数据为所述第一设备的日志。
7.根据权利要求1-4任意一项所述的方法,其特征在于,所述方法还包括:
在所述第二线程池对所述第一数据进行处理的过程中,所述目标设备利用第一线程池接收来自所述第二设备的所述第二数据;
所述目标设备将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
8.一种数据处理装置,其特征在于,应用于目标设备,所述装置包括:
接收单元,用于利用第一线程池接收来自第一设备的第一数据;所述第一线程池为多路复用线程池;
传递单元,用于将所述第一线程池接收的所述第一数据传递给第二线程池;
处理单元,用于利用所述第二线程池对所述第一数据进行处理;
所述接收单元,还用于在所述第二线程池对所述第一数据进行处理的过程中,若第二设备向所述目标设备发送第二数据,利用所述第一线程池接收来自所述第二设备的第二数据。
9.根据权利要求8所述的装置,其特征在于,所述处理单元,具体用于:
利用所述第二线程池对所述第一数据进行存储。
10.根据权利要求9所述的装置,其特征在于,所述处理单元,包括:
分类子单元,用于利用所述第二线程池对所述第一数据进行数据分类;
存储子单元,用于利用所述第二线程池根据所述第一数据的分类结果为所述第一数据添加标签,并对应存储所述第一数据和所述第一数据的标签。
11.根据权利要求10所述的装置,其特征在于,所述分类子单元,具体用于:
利用所述第二线程池按照预设规则对所述第一数据进行分类;
所述预设规则包括以下任意一项或者组合:
所述第一数据的危险级别、所述第一数据的内容类别和上报所述第一数据的第一设备的设备类别。
12.根据权利要求8-11任意一项所述的装置,其特征在于,所述第一数据为所述第一设备的日志。
13.根据权利要求8-11任意一项所述的装置,其特征在于,所述第一数据为所述第一设备的日志。
14.根据权利要求8-11任意一项所述的装置,其特征在于,所述接收单元还用于:在所述第二线程池对所述第一数据进行处理的过程中,利用第一线程池接收来自所述第二设备的所述第二数据;
所述传递单元,还用于将所述第一线程池接收的所述第二数据传递给第二线程池,并利用所述第二线程池对所述第二数据进行处理。
CN201910434955.0A 2019-05-23 2019-05-23 一种数据处理方法及装置 Active CN110134578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434955.0A CN110134578B (zh) 2019-05-23 2019-05-23 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434955.0A CN110134578B (zh) 2019-05-23 2019-05-23 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110134578A true CN110134578A (zh) 2019-08-16
CN110134578B CN110134578B (zh) 2023-04-28

Family

ID=67572704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434955.0A Active CN110134578B (zh) 2019-05-23 2019-05-23 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110134578B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859082A (zh) * 2020-05-27 2020-10-30 伏羲科技(菏泽)有限公司 标识解析方法及装置
CN111402570B (zh) * 2020-02-11 2021-08-17 广州创知科技有限公司 红外遥控信号接收方法、接收系统、接收设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130132970A1 (en) * 2010-07-13 2013-05-23 Fujitsu Limited Multithread processing device, multithread processing system, and computer-readable recording medium having stored therein multithread processing program
CN103577257A (zh) * 2012-08-03 2014-02-12 杭州勒卡斯广告策划有限公司 一种rest服务方法、装置及系统
CN105373420A (zh) * 2014-08-28 2016-03-02 北京奇虎科技有限公司 数据传输方法及装置
CN105912402A (zh) * 2016-04-11 2016-08-31 深圳益邦阳光有限公司 一种基于Actor模型的调度方法及装置
CN106997307A (zh) * 2017-02-13 2017-08-01 上海大学 一种面向多终端无线通信的Socket线程池设计方法
CN109542642A (zh) * 2018-11-15 2019-03-29 网宿科技股份有限公司 一种前端任务处理的方法及装置
CN109558255A (zh) * 2018-12-13 2019-04-02 广东浪潮大数据研究有限公司 一种任务处理的方法及任务处理装置
CN109582455A (zh) * 2018-12-03 2019-04-05 恒生电子股份有限公司 多线程任务处理方法、装置及存储介质
CN109710624A (zh) * 2018-12-19 2019-05-03 泰康保险集团股份有限公司 数据处理方法、装置、介质及电子设备
CN109766171A (zh) * 2018-12-06 2019-05-17 斑马网络技术有限公司 任务处理方法、装置、设备以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130132970A1 (en) * 2010-07-13 2013-05-23 Fujitsu Limited Multithread processing device, multithread processing system, and computer-readable recording medium having stored therein multithread processing program
CN103577257A (zh) * 2012-08-03 2014-02-12 杭州勒卡斯广告策划有限公司 一种rest服务方法、装置及系统
CN105373420A (zh) * 2014-08-28 2016-03-02 北京奇虎科技有限公司 数据传输方法及装置
CN105912402A (zh) * 2016-04-11 2016-08-31 深圳益邦阳光有限公司 一种基于Actor模型的调度方法及装置
CN106997307A (zh) * 2017-02-13 2017-08-01 上海大学 一种面向多终端无线通信的Socket线程池设计方法
CN109542642A (zh) * 2018-11-15 2019-03-29 网宿科技股份有限公司 一种前端任务处理的方法及装置
CN109582455A (zh) * 2018-12-03 2019-04-05 恒生电子股份有限公司 多线程任务处理方法、装置及存储介质
CN109766171A (zh) * 2018-12-06 2019-05-17 斑马网络技术有限公司 任务处理方法、装置、设备以及存储介质
CN109558255A (zh) * 2018-12-13 2019-04-02 广东浪潮大数据研究有限公司 一种任务处理的方法及任务处理装置
CN109710624A (zh) * 2018-12-19 2019-05-03 泰康保险集团股份有限公司 数据处理方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402570B (zh) * 2020-02-11 2021-08-17 广州创知科技有限公司 红外遥控信号接收方法、接收系统、接收设备及存储介质
CN111859082A (zh) * 2020-05-27 2020-10-30 伏羲科技(菏泽)有限公司 标识解析方法及装置

Also Published As

Publication number Publication date
CN110134578B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US20190222603A1 (en) Method and apparatus for network forensics compression and storage
CN106534114B (zh) 基于大数据分析的防恶意攻击系统
CN111752795A (zh) 一种全流程监控报警平台及其方法
CN105488610A (zh) 一种电力应用系统故障实时分析诊断系统及方法
CN106972985B (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN106339484B (zh) 一种视频智能检索处理的系统及方法
CN105760452B (zh) 一种高并发海量数据的采集、处理和存储的方法及系统
CN110134578A (zh) 一种数据处理方法及装置
CN110149227A (zh) 网络告警的方法及装置
CN108989151B (zh) 用于网络或应用性能管理的流量采集方法
CN108900374A (zh) 一种应用于dpi设备的数据处理方法和装置
CN112350854B (zh) 一种流量故障定位方法、装置、设备及存储介质
CN111538563A (zh) 一种对Kubernetes的事件分析方法及装置
CN107241305A (zh) 一种基于多核处理器的网络协议分析系统及其分析方法
CN107423145A (zh) 一种避免消息丢失的方法与装置
CN110417873A (zh) 一种实现记录网页交互操作的网络信息提取系统
CN105827629A (zh) 云计算环境下软件定义安全导流装置及其实现方法
CN108063832B (zh) 一种云存储系统及其存储方法
CN108234189A (zh) 一种告警数据处理方法和装置
CN107276857A (zh) 一种监测流量的方法及装置
Moreno et al. Packet storage at multi-gigabit rates using off-the-shelf systems
CN114490280A (zh) 一种日志处理方法、装置、设备及介质
CN108667649B (zh) 一种故障排查方法、装置及服务器
CN113037551B (zh) 一种基于流量切片的涉敏业务快速识别定位方法
CN110070344A (zh) 任务量化的城市管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant