CN110968370B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种数据处理方法及装置，涉及计算机领域。该方法能够提供系统资源的使用效率，提高高并行写入Kafka的速度。该方法包括：将接收到的消息存入环形数组中；利用第二线程池中的处理线程，依次对环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，第二线程池中包括预设个数的处理线程；Kafka Producer池中包括预设个数的Producer。本发明应用于Kafka写入。

Description

一种数据处理方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法及装置。

背景技术

在Kafka系统中，在每次获取到消息时，节点通常需要对应创建相应的线程用于接收、处理消息并调用Producer将处理后的消息发送至Kafka系统中对应的Broker。

发明内容

本发明的的实施例提供一种数据处理方法及装置，能够提供系统资源的使用效率，提高高并行写入Kafka的速度。

第一方面，本发明提供一种数据处理方法，该方法包括：将接收到的消息存入环形数组中；利用第二线程池中的处理线程，依次对环形数组中的消息进行处理并利用KafkaProducer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，第二线程池中包括预设个数的处理线程；Kafka Producer池中包括预设个数的Producer。

第二方面，本发明实施例提供一种数据处理装置，该数据处理装置包括：消息接收单元，用于将接收到的消息存入环形数组中；消息写入单元，在消息接收单元将接收到的消息存入环形数组中后，利用第二线程池中的处理线程，依次对环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，第二线程池中包括预设个数的处理线程；KafkaProducer池中包括预设个数的Producer。

第三方面，本发明实施例提供另一种数据处理装置，包括：处理器、存储器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接，当数据处理装置运行时，处理器执行上述存储器存储的上述计算机执行指令，以使数据处理装置执行如上述第一方面所提供的数据处理方法。

第四方面，本发明实施例提供一种计算机存储介质，包括指令，当其在数据处理装置上运行时，使得数据处理装置执行上述第一方面所提供的数据处理方法。

本发明实施例所提供的数据处理方法及装置，在设备需要处理接收到的消息并将处理结果写入Kafka时，将消息接收过程、消息处理过程进行分离。在接收到消息，先利用接收线程将接收到的消息存入环形数组。再由第二线程池中的线程对环形数组中的消息进行处理。再通过调用Kafka Producer池中的Producer，将处理结果写入Kafka。从而实现了以下技术效果：首先，本发明中当设备突然高并发的接收数据时，不需要同时创建对应个数的处理进程对消息进行处理，而是先将消息缓存至环形数组中，然后利用第二线程池中有限个数个处理线程，依次对环形数组中的消息进行处理，节省了设备的系统资源。并且，本发明中通过改变进程处理消息后写入Kafka的处理逻辑，在进程对消息进行处理后，不再单独创建Producer来进行Kafka写入，而是通过调用Kafka Producer池中的Producer来完成写入操作。从而避免在高并发时频繁创建Producer实例而使系统资源使用不平稳的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种数据处理方法流程示意图；

图2为本发明实施例提供的一种数据处理装置的结构示意图；

图3为本发明实施例提供的另一种数据处理装置的结构示意图；

图4为本发明实施例提供的又一种数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。另外，还应当理解，本文中使用的术语“多个”、“多组”是指包含两个或两个以上的列出项目的任何或所有可能组合。

首先，对本发明实施例所涉及的术语进行解释：

Java，一种流行的计算机软件开发语言。Java语言吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。

Kafka，由Apache软件基金会开发的一个开源流处理平台,一种高吞吐量的分布式发布订阅消息系统。在一个Kafka集群中，包括多种类型的节点。具体包括：用于存储消息的Broker、用于向KafkaBroker写入消息的Producer、用于从KafkaBroker读取消息的客户端Consumer等。

以下对本发明的发明构思进行介绍：

目前，设备在向Kafka写入消息时，通常的处理方法是创建对应的进程来接收消息、处理消息，再创建Producer将处理结果对应的消息写入Kafka中的Broker节点。这样一来，当系统处于高并行状态时，即设备同时接收多条消息时，则需要对应的创建与接收消息个数对应的线程以及Producer，来完成Kafka的写入动作。这极大的占用了系统资源。

针对上述情况，本发明中想到，通过将设备的接收消息和处理消息的动作解耦合，当接收消息时将接收到的消息先存入环形数组中进行缓存。然后，再调用线程池中的处理线程，依次对环形数组中的消息进行处理。然后再调用Kafka Producer池中的Producer将处理结果写入Broker节点。在本发明中，由于采用了当接收消息时将接收到的消息先存入环形数组中进行缓存的手段，进而不需要在接收消息后创建对应的线程，来立即对接收到的消息进行处理。而采用第二线程池中有限个数的处理线程，依次对环形数组中的消息进行处理。从而避免重复执行创建线程的动作，提高了系统资源的使用效率。另外，本发明中，还通过将消息的处理过程与Kafka写入过程进行解耦合，通过创建预设个数的Producer，并使第二线程池中有限个数的处理线程共用预设个数的Producer来完成向Broker节点写入消息的功能。从而，进一步提高了系统资源的使用效率。

基于上述发明原理，本发明实施例提供一种数据处理方法，如图1所示，该方法具体包括：

S101、将接收到的消息存入环形数组中。

在一种实现方式中，将接收到的消息存入环形数组中，具体包括：在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中。

其中，第一线程池中包括预设个数的接收线程。

本发明实施例中，通过创建一个包括预设个数接收线程的第一线程池，当需要接收消息时，直接调用第一线程池中的线程来接收消息并将消息存入环形数组中。进而，避免每次接收消息时，都需要重新执行创建线程来接收消息的步骤，降低了系统资源的消耗。

在一种实现方式中，本发明实施例中可以采用设置多个环形数组的方式，来对接收到的消息进行存储。并且为了便于后续步骤中对消息进行处理，本发明实施例中还可以采用将接收的消息均衡的存入多个环形数组的方式。进而，在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中，具体包括：

在接收消息时，从第一线程池中选择预设接收线程，利用预设接收线程接收消息，并将接收到的消息存入预设的m个环形数组中存储消息量最少的环形数组。

示例性的，其中m个环形数组中存储消息量最少的环形数组，具体可以为：数据量最少的环形数组，或者存储的消息个数最少的环形数组。

在一种实现方式中，考虑到可能会出现同时接收到的消息过多，以至于第一线程池中的线程不够用的情况，为了避免数据的丢失，本发明实施例所提供的方法还包括：当出现异常时将待接收的消息保存至预设存储空间中，在异常消除后进行消息补录。以使得利用第一线程池中的接收线程，接收待接收的消息，并将待接收的消息，存入环形数组中。

S102、利用第二线程池中的处理线程，依次对环形数组中的消息进行处理并利用KafkaProducer池中的Producer将处理结果写入Kafka系统的Broker节点。

其中，第二线程池中包括预设个数的处理线程；Kafka Producer池中包括预设个数的Producer。

在一种实现方式中，第二线程池中包括m个线程组，其中每个线程组分别对m个环形数组中的一个环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点。

本发明实施例中，通过将第二线程池中的处理线程分为m个线程组，并利用m个线程组分别处理m个环形数组中的消息，从而进一步提高系统资源的使用效率。

在一种实现方式中，为了进一步提高系统的资源使用效率，在保证快速完成Kafka的写入任务的前提下，尽可以占用较少的系统资源。本发明实施例所提供的数据处理方法中，在接收消息之前，还可以包括：

根据当前的系统资源使用量，确定第一线程池中的接收线程的个数、第二线程池中的处理线程的个数、环形数组的个数以及Kafka Producer池中Producer的个数。

示例性的，若检测到某一时间段内，JVM(JavaVirtual Machine，Java虚拟机)节点的最大TPS(transactionper second，每秒传输的事物处理个数)为1000条/秒。假设每个线程每秒处理速度为300条/秒，则需要在第一线程池中创建4个接收线程用于接收消息。

另外，在一种实现方式中，本发明实施例中，还可以包括：间隔预设周期，获取当前的系统资源使用量。根据获取到的当前的系统资源使用量，确定第一线程池中的接收线程的个数、第二线程池中的处理线程的个数、环形数组的个数以及KafkaProducer池中Producer的个数。

本发明实施例所提供的数据处理方法及装置，在设备需要处理接收到的消息并将处理结果写入Kafka时，将消息接收过程、消息处理过程进行分离。在接收到消息，先利用接收线程将接收到的消息存入环形数组。再由第二线程池中的线程对环形数组中的消息进行处理。再通过调用Kafka Producer池中的Producer，将处理结果写入Kafka。从而实现了以下技术效果：首先，本发明中当设备突然高并发的接收数据时，不需要同时创建对应个数的处理进程对消息进行处理，而是先将消息缓存至环形数组中，然后利用第二线程池中有限个数个处理线程，依次对环形数组中的消息进行处理，节省了设备的系统资源。并且，本发明中通过改变进程处理消息后写入Kafka的处理逻辑，在进程对消息进行处理后，不再单独创建Producer来进行Kafka写入，而是通过调用Kafka Producer池中的Producer来完成写入操作。从而避免在高并发时频繁创建Producer实例而使系统资源使用不平稳的问题。

实施例二：

本发明实施例提供一种数据处理装置，用于执行上述实施例一所提供的数据处理方法。如图2所示，为本发明实施例提供的数据处理装置的一种可能的结构示意图。具体的，该数据处理装置20包括：消息接收单元201、消息写入单元202。其中：

消息接收单元201，用于将接收到的消息存入环形数组中。

消息写入单元202，在消息接收单元201将接收到的消息存入环形数组中后，利用第二线程池中的处理线程，依次对环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，第二线程池中包括预设个数的处理线程；Kafka Producer池中包括预设个数的Producer。

可选的，消息接收单元201，具体用于在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中；其中，第一线程池中包括预设个数的接收线程。

可选的，消息接收单元201，具体用于在接收消息时，从第一线程池中选择预设接收线程，利用预设接收线程接收消息，并将接收到的消息存入预设的m个环形数组中存储消息量最少的环形数组。

可选的，第二线程池中包括m个线程组，其中每个线程组分别对m个环形数组中的一个环形数组中的消息进行处理并利用KafkaProducer池中的Producer将处理结果发送至Kafka系统的Broker节点。

可选的，数据处理装置20，还包括：资源分配单元203。

资源分配单元203，用于根据当前的系统资源使用量，确定第一线程池中的接收线程的个数、第二线程池中的处理线程的个数、环形数组的个数以及Kafka Producer池中Producer的个数。

本发明实施例中提供的数据处理装置中各模块所的功能以及所产生的效果可以参照上述实施例一数据处理方法中的对应的描述内容，在此不再赘述。

需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用集成的单元的情况下，图3示出了上述实施例中所涉及的数据处理装置的一种可能的结构示意图。数据处理装置30包括：处理模块301、通信模块302和存储模块303。处理模块301用于对数据处理装置30的动作进行控制管理，例如，处理模块301用于支持数据处理装置30执行图2中的过程S101-S102。通信模块302用于支持数据处理装置30与其他实体的通信。存储模块303用于存储应用服务器的程序代码和数据。

其中，处理模块301可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块302可以是收发器、收发电路或通信接口等。存储模块303可以是存储器。

当处理模块301为如图4所示的处理器，通信模块302为图4的收发器，存储模块303为图4的存储器时，本发明实施例所涉及的数据处理装置可以为如下的数据处理装置40。

参照图4所示，该数据处理装置40包括：处理器401、收发器402、存储器403和总线404。

其中，处理器401、收发器402、存储器403通过总线404相互连接；总线404可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器401可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。

存储器403可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器402用于存储执行本发明方案的应用程序代码，并由处理器401来控制执行。收发器402用于接收外部设备输入的内容，处理器401用于执行存储器403中存储的应用程序代码，从而实现本发明实施例中提供的数据处理方法。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户终端线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种数据处理方法，其特征在于，所述方法包括：

将接收到的消息存入环形数组中；

利用第二线程池中的处理线程，依次对所述环形数组中的消息进行处理并利用KafkaProducer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，所述第二线程池中包括预设个数的处理线程；所述Kafka Producer池中包括预设个数的Producer；

所述将接收到的消息存入环形数组中，具体包括：

在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中；其中，所述第一线程池中包括预设个数的接收线程；

在接收消息之前，所述方法还包括：

根据当前的系统资源使用量，确定所述第一线程池中的接收线程的个数、所述第二线程池中的处理线程的个数、环形数组的个数以及所述Kafka Producer池中Producer的个数。

2.根据权利要求1所述数据处理方法，其特征在于，所述在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中，具体包括：

在接收消息时，从所述第一线程池中选择预设接收线程，利用所述预设接收线程接收消息，并将接收到的消息存入预设的m个环形数组中存储消息量最少的环形数组。

3.根据权利要求2所述数据处理方法，其特征在于，所述第二线程池中包括m个线程组，其中每个线程组分别对所述m个环形数组中的一个环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点。

4.一种数据处理装置，其特征在于，所述数据处理装置包括：

消息接收单元，用于将接收到的消息存入环形数组中；

消息写入单元，在所述消息接收单元将接收到的消息存入环形数组中后，利用第二线程池中的处理线程，依次对所述环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果写入Kafka系统的Broker节点；其中，所述第二线程池中包括预设个数的处理线程；所述Kafka Producer池中包括预设个数的Producer；

所述消息接收单元，具体用于在接收消息时，调用第一线程池中的接收线程接收消息并将消息存入环形数组中；其中，所述第一线程池中包括预设个数的接收线程；

资源分配单元，用于在所述消息接收单元将接收到的消息存入环形数组中之前，根据当前的系统资源使用量，确定所述第一线程池中的接收线程的个数、所述第二线程池中的处理线程的个数、环形数组的个数以及所述Kafka Producer池中Producer的个数。

5.根据权利要求4所述数据处理装置，其特征在于，所述消息接收单元，具体用于在接收消息时，从所述第一线程池中选择预设接收线程，利用所述预设接收线程接收消息，并将接收到的消息存入预设的m个环形数组中存储消息量最少的环形数组。

6.根据权利要求5所述数据处理装置，其特征在于，所述第二线程池中包括m个线程组，其中每个线程组分别对所述m个环形数组中的一个环形数组中的消息进行处理并利用Kafka Producer池中的Producer将处理结果发送至Kafka系统的Broker节点。