CN109992432A - 一种基于消息队列的数据处理系统及方法 - Google Patents

Abstract

本申请公开了一种基于消息队列的数据处理系统、方法及装置，涉及大数据领域，用于处理多种类型的数据。包括：第一数据处理层和第二数据处理层，第一数据处理层包括第一服务单元及第二服务单元，第二数据处理层包括第三服务单元及第四服务单元；第一服务单元用于根据数据类型将至少一个数据写入第一kafka的至少一个管道；第二服务单元用于根据数据类型对第一kafka中的至少一个管道中的数据进行处理；第三服务单元用于将至少一个处理后的数据封装成统一的数据格式并将至少一个数据类型相同的数据写入第二kafka的一个管道；第四服务单元用于根据预设时间从第二kafka的管道中抽取预设数量的数据并进行储存。本申请实施例应用于及时处理多种数据。

Description

一种基于消息队列的数据处理系统及方法

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于消息队列的数据处理系统及方法。

背景技术

在服务器端对数据的接收处理中，保证数据的及时接收处理并快速高效的存储，是软件开发中非常重要的部分。但是由于单台服务器的处理能力有限，当遇到大数据量并发访问时，服务器无法及时处理，导致数据的丢失或延时处理。

现有技术的一种方法是通过扩展硬件设备、提高服务器的处理能力，然后使用传统的数据处理方法来处理，如图1所示，该方法包括：S1、监控是否有数据上报；S2、收到一条数据后，根据不同的业务做不同的业务处理；S3、业务逻辑处理完后，将该条数据存入数据库。但是这种方式成本较高。

另一种方法是使用互联网中间件，如消息队列kafka，将接收到的数据首先写入kafka消息队列中，将数据缓存下来后统一处理，这种方式对于同一数据类型及相同业务逻辑的数据能够提高很高的效率。如图2所示，该方法包括：S10、监控是否有数据上报；S20、由kafka生产者将数据写入消息队列；S30、由kafka消费者从消息队列中取出数据；S40、业务逻辑处理完后，将该条数据存入数据库。但在实际业务中，特别在物联网领域中，各种物联网模块上报的大批量的不同类型的复杂数据需要处理并储存时，如果仅使用上述单一的kafka处理方法，只能单一的储存处理后的数据，服务器压力大且效率较低，因此无法满足实际的业务需求。

因此如何针对高并发的大数量的多种类别的数据进行及时处理并提高储存效率，缓解服务器的处理压力并减低成本成为开发过程中较为难解决的问题。

发明内容

本申请的实施例提供一种基于消息队列的数据处理系统及方法，用于减低成本的同时可以及时处理大数量的多种类别的数据并提高储存效率。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种基于消息队列的数据处理系统，该系统包括：包括第一数据处理层和第二数据处理层，所述第一数据处理层包括第一服务单元及第二服务单元，所述第二数据处理层包括第三服务单元及第四服务单元；

所述第一服务单元，用于获取至少一个第一数据及所述至少一个第一数据对应的数据类型，并根据所述数据类型将所述至少一个第一数据写入第一kafka的至少一个管道，其中，每个所述管道用于储存相同数据类型的至少一个所述第一数据；

所述第二服务单元，用于根据所述数据类型对所述第一kafka的至少一个所述管道中的所述第一数据进行处理，以得到至少一个第二数据；

所述第三服务单元，用于将所述至少一个第二数据封装成统一的数据格式，并用于将数据类型相同的所述至少一个第二数据写入第二kafka的一个管道；

所述第四服务单元，用于根据预设时间从所述第二kafka的所述管道中抽取出预设数量的所述第二数据，并将抽取出的所述第二数据进行储存。

第二方面，提供了一种数据处理方法，该方法包括：

根据至少一个第一数据的数据类型将所述至少一个第一数据写入第一kafka的至少一个管道，其中，每个所述管道用于储存相同数据类型的所述第一数据；

根据所述数据类型对所述第一kafka的至少一个管道中的数据进行处理，以得到至少一个第二数据；

将所述至少一个第二数据封装成统一的数据格式，并将至少一个数据类型相同的所述第二数据写入第二kafka的一个管道；

根据预设时间从所述第二kafka的一个管道中抽取预设数量的所述第二数据，并将所述第二数据进行储存。

第三方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如第二方面所述的数据处理方法。

第四方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行如第二方面所述的数据处理方法。

第五方面，提供一种数据处理装置，包括：包括：处理器、存储器和通信接口；其中，通信接口用于所述数据处理装置和其他设备或网络通信；所述存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当所述数据处理装置运行时，处理器执行该存储器存储的该计算机执行指令，以使所述数据处理装置执行第二方面所述的数据处理方法。

本申请的实施例提供的基于消息队列的数据处理系统、方法及装置，通过设置多层数据处理机制，第一数据处理层用于将多种数据类型的数据写入第一kafka，解决了服务器端针对高并发的大量不同类型的数据，能够作出不同的处理策略，包括满足对不同业务的实时处理和缓冲处理，第二数据处理层将处理后的数据转化为同一种数据格式，并写入第二kafka的一个管道，然后根据预设时间抽取预设数量的数据，进行储存，因此可以实现将多种不同类型的数据快速批量存储，同时实现简单，成本较低，还极大地提高了服务端的数据处理能力和存储效率。

附图说明

图1为现有技术提供的一种数据处理方法流程示意图；

图2为现有技术提供的一种基于kafka的数据处理方法流程示意图；

图3为本申请的实施例提供的一种kafka的原理示意图；

图4为本申请的实施例提供的一种基于消息队列的数据处理系统结构示意图；

图5为本申请的实施例提供的另一种基于消息队列的数据处理系统结构示意图；

图6为本申请的实施例提供的一种数据处理方法流程示意图；

图7为本申请的实施例提供的一种数据处理装置结构示意图；

图8为本申请的实施例提供的另一种数据处理装置结构示意图。

具体实施方式

下面先对本申请实施例涉及的一些概念进行简单介绍。

kafka：

kafka是一种高吞吐量的分布式发布订阅消息系统，是一种目前在消息数据处理领域常用的互联网中间件，如图3所示，其主要原理为：生产者通过kafka将数据写入设定的管道，该管道成为Topic，消费者在kafka的另一端从Topic中取出对应的数据进行消费处理。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

在本申请的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例提供的技术方案可以应用于电器的参数控制设备，如用于空调的温度控制设备。

本申请实施例提供了一种基于消息队列的数据处理系统，如图4所示，该数据处理系统包括第一数据处理层400和第二数据处理层500，所述第一数据处理层400包括第一服务单元410及第二服务单元420，第二数据处理层500包括第三服务单元510及第四服务单元520。

第一服务单元410，用于获取多个数据及多个数据的类型，并根据至少一个第一数据的类型将至少一个第一数据写入第一kafka的多个管道，其中，每个管道用于储存相同数据类型的第一数据。

具体的，第一服务单元410可以提供Report服务，用于实时接收上报的各种类型的数据，并将接收到的不同数据类型的第一数据进行预处理，其中，预处理的过程可以为：根据数据携带的标志位将数据进行快速分类，并根据划分的数据类型创建对应的数据管道，每个数据管道用于储存数据类型相同的至少一个数据，同时第一服务单元410作为第一层消息队列的生产者可以直接将不同数据类型的多个第一数据分别写入对应的管道。以使消费者能根据数据管道的消息主体，快速区分出每个数据管道对应的数据类型。

其中，该服务不做任何数据的存储操作。

需要说明的，本申请实施例中的数据类型还可以根据业务逻辑来设定。示例性的，当本申请实施例应用于空调等温度控制设备时，根据业务逻辑，可以将第一数据分为：系统状态数据、室内机固定状态数据、室内机控制状态数据、室内机全状态数据、室外机固定状态数据、室外机全状态数据以及模块状态数据。

可选的，第一服务单元410作为生产者将至少一个第一数据写入第一kafka的至少一个管道时，可以采用不指定标识Key的方式，使数据通过管道类型进行自动负载均衡，避免数据过多造成的拥堵。

第二服务单元420，用于根据数据类型对第一kafka的至少一个管道中的第一数据进行处理，以得到至少一个第二数据。

其中，第二数据为处理后的数据。

具体的，第二服务单元420提供Parse服务，该Parse服务作为第一层kafka的消费者，当监听到有数据写入第一kafka的管道时，可以根据不同的管道确认该数据的类型，并采用高性能存储系统Redis针对不同业务作数据的更新、不同类型的数据组合、推送等操作。

需要说明的，本申请实施例中Parse服务可以采用实时监听的模式，以确保能够及时的获取各个管道写入的数据，进而保证不同类型数据接收处理的实时性，并根据数据的类型进行相关业务处理及统一封装处理，其中，该服务不用于数据的存储。

第三服务单元510，用于将至少一个第二数据封装成统一的数据格式，并将数据类型相同的至少一个第二数据写入第二kafka的一个管道。

具体的，第三服务单元510作为第二层kafka的生产者，可以将不同数据类型的数据进行归一化处理后重新组装成相同的数据格式，写入第二kafka的一个固定的管道，这样可以将获取的各种数据类型汇总后写入统一的管道。

需要说明的，参照图4、图5中所示，第二服务单元420和第三服务单元510可以为相同的服务单元，还可以为不同的服务单元。本申请实施例中采用微服务架构，设计了两层消息队列kafka的数据缓冲处理及批量存储方法，利用微服务的设计思想，将消息队列的生产者和消费者分别设计成各个微服务，其中，各个服务单元之间独立部署运行，并独立完成各自的业务逻辑，因此极大地增加了整个系统的容错性和稳定性。其中，第一kafka和第二kafka可以为同一kafka或不同的kafka，当为同一kafka时，当第三服务单元将处理后的数据封装为同一数据格式后，写入的Topic不为第一服务单元写入数据时的任意一个管道。

第四服务单元520，用于根据预设时间从第二kafka的管道中抽取出预设数量的第二数据，并将抽取出的第二数据进行储存。

具体的，第四服务单元可以提供Es服务，该服务作为第二层kafka的消费者，可以监听Parse服务写入管道的数据；由于数据进入第二kafka之后，对数据的实时性处理要求不高，因此可以采用定时拉取的消费方式，每隔一段时间从管道中拉取一定数量的数据进行批量处理及存储。

可选的，本申请实施例中可以采用高性能搜索引擎ElasticSearch对数据行批量存储，由于ElasticSearch具有实时搜索、稳定、可靠、快速且安装使用方便的优点，因此可以更加快速的储存数据，提高效率。

需要说明的，本申请实施例提供预设时间及预设数量可以根据数据的业务类型进行调整。

示例性的，本申请实施例中预设时间可以为200ms，预设数量可以为2000个。

本申请实施例提供的基于消息队列的数据处理系统，采用软件开发中的微服务架构，结合kafka设计了两层数据缓冲处理机制，第一数据处理层用于将多种数据类型的数据写入kafka后进行处理，满足了对实时性要求较高的业务处理需求，第二数据处理层能够将不同类型的多种数据最终整合为同一的数据格式进行批量储存，极大地缓解了服务器储存数据的速度与能力，同时由于kafka实现简单且无需提高硬件的配置，因此成本较低。

本申请实施例还提供了一种数据处理方法，应用于上述基于kafka的数据处理系统，如图6所示，该方法包括：

S601、根据至少一个第一数据的数据类型将至少一个第一数据写入第一kafka的至少一个管道。

其中，每个管道用于储存相同数据类型的第一数据。

S602、根据数据类型对第一kafka的至少一个管道中的第一数据进行处理，以得到至少一个第二数据。

S603、将至少一个第二数据封装成统一的数据格式，并将至少一个数据类型相同的第二数据写入第二kafka的一个管道。

S604、根据预设时间从第二kafka的管道中抽取预设数量的第二数据，并将抽取出的第二数据进行储存。

示例性的，本申请实施例中预设时间可以为200ms，预设数量可以为2000个。

本申请实施例提供的数据处理方法由于可以应用于上述基于kafka的数据处理系统，因此其所能获得的技术效果也可参考上述数据处理系统的实施例，本发明实施例在此不再赘述。

本申请实施例可以根据上述方法示例对数据处理装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请实施例还提供了一种数据处理装置，如图7中，该装置包括：写入单元701、处理单元702、转换单元703及抽取单元704；

写入单元701，用于根据至少一个第一数据的数据类型将至少一个第一数据写入第一kafka的至少一个管道，其中，每个管道用于储存相同数据类型的至少一个第一数据；

处理单元702，用于根据数据类型对第一kafka的至少一个管道中第一数据的进行处理，以得到至少一个第二数据；

转换单元703，用于将至少一个第二数据封装成统一的数据格式，并将至少一个数据类型相同的第二数据写入第二kafka的一个管道；

抽取单元704，用于根据预设时间从第二kafka的管道中抽取预设数量的第二数据，并将抽取出的第二数据进行储存。

示例性的，本申请实施例中预设时间可以为200ms，预设数量可以为2000个。

图8示出了上述实施例中所涉及数据装置的又一种可能的结构示意图。该装置包括：处理器802和通信接口803。处理器802用于对装置的动作进行控制管理，例如，执行上述获取单元601执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口803用于支持该装置与其他网络实体的通信8。该装置还可以包括存储器801和总线804，存储器801用于存储装置的程序代码和数据。

其中，上述处理器802可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

存储器801可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线804可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述方法实施例所示的方法流程中的各个步骤。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行如图6中所述的数据处理方法。

由于本发明的实施例中的数据处理装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于消息队列的数据处理系统，其特征在于，所述数据处理系统包括第一数据处理层和第二数据处理层，所述第一数据处理层包括第一服务单元及第二服务单元，所述第二数据处理层包括第三服务单元及第四服务单元；

所述第一服务单元，用于获取至少一个第一数据及所述至少一个第一数据对应的数据类型，并根据所述数据类型将所述至少一个第一数据写入第一kafka的至少一个管道，其中，所述管道用于储存相同数据类型的所述第一数据；

所述第二服务单元，用于根据所述数据类型对所述第一kafka的至少一个管道中的所述第一数据进行处理，以得到至少一个第二数据；

所述第三服务单元，用于将所述至少一个第二数据装成统一的数据格式，并用于将数据类型相同的所述至少一个第二数据写入第二kafka的一个管道；

所述第四服务单元，用于根据预设时间从所述第二kafka的管道中抽取出预设数量的所述第二数据，并将抽取出的所述第二数据进行储存。

2.根据权利要求1所述的基于消息队列的数据处理系统，其特征在于，所述第二服务单元与所述第三服务单元为相同的服务单元或不同的服务单元。

3.根据权利要求1所述的基于消息队列的数据处理系统，其特征在于，所述第一服务单元采用不指定标识方式将所述至少一个第一数据写入对应的所述第一kafka的至少一个管道。

4.根据权利要求1-3任一项所述的基于消息队列的数据处理系统，其特征在于，所述预设时间为200ms，所述预设数量为2000个。

5.一种数据处理方法，其特征在于，应用于权利要求1-4任意一项所述的基于消息队列的数据处理系统，所述方法包括：

根据至少一个第一数据的数据类型将所述至少一个第一数据写入第一kafka的至少一个管道，其中，所述管道用于储存相同数据类型的所述第一数据；

根据所述数据类型对所述第一kafka的至少一个管道中的数据进行处理，以得到至少一个第二数据；

将所述至少一个第二数据封装成统一的数据格式，并将数据类型相同的所述至少一个第二数据写入第二kafka的一个管道；

根据预设时间从所述第二kafka的管道中抽取预设数量的所述第二数据，并将所述第二数据进行储存。

6.根据权利要求5所述的数据处理方法，其特征在于，所述根据至少一个第一数据的数据类型将所述至少一个第一数据写入第一kafka的至少一个管道，包括：

根据所述至少一个第一数据的数据类型并采用不指定标识方式将所述至少一个第一数据写入对应的所述第一kafka的至少一个管道。

7.根据权利要求5-6任一项所述的数据处理方法，其特征在于，所述预设时间为200ms，所述预设数量为2000个。

8.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如权利要求5-7任一项所述的数据处理方法。

9.一种数据处理装置，其特征在于，包括：处理器、存储器和通信接口；其中，所述通信接口用于所述数据处理装置和其他设备或网络通信；所述存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当所述数据处理装置运行时，所述处理器执行所述存储器存储的该计算机执行指令，以使所述数据处理装置执行权利要求5-7中任一项所述的数据处理方法。