CN111327696B - 一种数据处理方法及系统 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法及系统，该方法包括：获取至少一个消费端订阅通知消息的订阅条件；在获取到生产方提供的第一数据的情况下，存储第一数据，并比对第一数据与获取到第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与目标订阅条件相匹配的通知消息；将通知消息发送给目标订阅条件对应的消费端；其中，消费端接收到通知消息后，根据通知消息从存储的第一数据和第二数据中读取与目标订阅条件匹配的数据。因此，本发明的方案，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。

Description

一种数据处理方法及系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理方法及系统。

背景技术

一个视频APP，维护着一个视频实体，用于视频的生产、编目、分发等。其中，有些业务方负责写入实体字段，比如运营服务会写入编目字段，生产服务会写入码流字段等；有些系统会监听实体字段变化消息，经过业务处理后，再写入新的字段，比如标签系统监听到视频状态、标题等字段变化时，在满足条件情况下会给视频打标签，然后将标签字段写入实体；有些系统只监听消息，比如推荐系统会监听推荐等级、评论数、CTR(Click-Through-Rate，点击通过率)等字段用于推荐策略，页面发布系统也会监听上下线状态，码流等字段，用来更新发布内容等。

这种多系统间数据同步的特点是，数据生产方的写入字段和数据消费方关心字段不匹配；一次数据写入可能会触发多个数据消费方消费数据；数据消费方可能需要等待多个数据写入状态满足的情况下才能进行业务处理。

其中，为了实现多个系统间数据同步，目前可以通过生产者每次将变化的数据增量的通知给所有关心该字段值变化的接收者，即每次将指定字段的最新值发给接收者，例如通过广播的方式将指定字段的最新值发送给所有接收者，然而，有些接收者并不需要某些数据，却仍然接收到了这些数据，造成这些接收者对无用消息的处理，降低了系统的吞吐率。

发明内容

本发明实施例的目的在于提供一种数据处理方法及系统，以在一定程度上提升系统的吞吐率。具体技术方案如下：

在本发明实施的第一方面，还提供了一种数据处理方法，包括：

获取至少一个消费端订阅通知消息的订阅条件；

在获取到生产方提供的第一数据的情况下，存储所述第一数据，并比对所述第一数据与获取到所述第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与所述目标订阅条件相匹配的通知消息；

将所述通知消息发送给所述目标订阅条件对应的消费端；

其中，所述消费端接收到所述通知消息后，根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

在本发明实施的第二方面，提供了一种数据处理系统，包括：

数据同步组件，所述数据同步组件用于获取至少一个消费端订阅通知消息的订阅条件，还用于在获取到生产方提供的第一数据的情况下，比对所述第一数据和第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息；所述第二数据包括获取到所述第一数据时已存储的数据；

消息中间件，用于接收所述数据同步组件发送的所述通知消息，并将所述通知消息发送给所述目标订阅条件对应的消费端；

用于存储所述第二数据的数据存储组件，所述数据存储组件还用于在所述数据同步组件获取到所述第一数据的情况下，接收所述数据同步组件发送的所述第一数据，并存储所述第一数据；

消费端，用于接收所述消息中间件发送的所述通知消息，并根据所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述所述的数据处理方法步骤。

在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的数据处理方法。

在本发明实施的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法。

本发明实施例提供的数据处理方法，通过增加消费端订阅机制，并在获取到生产方提供的第一数据时，存储第一数据，并比对第一数据和获取到第一数据时已存储的第二数据，获取能够满足的目标订阅条件，进而向目标订阅条件对应的消费端发送通知消息，从而使得这些消费端可以根据接收到的通知消息从存储的第一数据和第二数据中读取与目标订阅条件匹配的数据。由此可知，本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的另一种数据处理方法的流程图；

图3为本发明实施例提供的一种数据处理系统的系统框图；

图4为本发明实施例提供的另一种数据处理系统的系统框图；

图5为本发明实施例提供的一种电子设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

图1是本发明实施例提供的一种数据处理方法的流程图，如图1所示，该方法可以包括：

步骤101：获取至少一个消费端订阅通知消息的订阅条件。

本发明的实施例中，增加了消费端订阅机制，例如消费端A可以订阅实体field1、field2、field3字段值的变化事件，消费端B可以订阅field2、field5、field6字段值变化的事件，则当field2的值变化时，消费端A和消费端B都会收到通知消息；field1变化时，只有消费端A收到通知消息；当field5变化时，只有消费端B会收到通知消息。

即消费端进行通知消息的订阅，只有在订阅的条件满足时，消费端才收到通知消息，例如订阅条件包括标题字段变更和上线状态字段值为上线，则只有在标题字段变更且上线状态为上线的条件满足时，才会发送通知消息，避免消费端收到不关心的数据或重复的消息，达到在发送方减少消息发送量的目的，同时，如果消费端的订阅条件都不满足，就不会收到消息，也减少了接收消息的消费端的数量。

步骤102：在获取到生产方提供的第一数据的情况下，存储所述第一数据，并比对所述第一数据与获取到所述第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与所述目标订阅条件相匹配的通知消息。

其中，本发明的实施例中，能够在获取到生产方提供的第一数据时，将该第一数据和当时已存储的第二数据进行对比，判断可以满足哪些订阅条件，从而针对可以满足的订阅条件，生成相应的通知消息。即根据各个消费端的订阅条件分发通知消息，能够避免从生产者到消费者的直接数据通知，通过对数据订阅统一管理，简化系统架构。

另外，现有技术中为了实现多个系统间数据同步，在生产者在数据变化后增量的通知消费者，使得在高并发处理或消息重试时存在消息乱序的问题，难以实现数据的一致性。而本发明实施例的数据处理方法，还可在获取到生产方提供的第一数据时，将第一数据进行存储，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

步骤103：将所述通知消息发送给所述目标订阅条件对应的消费端。

其中，所述消费端接收到所述通知消息后，根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

因此，本发明实施的数据处理方法，通过增加消费端订阅机制，并在获取到生产方提供的第一数据时，存储第一数据，并比对第一数据和获取到第一数据时已存储的第二数据，获取能够满足的目标订阅条件，进而向目标订阅条件对应的消费端发送通知消息，从而使得这些消费端可以根据接收到的通知消息从存储的第一数据和第二数据中读取与目标订阅条件匹配的数据。由此可知，本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。

图2是本发明实施例提供的一种数据处理方法的流程图，如图2所示，该方法可以包括：

步骤201：获取至少一个消费端订阅通知消息的订阅条件。

本发明的实施例中，增加了消费端订阅机制，例如消费端A可以订阅实体field1、field2、field3字段值的变化事件，消费端B可以订阅field2、field5、field6字段值变化的事件，则当field2的值变化时，消费端A和消费端B都会收到通知消息；field1变化时，只有消费端A收到通知消息；当field5变化时，只有消费端B会收到通知消息。

即消费端进行通知消息的订阅，只有在订阅的条件满足时，消费端才收到通知消息，例如订阅条件包括标题字段变更和上线状态字段值为上线，则只有在标题字段变更且上线状态为上线的条件满足时，才会发送通知消息，避免消费端收到不关心的数据或重复的消息，达到在发送方减少消息发送量的目的，同时，如果消费端的订阅条件都不满足，就不会收到消息，也减少了接收消息的消费端的数量。

步骤202：在获取到生产方提供的第一数据的情况下，存储所述第一数据，并比对所述第一数据与获取到所述第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与所述目标订阅条件相匹配的通知消息。

其中，本发明的实施例中，能够在获取到生产方提供的第一数据时，将该第一数据和当时已存储的第二数据进行对比，判断可以满足哪些订阅条件，从而针对可以满足的订阅条件，生成相应的通知消息。即根据各个消费端的订阅条件分发通知消息，能够避免从生产者到消费者的直接数据通知，通过对数据订阅统一管理，简化系统架构。

另外，现有技术中为了实现多个系统间数据同步，在生产者在数据变化后增量的通知消费者，使得在高并发处理或消息重试时存在消息乱序的问题，难以实现数据的一致性。而本发明实施例的数据处理方法，还可在获取到生产方提供的第一数据时，将第一数据进行存储，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

步骤203：获取至少一个消费队列。

其中，一个消费队列包括至少一个消费端。

步骤204：将所述通知消息存储到所述目标订阅条件对应的消费端所属的消费队列中。

本发明实施例中，一个消费队列包括至少一个消费端，例如一个消费队列包括消费端A和消费端B，则在消费端A和消费端B的订阅条件都满足时，将与消费端A的订阅条件匹配的通知消息和与消费端B的订阅条件匹配的通知消息均保存在该消费队列中。

其中，很多情况下要用到生产者-消费者这个模型，比如有很多任务要处理，但是又不能马上得到处理，这个时候就则需要将任务缓存下来慢慢消化，从而可以应用消费队列。

步骤205：针对每一个所述消费队列，将所述通知消息发送给对应的所述目标消费端。

其中，所述消费端接收到所述通知消息后，根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

因此，本发明实施的数据处理方法，增加消费端订阅机制，并在获取到生产方提供的第一数据时，存储第一数据，并比对第一数据和获取到第一数据时数据存储组件中已存储的第二数据，获取能够满足的目标订阅条件，进而向目标订阅条件对应的消费端发送通知消息，从而使得这些消费端可以根据接收到的通知消息从存储的第一数据和第二数据中读取与目标订阅条件匹配的数据。

可选的，所述在获取到生产者生成的第一数据的情况下，存储所述第一数据，包括：

在获取到生产者生成的第一数据的情况下，将获取到所述第一数据时已存储的所述第二数据进行数据集持久化处理，并缓存所述第一数据。

其中，持久化是将数据在持久状态和瞬时状态间转换的机制，即瞬时数据(比如内存中的数据，是不能永久保存的)持久化为持久数据(比如持久化至数据库中，能够长久保存)。

本发明的实施例中，在获取到生产方提供的数据后，可以先将当前已存储的数据持久化，然后发送通知消息到对应的消费端，进而使得消费端收到通知消息后可以从缓存数据和持久化数据中读取具体数据内容，这样避免了各个服务对存储的直接依赖，即简化了开发也保证了系统的可靠性。

另外，当所述第一数据存储在缓存空间中，所述第二数据存储在持久化空间中时；所述消费端从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据，包括：

从所述缓存空间中读取与所述目标订阅条件相匹配的数据；

在所述缓存空间中未存在与所述目标订阅条件相匹配的数据的情况下，从所述持久化存储空间中读取与所述目标订阅条件相匹配的数据。

即本发明的实施例中，优先读取缓存数据，如果缓存未命中再读取持久化存储，从而可以降低对底层存储的依赖。

可选的，所述通知消息中携带有所述目标订阅条件对应的业务ID；所述消费端根据所述通知消息，从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据，包括：

根据所述通知消息中携带有所述目标订阅条件对应的业务ID，从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

即第一数据和第二数据在存储时，一并存储了其对应的业务ID，从而使得消费端收到通知消息后，可以根据通知消息中携带的业务ID，读取该ID对应的具体数据。

可选的，所述消费端根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据的过程，包括：

对接收到的多个所述通知消息进行合并去重处理；

根据合并去重处理后获得的所述通知消息从所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

即本发明的实施例中，对接收到的通知消息进行合并去重处理，例如滤重组件通过拉取模式批量拉取通知消息，然后根据业务ID进行合并去重的通用逻辑，从而在实现业务逻辑时，可以从直接获取去重后的业务ID列表，减少总处理量。

可选的，所述通知消息中携带有所述目标订阅条件对应的业务ID；

所述针对每一个所述消费队列，将所述通知消息发送给对应的所述目标消费端，包括：

针对每一个所述消费队列，根据所述通知消息中携带的所述目标订阅条件对应业务ID的哈希值，将所述通知消息发送给对应的消费端。

即生成的通知消息需要带有业务ID，从而可以根据ID的哈希值，将通知消息发送到对应的消费端。由此可知，本发明的实施例中，基于业务ID的哈希策略，可以使得一个业务ID的通知消息只能被一个消费端收到；其中，有些消费端收到通知消息后，生产方会再次写入数据，从而触发新一轮数据写入流程，所以一个业务ID的消息，经常会在短时间内频繁发送，所以基于业务ID的哈希策略，可以使得同一个业务ID的通知消息总是发送到同一个消费端。

可选的，还可将数据写入可能触发的事件抽象化，形成事件订阅模型，例如实现诸如字段值变化，字段值等于指定值，字段值大于、小于指定值等处理逻辑，并将这些逻辑抽象化为配置，从而使得消费端可以根据业务的需要，配置订阅条件。

由上述可知，本发明实施的数据处理方法，增加消费端订阅机制，并在获取到生产方提供的第一数据时，存储第一数据，并比对第一数据和获取到第一数据时数据存储组件中已存储的第二数据，获取能够满足的目标订阅条件，进而向目标订阅条件对应的消费端发送通知消息，从而使得这些消费端可以根据接收到的通知消息从存储的第一数据和第二数据中读取与目标订阅条件匹配的数据。由此可知，本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。并且，在获取到生产方提供的第一数据时，将第一数据进行存储，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

图3是本发明实施例提供的一种数据处理系统，如图3所示，该数据处理系统可以包括：

数据同步组件，所述数据同步组件用于获取至少一个消费端订阅通知消息的订阅条件，还用于在获取到生产方提供的第一数据的情况下，比对所述第一数据和第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息；所述第二数据包括获取到所述第一数据时已存储的数据；

消息中间件，用于接收所述数据同步组件发送的所述通知消息，并将所述通知消息发送给所述目标订阅条件对应的消费端；

用于存储所述第二数据的数据存储组件，所述数据存储组件还用于在所述数据同步组件获取到所述第一数据的情况下，接收所述数据同步组件发送的所述第一数据，并存储所述第一数据；

消费端，用于接收所述消息中间件发送的所述通知消息，并根据所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

由此可知，本发明实施例的数据处理系统，增加了消费端订阅机制，例如消费端A可以订阅实体field1、field2、field3字段值的变化事件，消费端B可以订阅field2、field5、field6字段值变化的事件，则当field2的值变化时，消费端A和消费端B都会收到通知消息；field1变化时，只有消费端A收到通知消息；当field5变化时，只有消费端B会收到通知消息。

即消费端在同步组件订阅通知消息，只有在订阅的条件满足时，消费端才收到通知消息，例如订阅条件包括标题字段变更和上线状态字段值为上线，则只有在标题字段变更且上线状态为上线的条件满足时，数据同步组件才会发送通知消息，避免消费端收到不关心的数据或重复的消息，达到在发送方减少消息发送量的目的，同时，如果消费端的订阅条件都不满足，就不会收到消息，也减少了接收消息的消费端的数量。

因此，本发明实施例的数据处理系统，引入了数据同步组件，能够在获取到生产方提供的第一数据时，将该第一数据和当时已存储的第二数据进行对比，判断可以满足哪些订阅条件，从而针对可以满足的订阅条件，生成相应的通知消息。即数据同步组件负责消费端消息订阅，并根据各个消费端的订阅条件分发通知消息，避免从生产者到消费者的直接数据通知，通过对数据订阅统一管理，简化系统架构。即本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。

此外，现有技术中为了实现多个系统间数据同步，在生产者在数据变化后增量的通知消费者，使得在高并发处理或消息重试时存在消息乱序的问题，难以实现数据的一致性。而本发明实施例的数据处理系统，还可增加数据存储组件，在数据同步组件获取到生产方提供的第一数据时，将第一数据存储到数据存储组件，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

图4是本发明实施例提供的另一种数据处理系统，如图4所示，该数据处理系统可以包括：

数据同步组件，所述数据同步组件用于获取至少一个消费端订阅通知消息的订阅条件，还用于在获取到生产方提供的第一数据的情况下，比对所述第一数据和第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息；所述第二数据包括获取到所述第一数据时已存储的数据；

消息中间件，用于接收所述数据同步组件发送的所述通知消息，并将所述通知消息发送给所述目标订阅条件对应的消费端；

用于存储所述第二数据的数据存储组件，所述数据存储组件还用于在所述数据同步组件获取到所述第一数据的情况下，接收所述数据同步组件发送的所述第一数据，并存储所述第一数据；

消费端，用于接收所述消息中间件发送的所述通知消息，并根据所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据；

其中，所述数据同步组件包括：

事件订阅单元，用于获取至少一个消费端订阅通知消息的订阅条件，所述事件订阅单元还用于获取至少一个消费队列，一个消费队列包括至少一个消费端；

消息分发单元，用于比对所述第一数据和所述第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息，并存储到所述目标订阅条件对应的消费端所属的消费队列中。

由上述可知，本发明实施例的数据处理系统，增加了消费端订阅机制，例如消费端A可以订阅实体field1、field2、field3字段值的变化事件，消费端B可以订阅field2、field5、field6字段值变化的事件，则当field2的值变化时，消费端A和消费端B都会收到通知消息；field1变化时，只有消费端A收到通知消息；当field5变化时，只有消费端B会收到通知消息。

即消费端在同步组件订阅通知消息，只有在订阅的条件满足时，消费端才收到通知消息，例如订阅条件包括标题字段变更和上线状态字段值为上线，则只有在标题字段变更且上线状态为上线的条件满足时，数据同步组件才会发送通知消息，避免消费端收到不关心的数据或重复的消息，达到在发送方减少消息发送量的目的，同时，如果消费端的订阅条件都不满足，就不会收到消息，也减少了接收消息的消费端的数量。

因此，本发明实施例的数据处理系统，引入了数据同步组件，能够在获取到生产方提供的第一数据时，将该第一数据和当时已存储的第二数据进行对比，判断可以满足哪些订阅条件，从而针对可以满足的订阅条件，生成相应的通知消息。即数据同步组件负责消费端消息订阅，并根据各个消费端的订阅条件分发通知消息，避免从生产者到消费者的直接数据通知，通过对数据订阅统一管理，简化系统架构。即本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率。

另外，现有技术中为了实现多个系统间数据同步，在生产者在数据变化后增量的通知消费者，使得在高并发处理或消息重试时存在消息乱序的问题，难以实现数据的一致性。而本发明实施例的数据处理系统，还可增加数据存储组件，在数据同步组件获取到生产方提供的第一数据时，将第一数据存储到数据存储组件，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

此外，本发明实施例中，一个消费队列包括至少一个消费端，例如一个消费队列包括消费端A和消费端B，则在消费端A和消费端B的订阅条件都满足时，将与消费端A的订阅条件匹配的通知消息和与消费端B的订阅条件匹配的通知消息均保存在该消费队列中。

其中，很多情况下要用到生产者-消费者这个模型，比如有很多任务要处理，但是又不能马上得到处理，这个时候就则需要将任务缓存下来慢慢消化，从而可以应用消费队列。

可选的，所述数据存储组件包括数据缓存单元和持久化存储单元，所述数据缓存单元用于缓存所述第一数据，所述持久化存储单元用于持久化存储所述第二数据。

其中，持久化是将数据在持久状态和瞬时状态间转换的机制，即瞬时数据(比如内存中的数据，是不能永久保存的)持久化为持久数据(比如持久化至数据库中，能够长久保存)。

本发明的实施例中，在数据同步组件收到生产方的写入请求后，可以先调用数据存储组件将当前已存储的数据持久化，然后发送通知消息到消息中间件，使得消息中间件发送到对应的消费端，进而使得消费端收到通知消息后可以从缓存单元和持久化存储单元读取具体数据内容，这样避免了各个服务对存储的直接依赖，即简化了开发也保证了系统的可靠性。

可选的，所述消费端在所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据时，具体用于：

从所述缓存单元中读取与所述目标订阅条件相匹配的数据；

在所述缓存单元中未存在与所述目标订阅条件相匹配的数据的情况下，从所述持久化存储单元中读取与所述目标订阅条件相匹配的数据。

即消费端可以优先读取缓存数据，如果缓存未命中再读取持久化存储，从而降低对底层存储的依赖。

可选的，所述通知消息中携带有所述目标订阅条件对应的业务ID，所述消息中间件在将所述通知消息发送给所述目标订阅条件对应的消费端时，具体用于：

针对每一个所述消费队列，根据所述通知消息中携带的所述目标订阅条件对应业务ID的哈希值，将所述通知消息发送给对应的消费端。

即数据同步组件发送通知消息时，需要携带业务ID，消息中间件会根据ID的哈希值，将通知消息发送到对应的消费端。由此可知，本发明的实施例中，在消息中间件实现基于业务ID的哈希策略，即一个业务ID的通知消息只能被一个消费端收到；其中，有些消费端收到通知消息后，生产方会再次写入数据到数据同步组件，从而触发新一轮数据写入流程，所以一个业务ID的消息，经常会在短时间内频繁发送，所以基于中间件业务ID的哈希策略，可以使得同一个业务ID的通知消息总是发送到同一个消费端。

可选的，所述通知消息中携带有所述目标订阅条件对应的业务ID；

所述消费端根据所述通知消息，从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据时，具体用于：

根据所述通知消息中携带有所述目标订阅条件对应的业务ID，从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

即第一数据和第二数据在存储时，一并存储了其对应的业务ID，从而使得消费端收到通知消息后，可以根据通知消息中携带的业务ID，读取该ID对应的具体数据。

可选的，所述消费端包括：

消息接收单元，用于接收所述消息中间件发送的所述通知消息；

滤重组件，用于对接收到的多个所述通知消息进行合并去重处理；

数据读取单元，用于根据合并去重处理后获得的所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

即本发明的实施例中，在消费端使用消息滤重组件，对接收到的通知消息进行合并去重处理，例如滤重组件通过拉取模式从消息中间件批量拉取通知消息，然后根据业务ID进行合并去重的通用逻辑，从而在实现业务逻辑时，可以从直接获取去重后的业务ID列表，减少总处理量。

可选的，还可在数据同步组件中，将数据写入可能触发的事件抽象化，形成事件订阅模型，例如实现诸如字段值变化，字段值等于指定值，字段值大于、小于指定值等处理逻辑，并将这些逻辑抽象化为配置，从而使得消费端可以根据业务的需要，在数据同步组件配置订阅条件。

综上所述，本发明实施例的数据处理系统的对数据的处理流程的具体实施例举例如下：

首先，数据同步组件接收消费端发送的订阅条件，并构建消费队列(一个消费组包括多个消费端，一个消费组对应一个消费队列)；

比如：消费端A订阅了实体field1、field2、field3字段值的变化事件，消费端B订阅了field2、field5、field6字段值变化的事件；当field2的值变化时，消费端A监听的队列，和消费端B监听的队列都会收到消息，field1变化时，只有消费端A监听的队列收到消息，当field5变化时，只有消费端B监听的队列会收到消息；

其次，在数据同步组件接收到生产方的写入请求后，通知数据存储组件将数据持久化，比对当前存储的数据和收到的数据，判断是否可以满足各个消费端的订阅条件，生成待发送给消费端的通知消息(这里的通知消息与不同的消费队列相对应)，并保存到对应的消费队列；然后，将消费队列发送给消息中间件，其中，通知消息中包括业务ID以及变化的字段列表；

再次，消息中间件，针对每一个消费队列，根据通知消息中的ID的哈希值，将消息发送到指定的消费端；

最后，消费端根据通知消息中携带的ID到数据存储组件中读取具体的实体信息，其中，可以优先读取缓存数据，如果缓存未命中时才读取持久化存储。

综上所述，本发明实施例的数据处理系统，通过引入数据同步组件，并增加消费端订阅机制，由数据同步组件获取消费端的订阅条件，并在获取到生产方提供的第一数据时，根据第一数据和获取到第一数据时数据存储组件中已存储的第二数据，获取能够满足的目标订阅条件，进而向目标订阅条件对应的消费端发送通知消息。由此可知，本发明的实施例，只向满足订阅条件的消费端发送通知消息，使得消费端不会收到不需要的消息，从而提升了系统吞吐率；并且，增加数据存储组件，在数据同步组件获取到生产方提供的第一数据时，将第一数据存储到数据存储组件，使得消费端接收到通知消息后，可以在任何时候读取到最新的数据，从而保证数据的一致性。

此外，对于本发明实施例中的数据处理系统中包括的数据同步组件、数据存储组件、消息中间件和消费端，可以分布在一个或者多个服务器上。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

获取至少一个消费端订阅通知消息的订阅条件；

在获取到生产方提供的第一数据的情况下，存储所述第一数据，并比对所述第一数据与获取到所述第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与所述目标订阅条件相匹配的通知消息；

将所述通知消息发送给所述目标订阅条件对应的消费端；

控制所述消费端接收到所述通知消息后，根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据。

可选的，处理器501在将所述通知消息发送给所述目标订阅条件对应的消费端时，具体用于：

获取至少一个消费队列，一个消费队列包括至少一个消费端；

将所述通知消息存储到所述目标订阅条件对应的消费端所属的消费队列中；

针对每一个所述消费队列，将所述通知消息发送给对应的所述目标消费端。

可选的，所述通知消息中携带有所述目标订阅条件对应的业务ID；处理器501在针对每一个所述消费队列，将所述通知消息发送给对应的所述目标消费端时，具体用于：

针对每一个所述消费队列，根据所述通知消息中携带的所述目标订阅条件对应业务ID的哈希值，将所述通知消息发送给对应的消费端。

可选的，处理器501在控制所述消费端根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据时，具体用于：

对接收到的多个所述通知消息进行合并去重处理；

根据合并去重处理后获得的所述通知消息从所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

获取至少一个消费端订阅通知消息的订阅条件；

在获取到生产方提供的第一数据的情况下，存储所述第一数据，并比对所述第一数据与获取到所述第一数据的时已存储的第二数据，获取能够满足的目标订阅条件，并生成与所述目标订阅条件相匹配的通知消息；

将所述通知消息发送给所述目标订阅条件对应的消费端；

其中，所述消费端接收到所述通知消息后，根据所述通知消息从存储的所述第一数据和所述第二数据中读取与所述目标订阅条件匹配的数据，包括：对接收到的多个所述通知消息进行合并去重处理；根据合并去重处理后获得的所述通知消息从所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述通知消息发送给所述目标订阅条件对应的消费端，包括：

获取至少一个消费队列，一个消费队列包括至少一个消费端；

将所述通知消息存储到所述目标订阅条件对应的消费端所属的消费队列中；

针对每一个所述消费队列，将所述通知消息发送给所述目标订阅条件对应的消费端。

3.根据权利要求2所述的数据处理方法，其特征在于，所述通知消息中携带有所述目标订阅条件对应的业务ID；

所述针对每一个所述消费队列，将所述通知消息发送给对应的目标消费端，包括：

针对每一个所述消费队列，根据所述通知消息中携带的所述目标订阅条件对应业务ID的哈希值，将所述通知消息发送给对应的消费端。

4.一种数据处理系统，其特征在于，包括：

数据同步组件，所述数据同步组件用于获取至少一个消费端订阅通知消息的订阅条件，还用于在获取到生产方提供的第一数据的情况下，比对所述第一数据和第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息；所述第二数据包括获取到所述第一数据时已存储的数据；

消息中间件，用于接收所述数据同步组件发送的所述通知消息，并将所述通知消息发送给所述目标订阅条件对应的消费端；

用于存储所述第二数据的数据存储组件，所述数据存储组件还用于在所述数据同步组件获取到所述第一数据的情况下，接收所述数据同步组件发送的所述第一数据，并存储所述第一数据；

消费端，用于接收所述消息中间件发送的所述通知消息，并根据所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据；

所述消费端包括：消息接收单元，用于接收所述消息中间件发送的所述通知消息；滤重组件，用于对接收到的多个所述通知消息进行合并去重处理；数据读取单元，用于根据合并去重处理后获得的所述通知消息从所述数据存储组件中存储的所述第一数据和所述第二数据中，读取与所述目标订阅条件匹配的数据。

5.根据权利要求4所述的数据处理系统，其特征在于，所述数据同步组件包括：

事件订阅单元，用于获取至少一个消费端订阅通知消息的订阅条件，所述事件订阅单元还用于获取至少一个消费队列，一个消费队列包括至少一个消费端；

消息分发单元，用于比对所述第一数据和所述第二数据，获取能够满足的目标订阅条件，生成与所述目标订阅条件相匹配的通知消息，并存储到所述目标订阅条件对应的消费端所属的消费队列中。

6.根据权利要求5所述的数据处理系统，其特征在于，所述通知消息中携带有所述目标订阅条件对应的业务ID，所述消息中间件在将所述通知消息发送给所述目标订阅条件对应的消费端时，具体用于：

针对每一个所述消费队列，根据所述通知消息中携带的所述目标订阅条件对应业务ID的哈希值，将所述通知消息发送给对应的消费端。

7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的数据处理方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的数据处理方法。

Images