CN108932250A - 用于数据处理的方法、设备、系统和计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法。该方法包括接收来自应用的主题消费请求，该主题消费请求对与一个或多个数据主题有关的数据处理进行请求；从主题消费请求确定该主题消费请求所涉及的数据主题；获取所涉及的数据主题的与所述数据处理有关的主题数据；根据数据处理的要求，基于所获取的主题数据生成新的主题数据；以及向应用发送新的主题数据。本公开还提供了与该方法相对应的设备、系统和计算机可读存储介质。

Description

用于数据处理的方法、设备、系统和计算机可读存储介质

技术领域

本公开涉及数据处理领域，具体涉及一种数据处理方法、设备、系统和计算机可读存储介质。

背景技术

随着互联网不断地发展，出现了越来越多的实时数据应用场景。然而实时数据的主题(topic)不能及时做调整，且即使调整，调整的成本和代价也会很高。随着业务的不断发展，实时消费的数据主题数量变得更加巨大，但下游消费方实际使用的数据却是其中很小的一部分。即使在这种情况下，在现有的数据处理中也必须消费某个数据主题的全部数据，再进行相应的数据加工处理。这增加了无效的网络带宽占用。

因此，需要一种数据处理方案，使得能够在进行数据处理时降低无效带宽的占用。

发明内容

有鉴于此，本公开实施例提供了一种数据处理方法、设备、系统和计算机可读存储介质。

本公开的一个方面提供了一种用于数据处理的方法。该方法包括接收来自应用的主题消费请求，所述主题消费请求对与一个或多个数据主题有关的数据处理进行请求。该方法还包括从所述主题消费请求确定所述主题消费请求所涉及的数据主题；获取所涉及的数据主题的与所述数据处理有关的主题数据；并根据所述数据处理的要求，基于所获取的主题数据生成新的主题数据。该方法还包括向所述应用发送所述新的主题数据。

根据本公开的一些实施例，获取所涉及的数据主题的与所述数据处理有关的主题数据可包括：从存储主题数据的存储器获取与所涉及的数据主题有关的主题数据。

根据本公开的一些实施例，从所述存储器获取的主题数据可来自于日志服务器向所述存储器发送的日志数据。

根据本公开的一些实施例，根据所述数据处理的要求来基于所获取的主题数据生成新的主题数据可包括：根据所述主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

根据本公开的一些实施例，该方法还可包括：基于所述主题消费请求所涉及的数据主题来生成新的数据主题。

本公开的一个方面提供了一种用于数据处理的设备。该设备包括请求接收单元、分析单元、主题数据提取单元、主题数据处理单元和发送单元。请求接收单元用于接收来自应用的主题消费请求，所述主题消费请求对与一个或多个数据主题有关的数据处理进行请求。分析单元用于从所述主题消费请求确定所述主题消费请求所涉及的数据主题。主题数据提取单元用于获取所涉及的数据主题的与所述数据处理有关的主题数据。主题数据处理单元用于根据所述数据处理的要求，基于所获取的主题数据生成新的主题数据。发送单元用于向所述应用发送所述新的主题数据。

根据本公开的一些实施例，所述主题数据提取单元可从存储主题数据的存储器获取与所涉及的数据主题有关的主题数据。

根据本公开的一些实施例，从所述存储器获取的主题数据可来自于日志服务器向所述存储器发送的日志数据。

根据本公开的一些实施例，所述主题数据处理单元还可用于：根据所述主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

根据本公开的一些实施例，该设备还可包括：主题生成单元，用于基于所述主题消费请求所涉及的数据主题来生成新的数据主题。

本公开的一个方面提供了一种数据处理系统。该系统包括存储主题数据的存储器和实现上述方法的设备，其中，该存储器根据从日志服务器的接收的日志流获取主题数据。

本公开的一个方面提供了一种用于数据处理的设备。该设备包括存储器和处理器。存储器存储计算机可执行指令。处理器执行所述存储器存储的计算机可执行指令，以执行上述的方法。

本公开的一个方面提供了一种计算机可读存储介质。计算机可读存储介质上存储有可执行指令，该指令在被处理器执行时使处理器执行执行上述的方法。

上述方案通过对原始主题数据进行预处理以生成符合相关应用要求的主题数据之后将其发送给相关应用，降低了向相关应用传输主题数据时产生的无效带宽。

此外，在数据消费方需要消费多个数据主题的数据时，数据消费方仅需发送主题消费请求，而无需本身进行数据处理，提高了数据消费方使用数据的自由度。

附图说明

通过下面结合附图对发明进行的详细描述，将使本公开的上述特征和优点更加明显，其中：

图1示出了现有技术的数据处理方法的简要示意图；

图2示出了根据本公开实施例的一种数据处理方法的简要流程图；

图3示出了根据本公开实施例的数据处理设备的简要框图；

图4示出了根据本公开实施例的数据处理系统的简要框图；

图5示出了根据本公开实施例的数据处理方法的简要示意图；

图6示出了根据本公开实施例的数据处理设备的示例硬件布置的框图；以及

图7示出了根据本公开实施例的可以应用根据图2所示方法的示例性系统架构。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、操作、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、操作、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

图1示出了根据现有技术的数据处理方法的简要示意图。在图1所示的该现有技术中涉及Nginx日志服务器、Kafka集群等具体类型的设备或系统。然而在阅读本公开实施例之后，本领域技术人员容易理解，本公开可应用于需要消费主题数据的任何数据应用场景，而不限于保护上述具体设备/系统的场景。

如图1所示，该技术可涉及以下处理：

1)日志服务器(例如，Nginx日志服务器)接收到日志请求，并给请求方返回值。在此可假设所接收到的日志格式是一致的，其中，Nginx日志服务器是本领域使用的一种HTTP和反向代理服务器。

2)日志服务器运行服务，发送日志流至Kafka集群的不同数据主题中，其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，其可以处理消费者规模的网站中的动作流数据。

3)下游业务(例如，需要消费数据的具体的应用)依据自身的实际数据需求，通过实时数据服务平台接入相应的数据主题，获取各个数据主题的数据，并在然后进行实时数据的加工处理后使用到数据应用上。

在实践上述方案时，本公开发明人发现，如果消费的某个数据主题数据量超大，但业务其实只使用其中的某一小部分数据，该技术方案也只能够消费全量数据，然后在应用/业务进行数据处理时再按条件查询后做数据加工。这会占用集群的流出带宽，如果业务消费方越多，带宽占用就越明显。

为至少部分地解决上述问题做出了本公开实施例的技术方案。

图2示出了根据本公开实施例的一种数据处理方法的简要流程图。

如图2所示，该方法包括在操作210，接收来自应用的主题消费请求，该主题消费请求对与一个或多个数据主题有关的数据处理进行请求。

例如，实时数据服务平台是关于电子商务数据处理的服务平台，其可处理与网站销售的商品有关的所有数据。主题(topic)A是涉及日用品的主题，主题B是涉及食品的主题。假设数据应用1需要计算日用品的销售量，数据应用2需要计算例如网站所销售的商品的总数。数据应用1和数据应用2可分别向实时数据服务平台发送关于其各自需求的主题消费请求。

操作220，从主题消费请求确定该主题消费请求所涉及的数据主题。

该操作可包括对主题消费请求所请求的数据处理进行分析，以确定所请求的数据处理所涉及的数据主题。例如，在数据应用2需要计算网站所销售的商品的总数的示例中，可对数据应用2发送的主题消费请求(计算销售商品总数)进行分析，确定该计算涉及到主题A和主题B两个数据主题。需要注意的是，在该示例中为了描述简洁仅采用了两个数据主题来进行阐述，但在实际的应用中也可包括更多或更少的数据主题。

操作230，获取所涉及的数据主题的与所述数据处理有关的主题数据。

在一些示例中，获取与所涉及的各个数据主题有关的主题数据的操作可以包括：

从存储主题数据的存储器获取与所涉及的各个数据主题有关的主题数据。

在示例下，从存储器获取的主题数据可来自于日志服务器向存储器发送的日志数据。例如，该存储器可以是图1所示的Kafka集群，且日志服务器可以是图1所示的Nginx日志服务器。当然，本公开不限于此，而是可以使用本领域现有或将来可能开发的任何类型的数据存储器和/或日志服务器。

例如，在数据应用2需要计算网站所销售的商品的总数的示例中，实时数据服务平台可以从Kafka集群中存储的各个数据主题的主题数据中获取需要的主题数据。具体地，例如可从主题A中获取与日用品的销售总数有关的主题数据，从主题B中获取与食品的销售总数有关的主题数据。

操作240，根据数据处理的要求，基于所获取的主题数据生成新的主题数据。

在一些示例中，根据所获取的主题数据生成新的主题数据可以包括：

根据主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

例如，在数据应用2需要计算网站所销售的商品的总数的示例中，可基于所获取的主题数据生成新的主题数据，如将日用品销售总数与食品销售总数相加得到所需的销售商品总数数据。而在数据应用1需要计算日用品的销售量的示例中，例如可从主题A获取(抽取)与日用品的销售量有关的数据。

在本公开的一些示例中，还可生成新数据主题，并将所生成的新数据主题与上述生成的主题数据存储到存储主题数据的存储器中。例如，可生成新的数据主题“销售商品总数”，并新数据主题“销售商品总数”与其所生成的主题数据一起存储在例如Kafka集群中。该处理对于某些通用指标的计算特别有利。由于这些通用指标经常被各个数据所需要，因此针对该通用指标生成新的数据主题可使得后续数据应用仅需调用该数据主题即可获取所需数据，而无需每次都进行计算，节约了计算资源，且统一了数据口径和计算结果。该示例可例如如图5所示。

新数据主题的生成和存储可以不是必须的，而是可根据预定策略或数据管理员的干预来进行。例如，如果接收到预订数量的针对某个通用指标的数据处理请求，则可确定生成针对相关数据处理的新数据主题，并将其进行存储。当然，其他任何可能的策略也是可行的，本公开实施例不受具体策略的限制。可以为数据主题设置生存期，数据主题可在该生存期之后失效并被从存储器中删除。或者在一些示例中也可以不为数据主题特意设置生存期，数据主题的有效与否可由具体业务需求来决定。

操作250，向应用发送新的主题数据。

例如，在数据应用2需要计算网站所销售的商品的总数的示例中，可以向数据应用2返回操作240中生成的销售商品总数数据。

通过图2所示的方案，由于数据处理不再在数据消费方(数据应用)处执行，而仅是向数据消费方返回数据处理结果，数据消费方无需消费相关数据主题的全部数据，极大地减少了存储主题数据的存储器与实时数据服务平台以及实时数据服务平台与数据消费方之间所需的网络带宽占用。

此外，通过图2所示的方案，在数据消费方需要消费多个数据主题的数据时，数据消费方仅需发送主题消费请求，而无需本身进行数据处理，提高了数据消费方使用数据的自由度。

图3示出了与图2所示方法相对应的用于数据处理的设备。如图3所示，该设备包括：

请求接收单元310，用于接收来自应用的主题消费请求，该主题消费请求对与一个或多个数据主题有关的数据处理进行请求。

分析单元320，用于从主题消费请求确定该主题消费请求所涉及的数据主题。

在一些示例中，分析单元320可对主题消费请求所请求的数据处理进行分析，以确定所请求的数据处理所涉及的数据主题。

主题数据提取单元330，用于获取所涉及的数据主题的与所述数据处理有关的主题数据。

在一些示例中，主题数据提取单元330可以从存储主题数据的存储器获取与所涉及的各个数据主题有关的主题数据。

在该示例中，从存储器(例如，Kafka集群)获取的主题数据可来自于日志服务器(例如，Nginx日志服务器)向该存储器发送的日志数据。

主题数据处理单元340，用于根据数据处理的要求，基于所获取的主题数据生成新的主题数据。

在一些示例中，主题数据处理单元340还可用于：根据主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

发送单元350，用于向应用发送该新的主题数据。

在一些示例中，图2所示的数据处理设备还可包括主题生成单元360，用于基于主题消费请求所涉及的数据主题来生成新的数据主题。如上所述，新数据主题的生成和存储可以不是必须的，而是可根据预定策略或数据管理员的干预来进行。可以为数据主题设置生存期，数据主题可在该生存期之后失效并被从存储器中删除。或者在一些示例中也可以不为数据主题特意设置生存期，数据主题的有效与否可由具体业务需求来决定。

用于存储数据主题和/或主题数据的存储器与图2所示的数据处理设备可形成根据本公开实施例的数据处理系统。

图4示出了根据本公开实施例的数据处理系统。如图4所示，该数据处理系统包括：

存储主题数据的存储器410，存储器410根据从日志服务器的接收的日志流获取主题数据；以及图3中所示的数据处理设备420。

存储器410与数据处理设备420可共处一地，例如位于同一机房中，位于同一机架或甚至位于同一物理存在的机器内部。当然，在其他示例中，存储器410与数据处理设备420也可以位于相距或远或近的两个不同位置，并通过本领域所使用的任何可能的连接方式连接。

下面，将参考图5所示的示意图对本公开实施例提供的数据处理方案进行进一步的描述。图5示出了根据本公开实施例的数据处理方法的简要示意图。图5中示出的方案可包括以下操作：

1)日志服务器(例如，Nginx日志服务器)接收到日志请求，并给请求方返回值。在此可假设所接收到的日志格式是一致的。

2)日志服务器运行服务，发送日志流至Kafka集群的不同数据主题中。

3)接收来自应用的主题消费请求，并由图5中所示的实时数据服务平台执行如图2所示的处理。

在一个具体的实现中，可根据接收到的主题消费请求，利用实时数据服务平台现有的分析工具和处理工具来执行图2所示的处理。而在另一些实现中，可针对接收到的主题消费请求生成新的分析工具和处理工具来执行图2所示的处理。例如，可通过任何可行的编程语言来编写所需分析工具和处理工具(如JRC(Jingdong Real-time Computation，京东实时计算平台)程序)。本公开实施例不受具体实现方式的限制。

图5中示出了生成新的数据主题的示例，然而如上所述，新数据主题的生成不是必须的。

4)具体应用或主题消费方接收到或获取到实时数据服务平台返回的新的主题数据，以进行后续的具体数据处理。

在上述的实施例中，通过对原始主题数据进行预处理以生成符合相关应用要求的主题数据之后将其发送给相关应用，降低了向相关应用传输主题数据时产生的无效带宽，并提高了业务使用数据的自由度。

图6示意性示出了根据本公开的实施例的用于数据处理的设备的框图，其对应于图3所示的设备。图6示出的设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，根据该实施例的设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本公开实施例的设备中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时电可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行图2所示的方法。

图7示意性示出了根据本公开实施例的可以应用根据图2所示方法的示例性系统架构700。

如图7所示，根据该实施例的系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

本公开实施例所提供的图2所示的方法可在服务器705中执行，亦即，可将服务器705实现为根据图3或图6所示的设备或图5所示的实时数据服务平台，而将终端设备701、702、703实现为图5中所示的各个数据应用。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种用于数据处理的方法，包括：

接收来自应用的主题消费请求，所述主题消费请求对与一个或多个数据主题有关的数据处理进行请求；

从所述主题消费请求确定所述主题消费请求所涉及的数据主题；

获取所涉及的数据主题的与所述数据处理有关的主题数据；

根据所述数据处理的要求，基于所获取的主题数据生成新的主题数据；以及

向所述应用发送所述新的主题数据。

2.根据权利要求1所述的方法，其中，获取所涉及的数据主题的与所述数据处理有关的主题数据包括：

从存储主题数据的存储器获取与所涉及的数据主题有关的主题数据。

3.根据权利要求2所述的方法，其中，从所述存储器获取的主题数据来自于日志服务器向所述存储器发送的日志数据。

4.根据权利要求1所述的方法，其中，根据所述数据处理的要求来基于所获取的主题数据生成新的主题数据包括：

根据所述主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

5.根据权利要求1所述的方法，还包括：

基于所述主题消费请求所涉及的数据主题来生成新的数据主题。

6.一种用于数据处理的设备，包括：

请求接收单元，用于接收来自应用的主题消费请求，所述主题消费请求对与一个或多个数据主题有关的数据处理进行请求；

分析单元，用于从所述主题消费请求确定所述主题消费请求所涉及的数据主题；

主题数据提取单元，用于获取所涉及的数据主题的与所述数据处理有关的主题数据；

主题数据处理单元，用于根据所述数据处理的要求，基于所获取的主题数据生成新的主题数据；以及

发送单元，用于向所述应用发送所述新的主题数据。

7.根据权利要求6所述的设备，其中，所述主题数据提取单元从存储主题数据的存储器获取与所涉及的数据主题有关的主题数据。

8.根据权利要求7所述的设备，其中，从所述存储器获取的主题数据来自于日志服务器向所述存储器发送的日志数据。

9.根据权利要求6所述的设备，其中，所述主题数据处理单元还用于：

根据所述主题消费请求对所获取的主题数据进行抽取和/或组合，以生成新的主题数据。

10.根据权利要求6所述的设备，还包括：

主题生成单元，用于基于所述主题消费请求所涉及的数据主题来生成新的数据主题。

11.一种数据处理系统，包括：

存储主题数据的存储器，所述存储器根据从日志服务器的接收的日志流获取主题数据；以及

根据权利要求6至10中任一项所述的设备。

12.一种用于数据处理的设备，包括：

存储器，存储计算机可执行指令；以及

处理器，执行所述存储器存储的计算机可执行指令，以执行根据权利要求1至5中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1至5中任一项所述的方法。