CN112015750A - 数据处理方法和系统 - Google Patents

Abstract

本申请实施例提供的数据处理方法和系统，涉及数据处理技术领域。数据处理方法应用于数据处理系统，数据处理系统包括数据处理设备和元数据处理设备，数据处理方法包括：数据处理单元获取实时数据，根据实时数据向元数据缓存管理器发起元数据请求，请求获取实时数据对应的元数据，根据元数据对实时数据进行处理，将处理后的实时数据进行存储；实时数据表征数据处理设备的工况信息，元数据表征工况信息的处理逻辑；元数据处理单元接收元数据更新请求，请求从元数据数据库获取更新后的元数据。通过上述设置，可以分别处理实时数据和元数据，从而减少实时处理过程中因元数据更新带来的数据处理延迟和不一致问题带来的影响。

Description

数据处理方法和系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法和系统。

背景技术

在互联网大数据背景下，高吞吐量低延迟易水平扩展的实时流数据处理框架逐渐兴起。随着业务需求的不断变化，实时处理的逻辑也会频繁迭代演进，线上已部署的实时处理任务需要随之更新。

但是，经发明人研究发现，在现有技术中，在任务重启需要更新元数据时，需要将实时数据处理的任务停止后再更新元数据，从而使得实时处理过程中存在因元数据更新带来的数据处理延迟和不一致问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法和系统，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据处理方法，应用于数据处理系统，所述数据处理系统包括数据处理设备和元数据处理设备，所述数据处理设备包括数据处理单元和元数据缓存管理器，所述元数据处理设备包括元数据处理单元和元数据数据库，所述数据处理方法包括：

所述数据处理单元获取实时数据，根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据，根据所述元数据对所述实时数据进行处理，将处理后的实时数据进行存储；所述实时数据表征数据处理设备的工况信息，所述元数据表征所述工况信息的处理逻辑；

所述元数据处理单元接收元数据更新请求，请求从所述元数据数据库获取更新后的元数据。

在本申请实施例较佳的选择中，所述根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据的步骤，包括：

判断所述元数据缓存管理器是否存储有元数据；

若有，则将所述元数据缓存管理器存储的元数据作为所述实时数据对应的元数据。

在本申请实施例较佳的选择中，所述数据处理方法还包括：

若所述元数据缓存管理器未存储有元数据，则所述数据处理单元向所述元数据处理单元发起元数据获取请求，请求从所述元数据数据库获取所述实时数据对应的元数据。

在本申请实施例较佳的选择中，所述数据处理方法还包括：

所述元数据处理单元根据所述元数据更新请求生成对应的缓存失效消息；

所述元数据处理单元将所述缓存失效消息发送至所述元数据缓存管理器，以使所述元数据缓存管理器存储的元数据失效。

在本申请实施例较佳的选择中，所述将所述缓存失效消息发送至所述元数据缓存管理器的步骤，包括：

对所述缓存失效消息进行解码处理；

将解码处理后的缓存失效消息发送至所述元数据缓存管理器。

本申请实施例还提供了一种数据处理系统，包括：

数据处理设备，所述数据处理设备包括数据处理单元和元数据缓存管理器，所述数据处理单元用于获取实时数据，根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据，根据所述元数据对所述实时数据进行处理，将处理后的实时数据进行存储；所述实时数据表征数据处理设备的工况信息，所述元数据表征所述工况信息的处理逻辑；

与所述数据处理设备通信连接的元数据处理设备，所述元数据处理设备包括元数据处理单元和元数据数据库，所述元数据处理单元用于接收元数据更新请求，请求从所述元数据数据库获取更新后的元数据。

在本申请实施例较佳的选择中，所述数据处理单元具体用于判断所述元数据缓存管理器是否存储有元数据，在存储有元数据时，将所述元数据缓存管理器存储的元数据作为所述实时数据对应的元数据。

在本申请实施例较佳的选择中，在未存储有元数据时，所述数据处理单元用于向所述元数据处理单元发起元数据获取请求，请求从所述元数据数据库获取所述实时数据对应的元数据。

在本申请实施例较佳的选择中，所述元数据处理单元还用于根据所述元数据更新请求生成对应的缓存失效消息，将所述缓存失效消息发送至所述元数据缓存管理器，以使所述元数据缓存管理器存储的元数据失效。

在本申请实施例较佳的选择中，所述元数据处理单元具体用于对所述缓存失效消息进行解码处理，将解码处理后的缓存失效消息发送至所述元数据缓存管理器。

本申请实施例提供的数据处理方法和系统，数据处理单元对实时数据进行处理，通过元数据处理单元对元数据进行更新，从而实现了对实时数据和元数据的分别处理，避免了现有技术实时处理过程中存在因元数据更新带来的数据处理延迟和不一致问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据处理系统的结构框图。

图2为本申请实施例提供的数据处理方法的流程示意图。

图3为本申请实施例提供的数据处理方法的另一流程示意图。

图4为本申请实施例提供的数据处理方法的另一流程示意图。

图5为本申请实施例提供的数据处理方法的另一流程示意图。

图6为本申请实施例提供的数据处理方法的另一流程示意图。

图标：10-数据处理系统；100-数据处理设备；110-数据处理单元；120-元数据缓存管理器；200-元数据处理设备；210-元数据处理单元；220-元数据数据库。

具体实施方式

在现有技术中，通过有状态的分布式实时数据处理框架——Flink对获取的实时数据进行处理，Flink分布式实时处理框架通过三种方式（事件驱动应用程序、流数据处理流水线和流批分析），利用不同的计算资源（K8s、Yarn、Mesos等）和存储资源（HDFS、S3、NFS等），对不同类型的数据源（实时事件、数据库、文件系统和键值存储等）进行处理后提供给应用程序消费或持久化到不同数据漏中。在任务重启需要更新元数据时，需要将实时数据处理的任务停止后再更新元数据，从而存在着数据处理的效率低的问题。

为了解决上述技术问题，本申请实施例提供了一种数据处理方法和系统，下面通过可能的实现方式对本申请的技术方案进行说明。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。本申请的系统或方法的应用可以包括网页、浏览器的插件、客户端终端、定制系统、内部分析系统、或人工智能机器人等，或其任意组合。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1是根据本申请的一些实施例的可以实现本申请思想的数据处理系统10的示例性硬件和软件组件的示意图。该数据处理系统10可以包括数据处理设备100和元数据处理设备200。

其中，数据处理设备100和元数据处理设备200通信连接，用于获取实时数据对应的元数据，实时数据表征数据处理设备100的工况信息，元数据表征工况信息的处理逻辑，可以根据处理逻辑对实时数据进行转换和计算。

对于数据处理设备100，需要说明的是，数据处理设备100的具体结构不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，数据处理设备100可以包括数据处理单元110和元数据缓存管理器120，数据处理单元110用于对获取的实时数据进行处理，元数据缓存管理器120用于缓存元数据，缓存策略为内存中带有生存时间（Time-To-Live)的最近最少使用（Least-Recent-Use）策略，兼顾性能的同时防止内存溢出。

对于元数据处理设备200，需要说明的是，元数据处理设备200的具体结构不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，元数据处理设备200可以包括元数据处理单元210和元数据数据库220，元数据数据库220用于存储元数据。

需要说明的是，在一种可能的实施例中，上述数据处理设备100和元数据处理设备200的功能可以由同一个设备执行。例如，本申请实施例中的数据处理系统10可以包括服务器，数据处理设备100和元数据处理设备200的功能由服务器的不同模块进行执行。

在一些实施例中，服务器可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的（例如，服务器可以是分布式系统）。在一些实施例中，服务器相对于终端，可以是本地的、也可以是远程的。例如，服务器可以经由网络访问存储在实时数据上传终端中的信息和/或数据。作为另一示例，服务器可以直接连接到实时数据上传终端，以访问存储的信息和/或数据。在一些实施例中，服务器可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、弹性云、社区云(community cloud)、分布式云、跨云（inter-cloud）、多云(multi-cloud)等，或者它们的任意组合。

在一些实施例中，服务器可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理核（例如，单核处理器（S）或多核处理器（S））。仅作为举例，处理器可以包括中央处理单元（Central Processing Unit, CPU）、专用集成电路（Application SpecificIntegrated Circuit, ASIC）、专用指令集处理器（Application Specific Instruction-set Processor, ASIP）、图形处理单元（Graphics Processing Unit, GPU）、物理处理单元（Physics Processing Unit, PPU）、数字信号处理器 (Digital Signal Processor,DSP)、现场可编程门阵列( Field Programmable Gate Array, FPGA)、可编程逻辑器件(Programmable Logic Device, PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing, RISC)或微处理器等，或其任意组合。

网络可以用于信息和/或数据的交换。在一些实施例中，数据处理系统10中的一个或多个组件可以向其他组件发送信息和/或数据。例如，服务器可以经由网络从实时数据上传终端获取实时数据。在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网（Local Area Network，LAN）、广域网（Wide Area Network，WAN）、无线局域网（Wireless Local Area Networks，WLAN）、城域网（Metropolitan Area Network，MAN）、广域网（Wide Area Network，WAN）、公共电话交换网（Public Switched TelephoneNetwork，PSTN）、蓝牙网络、ZigBee网络、或近场通信（Near Field Communication, NFC）网络等，或其任意组合。

在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，数据处理系统10的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。

服务器中可以包括数据库，数据库可以存储数据和/或指令。在一些实施例中，数据库可以存储从实时数据上传终端获得的数据。在一些实施例中，数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器（Read-Only Memory, ROM）等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器（Random Access Memory, RAM）；RAM可以包括动态RAM（Dynamic Random AccessMemory, DRAM），双倍数据速率同步动态RAM（Double Date-Rate Synchronous RAM, DDRSDRAM）；静态RAM（Static Random-Access Memory, SRAM），晶闸管RAM（Thyristor-BasedRandom Access Memory, T-RAM）和零电容器RAM（Zero-RAM）等。作为举例，ROM可以包括掩模ROM（Mask Read-Only Memory, MROM）、可编程ROM（ Programmable Read-Only Memory,PROM）、可擦除可编程ROM（Programmable Erasable Read-only Memory , PEROM）、电可擦除可编程ROM（Electrically Erasable Programmable read only memory, EEPROM）、光盘ROM（CD-ROM）、以及数字通用磁盘ROM等。在一些实施例中，数据库可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云、弹性云或者其它类似的等，或其任意组合。

在一些实施例中，数据库可以连接到网络以与数据处理系统10中的一个或多个组件通信。数据处理系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中，数据库可以直接连接到数据处理系统10中的一个或多个组件（例如，服务器）。或者，在一些实施例中，数据库也可以是服务器的一部分。

结合图2，本申请实施例还提供了一种数据处理方法，其可以被应用于上图1所示的数据处理系统10，数据处理方法包括：

步骤S210，数据处理单元110获取实时数据，根据实时数据向元数据缓存管理器120发起元数据请求，请求获取实时数据对应的元数据。

也就是说，数据处理单元110获取到实时数据上传终端上传的实时数据之后，向元数据缓存管理器120发起元数据请求，以获取实时数据对应的元数据。

步骤S220，数据处理单元110根据元数据对实时数据进行处理，将处理后的实时数据进行存储。

详细地，通过步骤S210获取实时数据对应的元数据之后，数据处理单元110对实时数据进行处理之后进行存储。

步骤S230，元数据处理单元210接收元数据更新请求，请求从元数据数据库220获取更新后的元数据。

也就是说，在对元数据进行更新时，元数据处理单元210根据接收的元数据更新请求对元数据进行更新。

需要说明的是，数据处理单元110可以通过步骤S210和步骤S220对实时数据进行处理，元数据处理单元210可以根据步骤S230对元数据更新请求进行处理。也就是说，在接收实时数据后，可以单独执行步骤S210和步骤S220；在接收元数据更新请求后，可以单独执行步骤S230；在接收实时数据和元数据更新请求后，也可以同时执行步骤S210、步骤S220和步骤S330。

通过上述方法，数据处理单元110对实时数据进行处理，通过元数据处理单元210对元数据进行更新，从而实现了对实时数据和元数据的分别处理，避免了现有技术实时处理过程中存在因元数据更新带来的数据处理延迟和不一致问题。

对于步骤S210，需要说明的是，获取元数据的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，数据处理方法可以包括判断元数据缓存管理器120中是否存储有元数据的步骤。因此，在图2的基础上，图3为本申请实施例提供的另一种数据处理方法的流程示意图，参见图3，步骤S210可以包括：

步骤S211，判断元数据缓存管理器120是否存储有元数据。

在本申请实施例中，当元数据缓存管理器120存储有元数据时，执行步骤S212；当元数据缓存管理器120未存储有元数据时，执行步骤S213。

步骤S212，将元数据缓存管理器120存储的元数据作为实时数据对应的元数据。

步骤S213，向元数据处理单元210发起元数据获取请求，请求从元数据数据库220获取实时数据对应的元数据。

也就是说，在元数据缓存管理器120未存储有元数据时，数据处理单元110向元数据处理单元210发起元数据获取请求，元数据处理单元210根据元数据获取请求从元数据数据库获取元数据。

现有技术中对元数据更新之后，根据新的元数据对实时数据进行处理之前，还在根据原有的元数据对实时数据进行处理，导致对实时数据的处理逻辑不一致。为了最大程度减小处理逻辑不一致的时长，数据处理方法还可以包括发送缓存失效消息至元数据缓存管理器的步骤。因此，在图2的基础上，图4为本申请实施例提供的另一种数据处理方法的流程示意图，参见图4，在步骤S230之后，数据处理方法还可以包括：

步骤S240，元数据处理单元210根据元数据更新请求生成对应的缓存失效消息。

步骤S250，元数据处理单元210将缓存失效消息发送至元数据缓存管理器120。

详细地，通过步骤S250以使元数据缓存管理器120存储的元数据失效。

对于步骤S250，需要说明的是，缓存失效消息的发送方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，数据处理方法还可以包括对缓存失效消息进行解码的步骤。因此，在图4的基础上，图5为本申请实施例提供的一种数据处理方法的流程示意图，参见图5，步骤S250可以包括：

步骤S251，对缓存失效消息进行解码处理。

详细地，解码是指从二进制格式传输数据转为程序可以消费的数据结构。

步骤S252，将解码处理后的缓存失效消息发送至元数据缓存管理器。

结合图6，在本申请实施例中，系统工作流程可以分为实时数据上传（图中实线箭头链路）和元数据更新（图中虚线箭头链路）两条链路，实时数据上传链路包括：实时数据通过实时数据上传队列上传到部署着实时数据源的实时数据处理单元，实时数据源接收到实时数据，解码后将其传递给实时处理算子，实时数据处理算子向元数据缓存管理器请求元数据，根据元数据对实时数据进行处理，将处理后的实时数据存储在实时数据漏。在元数据缓存管理器中没有缓存的元数据时，元数据缓存管理器通过向元数据服务发起请求获取元数据并缓存，元数据服务请求元数据数据库获取元数据。元数据更新链路包括：元数据更新者发起元数据更新请求，元数据处理单元部署有元数据服务，元数据服务接收到元数据更新请求后会向元数据数据库发起元数据更新请求，元数据服务向缓存失效更新队列发送对应缓存失效消息，实时数据源订阅到缓存失效消息后将缓存失效消息解码，更新元数据缓存管理器中的缓存。

综上所述，本申请实施例提供的数据处理方法和系统，数据处理单元对实时数据进行处理，通过元数据处理单元对元数据进行更新，从而实现了对实时数据和元数据的分别处理，避免了现有技术实时处理过程中存在因元数据更新带来的数据处理延迟和不一致问题。

在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据处理设备和元数据处理设备，所述数据处理设备包括数据处理单元和元数据缓存管理器，所述元数据处理设备包括元数据处理单元和元数据数据库，所述数据处理方法包括：

所述数据处理单元获取实时数据，根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据，根据所述元数据对所述实时数据进行处理，将处理后的实时数据进行存储；所述实时数据表征数据处理设备的工况信息，所述元数据表征所述工况信息的处理逻辑；

所述元数据处理单元接收元数据更新请求，请求从所述元数据数据库获取更新后的元数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据的步骤，包括：

判断所述元数据缓存管理器是否存储有元数据；

若有，则将所述元数据缓存管理器存储的元数据作为所述实时数据对应的元数据。

3.如权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：

若所述元数据缓存管理器未存储有元数据，则所述数据处理单元向所述元数据处理单元发起元数据获取请求，请求从所述元数据数据库获取所述实时数据对应的元数据。

4.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

所述元数据处理单元根据所述元数据更新请求生成对应的缓存失效消息；

所述元数据处理单元将所述缓存失效消息发送至所述元数据缓存管理器，以使所述元数据缓存管理器存储的元数据失效。

5.如权利要求4所述的数据处理方法，其特征在于，所述将所述缓存失效消息发送至所述元数据缓存管理器的步骤，包括：

对所述缓存失效消息进行解码处理；

将解码处理后的缓存失效消息发送至所述元数据缓存管理器。

6.一种数据处理系统，其特征在于，包括：

数据处理设备，所述数据处理设备包括数据处理单元和元数据缓存管理器，所述数据处理单元用于获取实时数据，根据所述实时数据向所述元数据缓存管理器发起元数据请求，请求获取所述实时数据对应的元数据，根据所述元数据对所述实时数据进行处理，将处理后的实时数据进行存储；所述实时数据表征数据处理设备的工况信息，所述元数据表征所述工况信息的处理逻辑；

与所述数据处理设备通信连接的元数据处理设备，所述元数据处理设备包括元数据处理单元和元数据数据库，所述元数据处理单元用于接收元数据更新请求，请求从所述元数据数据库获取更新后的元数据。

7.如权利要求6所述的数据处理系统，其特征在于，所述数据处理单元具体用于判断所述元数据缓存管理器是否存储有元数据，在存储有元数据时，将所述元数据缓存管理器存储的元数据作为所述实时数据对应的元数据。

8.如权利要求7所述的数据处理系统，其特征在于，在未存储有元数据时，所述数据处理单元用于向所述元数据处理单元发起元数据获取请求，请求从所述元数据数据库获取所述实时数据对应的元数据。

9.如权利要求6所述的数据处理系统，其特征在于，所述元数据处理单元还用于根据所述元数据更新请求生成对应的缓存失效消息，将所述缓存失效消息发送至所述元数据缓存管理器，以使所述元数据缓存管理器存储的元数据失效。

10.如权利要求9所述的数据处理系统，其特征在于，所述元数据处理单元具体用于对所述缓存失效消息进行解码处理，将解码处理后的缓存失效消息发送至所述元数据缓存管理器。

Images