CN117193816A - 一种多应用实例的数据解析方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种多应用实例的数据解析方法、系统、装置及存储介质，应用于第一应用实例，所述方法包括：所述第一应用实例接收解析模板更新请求；所述第一应用实例将所述解析模板更新请求中的解析模板更新到数据库中；所述第一应用实例向消息队列发送更新解析模板通知，以使第二应用实例获得所述更新解析模板通知。本发明提供的一种多应用实例的数据解析方法、系统、装置及存储介质，第一应用实例接收到解析模板更新请求后，将解析模板更新请求中的解析模板更新到数据库中，并向消息队列发送更新解析模板通知，以使第二应用实例获得更新解析模板通知，实现了动态更新解析模板的功能，在多应用实例部署的架构下，及时有效地更新解析模板。

Description

一种多应用实例的数据解析方法、系统、装置及存储介质

技术领域

本发明涉及大数据领域，特别是涉及一种多应用实例的数据解析方法、系统、装置及存储介质。

背景技术

随着数字化社会的不断发展，汽车行业正面临着智能化、网联化和电动化等各方面的挑战和变革。在这个背景下，对高级别智能驾驶技术的要求也越来越高。为了实现这一目标，汽车制造商开始增加环境感知传感器等硬件设备，以收集越来越多的车辆数据。然而，由于车辆存储空间的有限性，为了更好地管理和利用这些数据，需要通过一些技术手段将周期性采集的全部数据保存到云端。多应用实例部署是一种高效、可靠和灵活的部署方式，能够提高系统的可用性、性能和安全性，同时简化了部署和维护的工作，而且适用于各种规模的应用和系统。然而，在云端接收到车辆的海量数据后，怎样实时地处理这些数据成为一个亟待解决的问题。同时，在多应用实例部署的架构下，数据解析应用面临着一个新的挑战，那就是如何动态实时管理不同版本的解析模板，以适应不同版本数据的解析需求。

发明内容

本发明的目的在于提供一种多应用实例的数据解析方法、系统、装置及存储介质，实现动态更新解析模板的功能，在多应用实例部署的架构下，及时有效地更新解析模板。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种多应用实例的数据解析方法，应用于第一应用实例，所述多应用实例的数据解析方法包括：

所述第一应用实例接收解析模板更新请求；

所述第一应用实例将所述解析模板更新请求中的解析模板更新到数据库中；

所述第一应用实例向消息队列发送更新解析模板通知，以使第二应用实例获得所述更新解析模板通知。

作为其中一种实施方式，所述多应用实例的数据解析方法还包括：

所述第一应用实例启动后，获取所述数据库中的解析模板；

将所述解析模板储存在本地缓存中。

作为其中一种实施方式，所述将所述解析模板储存在本地缓存中之后，包括：

所述第一应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

第二方面，本发明实施例提供了一种多应用实例的数据解析方法，应用于第二应用实例，所述多应用实例的数据解析方法包括：

所述第二应用实例通过消息队列获取更新解析模板通知；

所述第二应用实例根据所述更新解析模板通知，获取数据库中最新的解析模板；

所述第二应用实例将所述最新的解析模板更新到本地缓存中。

作为其中一种实施方式，所述第二应用实例通过消息队列获取更新解析模板通知，包括：

所述第二应用实例启动后，订阅所述消息队列中解析模板更新的主题。

作为其中一种实施方式，所述第二应用实例将所述最新的解析模板更新到本地缓存中之后，包括：

所述第二应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

第三方面，本发明实施例提供了一种多应用实例的数据解析系统，所述多应用实例的数据解析系统包括网络模块、第一应用实例模块、第二应用实例模块、数据库模块以及消息队列模块；其中，

所述网络模块，用于发送解析模板更新请求；

所述第一应用实例模块，用于接收所述网络模块发送的所述解析模板更新请求，并将所述解析模板更新请求中的解析模板更新到所述数据库模块中，以及向所述消息队列模块发送更新解析模板通知；

所述第二应用实例模块，用于通过所述消息队列模块获取所述更新解析模板通知，并根据所述更新解析模板通知，获取所述数据库模块中最新的解析模板，以及将所述最新的解析模板更新到本地缓存中；

所述数据库模块，用于接收所述第一应用实例模块发送的所述解析模板更新请求中的解析模板，以及向所述第二应用实例模块发送所述最新的解析模板；

所述消息队列模块，用于接收所述第一应用实例模块发送的所述更新解析模板通知，以及向所述第二应用实例模块发送所述更新解析模板通知。

作为其中一种实施方式，所述第一应用实例模块，还用于：

获取所述数据库模块中的解析模板；

将所述解析模板储存在本地缓存中。

第四方面，本发明实施例提供了一种多应用实例的数据解析装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面和/或第二方面所述多应用实例的数据解析方法的步骤。

第五方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面和/或第二方面所述多应用实例的数据解析方法的步骤。

本发明实施例提供的一种多应用实例的数据解析方法、系统、装置及存储介质，应用于第一应用实例，所述多应用实例的数据解析方法包括：所述第一应用实例接收解析模板更新请求；所述第一应用实例将所述解析模板更新请求中的解析模板更新到数据库中；所述第一应用实例向消息队列发送更新解析模板通知，以使第二应用实例获得所述更新解析模板通知。如此，第一应用实例接收到解析模板更新请求后，将解析模板更新请求中的解析模板更新到数据库中，并向消息队列发送更新解析模板通知，以使第二应用实例获得更新解析模板通知，实现了动态更新解析模板的功能，在多应用实例部署的架构下，及时有效地更新解析模板。

附图说明

图1为本发明实施例提供的一种多应用实例的数据解析方法的流程示意图；

图2为本发明实施例提供的另一种多应用实例的数据解析方法的流程示意图；

图3为本发明实施例提供的一种多应用实例的数据解析系统的结构示意图；

图4为本发明实施例提供的一种多应用实例的数据解析装置的结构示意图。

具体实施方式

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本发明实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，采用了诸如S101、S102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S102后执行S101等，但这些均应在本发明的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，为本发明实施例提供的一种多应用实例的数据解析方法，该多应用实例的数据解析方法可以由本发明实施例提供的一种多应用实例的数据解析装置来执行，该多应用实例的数据解析装置可以采用软件和/或硬件的方式来实现，所述多应用实例的数据解析方法包括以下步骤：

步骤S101：所述第一应用实例接收解析模板更新请求；

具体地，在需要更新解析模板时，从web端发送更新解析模板的http请求到多个应用实例中的某一个。

步骤S102：所述第一应用实例将所述解析模板更新请求中的解析模板更新到数据库中；

具体地，第一应用实例接收到解析模板更新请求后，修改数据库(Database，DB)中的解析模板，将解析模板更新请求中的解析模板更新到数据库中。

步骤S103：所述第一应用实例向消息队列发送更新解析模板通知，以使第二应用实例获得所述更新解析模板通知。

具体地，第一应用实例完成数据库中解析模板的更新后，向Kafka消息队列(Message Queue，MQ)发送更新解析模板的广播通知，以使其他应用实例通过接收更新解析模板通知来获取最新的解析模板。

综上，上述实施例提供的多应用实例的数据解析方法中，第一应用实例接收到解析模板更新请求后，将解析模板更新请求中的解析模板更新到数据库中，并向消息队列发送更新解析模板通知，以使第二应用实例获得更新解析模板通知，实现了动态更新解析模板的功能，在多应用实例部署的架构下，及时有效地更新解析模板。

在一实施方式中，所述多应用实例的数据解析方法还包括：

所述第一应用实例启动后，获取所述数据库中的解析模板；

将所述解析模板储存在本地缓存中。

在一实施方式中，所述将所述解析模板储存在本地缓存中之后，包括：

所述第一应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

需要说明的是，Kafka是一种高吞吐量的分布式发布订阅消息平台，其可以处理消费者在网站中的所有动作流数据，每条发布到Kafka集群的消息都有一个类别，即Topic，也可以称为主题。

这里，应用实例在启动完成后，先从数据库中获取解析模板存放在本地缓存中，然后应用实例中的数据解析程序从Kafka(Apache Kafka)中消费数据，再从本地缓存中读取对应版本的解析模板，使用解析模板解析数据，最后把解析后的数据发送到Kafka。如此，将解析模板存储在本地缓存中，在解析数据时从本地缓存中读取解析模板，大幅降低了数据库的负载，把获取解析模板的网络IO负载几乎降到了0，极大地提高了数据解析的速度，使数据源端的Kafka不再有数据积压。

参见图2，为本发明实施例提供的一种多应用实例的数据解析方法，该多应用实例的数据解析方法可以由本发明实施例提供的一种多应用实例的数据解析装置来执行，该多应用实例的数据解析装置可以采用软件和/或硬件的方式来实现，所述多应用实例的数据解析方法包括以下步骤：

步骤S201：所述第二应用实例通过消息队列获取更新解析模板通知；

步骤S202：所述第二应用实例根据所述更新解析模板通知，获取数据库中最新的解析模板；

步骤S203：所述第二应用实例将所述最新的解析模板更新到本地缓存中。

综上，上述实施例提供的多应用实例的数据解析方法中，第二应用实例通过消息队列获取更新解析模板通知，根据所述更新解析模板通知，获取数据库中最新的解析模板，将所述最新的解析模板更新到本地缓存中，通过消息队列的广播机制，解决了多应用实例部署时只有一个应用实例获取到http请求和更新本地缓存中的解析模板的问题，实现了动态更新解析模板的功能，能及时有效地更新所有应用实例中的解析模板。

在一实施方式中，所述第二应用实例通过消息队列获取更新解析模板通知，包括：

所述第二应用实例启动后，订阅所述消息队列中解析模板更新的主题。

这里，每个应用实例启动后，会订阅消息队列中解析模板更新的主题(Topic)，每个应用实例都会接收到该Topic发送的广播通知。

在一实施方式中，所述第二应用实例将所述最新的解析模板更新到本地缓存中之后，包括：

所述第二应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

这里，应用实例中的数据解析程序从Kafka中消费数据，再从本地缓存中读取对应版本的解析模板，使用解析模板解析数据，最后把解析后的数据发送到Kafka。如此，将解析模板存储在本地缓存中，在解析数据时从本地缓存中读取解析模板，大幅降低了数据库的负载，把获取解析模板的网络IO负载几乎降到了0，极大地提高了数据解析的速度，使数据源端的Kafka不再有数据积压。

基于前述实施例相同的发明构思，如图3所示，为本发明实施例提供的一种多应用实例的数据解析系统，所述多应用实例的数据解析系统包括网络模块310、第一应用实例模块311、第二应用实例模块312、数据库模块313以及消息队列模块314；其中，

所述网络模块310，用于发送解析模板更新请求；

所述第一应用实例模块311，用于接收所述网络模块310发送的所述解析模板更新请求，并将所述解析模板更新请求中的解析模板更新到所述数据库模块313中，以及向所述消息队列模块314发送更新解析模板通知；

所述第二应用实例模块312，用于通过所述消息队列模块314获取所述更新解析模板通知，并根据所述更新解析模板通知，获取所述数据库模块313中最新的解析模板，以及将所述最新的解析模板更新到本地缓存中；

所述数据库模块313，用于接收所述第一应用实例模块311发送的所述解析模板更新请求中的解析模板，以及向所述第二应用实例模块312发送所述最新的解析模板；

所述消息队列模块314，用于接收所述第一应用实例模块311发送的所述更新解析模板通知，以及向所述第二应用实例模块312发送所述更新解析模板通知。

在一实施方式中，所述第一应用实例模块311，还用于：

获取所述数据库模块313中的解析模板；

将所述解析模板储存在本地缓存中。

本实施例的具体实现过程请参考图1和/或图2所示实施例的描述，在此不再赘述。

基于前述实施例相同的发明构思，本发明实施例提供了一种多应用实例的数据解析装置，如图4所示，该多应用实例的数据解析装置包括：处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111；其中，图4中示意的处理器110并非用于指代处理器110的个数为一个，而是仅用于指代处理器110相对其他器件的位置关系，在实际应用中，处理器110的个数可以为一个或多个；同样，图4中示意的存储器111也是同样的含义，即仅用于指代存储器111相对其他器件的位置关系，在实际应用中，存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时，实现所述多应用实例的数据解析方法。

该多应用实例的数据解析装置还可包括：至少一个网络接口112。该多应用实例的数据解析装置中的各个组件通过总线系统113耦合在一起。可理解，总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统113。

其中，存储器111可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器111用于存储各种类型的数据以支持该多应用实例的数据解析装置的操作。这些数据的示例包括：用于在该多应用实例的数据解析装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现上述所述的多应用实例的数据解析方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种多应用实例的数据解析方法，其特征在于，应用于第一应用实例，所述多应用实例的数据解析方法包括：

所述第一应用实例接收解析模板更新请求；

所述第一应用实例将所述解析模板更新请求中的解析模板更新到数据库中；

所述第一应用实例向消息队列发送更新解析模板通知，以使第二应用实例获得所述更新解析模板通知。

2.根据权利要求1所述的多应用实例的数据解析方法，其特征在于，还包括：

所述第一应用实例启动后，获取所述数据库中的解析模板；

将所述解析模板储存在本地缓存中。

3.根据权利要求2所述的多应用实例的数据解析方法，其特征在于，所述将所述解析模板储存在本地缓存中之后，包括：

所述第一应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

4.一种多应用实例的数据解析方法，其特征在于，应用于第二应用实例，所述多应用实例的数据解析方法包括：

所述第二应用实例通过消息队列获取更新解析模板通知；

所述第二应用实例根据所述更新解析模板通知，获取数据库中最新的解析模板；

所述第二应用实例将所述最新的解析模板更新到本地缓存中。

5.根据权利要求4所述的多应用实例的数据解析方法，其特征在于，所述第二应用实例通过消息队列获取更新解析模板通知，包括：

所述第二应用实例启动后，订阅所述消息队列中解析模板更新的主题。

6.根据权利要求4所述的多应用实例的数据解析方法，其特征在于，所述第二应用实例将所述最新的解析模板更新到本地缓存中之后，包括：

所述第二应用实例从Kafka中获取数据；

从所述本地缓存中获取所述解析模板；

根据所述解析模板解析所述数据；

将解析后的数据发送到Kafka。

7.一种多应用实例的数据解析系统，其特征在于，所述多应用实例的数据解析系统包括网络模块、第一应用实例模块、第二应用实例模块、数据库模块以及消息队列模块；其中，

所述网络模块，用于发送解析模板更新请求；

所述第一应用实例模块，用于接收所述网络模块发送的所述解析模板更新请求，并将所述解析模板更新请求中的解析模板更新到所述数据库模块中，以及向所述消息队列模块发送更新解析模板通知；

所述第二应用实例模块，用于通过所述消息队列模块获取所述更新解析模板通知，并根据所述更新解析模板通知，获取所述数据库模块中最新的解析模板，以及将所述最新的解析模板更新到本地缓存中；

所述数据库模块，用于接收所述第一应用实例模块发送的所述解析模板更新请求中的解析模板，以及向所述第二应用实例模块发送所述最新的解析模板；

所述消息队列模块，用于接收所述第一应用实例模块发送的所述更新解析模板通知，以及向所述第二应用实例模块发送所述更新解析模板通知。

8.根据权利要求7所述的多应用实例的数据解析系统，其特征在于，所述第一应用实例模块，还用于：

获取所述数据库模块中的解析模板；

将所述解析模板储存在本地缓存中。

9.一种多应用实例的数据解析装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述多应用实例的数据解析方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多应用实例的数据解析方法的步骤。