CN114265638B - 基于插件兼容的通信方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种基于插件兼容的通信方法、装置、设备及存储介质，其中，基于插件兼容的通信方法包括:当检测到上层应用程序需与下层通信模块进行数据交互时，获取所述用于实现上层应用程序与下层通信模块通信的通信插件的类型标识；根据所述通信插件的类型标识创建插件实例；调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信。本申请能够在兼容不同版本的插件的前提下，实现上层应用程序与kafka消息队通信，并使上下层应用不感知所引用的插件类型，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

Description

基于插件兼容的通信方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于插件兼容的通信方法、装置、设备及存储介质。

背景技术

当前在基于python语言的kafka应用客户端开发中，流行的开源插件主要由两种，pykafka与confluent_kafka，在早期的项目开发中使用pykafka插件作为与kafka应用的交互接口，在后期的项目实践中发现其与confluent_kafka在性能效率方面相差较大，除此之外confluent_kafka插件背后由confluence公司维护及发布，在稳定性、持续性、可维护性方面较pykafka的优势也更加明显，因此在实际项目开发中逐渐舍弃了pykafka插件转而采用confluent_kafka插件作为与kafka服务交互的客户端通信插件。

在由pykafka更新至confluent_kafka时，由于两者在调用方式、接口形态以及数据返回格式等方面差异性都比较大，同时对于纯软件应用来说，系统运行环境的更新风险是不可控的，涉及到一些系统运行库的更新，可能会对部署在同一环境中其他应用带来不可预知的风险。

现有相似的技术方案在遇到此问题时，一般采用的是更新系统环境增加所需要的插件库以及改造上下文环境对不同的插件类型做不同接口调用处理，针对不同插件的返回值格式做不同的处理。然而，插件更新时不可避免的需要更新支持此插件运行的一些动态库的版本，此时不可避免的会对运行在同一台服务器的上的其它服务造成难以预知的影响。同时，对于接口方法和数据格式的不同，修改上下层应用的处理方式代价也时巨大的，涉及到原有流程的修改，所带来的风险也是不可控的。

发明内容

本申请实施例的目的在于提供一种基于插件兼容的通信方法、装置、设备及存储介质，用以在兼容不同版本的插件的前提下，实现上层应用程序与kafka消息队通信，并使上下层应用不感知所引用的插件类型，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

为此，本申请第一方面公开一种基于插件兼容的通信方法，所述方法还包括：

当检测到上层应用程序需与下层通信模块进行数据交互时，获取所述用于实现上层应用程序与下层通信模块通信的通信插件的类型标识；

根据所述通信插件的类型标识创建插件实例；

调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信。

在本申请第一方面中，作为一种可选的实施方式，所述插件实例的通信函数包括消息发送函数和消息接收函数；

以及，所述调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信，包括：

基于所述消息发送函数向所述kafka消息队发送消息；

基于所述消息接收函数接收所述kafka消息队发送的消息。

在本申请第一方面中，作为一种可选的实施方式，在所述基于所述消息接收函数接收所述kafka消息队发送的消息之后，所述方法还包括：

对所述kafka消息队发送的消息进行数据序列化处理，以使得所述kafka消息队发送的消息的数据格式匹配所述上层应用程序的数据格式。

在本申请第一方面中，作为一种可选的实施方式，所述对所述kafka消息队发送的消息进行数据序列化处理，包括：

根据通信插件的类型标识确定数据序列化处理模块；

调用所述数据序列化处理模块对所述kafka消息队发送的消息进行数据序列化处理。

在本申请第一方面中，作为一种可选的实施方式，所述kafka消息队发送的消息包括消息内容、消息主题、消息分片、消息偏移量和消息时间戳；

以及，所述调用所述数据序列化处理模块对所述kafka消息队发送的消息进行数据序列化处理，包括：

调用所述数据序列化处理模块对所述消息内容、所述消息主题、所述消息分片、所述消息偏移量和所述消息时间戳进行数据序列化处理。

在本申请第一方面中，作为一种可选的实施方式，所述插件的类型标识为pykafka、confluent_kafka中的一种。

本申请第二方面公开一种基于插件兼容的通信装置，所述装置包括：

获取模块，用于当检测到上层应用程序需与下层通信模块进行数据交互时，获取所述用于实现上层应用程序与下层通信模块通信的通信插件的类型标识；

实例创建模块，用于根据所述通信插件的类型标识创建插件实例；

通信模块，用于调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信。

在本申请第二方面中，作为一种可选的实施方式，所述插件实例的通信函数包括消息发送函数和消息接收函数；

以及，所述通信模块包括：

发送子模块，用于基于所述消息发送函数向所述kafka消息队发送消息；

接收子模块，用于基于所述消息接收函数接收所述kafka消息队发送的消息。

本申请第三方面公开一种基于插件兼容的通信设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请第一方面公开的基于插件兼容的通信方法。

本申请第四方面公开一种存储介质，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本申请第一方面的基于插件兼容的通信方法。

与现有技术相比，本申请具有如下有益技术效果：

本申请能够兼容两种插件，并使上层应用程序在不感知下层通信模块所引用的插件类型的前提，实现与下层通信模块进行通信，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种基于插件兼容的通信方法的流程示意图；

图2是本申请实施例公开的一种基于插件兼容的通信方法的另一流程示意图；

图3是本申请实施例公开的一种基于插件兼容的通信装置的结构示意图；

图4是本申请实施例公开的一种基于插件兼容的通信设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一

请参阅图1，图1是本申请实施例公开的一种基于插件兼容的通信方法的流程示意图。如图1所示，本申请实施例的基于插件兼容的通信方法包括以下步骤：

101、当检测到上层应用程序需与下层通信模块进行数据交互时，获取用于实现上层应用程序与下层通信模块通信的通信插件；

102、根据通信插件的类型标识创建插件实例；

103、调用插件实例的通信函数，与下层通信模块的kafka消息队列进行通信。

在一些场景中，通信设备先安装有pykafka插件，即pykafka插件作为与kafka服务交互的通信设备通信插件，相应地，通信设备上的上层应用程序A也基于pykafka插件与kafka服务进行交互，进一步地，在后续的使用过程中，出现了confluent_kafka插件，且confluent_kafka插件的性能比pykafka插件的性能更加优越，此时，开发者会将通信设备中原先安装的pykafka插件更换为confluent_kafka插件，然而这种更新或导致部署在同一通信设备的其他应用带来影响，例如，由于confluent_kafka插件与pykafka插件在调用方式、接口形态以及数据返回格式等方面差异性都比较大，上层应用程序A中调用pykafka插件的方式无法调用confluent_kafka插件，或者上层应用程序A基于调用pykafka插件的方式所获取的数据无法被正确解析。

针对上述问题，如图1、图2所示，本申请实施例方式在检测到作为上层应用程序需要与下层通信模块的kafka消息队列进行通信时，根据用于实现上层应用程序与下层通信模块通信的通信插件创建插件实例，如当下层通信模块使用的是confluent_kafka插件时，则可创建与confluent_kafka插件匹配的confluent实例(如tcm_confluent)，而当下层通信模块使用的是pykafka插件时，则可创建与pykafka插件匹配的pykafka实例(如tcm_pykafka)，这样一来，就能够兼容两种插件，且上层应用程序就不需要感知下层通信模块使用何种插件，且能够与下层通信模块完成正常通信功能，也即本申请实施例无需为下层通信模块的数据格式的不同做另外的处理，进而保证上层应用的同一性。另一方面，下层通信模块通过创建的插件实例，也不需要感知上层应用程序基于何种类型的插件实现。

由上可知，本申请实施例的方法能够兼容两种插件，并使上层应用程序在不感知下层通信模块所引用的插件类型的前提，实现与下层通信模块进行通信，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

在本申请实施例中，上层应用程序可以是指基于系统架构中的应用层中的程序，例如可以是指位于Android系统中的应用层中的App。另一方面，下层通信模块可是指应用层之下的程序。

在本申请实施例中，插件实例是用于抽象描述插件的数据结构，其中，关于其具体说明，请参阅现有技术，本申请实施例对此不作赘述。

在本申请实施例中，作为一种可选的实施方式，插件实例的通信函数包括消息发送函数和消息接收函数，相应地，步骤103：基于调用插件实例的通信方法，与下层通信模块的kafka消息队列进行通信，包括以下子步骤：

基于消息发送函数向kafka消息队发送消息；

基于消息接收函数接收kafka消息队发送的消息。

在本可选的实施方式中，通过消息发送函数，上层应用程序可向下层通信模块的kafka消息队发送消息，另一方面，通过消息接收函数，上层应用程序可接收下层通信模块的kafka消息队发送的消息。

在本可选的实施方式中，关于消息发送函数和消息接收函数的具体实现过程请参阅现有技术，本申请实施例对此不作赘述。

在本申请实施例中，作为一种可选的实施方式，在步骤：基于消息接收函数接收kafka消息队发送的消息之后，本申请实施例的方法还包括以下步骤：

对kafka消息队发送的消息进行数据序列化处理，以使得kafka消息队发送的消息的数据格式匹配上层应用程序的数据格式。

在本可选的实施方式中，通过对kafka消息队发送的消息进行数据序列化处理，能够使得kafka消息队发送的消息的数据格式匹配上层应用程序的数据格式，进一步使得上层应用程序无需感知下层通信模块使用何种插件类型。

在本申请实施例中，作为一种可选的实施方式，对kafka消息队发送的消息进行数据序列化处理，包括：

根据通信插件的类型标识确定数据序列化处理模块；

调用数据序列化处理模块对kafka消息队发送的消息进行数据序列化处理。

在本可选的实施方式中，作为一个示例，调用数据序列化处理模块对kafka消息队发送的消息进行数据序列化处理的实现代码为：

其中，数据序列化处理模块PykafkaRecord内部定义了kafka_record命名元组类型，kafka_record结构和ConsumerRecord一致，序列化函数serialize接收Class Message类型参数，内部将Message实列对象转化成为一个kafka_recordlei类型的命名元组_record同时返回给上层应用，如是保证了pykafka与confluent_kafka的数据一致性，保证了上层应用程序的处理数据的一致性，最终保证了上下文环境的一致性。

在本申请实施例中，作为一种可选的实施方式，kafka消息队发送的消息包括消息内容、消息主题、消息分片、消息偏移量和消息时间戳；

以及，调用数据序列化处理模块对kafka消息队发送的消息进行数据序列化处理，包括：

调用数据序列化处理模块对消息内容、消息主题、消息分片、消息偏移量和消息时间戳进行数据序列化处理。

在本申请实施例中，作为一种可选的实施方式，插件的类型标识为pykafka、confluent_kafka中的一种。

实施例二

请参阅图3，图3是本申请实施例公开的基于插件兼容的通信装置的结构示意图。如图3所示，本申请实施例公开的基于插件兼容的通信装置包括以下功能模块：

获取模块201，用于当检测到上层应用程序需与下层通信模块进行数据交互时，获取通信插件的类型标识，上层应用程序中的插件用于与下层通信模块的kafka消息队列进行通信；

实例创建模块202，用于根据通信插件的类型标识获取插件实例；

通信模块203，用于基于调用插件实例的通信函数，与下层通信模块的kafka消息队列进行通信。

在本申请第一方面中，作为一种可选的实施方式，插件实例的通信函数包括消息发送函数和消息接收函数；

以及，通信模块包括：

发送子模块，用于基于消息发送函数向kafka消息队发送消息；

接收子模块，用于基于消息接收函数接收kafka消息队发送的消息。

本申请实施例的装置通过执行方法，能够兼容两种插件，并使上层应用程序在不感知下层通信模块所引用的插件类型的前提，实现与下层通信模块进行通信，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

实施例三

请参阅图4，图4是本申请实施例公开的基于插件兼容的通信方法的结构示意图。如图4所示，本申请实施例公开的基于插件兼容的通信设备包括：

存储有可执行程序代码的存储器302；

与存储器耦合的处理器301；

处理器301调用存储器302中存储的可执行程序代码，执行本申请实施例的基于插件兼容的通信方法。

本申请实施例的设备通过执行方法，能够兼容两种插件，并使上层应用程序在不感知下层通信模块所引用的插件类型的前提，实现与下层通信模块进行通信，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

实施例四

本申请实施例公开一种存储介质，存储介质存储有计算机指令，计算机指令被调用时，用于执行本申请实施例的基于插件兼容的通信方法。

本申请实施例的存储介质通过执行方法，能够兼容两种插件，并使上层应用程序在不感知下层通信模块所引用的插件类型的前提，实现与下层通信模块进行通信，摒弃了系统运行环境不同对版本的要求不同，最大限度的保证了历史项目、与当前开发项目的版本一致性，不至于同时维护多个版本，降低版本维护的复杂性。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于插件兼容的通信方法，其特征在于，所述方法还包括：

当检测到上层应用程序需与下层通信模块进行数据交互时，获取用于实现上层应用程序与下层通信模块通信的通信插件的类型标识；

根据所述通信插件的类型标识创建插件实例；

调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信；

以及，所述插件实例的通信函数包括消息发送函数和消息接收函数；

以及，所述调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信，包括：

基于所述消息发送函数向所述kafka消息队发送消息；

基于所述消息接收函数接收所述kafka消息队发送的消息；

以及，在所述基于所述消息接收函数接收所述kafka消息队发送的消息之后，所述方法还包括：

对所述kafka消息队发送的消息进行数据序列化处理，以使得所述kafka消息队发送的消息的数据格式匹配所述上层应用程序的数据格式；

以及，所述对所述kafka消息队发送的消息进行数据序列化处理，包括：

根据通信插件的类型标识确定数据序列化处理模块；

调用所述数据序列化处理模块对所述kafka消息队发送的消息进行数据序列化处理。

2.如权利要求1所述的方法，其特征在于，所述kafka消息队发送的消息包括消息内容、消息主题、消息分片、消息偏移量和消息时间戳；

以及，所述调用所述数据序列化处理模块对所述kafka消息队发送的消息进行数据序列化处理，包括：

调用所述数据序列化处理模块对所述消息内容、所述消息主题、所述消息分片、所述消息偏移量和所述消息时间戳进行数据序列化处理。

3.如权利要求1所述的方法，其特征在于，所述插件的类型标识为pykafka、confluent_kafka中的一种。

4.一种基于插件兼容的通信装置，其特征在于，所述装置包括：

获取模块，用于当检测到上层应用程序需与下层通信模块进行数据交互时，获取用于实现上层应用程序与下层通信模块通信的通信插件的类型标识；

实例创建模块，用于根据所述通信插件的类型标识创建插件实例；

通信模块，用于调用所述插件实例的通信函数，与所述下层通信模块的kafka消息队列进行通信；

以及，所述插件实例的通信函数包括消息发送函数和消息接收函数；

以及，所述通信模块包括：

发送子模块，用于基于所述消息发送函数向所述kafka消息队发送消息；

接收子模块，用于基于所述消息接收函数接收所述kafka消息队发送的消息；

以及，所述装置还用于在所述基于所述消息接收函数接收所述kafka消息队发送的消息之后，对所述kafka消息队发送的消息进行数据序列化处理，以使得所述kafka消息队发送的消息的数据格式匹配所述上层应用程序的数据格式；

以及，所述装置执行所述对所述kafka消息队发送的消息进行数据序列化处理的具体方式为：

根据通信插件的类型标识确定数据序列化处理模块；

调用所述数据序列化处理模块对所述kafka消息队发送的消息进行数据序列化处理。

5.一种基于插件兼容的通信设备，其特征在于，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-3任一项所述的基于插件兼容的通信方法。

6.一种存储介质，其特征在于，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-3任一项所述的基于插件兼容的通信方法。