CN115543662B - 一种kafka消息数据的下发方法及相关装置 - Google Patents
一种kafka消息数据的下发方法及相关装置 Download PDFInfo
- Publication number
- CN115543662B CN115543662B CN202211518302.9A CN202211518302A CN115543662B CN 115543662 B CN115543662 B CN 115543662B CN 202211518302 A CN202211518302 A CN 202211518302A CN 115543662 B CN115543662 B CN 115543662B
- Authority
- CN
- China
- Prior art keywords
- data
- partition
- classification
- classification label
- kafka message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005192 partition Methods 0.000 claims abstract description 135
- 238000003860 storage Methods 0.000 claims abstract description 25
- 230000010354 integration Effects 0.000 claims abstract description 14
- 230000014509 gene expression Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种kafka消息数据的下发方法，涉及计算机技术领域，包括：接收数据生产方下发的数据与数据的分类标签；通过分类标签识别工具识别分类标签，确定数据的类型；将数据存储到类型对应的分区中；根据数据消费方接口与分区的对应关系，回调数据消费方接口将对应的分区中的数据下发到数据消费方。该方法能够实现更加细致的分类存储，能够由数据生产方主动控制数据消费方所消费的数据类型，并且当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。本申请还公开了一种kafka消息数据的下发装置、设备、计算机可读存储介质以及kafka消息集成服务系统，均具有上述技术效果。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种kafka消息数据的下发方法；还涉及一种kafka消息数据的下发装置、设备、计算机可读存储介质以及kafka消息集成服务系统。
背景技术
kafka是一个分布式流处理平台，其主要有两大类别的应用：1、构造实时流数据管道，它可以在系统或应用之间可靠地获取数据(相当于消息队列)；2、构建实时流式应用程序，对流数据进行转换或者影响。针对第一种应用，在业务系统将kafka作为消息系统中间件进行使用时的场景下，传统技术方案通常根据topic进行分类、存储和消费，完成数据下发，存在以下缺陷：
1、不对topic下的数据进行再次分类，对于只想要某个topic下的部分类型数据的消费方而言不友好。
2、很多kafka消息系统往往对topic有数量上的限制，仅用topic将数据进行分类，无疑是对topic资源的一种浪费。
3、数据生产方在不接入生产者客户端的情况下，无法主动更加细致地对数据进行分类存储和控制消费方所消费的数据类型。
因此，如何解决上述技术缺陷已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种kafka消息数据的下发方法，能够实现更加细致的分类存储，并且能够主动控制数据消费方所消费的数据类型。本申请的另一个目的是提供一种kafka消息数据的下发装置、设备、计算机可读存储介质以及kafka消息集成服务系统，均具有上述技术效果。
为解决上述技术问题，本申请提供了一种kafka消息数据的下发方法，包括：
接收数据生产方下发的数据与所述数据的分类标签；
通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
将所述数据存储到所述类型对应的分区中；
根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
可选的，所述通过分类标签识别工具识别所述分类标签包括：
通过正则表达式识别所述分类标签。
可选的，一种所述分类标签识别工具用于识别一类所述分类标签。
可选的，所述根据数据消费方接口与分区的对应关系，通过所述数据消费方接口将对应的所述分区中的数据下发到数据消费方前还包括：
确定数据消费方接口与分区的对应关系。
可选的，所述确定数据消费方接口与分区的对应关系包括：
根据所述分类标签识别工具与所述数据消费方接口的第一对应关系以及所述分类标签识别工具与所述分区的第二对应关系，确定所述数据消费方接口与分区的对应关系。
可选的，还包括：
绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
可选的，所述绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
可选的，还包括：
绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
可选的，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
可选的，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
将所述数据存储到所述类型对应的分区后，绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
可选的，所述将所述数据存储到分区中包括：
将所述数据存储到所述类型对应的且为所述数据所属的topic对应的分区中。
可选的，还包括：
更新所述分类标签识别工具。
可选的，还包括：
记录所述分类识别工具识别所述分类标签成功与失败的次数。
可选的，还包括：
根据记录所述分类识别工具识别所述分类标签成功与失败的次数，计算所述分类识别工具的识别失败率。
可选的，还包括：
判断所述分类识别工具的识别失败率是否达到预设阈值；
若所述分类识别工具的识别失败率达到所述预设阈值，则提示修正所述分类识别工具。
可选的，还包括：
若所述分类识别工具的识别失败率达到所述预设阈值，则向所述数据生产方发送分类标签修正提示。
为解决上述技术问题，本申请还提供了一种kafka消息数据的下发装置，包括：
接收模块，用于接收数据生产方下发的数据与所述数据的分类标签；
识别模块，用于通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
存储模块，用于将所述数据存储到所述类型对应的分区中；
下发模块，用于根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
为解决上述技术问题，本申请还提供了一种kafka消息数据的下发设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述的kafka消息数据的下发方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的kafka消息数据的下发方法的步骤。
为解决上述技术问题，本申请还提供了一种kafka消息集成服务系统，包括：
数据生产方、服务方以及数据消费方；
所述服务方，用于接收所述数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到所述数据消费方。
本申请所提供的kafka消息数据的下发方法，包括：接收数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
可见，本申请所提供的kafka消息数据的下发方法，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
本申请所提供的kafka消息数据的下发装置、设备、计算机可读存储介质以及kafka消息集成服务系统均具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种kafka消息数据的下发方法的流程示意图；
图2为本申请实施例所提供的一种kafka消息集成服务系统的示意图；
图3为本申请实施例所提供的一种数据分类识别存储下发示意图；
图4为本申请实施例所提供的一种kafka消息数据的下发装置的示意图；
图5为本申请实施例所提供的一种kafka消息数据的下发设备的示意图。
具体实施方式
本申请的核心是提供一种kafka消息数据的下发方法，能够在通过topic分类的基础之上，实现更加细致的分类存储，并且能够主动控制数据消费方所消费的数据类型。本申请的另一个核心是提供一种kafka消息数据的下发装置、设备以及计算机可读存储介质，均具有上述技术效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种kafka消息数据的下发方法的流程示意图，参考图1所示，该方法包括：
S101：接收数据生产方下发的数据与所述数据的分类标签；
本实施例所提供的kafka消息数据的下发方法的执行主体为kafka消息集成服务系统中的服务方。kafka消息集成服务系统可参考图2所示，包括数据生产方、服务方以及数据消费方。数据生产方对topic下的数据进行分类，生成分类标签。需要说明的是，区别于根据topci进行数据分类，本实施例中数据生产方进行数据分类不是根据topic进行数据分类，而是对topic下的数据根据业务类型、数据消费方类型等所进行的分类。
例如，某个topic下的某类数据的分类标签为：“#Gender#Age#school#”。
数据生成方调用服务方接口，将数据与分类标签下发到服务方。
例如，将“#male#18#CentralSouthUniversity#”下发到服务方。
对于topic下的数据的分类方式可以进行差异性设置。例如，可以根据业务类型对topic下的数据进行分类，例如，根据性别、年龄、体重等进行分类。可以根据数据消费方类型对topic下的数据进行分类。
S102：通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
分类标签识别工具与数据类型可一一对应，一个分类标签识别工具可用于识别一类分类标签。服务方设置多个分类标签识别工具，能够识别数据生产方下发的任意一种类型的分类标签。数据生产方每新增一种分类标签，服务方对应的增加能够识别此新增的分类标签的分类标签识别工具。
在一些实施例中，所述通过分类标签识别工具识别所述分类标签包括：
通过正则表达式识别所述分类标签。
本实施例中分类标签识别工具为正则表达式。
例如，正则表达式为“^#male#.*”，能够识别所有性别为 “male”类型的数据。
正则表达式与数据类型一一对应，一个正则表达式对应一类数据，一个正则表达式用于识别一类分类标签。服务方设置多个正则表达式，能够识别数据生产方下发的任意一种类型的分类标签。
除了正则表达式外，分类标签识别工具还可以为其他形式的识别工具，能够确保准确识别出各种分类标签即可。
S103：将所述数据存储到所述类型对应的分区中；
本实施例中分区用于存储特定的某种类型的数据。服务方通过分类标签识别工具识别所述分类标签，确定所述数据的类型后，将数据存储到用于存储该种类型的数据的分区中。
例如，服务方通过正则表达式 “^#male#.*”识别出性别为 “male”类型的数据。唤起生产者客户端后，将性别为 “male”类型的数据存储到对应的分区中。
其中，在一些实施例中，所述将所述数据存储到分区中包括：
将所述数据存储到所述类型对应的且为所述数据所属的topic对应的分区中。
本实施例中，分区用于存储特定的topic下的特定的某种类型的数据。例如，分区1与分区2均用于存储topic1下的数据，且分区1用于存储topic1下的业务消费方A的数据，分区2用于存储业务消费方B的数据。
S104：根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
每个数据消费方有自身的数据消费方接口。同一个数据消费方可以对应一个或多个数据消费方接口。同一个数据消费方接口可以对应一个或多个数据消费方。服务方向数据消费方下发数据时，唤起消费客户端，根据数据消费方接口，以及数据消费方接口与分区的对应关系，确定出要下发的数据所在的分区，然后从该分区中拉取数据，并回调数据消费方接口，将数据下发到数据消费方。
根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方的前提是存在数据消费方接口与分区的对应关系，因此，在一些实施例中，所述根据数据消费方接口与分区的对应关系，通过所述数据消费方接口将对应的所述分区中的数据下发到数据消费方前还包括：
确定数据消费方接口与分区的对应关系。
其中，所述确定数据消费方接口与分区的对应关系可以包括：
根据所述分类标签识别工具与所述数据消费方接口的第一对应关系以及所述分类标签识别工具与所述分区的第二对应关系，确定所述数据消费方接口与分区的对应关系。
本实施例根据分类标签识别工具与数据消费方接口的对应关系，分类标签识别工具与分区的对应关系，间接得到数据消费方接口与分区的对应关系。
在上述实施例的基础上，在一些实施例中，还包括：
绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
其中，所述绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
具体而言，服务方将分类标签识别工具与数据消费方接口配置到服务方的数据库或配置文件中进行绑定，得到二者之间的第一对应关系。
同一个分类标签识别工具可以具有多个第一对应关系，即同一个分类标签识别工具可以分别与多个数据消费方接口绑定。每一个分类标签识别工具代表一类数据，每一个第一对应关系代表一种业务消费类型。
在上述实施例的基础上，在一些实施例中，还包括：
绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
其中，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
每个分类标签识别工具可以具有唯一的第二对应关系，即一个分类标签识别工具与一个分区绑定。每一个分类标签识别工具代表一类数据，每一个第二对应关系代表一种类型的数据存储在一个特定的分区中。
每一个分区中存储的数据的类型可以在数据存储到分区之前指定，也可以在某种类型的数据首次存储到分区之后指定。也就是说，可以在数据存储到分区之前，将用于识别某类数据的分类标签识别工具与用于存储该类数据的分区进行绑定。也可以在数据存储到分区之后，将用于识别此类数据的分类标签识别工具与存储了此类数据的分区进行绑定。
在一种具体的实施方式中，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
将所述数据存储到所述类型对应的分区后，绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，在一些实施例中，还包括：
更新所述分类标签识别工具。
当topic下的数据的分类方式改变，所生成的分类标签发生变化时，相应的进行分类标签识别工具的更新，确保服务方能够识别出数据生产方下发的所有的分类标签。数据生产方每新增一种分类标签，服务方对应的增加能够识别此新增的分类标签的正则表达式。
在上述实施例的基础上，在一些实施例中，还包括：
记录所述分类识别工具识别所述分类标签成功与失败的次数。
根据记录所述分类识别工具识别所述分类标签成功与失败的次数，计算所述分类识别工具的识别失败率。
判断所述分类识别工具的识别失败率是否达到预设阈值；
若所述分类识别工具的识别失败率达到所述预设阈值，则提示修正所述分类识别工具。
若所述分类识别工具的识别失败率达到所述预设阈值，则向所述数据生产方发送分类标签修正提示。
分类识别工具的识别失败率达到预设阈值的原因可能是分类识别工具自身，因此，当分类识别工具的识别失败率达到预设阈值时，可以提示修正分类识别工具，以得到高识别成功率的分类识别工具，确保能够准确识别分类标签。另外，分类识别工具的识别失败率达到预设阈值的原因可能是分类标签存在错误，因此，当分类识别工具的识别失败率达到预设阈值时，可以向数据生产方发送分类标签修正提示，以使数据生产方进行分类标签的修正，得到准确的可以被分类识别工具识别出的分类标签。
参考图3所示，以下通过一个示例阐述一种具体的分类、识别、存储以及下发流程：
数据生产方对topic下的数据进行分类，得到A、B、C、D四类，数据a为A类数据，为数据a添加上A类标签，数据b为B类数据，为数据c添加上C类标签，数据d为D类数据，为数据d添加上D类标签。
服务方接收到数据生产方下发的数据d与D类标签后，通过正则表达式regular4进行识别，得出数据d为D类数据，将数据d存储到分区partition4。
数据消费方接口URL4与分区partition4相对应，从分区partition4拉取数据，回调数据消费方接口URL4，将所拉取的数据下发给对应的数据消费方。
综上所述，本申请所提供的kafka消息数据的下发方法，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
本申请还提供了一种kafka消息数据的下发装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图4，图4为本申请实施例所提供的一种kafka消息数据的下发装置的示意图，结合图4所示，该装置包括：
接收模块10，用于接收数据生产方下发的数据与所述数据的分类标签；
识别模块20，用于通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
存储模块30，用于将所述数据存储到所述类型对应的分区中；
下发模块40，用于根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
在上述实施例的基础上，作为一种具体的实施方式，识别模块20具体用于：
通过正则表达式识别所述分类标签。
在上述实施例的基础上，作为一种具体的实施方式，一种所述分类标签识别工具用于识别一类所述分类标签。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
对应关系确定模块，用于确定数据消费方接口与分区的对应关系。
在上述实施例的基础上，作为一种具体的实施方式，对应关系确定模块具体用于：
根据所述分类标签识别工具与所述数据消费方接口的第一对应关系以及所述分类标签识别工具与所述分区的第二对应关系，确定所述数据消费方接口与分区的对应关系。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
第一绑定模块，用于绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
在上述实施例的基础上，作为一种具体的实施方式，第一绑定模块具体用于：
在数据库或配置文件中绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
第二绑定模块，用于绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，第二绑定模块具体用于：
在数据库或配置文件中绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，第二绑定模块具体用于：
将所述数据存储到所述类型对应的分区后，绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，存储模块30具体用于：
将所述数据存储到所述类型对应的且为所述数据所属的topic对应的分区中。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
更新模块，用于更新所述分类标签识别工具。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
记录模块，用于记录所述分类识别工具识别所述分类标签成功与失败的次数。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
计算模块，用于根据记录所述分类识别工具识别所述分类标签成功与失败的次数，计算所述分类识别工具的识别失败率。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
判断模块，用于判断所述分类识别工具的识别失败率是否达到预设阈值；
提示模块，用于若所述分类识别工具的识别失败率达到所述预设阈值，则提示修正所述分类识别工具。
在上述实施例的基础上，作为一种具体的实施方式，还包括：
发送模块，用于若所述分类识别工具的识别失败率达到所述预设阈值，则向所述数据生产方发送分类标签修正提示。
本申请所提供的kafka消息数据的下发装置，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
本申请还提供了一种kafka消息数据的下发设备，参考图5所示，该设备包括存储器1和处理器2。
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序实现如下的步骤：
接收数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
对于本申请所提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请所提供的kafka消息数据的下发设备，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：
接收数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请所提供的计算机可读存储介质，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
本申请还提供了一种kafka消息集成服务系统，包括：
数据生产方、服务方以及数据消费方；
所述服务方，用于接收所述数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到所述数据消费方。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
通过正则表达式识别所述分类标签。
在上述实施例的基础上，作为一种具体的实施方式，一种所述分类标签识别工具用于识别一类所述分类标签。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
确定数据消费方接口与分区的对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
根据所述分类标签识别工具与所述数据消费方接口的第一对应关系以及所述分类标签识别工具与所述分区的第二对应关系，确定所述数据消费方接口与分区的对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
在数据库或配置文件中绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
在数据库或配置文件中绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
将所述数据存储到所述类型对应的分区后，绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方具体用于：
将所述数据存储到所述类型对应的且为所述数据所属的topic对应的分区中。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
更新所述分类标签识别工具。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
记录所述分类识别工具识别所述分类标签成功与失败的次数。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
根据记录所述分类识别工具识别所述分类标签成功与失败的次数，计算所述分类识别工具的识别失败率。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
判断所述分类识别工具的识别失败率是否达到预设阈值；
若所述分类识别工具的识别失败率达到所述预设阈值，则提示修正所述分类识别工具。
在上述实施例的基础上，作为一种具体的实施方式，所述服务方还用于：
若所述分类识别工具的识别失败率达到所述预设阈值，则向所述数据生产方发送分类标签修正提示。
对于本申请所提供的kafka消息集成服务系统的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请所提供的kafka消息集成服务系统，数据生产方对topic下的数据进行分类并为其设置分类标签，然后将数据以及对应的分类标签下发给服务方，服务方使用分类标签识别工具识别数据的分类标签，并将数据存储到相应的分区，最后服务方依据数据消费方接口与分区的对应关系进行数据下发，这样可以在通过topic分类的基础之上，实现更加细致分类存储，可以避免kafka消息集成服务系统仅通过topic对数据进行分类时对topic资源的浪费，数据生产方新增数据类型不必再次申请topic，并且数据生产方能够主动控制数据消费方所消费的数据类型，另外当有新的数据消费方需要消费生产方指定数据类型时，只需配置对应关系即可实现消费方的接入，高效便捷。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的kafka消息数据的下发方法、装置、设备、计算机可读存储介质以及kafka消息集成服务系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。
Claims (20)
1.一种kafka消息数据的下发方法，其特征在于，包括：
接收数据生产方下发的数据与所述数据的分类标签；
通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
将所述数据存储到所述类型对应的分区中；所述分区用于存储特定类型的数据；
根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
2.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，所述通过分类标签识别工具识别所述分类标签包括：
通过正则表达式识别所述分类标签。
3.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，一种所述分类标签识别工具用于识别一类所述分类标签。
4.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，所述根据数据消费方接口与分区的对应关系，通过所述数据消费方接口将对应的所述分区中的数据下发到数据消费方前还包括：
确定数据消费方接口与分区的对应关系。
5.根据权利要求4所述的kafka消息数据的下发方法，其特征在于，所述确定数据消费方接口与分区的对应关系包括：
根据所述分类标签识别工具与所述数据消费方接口的第一对应关系以及所述分类标签识别工具与所述分区的第二对应关系，确定所述数据消费方接口与分区的对应关系。
6.根据权利要求5所述的kafka消息数据的下发方法，其特征在于，还包括：
绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
7.根据权利要求6所述的kafka消息数据的下发方法，其特征在于，所述绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述数据消费方接口，得到所述第一对应关系。
8.根据权利要求5所述的kafka消息数据的下发方法，其特征在于，还包括：
绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
9.根据权利要求8所述的kafka消息数据的下发方法，其特征在于，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
在数据库或配置文件中绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
10.根据权利要求8所述的kafka消息数据的下发方法，其特征在于，所述绑定所述分类标签识别工具与所述分区，得到所述第二对应关系包括：
将所述数据存储到所述类型对应的分区后，绑定所述分类标签识别工具与所述分区，得到所述第二对应关系。
11.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，所述将所述数据存储到分区中包括：
将所述数据存储到所述类型对应的且为所述数据所属的topic对应的分区中。
12.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，还包括：
更新所述分类标签识别工具。
13.根据权利要求1所述的kafka消息数据的下发方法，其特征在于，还包括：
记录所述分类识别工具识别所述分类标签成功与失败的次数。
14.根据权利要求13所述的kafka消息数据的下发方法，其特征在于，还包括：
根据记录所述分类识别工具识别所述分类标签成功与失败的次数，计算所述分类识别工具的识别失败率。
15.根据权利要求14所述的kafka消息数据的下发方法，其特征在于，还包括：
判断所述分类识别工具的识别失败率是否达到预设阈值；
若所述分类识别工具的识别失败率达到所述预设阈值，则提示修正所述分类识别工具。
16.根据权利要求15所述的kafka消息数据的下发方法，其特征在于，还包括：
若所述分类识别工具的识别失败率达到所述预设阈值，则向所述数据生产方发送分类标签修正提示。
17.一种kafka消息数据的下发装置，其特征在于，包括：
接收模块，用于接收数据生产方下发的数据与所述数据的分类标签；
识别模块，用于通过分类标签识别工具识别所述分类标签，确定所述数据的类型；
存储模块，用于将所述数据存储到所述类型对应的分区中；
下发模块，用于根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到数据消费方。
18.一种kafka消息数据的下发设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至16任一项所述的kafka消息数据的下发方法的步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述的kafka消息数据的下发方法的步骤。
20.一种kafka消息集成服务系统，其特征在于，包括：
数据生产方、服务方以及数据消费方；
所述服务方，用于接收所述数据生产方下发的数据与所述数据的分类标签；通过分类标签识别工具识别所述分类标签，确定所述数据的类型；将所述数据存储到所述类型对应的分区中；根据数据消费方接口与分区的对应关系，回调所述数据消费方接口将对应的所述分区中的数据下发到所述数据消费方。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211518302.9A CN115543662B (zh) | 2022-11-30 | 2022-11-30 | 一种kafka消息数据的下发方法及相关装置 |
| PCT/CN2023/095599 WO2024113705A1 (zh) | 2022-11-30 | 2023-05-22 | 一种kafka消息数据的下发方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211518302.9A CN115543662B (zh) | 2022-11-30 | 2022-11-30 | 一种kafka消息数据的下发方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115543662A CN115543662A (zh) | 2022-12-30 |
| CN115543662B true CN115543662B (zh) | 2023-03-21 |
Family
ID=84722562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211518302.9A Active CN115543662B (zh) | 2022-11-30 | 2022-11-30 | 一种kafka消息数据的下发方法及相关装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115543662B (zh) |
| WO (1) | WO2024113705A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115543662B (zh) * | 2022-11-30 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种kafka消息数据的下发方法及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112333087A (zh) * | 2020-11-18 | 2021-02-05 | 平安消费金融有限公司 | 消费消息处理方法及相关设备 |
| CN114827049A (zh) * | 2022-03-02 | 2022-07-29 | 厦门服云信息科技有限公司 | 一种基于kafka的堆积数据消费方法、终端设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8082313B2 (en) * | 2009-10-26 | 2011-12-20 | International Business Machines Corporation | Efficient utilization of read-ahead buffer by partitioning read-ahead buffer in correspondence with selectors |
| CN112491998B (zh) * | 2020-11-18 | 2023-08-08 | 平安消费金融有限公司 | 消息推送方法及相关设备 |
| CN112380040B (zh) * | 2021-01-18 | 2021-05-07 | 北京美摄网络科技有限公司 | 一种消息处理的方法、装置、电子设备及存储介质 |
| CN115328678A (zh) * | 2022-08-19 | 2022-11-11 | 济南浪潮数据技术有限公司 | 一种消息系统服务装置及数据处理设备 |
| CN115543662B (zh) * | 2022-11-30 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种kafka消息数据的下发方法及相关装置 |
-
2022
- 2022-11-30 CN CN202211518302.9A patent/CN115543662B/zh active Active
-
2023
- 2023-05-22 WO PCT/CN2023/095599 patent/WO2024113705A1/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112333087A (zh) * | 2020-11-18 | 2021-02-05 | 平安消费金融有限公司 | 消费消息处理方法及相关设备 |
| CN114827049A (zh) * | 2022-03-02 | 2022-07-29 | 厦门服云信息科技有限公司 | 一种基于kafka的堆积数据消费方法、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115543662A (zh) | 2022-12-30 |
| WO2024113705A1 (zh) | 2024-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544721B2 (en) | Supporting automation of customer service | |
| CN112434501B (zh) | 工单智能生成的方法、装置、电子设备及介质 | |
| CN115543662B (zh) | 一种kafka消息数据的下发方法及相关装置 | |
| CN109857524B (zh) | 流式计算方法、装置、设备及计算机可读存储介质 | |
| CN111079397A (zh) | 基于图像识别的任务文件生成方法及装置 | |
| US20240062016A1 (en) | Systems and Methods for Textual Classification Using Natural Language Understanding Machine Learning Models for Automating Business Processes | |
| CN113687958A (zh) | 数据处理方法、系统、计算机设备和存储介质 | |
| CN113360630B (zh) | 交互信息提示方法 | |
| CN116258469B (zh) | 基于通信软件的业务数据处理方法、系统、设备及介质 | |
| CN113409081A (zh) | 一种信息处理方法和装置 | |
| CN112667790A (zh) | 智能问答方法、装置、设备及存储介质 | |
| CN114567703B (zh) | 政务呼叫中心优化方法及系统 | |
| CN116362216A (zh) | 表单数据处理的方法、装置、电子设备和存储介质 | |
| CN112269473B (zh) | 一种基于场景灵活定义的人机交互方法及系统 | |
| CN114663042A (zh) | 一种智能电话呼叫招聘方法、装置、电子设备及存储介质 | |
| CN111143558B (zh) | 基于单个分层多任务模型的消息识别方法和系统 | |
| CN113076412A (zh) | 一种构建知识库的方法及系统 | |
| CN113868396A (zh) | 基于知识图谱的任务类智能对话构建方法及系统 | |
| CN111429125A (zh) | 账户管理方法、装置、存储介质及电子设备 | |
| US11822519B2 (en) | Multi-dimensional database platform including an apache kafka framework and an auxiliary database for event data processing and provisioning | |
| CN117874211B (zh) | 基于saas软件的智能问答方法、系统、介质及电子设备 | |
| CN115712662B (zh) | 用于验证房源信息的方法、系统、设备和介质 | |
| CN112035643B (zh) | 一种对话机器人能力复用的方法和装置 | |
| CN114996242A (zh) | 一种数据处理方法及装置 | |
| CN117036041A (zh) | 业务信息推送方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |