CN117033449B - 基于kafka流的数据处理方法、电子设备及存储介质 - Google Patents
基于kafka流的数据处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117033449B CN117033449B CN202311296035.XA CN202311296035A CN117033449B CN 117033449 B CN117033449 B CN 117033449B CN 202311296035 A CN202311296035 A CN 202311296035A CN 117033449 B CN117033449 B CN 117033449B
- Authority
- CN
- China
- Prior art keywords
- data
- dst
- demand information
- mdr
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 38
- 230000002085 persistent effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于kafka流的数据处理方法、电子设备和存储介质,包括:获取通过kafka流获取的m个用户的数据需求信息;将获取的m个数据需求信息通过消息组件发送给数据预处理节点,得到具有设定格式的目标数据需求信息;获取当前时刻t对应的原始数据集Dt;从Dt中获取DSti,并基于Ir对应的目标数据需求信息,确定DSti是否为Ir对应的关联数据,如果是,则将Dti标记为Ir对应的关联数据;基于Irf s,从MDrw中获取对应的字段作为Ir对应的目标数据。本发明能够从海量的数据中及时且准确的获取到多个用户所需求的数据。
Description
技术领域
本发明涉及数据处理领域,特别是涉及一种基于kafka流的数据处理方法、电子设备及存储介质。
背景技术
随着时代的进步与经济飞速发展,互联网与云计算等各种新兴技术也得到了迅猛进步,同时促使数据也出现了十分惊人的增长速度,数量也在不断增加。大量数据也会导致存储成本极速攀升,同时也为用户提供更有价值的研究数据。特定用户场景中对数据传输时效性、用户相关数据、以及数据质量比较关注,第一时间对特定最新最近数据分析,以及如何从海量数据中获取到用户想要高质量的数据,且安全、时效性高传输、支持灵活暂停/开启、修改数据指标等高质量数据等成为了需要解决的问题。
发明内容
针对上述技术问题,本发明采用的技术方案为:
本发明实施例提供一种基于kafka流的数据处理方法,所述方法包括如下步骤:
S100,获取通过kafka流获取的m个用户的数据需求信息,第r个数据需求信息Ir={Ur,Ir1,Ir2,……,Irs,……,Irg(r),Mr};Ir中的第s个数据需求项Irs={Ird s,Irf s},Ird s为Irs对应的字段标识,Irf s为Ird s对应的字段内容;r的取值为1到m,s的取值为1到g(r),g(r)为Ir中的数据需求项的数量;Mr为Ir对应的关系标识,所述关系标识包括第一关系标识、第二关系标识和第三关系标识,第一关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)之间满足第一关系,第二关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第二关系、第三关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第三关系;Ur为第r个用户的ID;
S200,将获取的m个数据需求信息通过消息组件发送给数据预处理节点,以对所述数据需求指令进行预处理得到具有设定格式的数据需求信息,作为目标数据需求信息并存放至内存中;
S300,获取当前时刻t对应的原始数据集Dt={Dt1,Dt2,……,Dti,……,Dtn(t)},并对Dti进行处理,得到对应的数据处理结果DSti={DSti1,DSti2,……,DStij,……,DStih},Dti为Dt中的第i条数据,i的取值为1到n(t),n(t)为Dt中的数据量;DStij为DSti中的第j个数据处理结果,DStij={DStd ij,DStf ij},DStd ij为Dti的第j个字段标识,DStf ij为DStd ij对应的字段,j的取值为1到h,h为字段标识的数量;所述原始数据集基于kafka流得到;
S400,从Dt中获取DSti,并基于Ir对应的目标数据需求信息,确定DSti是否为Ir对应的关联数据,如果是,则将Dti标记为Ir对应的关联数据;得到Ir对应的关联数据集MDr={MDr1,MDr2,……,MDrw,……,MDrp(r)};MDrw为Ir对应的第w个关联数据,w的取值为1到p(r),p(r)为Ir对应的关联数据的数量;
S500,基于Irf s,从MDrw中获取对应的字段作为Ir对应的目标数据并存储至Ur对应的存储位置Sr中,并将Sr中的数据传输至kafka流中对应的存储位置处。
可选地,在S400中,通过grpc协议获取Dti。
可选地,S400具体包括:
S401,设置i=1;
S402,如果i≤n,执行S403;否则,执行S;
S403,从Dt中获取DSti,并设置r=1;
S404,如果r≤m,执行S405;否则,执行S409;
S405,对于Irs,从DSti获取对应的字段作为Irs的关联字段DStrs i,如果Irs∈DStrs i,则赋予Irs第一标识,否则,赋予Irs第二标识;执行S406;
S406,设置s=s+1,如果s≤g(r),执行S405,否则,执行S407;
S407,获取Ir中的第一标识的数量P1r,如果Mr为第一关系标识,并且如果P1r=g(r),或者,如果Mr为第二关系标识,并且如果P1r≥1,则将DSti作为Ir的关联数据;否则,则不将DSti作为Ir的关联数据;执行S408;
S408,设置r=r+1,执行S404;
S409,设置i=i+1;执行S402;
S410,得到MDr,并退出当前控制程序。
可选地,在S405中,如果Irs的长度大于设定阈值,则基于Irs构建对应的双数组字典树。
可选地,S200还包括:
将所述目标数据需求信息进行持久化存储。
可选地,还包括:
S600,将Sr中的数据按照第一存储周期存储至Redis数据库中,以及将Redis数据库中的数据按照第二存储周期进行持久化存储,其中,第二存储周期的时长大于第一存储周期的时长。
可选地,S300还包括:
如果n(t)>Gt,则基于Gt-n(t)在当前数据处理节点网络中增加对应数量的数据处理节点,作为新的数据处理节点网络,并将新的数据处理节点网络作为当前数据处理节点网络,以对Dt进行处理;其中,Gt为当前时刻t对应的数据处理节点网络的数据总处理量。
本发明至少具有以下有益效果:
本发明实施例提供的基于kafka流的数据处理方法,能够从海量的数据中及时且准确的获取到多个用户所需求的数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于kafka流的数据处理方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供提供一种基于kafka流的数据处理方法,通过kafka系统平台实现。如图1所示,所述方法可包括如下步骤:
S100,获取通过kafka流获取的m个用户的数据需求信息,第r个数据需求信息Ir={Ur,Ir1,Ir2,……,Irs,……,Irg(r),Mr};Ir中的第s个数据需求项Irs={Ird s,Irf s},Ird s为Irs对应的字段标识,Irf s为Ird s对应的字段内容;r的取值为1到m,s的取值为1到g(r),g(r)为Ir中的数据需求项的数量;Mr为Ir对应的关系标识,所述关系标识包括第一关系标识、第二关系标识和第三关系标识,第一关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)之间满足第一关系,第二关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第二关系,第三关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第三关系;Ur为第r个用户的ID。
在本发明实施例中,数据可包括结构化数据和非结构化数据,例如,数据表格文本、视频、音频、图片等。
在本发明实施例中,字段标识可自定义设置,例如可包括标题、作者ID、文本来源、文本摘要、发文内容、正文图片OCR内容、正文视频OCR内容、发布时间、采集时间、文本链接、图片链接、视频链接、视频封面图链接、文本内容标识、点赞量、评论量、关键词等。字段内容为字段标识对应的具体内容。
在本发明一示意性实施例中,第一关系可为和关系,第二关系可为或关系,第三关系可为非关系。第一关系标识和第二关系标识可为自定义标识,只要为不同的标识即可,例如,第一关系标识使用1标识,第二关系标识使用2表示等。
在本发明实施例中,用户的ID可为用户在kafka系统平台的注册账号等。用户的ID会和kafka分布式发布订阅系统平台的生成的topic主题以及组id绑定。
S200,将获取的m个数据需求信息通过消息组件发送给数据预处理节点,以对所述数据需求指令进行预处理得到具有设定格式的数据需求信息,作为目标数据需求信息并存放至内存中。
在本发明实施例中,数据通讯使用消息组件传输,能够提升过滤配置灵活操作效率,及时做出监听以及对应处理,交互效率高。
在本发明实施例中,设定格式可自定义设置。
进一步地,S200还包括:将所述目标数据需求信息进行持久化存储,以便重启服务时防止数据丢失。
在本发明实施例中,数据需求信息为实时获取的数据需求信息。用户可在与kafaka平台关联的数据推送平台对当前的数据需求信息进行修改操作,例如,新增、更新、剔除等操作。
S300,获取当前时刻t对应的原始数据集Dt={Dt1,Dt2,……,Dti,……,Dtn(t)},并对Dti进行处理,得到对应的数据处理结果DSti={DSti1,DSti2,……,DStij,……,DStih},Dti为Dt中的第i条数据,i的取值为1到n(t),n(t)为Dt中的数据量;DStij为DSti中的第j个数据处理结果,DStij={DStd ij,DStf ij},DStd ij为Dti的第j个字段标识,DStf ij为DStd ij对应的字段,j的取值为1到h,h为字段标识的数量;所述原始数据集基于kafka流得到。
在本发明实施例中,会按照设定处理周期对数据进行处理,设定处理周期可基于实际需要进行设置,例如1s等。在每个处理时刻,可利用数据处理节点对Dti进行处理。
进一步地,在本发明实施例中,S300还包括:
如果n(t)>Gt,则基于Gt-n(t)在当前数据处理节点网络中增加对应数量的数据处理节点,作为新的数据处理节点网络,并将新的数据处理节点网络作为当前数据处理节点网络,以对Dt进行处理;其中,Gt为当前时刻t对应的数据处理节点网络的数据总处理量。
在本发明实施例中,每个数据处理节点能够处理设定数量p的数据。如果n(t)>Gt,则说明当前的数据处理节点的处理能力不够,需要增加数据处理节点,具体增加节点数量可为,/>表示向上取整。
S400,从Dt中获取DSti,并基于Ir对应的目标数据需求信息,确定DSti是否为Ir对应的关联数据,如果是,则将Dti标记为Ir对应的关联数据;得到Ir对应的关联数据集MDr={MDr1,MDr2,……,MDrw,……,MDrp(r)};MDrw为Ir对应的第w个关联数据,w的取值为1到p(r),p(r)为Ir对应的关联数据的数量。
进一步地,在本发明实施例中,在S400中,可通过grpc协议获取Dti。使用grpc协议获取Dti的好处在于:grpc可以通过protobuf来定义接口,可以有更加严格的接口约束条件,支持多种语言;protobuf可以将数据序列化为二进制编码,这会大幅减少需要传输的数据量,从而大幅提高传输速度;grpc可以支持streaming流式通信(http2.0),提高传输速度。
进一步地,S400可具体包括:
S401,设置i=1。
S402,如果i≤n,执行S403;否则,执行S。
S403,从Dt中获取DSti,并设置r=1。
S404,如果r≤m,执行S405;否则,执行S409。
S405,对于Irs,从DSti获取对应的字段作为Irs的关联字段DStrs i,如果Irs∈DStrs i,说明DStrs i中包含Irs,则赋予Irs第一标识,否则,赋予Irs第二标识;执行S406。
S406,设置s=s+1,如果s≤g(r),执行S405,否则,执行S407;
S407,获取Ir中的第一标识的数量P1r,如果Mr为第一关系标识,并且如果P1r=g(r),或者,如果Mr为第二关系标识,并且如果P1r≥1,则将DSti作为Ir的关联数据;否则,则不将DSti作为Ir的关联数据;执行S408。
S408,设置r=r+1,执行S404。
S409,设置i=i+1;执行S402。
S410,得到MDr,并退出当前控制程序。
进一步地,在S405中,如果Irs的长度大于设定阈值,则基于Irs构建对应的双数组字典树。设定阈值可为自定义值。
优选地,在S405中,如果Irs中的的Ird s为关键词,并且Irf s中的关键词的数量大于D1,则基于Irs构建对应的双数组字典树,D1为第一阈值,可为自定义值,优选D1>5。
优选地,在S405中,如果Irs中的的Ird s为作者ID,并且Irf s中的数据源ID的数量大于D2,则基于Irs构建对应的双数组字典树,D2为第二阈值,可为自定义值,优选,D2>20。
在本发明实施例中,仅用两个线性数组来表示字典树,该结构有效结合了数字搜索树检索时间高效的特点和链式表示的字典空间结构紧凑的特点。双数组字典树的本质是一个确定有限状态自动机(DFA),每个节点代表自动机的一个状态,根据变量不同,进行状态转移,当到达结束状态或无法转移时,完成一次查询操作。在双数组所有键中包含的字符之间的联系都是通过简单的数学加法运算表示,不仅提高了检索速度,而且省去了链式结构中使用的大量指针,节省了存储空间。双数组字典树能高速完成单串匹配,并且内存消耗可控。
S500,基于Irf s,从MDrw中获取对应的字段作为Ir对应的目标数据并存储至Ur对应的存储位置Sr中,并将Sr中的数据传输至kafka流中对应的存储位置处。
在本发明实施例中,每个用户在kafka平台上会有自己的ID组和主题。在获取到Ir对应的目标数据后,会发送至对应用户的ID组和主题中。
进一步地,本发明实施例提供的方法还包括:
S600,将Sr中的数据按照第一存储周期存储至Redis数据库中,以及将Redis数据库中的数据按照第二存储周期进行持久化存储,其中,第二存储周期的时长大于第一存储周期的时长。
由于流式推送数量大,为防止频繁交互拖垮服务,本发明实施例使用多线程统计累加(保持原子性)维护到本地内存中,先按照第一存储周期例如每隔一分钟将数据刷新到Redis缓冲中,在按照第二存储周期例如按照小时持久化到数据库中。本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。
Claims (9)
1.一种基于kafka流的数据处理方法,其特征在于,所述方法包括如下步骤:
S100,获取通过kafka流获取的m个用户的数据需求信息,第r个数据需求信息Ir={Ur,Ir1,Ir2,……,Irs,……,Irg(r),Mr};Ir中的第s个数据需求项Irs={Ird s,Irf s},Ird s为Irs对应的字段标识,Irf s为Ird s对应的字段内容;r的取值为1到m,s的取值为1到g(r),g(r)为Ir中的数据需求项的数量;Mr为Ir对应的关系标识,所述关系标识包括第一关系标识、第二关系标识和第三关系标识,第一关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)之间满足第一关系,第二关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第二关系、第三关系标识用于表征Ir1,Ir2,……,Irs,……,Irg(r)满足第三关系;Ur为第r个用户的ID;
S200,将获取的m个数据需求信息通过消息组件发送给数据预处理节点,以对所述数据需求指令进行预处理得到具有设定格式的数据需求信息,作为目标数据需求信息并存放至内存中;
S300,获取当前时刻t对应的原始数据集Dt={Dt1,Dt2,……,Dti,……,Dtn(t)},并对Dti进行处理,得到对应的数据处理结果DSti={DSti1,DSti2,……,DStij,……,DStih},Dti为Dt中的第i条数据,i的取值为1到n(t),n(t)为Dt中的数据量;DStij为DSti中的第j个数据处理结果,DStij={DStd ij,DStf ij},DStd ij为Dti的第j个字段标识,DStf ij为DStd ij对应的字段,j的取值为1到h,h为字段标识的数量;所述原始数据集基于kafka流得到;
S400,从Dt中获取DSti,并基于Ir对应的目标数据需求信息,确定DSti是否为Ir对应的关联数据,如果是,则将Dti标记为Ir对应的关联数据;得到Ir对应的关联数据集MDr={MDr1,MDr2,……,MDrw,……,MDrp(r)};MDrw为Ir对应的第w个关联数据,w的取值为1到p(r),p(r)为Ir对应的关联数据的数量;
S500,基于Irf s,从MDrw中获取对应的字段作为Ir对应的目标数据并存储至Ur对应的存储位置Sr中,并将Sr中的数据传输至kafka流中对应的存储位置处。
2.根据权利要求1所述的方法,其特征在于,在S400中,通过grpc协议获取Dti。
3.根据权利要求1所述的方法,其特征在于,S400具体包括:
S401,设置i=1;
S402,如果i≤n,执行S403;否则,执行S;
S403,从Dt中获取DSti,并设置r=1;
S404,如果r≤m,执行S405;否则,执行S409;
S405,对于Irs,从DSti获取对应的字段作为Irs的关联字段DStrs i,如果Irs∈DStrs i,则赋予Irs第一标识,否则,赋予Irs第二标识;执行S406;
S406,设置s=s+1,如果s≤g(r),执行S405,否则,执行S407;
S407,获取Ir中的第一标识的数量P1r,如果Mr为第一关系标识,并且如果P1r=g(r),或者,如果Mr为第二关系标识,并且如果P1r≥1,则将DSti作为Ir的关联数据;否则,则不将DSti作为Ir的关联数据;执行S408;
S408,设置r=r+1,执行S404;
S409,设置i=i+1;执行S402;
S410,得到MDr,并退出当前控制程序。
4.根据权利要求3所述的方法,其特征在于,在S405中,如果Irs的长度大于设定阈值,则基于Irs构建对应的双数组字典树。
5.根据权利要求1所述的方法,其特征在于,S200还包括:
将所述目标数据需求信息进行持久化存储。
6.根据权利要求1所述的方法,其特征在于,还包括:
S600,将Sr中的数据按照第一存储周期存储至Redis数据库中,以及将Redis数据库中的数据按照第二存储周期进行持久化存储,其中,第二存储周期的时长大于第一存储周期的时长。
7.根据权利要求1所述的方法,其特征在于,S300还包括:
如果n(t)>Gt,则基于Gt-n(t)在当前数据处理节点网络中增加对应数量的数据处理节点,作为新的数据处理节点网络,并将新的数据处理节点网络作为当前数据处理节点网络,以对Dt进行处理;其中,Gt为当前时刻t对应的数据处理节点网络的数据总处理量。
8.一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。
9.一种电子设备,其特征在于,包括处理器和权利要求8中所述的非瞬时性计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311296035.XA CN117033449B (zh) | 2023-10-09 | 2023-10-09 | 基于kafka流的数据处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311296035.XA CN117033449B (zh) | 2023-10-09 | 2023-10-09 | 基于kafka流的数据处理方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117033449A CN117033449A (zh) | 2023-11-10 |
CN117033449B true CN117033449B (zh) | 2023-12-15 |
Family
ID=88645298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311296035.XA Active CN117033449B (zh) | 2023-10-09 | 2023-10-09 | 基于kafka流的数据处理方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117033449B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795257A (zh) * | 2019-09-19 | 2020-02-14 | 平安科技(深圳)有限公司 | 处理多集群作业记录的方法、装置、设备及存储介质 |
CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
CN113760987A (zh) * | 2021-02-04 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据处理方法和数据处理平台 |
CA3134639A1 (en) * | 2021-09-14 | 2023-03-14 | Walmart Apollo, Llc | Systems and methods for notification and deployment of an installation at a plurality of device locations |
-
2023
- 2023-10-09 CN CN202311296035.XA patent/CN117033449B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795257A (zh) * | 2019-09-19 | 2020-02-14 | 平安科技(深圳)有限公司 | 处理多集群作业记录的方法、装置、设备及存储介质 |
CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
CN113760987A (zh) * | 2021-02-04 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据处理方法和数据处理平台 |
CA3134639A1 (en) * | 2021-09-14 | 2023-03-14 | Walmart Apollo, Llc | Systems and methods for notification and deployment of an installation at a plurality of device locations |
Also Published As
Publication number | Publication date |
---|---|
CN117033449A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11899681B2 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
CN112307762B (zh) | 搜索结果的排序方法及装置、存储介质、电子装置 | |
CN107145485B (zh) | 用于压缩主题模型的方法和装置 | |
CN105893609A (zh) | 一种基于加权混合的移动app推荐方法 | |
CN110968684A (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN112884005B (zh) | 一种基于sptag及卷积神经网的图像检索方法及装置 | |
CN111898698B (zh) | 对象的处理方法及装置、存储介质和电子设备 | |
CN111611801A (zh) | 一种识别文本地域属性的方法、装置、服务器及存储介质 | |
CN112035728B (zh) | 一种跨模态检索方法、装置及可读存储介质 | |
CN111914159A (zh) | 一种信息推荐方法及终端 | |
CN111538859B (zh) | 一种动态更新视频标签的方法、装置及电子设备 | |
CN114428910A (zh) | 资源推荐方法、装置、电子设备、产品及介质 | |
CN117033449B (zh) | 基于kafka流的数据处理方法、电子设备及存储介质 | |
CN111191065B (zh) | 一种同源图像确定方法及装置 | |
CN116881462A (zh) | 文本数据处理、文本表示、文本聚类的方法及设备 | |
JP4544047B2 (ja) | Web画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
CN103034728A (zh) | 利用社会化网络学术资源交互平台进行信息交互的方法 | |
CN110769288A (zh) | 一种视频冷启动推荐方法及系统 | |
CN113672804B (zh) | 推荐信息生成方法、系统、计算机设备及存储介质 | |
CN114093447A (zh) | 数据资产推荐方法、装置、计算机设备及存储介质 | |
CN116775980A (zh) | 一种跨模态搜索方法及相关设备 | |
CN114647785A (zh) | 基于情感分析的短视频获赞数量预测方法 | |
CN117131256B (zh) | 一种基于aigc的媒体管理系统 | |
CN117033584B (zh) | 类案文本确定方法、装置及电子设备 | |
CN113761326B (zh) | 一种过滤相似产品的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |