CN116662603B - 基于kafka的时间轴管控方法、系统、电子设备及存储介质 - Google Patents
基于kafka的时间轴管控方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116662603B CN116662603B CN202310934833.4A CN202310934833A CN116662603B CN 116662603 B CN116662603 B CN 116662603B CN 202310934833 A CN202310934833 A CN 202310934833A CN 116662603 B CN116662603 B CN 116662603B
- Authority
- CN
- China
- Prior art keywords
- time axis
- equipment
- database
- kafka
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005192 partition Methods 0.000 claims abstract description 94
- 238000007726 management method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于kafka的时间轴管控方法、系统、电子设备及存储介质，属于分布式数据处理领域；该方法包括将视频对象元数据放置于对应的kafka的视频已迁移队列分区内；采用索引服务读取多个视频对象元数据；以视频对象元数据的设备ID为维度进行时间轴整理；遍历实时时间轴查询其所对应的设备是否存在于全局缓存设备中；若否则根据数据库中是否存在实时时间轴所对应设备的时间轴的记录获取最新时间轴；根据数据库写入操作条件判断最新时间轴是否执行数据库写入操作成功；若是则将全局缓存中设备的新的更新ID赋值及更新。通过本申请，可以实现针对海量的视频对象元数据处理的索引服务具备线性扩展、高可靠及高可用的特点。
Description
技术领域
本发明属于分布式数据处理的技术领域，具体地涉及一种基于kafka的时间轴管控方法、系统、电子设备及存储介质。
背景技术
随着AI，大数据，云计算等技术的发展，智能视频云的使用已逐渐成熟，智能视频云是基于云计算技术的理念，采用视频作为“云端”向“终端”呈现处理结果的一种云计算方案。一个城市级别的智能视频云每天需要处理海量的视频数据，主要有两种数据类型：视频对象元数据和视频对象数据。
索引服务主要负责视频对象元数据的入库和时间轴整理。面对海量的视频对象元数据的处理，现有技术的索引服务会面临以下挑战：
1、索引服务的分布式部署难以做到高可靠、高可用、无单点故障，当某一个索引服务宕机会影响整体索引业务；
2、索引服务难以做到随着业务规模线性增长而动态扩容时，不影响整体索引业务；
3、针对来自于不同的流媒体转发服务，产生的视频对象元数据都是分散的，并且索引服务也是分散部署的，所以容易导致设备的时间轴信息难以统一合并处理。诸如：某个设备的某些视频对象元数据在第一索引服务上处理，而某些视频对象元数据在第二索引服务上处理，那么第一索引服务及第二索引服务对应的时间轴信息难以统一合并处理。
因此，如何实现针对海量的视频对象元数据处理的索引服务具备线性扩展、高可靠及高可用的特点，显得尤为重要。
发明内容
为了解决上述技术问题，本发明提供了一种基于kafka的时间轴管控方法、系统、电子设备及存储介质，可以实现针对海量的视频对象元数据处理的索引服务具备线性扩展、高可靠及高可用的特点。
第一方面，本申请提供了一种基于kafka的时间轴管控方法，其包括：
基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
若否，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴；
根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
若是，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
进一步可选地，所述基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内的步骤具体包括：
通过视频元数据管理服务针对视频对象元数据的设备ID及kafka主题的分区进行取余操作获取视频已迁移队列的分区号；
根据所述分区号将所述视频对象元数据放置于对应的所述视频已迁移队列的分区内。
进一步可选地，所述遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中的步骤之后，所述方法还包括：
若所述实时时间轴查询其所对应的设备存在于全局缓存设备中，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴。
进一步可选地，所述根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录得到最新时间轴的步骤具体包括：
判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录；
若是，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID；
若否，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
进一步可选地，所述根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功的步骤之后，所述方法还包括：
若所述最新时间轴执行数据库写入操作失败，则识取所述数据库写入操作的错误原因；
当所述错误原因为主键冲突时，通过重读所述数据库重获所述最新时间轴所对应设备的更新时间轴，将所述更新时间轴与所述全局缓存设备中的缓存时间轴进行合并，并将所述数据库的更新ID字段赋值给所述全局缓存中设备的当前更新ID，且更新所述全局缓存中设备ID对应的新的更新ID。
进一步可选地，所述主键冲突具体为另一索引服务对所述最新时间轴所对应设备的时间轴进行写入操作。
进一步可选地，所述缓存时间轴由设备ID、时间轴信息、存储周期、当前更新ID、新的更新ID组成。
第二方面，本申请提供了一种基于kafka的分布式时间轴管控系统，包括：
放置模块，用于基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
订阅模块，用于采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
整理模块，用于以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历模块，用于遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
第一获取模块，用于若所述实时时间轴查询其所对应的设备不存在于全局缓存设备中，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴；
判断模块，用于根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
第一更新模块，用于若所述最新时间轴执行数据库写入操作成功，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
进一步可选地，所述放置模块具体包括：
取余单元，用于通过视频元数据管理服务针对视频对象元数据的设备ID及kafka主题的分区进行取余操作获取视频已迁移队列的分区号；
放置单元，用于根据所述分区号将所述视频对象元数据放置于对应的所述视频已迁移队列的分区内。
进一步可选地，所述系统还包括：
第二获取模块，用于若所述实时时间轴查询其所对应的设备存在于全局缓存设备中，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴。
进一步可选地，所述第一获取模块包括：
第一判断单元，用于判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录；
合并单元，用于若数据库中存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID；
设定单元，用于若数据库中不存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
进一步可选地，所述系统还包括：
识取模块，用于若所述最新时间轴执行数据库写入操作失败，则识取所述数据库写入操作的错误原因；
第二更新模块，用于当所述错误原因为主键冲突时，通过重读所述数据库重获所述最新时间轴所对应设备的更新时间轴，将所述更新时间轴与所述全局缓存设备中的缓存时间轴进行合并，并将所述数据库的更新ID字段赋值给所述全局缓存中设备的当前更新ID，且更新所述全局缓存中设备ID对应的新的更新ID。
第三方面，本申请提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的电子设备程序，所述处理器执行所述电子设备程序时实现如第一方面所述的基于kafka的时间轴管控方法。
第四方面，本申请提供了一种存储介质，其上存储有电子设备程序，该程序被处理器执行时实现如第一方面所述的基于kafka的时间轴管控方法。
相比于现有技术，本申请提供的一种基于kafka的时间轴管控方法、系统、电子设备及存储介质，具有以下有益效果：
通过在视频对象完成落盘后，视频元数据管理服务会将视频对象元数据写入kafka的视频已迁移队列，索引服务从kafka的视频已迁移队列读取视频对象元数据，完成视频对象元数据的入库操作和时间轴整理操作，操作过程中具体利用kafka的消费者组特性启动多个索引服务来订阅kafka主题，利用kafka消费者组提供的可扩展且具有容错性的消费者机制，实现索引服务具备线性扩展、高可靠、高可用的特点。并且，索引服务可按需扩展不影响业务；如果某个索引服务宕机会触发kafka主题的分区再平衡，可以避免分区再平衡出现2个索引服务处理同一个设备时间轴的冲突问题，可以保证索引服务的动态扩容而不影响业务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的基于kafka的时间轴管控方法的流程图；
图2为本发明实施例1提供的视频对象元数据放置于对应的视频已迁移队列的分区内结果示意图；
图3为本发明提供的消费者与消费者组的关系图；
图4是本发明实施例2提供的与实施例1方法对应的基于kafka的分布式时间轴管控系统结构框图；
图5为本发明实施例3提供的基于kafka的时间轴管控方法的流程图；
图6是本发明实施例4提供的与实施例3方法对应的基于kafka的分布式时间轴管控系统结构框图；
图7为本发明实施例5提供的基于kafka的时间轴管控方法的流程图；
图8是本发明实施例6提供的与实施例5方法对应的基于kafka的分布式时间轴管控系统结构框图；
图9是本发明实施例7提供的电子设备的硬件结构示意图。
附图标记说明：
10-放置模块、11-取余单元、12-放置单元；
20-订阅模块；
30-整理模块；
40-遍历模块；
51-第一获取模块、511-第一判断单元、512合并单元、513-设定单元；52-第二获取模块；
60-判断模块；
70-识取模块；
81-第一更新模块、82-第二更新模块；
90-总线、91-处理器、92-存储器、93-通信接口。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本发明所提供的实施例，所涉及的kafka是一个开源流处理平台，由Scala和Java编写。kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。并且所涉及的视频对象元数据处理的索引服务是建立于kafka处理平台，本申请的基于kafka的时间轴管控方法基本原理是利用kafka的消费者组特性来启动多个索引服务来订阅kafka主题，利用kafka消费者组提供的可扩展且具有容错性的消费者机制，实现索引服务具备线性扩展、高可靠、高可用的特点。
实施例1
具体而言，图1所示为本实施例所提供的一种基于kafka的时间轴管控方法的流程示意图。
如图1所示，本实施例的基于kafka的时间轴管控方法包括以下步骤：
S101，基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内。
具体地，通过将视频对象元数据放置在视频已迁移队列的分区内就可以保证某个设备的视频对象元数据都落入kafka的某个固定分区。诸如根据具体视频云的视频数据存储需求设定存储7天的存储周期，如图2所示，该7天已迁移队列共有9个分区，分别为第一分区、第二分区、...、第九分区；针对视频对象元数据的设备数及9个分区进行取余操作得到的结果就是视频已迁移队列的分区号，基于分区号将视频对象元数据放置在视频已迁移队列的分区内。
进一步地，本实施例的S101具体步骤包括：
S1011，通过视频元数据管理服务针对视频对象元数据的设备ID及kafka主题的分区进行取余操作获取视频已迁移队列的分区号。
具体地，元数据是关于数据的组织、数据域及其关系的信息，简单来说，元数据就是被用来描述数据的数据。视频对象元数据采用流媒体进行切片的方式是针对每个关键帧都进行切片，即每检测到关键帧，就以该关键帧为起始帧，下一关键帧的前一帧为结束帧形成一个切片的方式获得。本实施例所涉及的取余操作举例说明：假设一个kafka主题有10个分区，分区号为1到10。假设有10个设备，设备ID为101到109，其中101对10取余为1，那么101设备的视频对象元数据放入kafka的1分区，依次类推设备102的数据放入kafka的2分区，设备109的数据放入kafka的9分区。
S1012，根据所述分区号将所述视频对象元数据放置于对应的所述视频已迁移队列的分区内。
具体地，流媒体服务器产生的视频对元数据包含了设备ID、主机名、存储周期、转发服务UUID、文件路径、文件大小、开始时间及结束时间。流媒体服务器从kafka的已迁移队列主题中读取到分区数为n，将设备ID与n进行取余操作得到余数为m，m即为kafka主题的分区号，最后流媒体服务器将视频对象元数据发送到kafka已迁移队列主题的m分区。
S102，采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据。
具体地，本实施例采用kafka的消费者组特性启动多个索引服务来订阅视频已迁移队列的kafka主题，通过充分利用kafka消费者组提供的可扩展且具有容错性的消费者机制。需要说明的是，消费者负责订阅 kafka中的主题（Topic），并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是：在kafka的消费理念中还有一层消费组的概念，每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者与消费者组的关系具体可参阅图3所示，诸如某主题（Topic）中共有4个分区（Partion）：第一分区、第二分区、第三分区、第四分区。有两个消费组A和B都订阅了这个主题，消费组A中有4个消费者（第一消费者、第二消费者、第三消费者和第四消费者），消费组B中有2个消费者（第五消费者和第六消费者）。按照 kafka 默认的规则，最后的分配结果是消费组A中的每一个消费者分配到1个分区，消费组B中的每一个消费者分配到2个分区，两个消费组之间互不影响。每个消费者只能消费所分配到的分区中的消息。换言之，每一个分区只能被一个消费组中的一个消费者所消费。
此外，本实施例的网络存储系统为避免元数据访问成为文件系统访问的瓶颈，提高数据访问效率，采用将文件的数据与其元数据分开存储的组织方式进行管理。
S103，以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴。
具体地，本实施例的视频对象元数据包括设备ID。设备ID是指唯一标识一个设备的字符串或数字，用于区别不同的设备并进行跟踪和管理，是一个设备在网络空间中的身份证。视频的时间轴一般指在编辑视频时，出现在视频预览下面随着视频播放而走动的缩略图横向列表，其根本作用是用以控制视频某个时间点所显示的画面内容；本实施例基于设备ID为维度进行时间轴整理，将多个事件按照时间顺序进行串联，不过在进行串联过程中要注意寻找各个事件之间的关联，才能使视频看上去更有逻辑。
S104，遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中。
具体地，本实施例使用视频对象元数据写缓存形成全局缓存设备，一则可避免每次写完成后都需要更新映射表，更新映射表可能造成系统的负担；一旦映射表不命中，又需要从NAND中读取映射数据；将待更新的映射信息保存至元数据写缓存区中，可以缩短写操作的时间，固件可以快速响应主机host的新请求，从而提升读写性能。二则使用写缓存可以提升更新映射表的效率，因为可能存在多条映射信息位于相同映射表的情况，这种情况可以节省查询-更新映射表的时间。
S105，若否，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴。
具体地，本实施例通过数据库的主键（设备ID）唯一性来进行写入操作时，通过判断数据库的主键是否重复来让索引服务知道当前设备正被其他索引服务处理。正常情况下某个设备只能被一个索引服务处理，但是当kafka主题的分区发生再平衡时，有可能会出现2个索引服务处理一个设备的情况，那么这时需要采用一种机制让索引服务知道要从数据库读取时间轴来进行合并。
进一步地，本实施例的S105具体步骤包括：
S1051，判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录。
具体地，数据库中每个设备对应一条时间轴记录，其中数据库索引字段为设备ID，其他字段为时间轴信息、更新ID、存储周期，其中时间轴信息包含了设备ID的所有时间段。索引服务根据设备ID进行数据库读取操作，然后会将从数据库读出的时间段信息初始化全局缓存的设备时间轴。
S1052，若是，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID。
具体地，本实施例中设备ID为唯一主键，每次进行设备时间轴写入操作时需要修改UpldateID的值，表示当前的设备时间轴为最新写入的。更新ID最重要的作用是可以让索引服务检测到是否存在2个索引服务同时对一个设备进行时间轴写入操作，如果发现更新ID不一致则需要重新读取数据库来合并时间轴。
S106，根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功。
其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录。
具体地，更新ID是检测多个索引服务是否针对同一个设备ID进行数据库操作而导致的冲突，正常情况下某个设备ID的时间轴只能被一个索引服务整理，索引服务每次整理设备ID时间轴入库后都会更新更新ID值，也就是更新ID的值由索引服务维护。更新的操作是先找到旧更新ID对应的记录然后插入新的记录并更新内存中记录的更新ID。如果是多个索引服务同时操作一个设备ID的时间轴，那么每个索引中维护的更新ID必然不一样，那么进行数据库更新操作必然会出现失败，这样就可以保证设备ID的时间轴在分布式异步处理的情况下是完整的、正确的。
S107，若是，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
具体地，本实施例中，当写入操作成功则将全局缓存中设备的新的更新ID赋值给当前更新ID，同时更新新的更新ID字段，最后向kafka主题的分区提交偏移量，表示当前从kafka主题分区消费的数据形成闭环，结束本轮分布式时间轴管控的流程。
综上所述，采用基于kafka的时间轴管控方法，充分利用kafka的消费者组特性来启动多个索引服务来订阅kafka主题，利用kafka消费者组提供的可扩展且具有容错性的消费者机制；同时也利用数据库的主键唯一性来进行时间轴写入操作时，通过判断数据库的主键（设备ID）是否重复来让索引服务知道当前设备正被其他索引服务处理；从而实现索引服务具备线性扩展、高可靠、高可用的特点。
实施例2
本实施例提供了与实施例1所述方法相对应的系统的结构框图。图4是根据本实施例的基于kafka的分布式时间轴管控系统的结构框图，如图4所示，该系统包括：
放置模块10，用于基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
订阅模块20，用于采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
整理模块30，用于以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历模块40，用于遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
第一获取模块51，用于若所述实时时间轴查询其所对应的设备不存在于全局缓存设备中，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴；
判断模块60，用于根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
第一更新模块81，用于若所述最新时间轴执行数据库写入操作成功，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
进一步地，所述放置模块10具体包括：
取余单元11，用于通过视频元数据管理服务针对视频对象元数据的设备ID及kafka主题的分区进行取余操作获取视频已迁移队列的分区号；
放置单元12，用于根据所述分区号将所述视频对象元数据放置于对应的所述视频已迁移队列的分区内。
进一步地，所述第一获取模块51具体包括：
第一判断单元511，用于判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录。
合并单元512，用于若数据库中存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
具体而言，图5所示为本实施例所提供的一种基于kafka的时间轴管控方法的流程示意图。
如图5所示，本实施例的基于kafka的时间轴管控方法包括以下步骤：
S201，基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内。
S202，采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据。
S203，以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴。
S204，遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中。
S205，若是，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴。
其中，所述缓存时间轴由设备ID、时间轴信息、存储周期、当前更新ID、新的更新ID组成。
S206，根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录。
S207，若是，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
实施例4
本实施例提供了与实施例3所述方法相对应的系统的结构框图。图6是根据本实施例的基于kafka的分布式时间轴管控系统的结构框图，如图6所示，该系统包括：
放置模块10，用于基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
订阅模块20，用于采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
整理模块30，用于以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历模块40，用于遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
第二获取模块52，用于若所述实时时间轴查询其所对应的设备存在于全局缓存设备中，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴；
判断模块60，用于根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
第一更新模块81，用于若所述最新时间轴执行数据库写入操作成功，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例5
具体而言，图7所示为本实施例所提供的一种基于kafka的时间轴管控方法的流程示意图。
如图7所示，本实施例的基于kafka的时间轴管控方法包括以下步骤：
S301，基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内。
S302，采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据。
S303，以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴。
S304，遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中。
S305，若否，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴。
进一步地，本实施例的S305具体步骤包括：
S3051，判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录。
S3052，若否，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
S306，根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录。
S307，若否，则识取所述数据库写入操作的错误原因。
S308，当所述错误原因为主键冲突时，通过重读所述数据库重获所述最新时间轴所对应设备的更新时间轴，将所述更新时间轴与所述全局缓存设备中的缓存时间轴进行合并，并将所述数据库的更新ID字段赋值给所述全局缓存中设备的当前更新ID，且更新所述全局缓存中设备ID对应的新的更新ID；
其中，所述缓存时间轴由设备ID、时间轴信息、存储周期、当前更新ID、新的更新ID组成。
实施例6
本实施例提供了与实施例1所述方法相对应的系统的结构框图。图8是根据本实施例的基于kafka的分布式时间轴管控系统的结构框图，如图8所示，该系统包括：
放置模块10，用于基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内。
订阅模块20，用于采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据。
整理模块30，用于以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴。
遍历模块40，用于遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中。
第一获取模块51，用于若所述实时时间轴查询其所对应的设备不存在于全局缓存设备中，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴。
判断模块60，用于根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录。
识取模块70，用于若所述最新时间轴执行数据库写入操作失败，则识取所述数据库写入操作的错误原因。
第二更新模块82，用于当所述错误原因为主键冲突时，通过重读所述数据库重获所述最新时间轴所对应设备的更新时间轴，将所述更新时间轴与所述全局缓存设备中的缓存时间轴进行合并，并将所述数据库的更新ID字段赋值给所述全局缓存中设备的当前更新ID，且更新所述全局缓存中设备ID对应的新的更新ID。
进一步地，所述第一获取模块51包括：
第一判断单元511，用于判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录；
设定单元513，用于若数据库中不存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例7
结合图9所描述的基于kafka的时间轴管控方法可以由电子设备来实现。图9为根据本实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器91以及存储有电子设备程序指令的存储器92。
具体地，上述处理器91可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请的一个或多个集成电路。
其中，存储器92可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器92可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器92可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器92可在数据处理装置的内部或外部。在特定实施例中，存储器92是非易失性（Non-Volatile）存储器。在特定实施例中，存储器92包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器92可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器91所执行的可能的电子设备程序指令。
处理器91通过读取并执行存储器92中存储的电子设备程序指令，以实现上述实施例1、实施例3及实施例5的基于kafka的时间轴管控方法。
在其中一些实施例中，电子设备还可包括通信接口93和总线90。其中，如图9所示，处理器91、存储器92、通信接口93通过总线90连接并完成相互间的通信。
通信接口93用于实现本申请中各模块、装置、单元和/或设备之间的通信。通信接口93还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线90包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线90包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线90可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线90可包括一个或多个总线。尽管本申请描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以获取到基于kafka的分布式时间轴管控系统，执行实施例1、实施例3及实施例5的基于kafka的时间轴管控方法。
另外，结合上述实施例1、实施例3及实施例5中的基于kafka的时间轴管控方法，本申请可提供一种存储介质来实现。该存储介质上存储有电子设备程序指令；该电子设备程序指令被处理器执行时实现上述实施例1、实施例3及实施例5的基于kafka的时间轴管控方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于kafka的时间轴管控方法，其特征在于，包括：
基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
若否，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴；
根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
若是，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新所述新的更新ID，并向所述kafka主题的分区提交偏移量；
所述遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中的步骤之后，所述方法还包括：
若所述实时时间轴查询其所对应的设备存在于全局缓存设备中，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴；
所述根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录得到最新时间轴的步骤具体包括：
判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录；
若是，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID；
若否，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
2.根据权利要求1所述的基于kafka的时间轴管控方法，其特征在于，所述基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内的步骤具体包括：
通过视频元数据管理服务针对视频对象元数据的设备ID及kafka主题的分区进行取余操作获取视频已迁移队列的分区号；
根据所述分区号将所述视频对象元数据放置于对应的所述视频已迁移队列的分区内。
3.根据权利要求1所述的基于kafka的时间轴管控方法，其特征在于，所述根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功的步骤之后，所述方法还包括：
若所述最新时间轴执行数据库写入操作失败，则识取所述数据库写入操作的错误原因；
当所述错误原因为主键冲突时，通过重读所述数据库重获所述最新时间轴所对应设备的更新时间轴，将所述更新时间轴与所述全局缓存设备中的缓存时间轴进行合并，并将所述数据库的更新ID字段赋值给所述全局缓存中设备的当前更新ID，且更新所述全局缓存中设备ID对应的新的更新ID。
4.根据权利要求3所述的基于kafka的时间轴管控方法，其特征在于，所述主键冲突具体为另一索引服务对所述最新时间轴所对应设备的时间轴进行写入操作。
5.根据权利要求1或3所述的基于kafka的时间轴管控方法，其特征在于，所述缓存时间轴由设备ID、时间轴信息、存储周期、当前更新ID、新的更新ID组成。
6.一种基于kafka的分布式时间轴管控系统，其特征在于，包括：
放置模块，用于基于kafka的视频已迁移队列的分区号将视频对象元数据放置于对应的所述视频已迁移队列的分区内；
订阅模块，用于采用索引服务订阅所述视频已迁移队列的kafka主题，以使从所述视频已迁移队列的分区内读取多个所述视频对象元数据；
整理模块，用于以所述视频对象元数据的设备ID为维度进行时间轴整理，并输出每一所述设备ID的实时时间轴；
遍历模块，用于遍历所述实时时间轴查询其所对应的设备是否存在于全局缓存设备中；
第一获取模块，用于若所述实时时间轴查询其所对应的设备不存在于全局缓存设备中，则根据数据库中是否存在所述实时时间轴所对应设备的时间轴的记录获取最新时间轴；
判断模块，用于根据数据库写入操作条件，判断所述最新时间轴是否执行数据库写入操作成功；其中，所述数据库写入操作条件为设备ID及当前更新ID可匹配数据库记录；
第一更新模块，用于若所述最新时间轴执行数据库写入操作成功，则将所述全局缓存中设备的新的更新ID赋值给所述当前更新ID，同时更新新的更新ID，并向所述kafka主题的分区提交偏移量；
所述系统还包括：
第二获取模块，用于若所述实时时间轴查询其所对应的设备存在于全局缓存设备中，则将所述实时时间轴与所述全局缓存设备的缓存时间轴进行合并获取最新时间轴；
所述第一获取模块包括：
第一判断单元，用于判断数据库中是否存在所述实时时间轴所对应设备的时间轴的记录；
合并单元，用于若数据库中存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴与所述记录进行合并形成最新时间轴，并修改所述全局缓存设备中设备ID对应的新的更新ID；
设定单元，用于若数据库中不存在所述实时时间轴所对应设备的时间轴的记录，则将所述实时时间轴设定为最新时间轴，且更新当前更新ID，并将所述当前更新ID赋值给新的更新ID。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的电子设备程序，其特征在于，所述处理器执行所述电子设备程序时实现如权利要求1至5中任一项所述的基于kafka的时间轴管控方法。
8.一种存储介质，其上存储有电子设备程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的基于kafka的时间轴管控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310934833.4A CN116662603B (zh) | 2023-07-28 | 2023-07-28 | 基于kafka的时间轴管控方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310934833.4A CN116662603B (zh) | 2023-07-28 | 2023-07-28 | 基于kafka的时间轴管控方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116662603A CN116662603A (zh) | 2023-08-29 |
| CN116662603B true CN116662603B (zh) | 2023-10-20 |
Family
ID=87728254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310934833.4A Active CN116662603B (zh) | 2023-07-28 | 2023-07-28 | 基于kafka的时间轴管控方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662603B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922315A (zh) * | 2019-03-01 | 2019-06-21 | 西安电子科技大学 | 一种基于Spark与OpenCV的实时视频行为分析方法 |
| CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN110570012A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于Storm的电厂生产设备故障预警方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2022341301A1 (en) * | 2021-09-10 | 2024-03-07 | Intertrust Technologies Corporation | Data management and governance systems and methods |
-
2023
- 2023-07-28 CN CN202310934833.4A patent/CN116662603B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922315A (zh) * | 2019-03-01 | 2019-06-21 | 西安电子科技大学 | 一种基于Spark与OpenCV的实时视频行为分析方法 |
| CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN110570012A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于Storm的电厂生产设备故障预警方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Spark Streaming的实时数据采集分析系统设计;党寿江;刘学;王星凯;刘春梅;;网络新媒体技术(05);第48=53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116662603A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220413706A1 (en) | Data Storage Method, Apparatus and Storage System | |
| CN110442560B (zh) | 一种日志重演方法、装置、服务器和存储介质 | |
| CN110018998B (zh) | 一种文件管理方法、系统及电子设备和存储介质 | |
| US20120137094A1 (en) | Snapshot based replication | |
| US20140156671A1 (en) | Index Constructing Method, Search Method, Device and System | |
| CN111427859B (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
| CN108459824B (zh) | 一种数据修改写方法及装置 | |
| CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
| CN105468718B (zh) | 数据一致性处理方法、装置和系统 | |
| CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
| CN109561151B (zh) | 数据存储方法、装置、服务器和存储介质 | |
| CN113111129A (zh) | 数据同步方法、装置、设备及存储介质 | |
| CN115599747B (zh) | 一种分布式存储系统的元数据同步方法、系统及设备 | |
| CN114281762B (zh) | 一种日志存储加速方法、装置、设备及介质 | |
| CN113448938A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111562889B (zh) | 数据处理方法、装置、系统及存储介质 | |
| CN116661705B (zh) | 基于kafka的数据管理方法、系统、电子设备及存储介质 | |
| CN114217738A (zh) | 一种动态队列式循环存储方法、装置、设备及介质 | |
| CN113704790A (zh) | 一种异常日志信息汇总方法及计算机设备 | |
| CN104679893A (zh) | 一种基于大数据的信息检索方法 | |
| CN111026333A (zh) | 访问请求处理方法、处理装置、电子设备及存储介质 | |
| CN114490527A (zh) | 元数据检索方法、系统、终端及存储介质 | |
| CN113326146A (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
| CN112925828A (zh) | 一种分布式多节点查询方法和系统 | |
| US11210236B2 (en) | Managing global counters using local delta counters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |