CN111949418A - 一种订阅消息处理方法和装置 - Google Patents
一种订阅消息处理方法和装置 Download PDFInfo
- Publication number
- CN111949418A CN111949418A CN202010663339.5A CN202010663339A CN111949418A CN 111949418 A CN111949418 A CN 111949418A CN 202010663339 A CN202010663339 A CN 202010663339A CN 111949418 A CN111949418 A CN 111949418A
- Authority
- CN
- China
- Prior art keywords
- theme
- subscription message
- message
- subscription
- hash table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000005192 partition Methods 0.000 claims description 57
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Abstract
本发明提供一种订阅消息处理方法和装置，包括：获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列，本申请提供的方法保证了数据处理的吞吐量和业务实现开发的简易性，同时避免了异常情况下kafka集群中订阅消息丢失的问题。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种订阅消息处理方法和装置、计算设备和存储介质。
背景技术
在现有的sparkstreaming等流式消费kafka消息时，有一些方案是基于kafka的高阶消费api实现的，如sparkstreaming的Receiver消费模式，分异步线程拉取消息并自动修改zk中保存的消费者的偏移量。此方案因为无需开发者关注偏移量的维护内容，在业务开发层面使用较简单，所以很多场景使用。
但是因如上方案中的kafka消息拉取和偏移量修改与业务操作上是异步的，所以在异常情况下，如各种原因的重启、业务报错等会导致消息实际并未进行业务处理而Receiver已经拉取并修改了偏移量即消息丢失了，虽然sparkstreaming为Receiver提供了writeAheadLog机制。通过接收器接收到的所有输入数据将被保存到预写日志中，以便在程序恢复后可从日志中读取。这样无疑是针对消息增加了一次文件读写、减少了消息处理的吞吐量、增加了复杂性。
发明内容
有鉴于此，本发明实施例提供了一种订阅消息处理方法和装置、计算设备和存储介质，以解决现有技术中存在的技术缺陷。
本发明实施例公开了一种订阅消息处理方法，包括：
获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；
根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；
根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
可选的，所述方法还包括：
根据sparkstreaming消费所述订阅消息队列中的订阅消息；
在消费成功的情况下，更新所述哈希表中的哈希值。
可选的，所述方法还包括：
在消费异常的情况下，查询所述消费异常是否为可控异常；
若是，则捕获所述消费异常并进行对应的异常处理；
若否，抛出所述消费异常，并结束消费。
可选的，所述预设的哈希表通过下述步骤获得：
获取kafka集群中的主题；
根据所述主题设置对应的至少一个主题分区号和每个所述主题分区号对应的偏移量初始值；
将所述主题分区号作为主键，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表。
可选的，根据所述消息主题在预设的哈希表中查询对应的哈希值，包括：
根据所述消息主题确定对应的目标主题分区号；
根据所述目标主题分区号在所述redis哈希表中查询对应的偏移量初始值。
可选的，更新所述哈希表中的哈希值，包括：
根据所述订阅消息的主题号确定对应的订阅主题分区号；
更新所述订阅主题分区号在所述哈希表中对应的偏移量初始值。
本发明实施例还公开了一种订阅消息处理装置，包括：
获取模块，被配置为获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；
添加模块，被配置为根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；
创建模块，被配置为根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
可选的，所述装置还包括：
消费模块，被配置为根据sparkstreaming消费所述订阅消息队列中的订阅消息；
更新模块，被配置为在消费成功的情况下，更新所述哈希表中的哈希值。
可选的，所述装置还包括：
查询模块，被配置为在消费异常的情况下，查询所述消费异常是否为可控异常，若是则连接异常处理模块，若否则连接结束模块；
异常处理模块，被配置为捕获所述消费异常并进行对应的异常处理；
结束模块，被配置为抛出所述消费异常，并结束消费。
可选的，所述预设的哈希表通过下述步骤获得：
获取kafka集群中的主题；
根据所述主题设置对应的至少一个主题分区号和每个所述主题分区号对应的偏移量初始值；
将所述主题分区号作为主键，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表。
可选的，所述添加模块，进一步被配置为根据所述消息主题确定对应的目标主题分区号；根据所述目标主题分区号在所述redis哈希表中查询对应的偏移量初始值。
可选的，所述更新模块，进一步被配置为根据所述订阅消息的主题号确定对应的订阅主题分区号；更新所述订阅主题分区号在所述哈希表中对应的偏移量初始值。
本发明实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述的订阅消息处理方法的步骤。
本发明实施例公开了一种存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述的订阅消息处理方法的步骤。
本发明提供的一种订阅消息处理方法和装置、计算设备和存储介质，所述方法通过获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列，保证了数据处理的吞吐量和业务实现开发的简易性，同时避免了异常情况下kafka集群中订阅消息丢失的问题。
其次，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表，可以根据需要直接修改redis哈希表中主题分区好对应的偏移量进行重新消费，也可以通过添加、删除哈希键值的fileld-value进行kafka集群消费分区数的添加、删除。
附图说明
图1是本发明一实施例订阅消息处理方法的流程示意图；
图2是本发明一实施例订阅消息处理装置结构示意图；
图3是本发明实施例的计算设备的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在发明提供了一种订阅消息处理方法和装置、计算设备以及存储介质，下面结合图1对本发明进行详细说明。
图1示出了根据本发明一实施例的订阅消息处理方法的示意性流程图，包括步骤102至步骤110。
步骤102：获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题。
在创建sparkstreaming-kafka数据流时，需要先获取待处理订阅消息，其中，待处理订阅消息中包括待处理订阅消息的消息主题，如获取待处理订阅消息M，即需要将待处理订阅消息M添加到kafka集群中，待处理订阅消息M对应的消息主题为“contact”。
步骤104：根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性。
预设的哈希表通过下述方法获得：获取kafka集群中的主题；根据所述主题设置对应的至少一个主题分区号和每个所述主题分区号对应的偏移量初始值；将所述主题分区号作为主键，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表。
在实际应用中，获取kafka集群中的主题，为每个主题设置至少一个主题分区号，以及每个主题分区号对应的偏移量初始值，将所述主题分区号作为主键，将对应的偏移量初始值作为键值对应存储到redis哈希表中。
如对于名为“contact”的消息主题，设置10个分区，分别为“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”、“9”。对应的偏移量初始值分别为“2”、“0”、“0”、“9”、“0”、“0”、“3”、“4”、“4”、“1”。即将分区号“0”与偏移量初始值“2”作为键值对对应存储到redis哈希表中。
根据待处理订阅消息M对应的消息主题为“contact”，在预设的redis哈希表中，查询对应的哈希值，具体为对消息主题进行哈希计算，确定所述消息主题对应的分区号为“1”，则分区号“1”对应的偏移量初始值值为“0”。将所述消息主题对应的分区号及偏移量初始值添加到主题属性中，具体表示如下所示：
步骤106：根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
采用sparkstreaming-kafka的Direct模式创建订阅消息队列，具体表示如下所示：
步骤108：根据sparkstreaming消费所述订阅消息队列中的订阅消息。
具体的，根据所述消息主题确定对应的目标主题分区号；根据所述目标主题分区号在所述redis哈希表中查询对应的偏移量初始值。
根据sparkstreaming的数据RDD进行业务逻辑处理。
可选的，在消费成功的情况下，更新所述哈希表中的哈希值。
具体的，根据所述订阅消息的主题号确定对应的订阅主题分区号；更新所述订阅主题分区号在所述哈希表中对应的偏移量初始值。具体表示如下所示：
可选的，在消费异常的情况下，查询所述消费异常是否为可控异常；若是，则捕获所述消费异常并进行对应的异常处理；若否，抛出所述消费异常，并结束消费。
消费异常出现的情况下，需要对消费异常进行判断，判断所述消费异常是否可以在允许范围内字形进行异常捕获并处理，若可以则为可控异常，若不可以则不是可控异常，对于可控异常则捕获所述消费异常并进行对应的异常处理，若不是可控异常，如未知异常、IO异常、hbase集群异常等导致本次消费数据无法落地，为了防止数据异常丢失，则抛出异常并在外围捕获进行自动结束程序处理，具体表示如下所示：
可选的，在实际应用中，根据sparkstreaming的启动方式，如spark-submit启动，则可通过监控服务进程判断是否异常退出并进行重启。
本发明提供的一种订阅消息处理方法，通过获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列，保证了数据处理的吞吐量和业务实现开发的简易性，同时避免了异常情况下kafka集群中订阅消息丢失的问题。
其次，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表，可以根据需要直接修改redis哈希表中主题分区好对应的偏移量进行重新消费，也可以通过添加、删除哈希键值的fileld-value进行kafka集群消费分区数的添加、删除。
图2示出了根据本说明书一实施例的订阅消息处理装置的结构图，包括：
获取模块202，被配置为获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；
添加模块204，被配置为根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；
创建模块206，被配置为根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
可选的，所述装置还包括：
消费模块，被配置为根据sparkstreaming消费所述订阅消息队列中的订阅消息；
更新模块，被配置为在消费成功的情况下，更新所述哈希表中的哈希值。
可选的，所述装置还包括：
查询模块，被配置为在消费异常的情况下，查询所述消费异常是否为可控异常，若是则连接异常处理模块，若否则连接结束模块；
异常处理模块，被配置为捕获所述消费异常并进行对应的异常处理；
结束模块，被配置为抛出所述消费异常，并结束消费。
可选的，所述预设的哈希表通过下述步骤获得：
获取kafka集群中的主题；
根据所述主题设置对应的至少一个主题分区号和每个所述主题分区号对应的偏移量初始值；
将所述主题分区号作为主键，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表。
可选的，所述添加模块204，进一步被配置为根据所述消息主题确定对应的目标主题分区号；根据所述目标主题分区号在所述redis哈希表中查询对应的偏移量初始值。
可选的，所述更新模块，进一步被配置为根据所述订阅消息的主题号确定对应的订阅主题分区号；更新所述订阅主题分区号在所述哈希表中对应的偏移量初始值。
本发明提供的一种订阅消息处理装置，通过获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列，保证了数据处理的吞吐量和业务实现开发的简易性，同时避免了异常情况下kafka集群中订阅消息丢失的问题。
其次，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表，可以根据需要直接修改redis哈希表中主题分区好对应的偏移量进行重新消费，也可以通过添加、删除哈希键值的fileld-value进行kafka集群消费分区数的添加、删除。
图3是示出了根据本说明书一实施例的计算设备300的结构框图。该计算设备300的部件包括但不限于存储器310和处理器320。处理器320与存储器310通过总线330相连接，数据库350用于保存数据。
计算设备300还包括接入设备340，接入设备340使得计算设备300能够经由一个或多个网络360通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备340可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备300的上述部件以及图3中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图3所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备300可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备300还可以是移动式或静止式的服务器。
本发明一实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如前所述订阅消息处理方法的步骤。
本发明一实施例还提供一种存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述订阅消息处理方法的步骤。
上述为本实施例的一种存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述订阅消息处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述订阅消息处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种订阅消息处理方法，其特征在于，包括：
获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；
根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；
根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
2.如权利要求1所述的订阅消息处理方法，其特征在于，所述方法还包括：
根据sparkstreaming消费所述订阅消息队列中的订阅消息；
在消费成功的情况下，更新所述哈希表中的哈希值。
3.如权利要求2所述的订阅消息处理方法，其特征在于，所述方法还包括：
在消费异常的情况下，查询所述消费异常是否为可控异常；
若是，则捕获所述消费异常并进行对应的异常处理；
若否，抛出所述消费异常，并结束消费。
4.如权利要求2所述的订阅消息处理方法，其特征在于，所述预设的哈希表通过下述步骤获得：
获取kafka集群中的主题；
根据所述主题设置对应的至少一个主题分区号和每个所述主题分区号对应的偏移量初始值；
将所述主题分区号作为主键，将所述主题分区号对应的偏移量初始值作为值对应存储到redis哈希表。
5.如权利要求4所述的订阅消息处理方法，其特征在于，根据所述消息主题在预设的哈希表中查询对应的哈希值，包括：
根据所述消息主题确定对应的目标主题分区号；
根据所述目标主题分区号在所述redis哈希表中查询对应的偏移量初始值。
6.如权利要求5所述的订阅消息处理方法，其特征在于，更新所述哈希表中的哈希值，包括：
根据所述订阅消息的主题号确定对应的订阅主题分区号；
更新所述订阅主题分区号在所述哈希表中对应的偏移量初始值。
7.一种订阅消息处理装置，其特征在于，包括：
获取模块，被配置为获取待处理订阅消息，其中，所述待处理订阅消息包括对应的消息主题；
添加模块，被配置为根据所述消息主题在预设的哈希表中查询对应的哈希值，并将所述哈希值添加到主题属性；
创建模块，被配置为根据所述主题属性和所述待处理订阅消息创建直接模式的订阅消息队列。
8.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-6任意一项所述方法的步骤。
9.一种存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663339.5A CN111949418B (zh) | 2020-07-10 | 2020-07-10 | 一种订阅消息处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663339.5A CN111949418B (zh) | 2020-07-10 | 2020-07-10 | 一种订阅消息处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949418A true CN111949418A (zh) | 2020-11-17 |
| CN111949418B CN111949418B (zh) | 2023-10-24 |
Family
ID=73341265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010663339.5A Active CN111949418B (zh) | 2020-07-10 | 2020-07-10 | 一种订阅消息处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949418B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488705A (zh) * | 2020-11-16 | 2021-03-12 | 中国人寿保险股份有限公司 | Kafka低阶消费程序消息积压监控方法及相关设备 |
| CN115150471A (zh) * | 2022-06-27 | 2022-10-04 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110063083A (ko) * | 2009-12-04 | 2011-06-10 | 한국전자통신연구원 | 해시를 이용한 게시-구독 네트워크 구성 방법 및 통신 지원 방법 |
| CN106170013A (zh) * | 2016-06-29 | 2016-11-30 | 上海浦东发展银行股份有限公司信用卡中心 | 一种基于Redis的Kafka消息唯一性方法 |
| CN106657349A (zh) * | 2016-12-29 | 2017-05-10 | 上海理想信息产业（集团）有限公司 | 一种消息订阅处理装置、系统及方法 |
| CN107332787A (zh) * | 2017-06-29 | 2017-11-07 | 北京奇艺世纪科技有限公司 | 一种消息分发方法和装置 |
| CN108737570A (zh) * | 2018-06-22 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种信息推送方法、装置及系统 |
| CN108965355A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于数据传输的方法、装置及计算机可读存储介质 |
| CN110708247A (zh) * | 2019-09-27 | 2020-01-17 | 浙江大搜车软件技术有限公司 | 消息路由方法、装置、计算机设备和存储介质 |
| US20200059376A1 (en) * | 2018-08-20 | 2020-02-20 | T-Mobile Usa, Inc. | Eventually consistent data replication in queue-based messaging systems |
| CN110912808A (zh) * | 2019-11-29 | 2020-03-24 | 三一重工股份有限公司 | 消息订阅方法、装置、系统、设备终端和可读存储介质 |
| CN111694644A (zh) * | 2020-05-15 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于机器人操作系统的消息处理方法、装置及计算机设备 |
-
2020
- 2020-07-10 CN CN202010663339.5A patent/CN111949418B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110063083A (ko) * | 2009-12-04 | 2011-06-10 | 한국전자통신연구원 | 해시를 이용한 게시-구독 네트워크 구성 방법 및 통신 지원 방법 |
| CN106170013A (zh) * | 2016-06-29 | 2016-11-30 | 上海浦东发展银行股份有限公司信用卡中心 | 一种基于Redis的Kafka消息唯一性方法 |
| CN106657349A (zh) * | 2016-12-29 | 2017-05-10 | 上海理想信息产业（集团）有限公司 | 一种消息订阅处理装置、系统及方法 |
| CN108965355A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于数据传输的方法、装置及计算机可读存储介质 |
| CN107332787A (zh) * | 2017-06-29 | 2017-11-07 | 北京奇艺世纪科技有限公司 | 一种消息分发方法和装置 |
| CN108737570A (zh) * | 2018-06-22 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种信息推送方法、装置及系统 |
| US20200059376A1 (en) * | 2018-08-20 | 2020-02-20 | T-Mobile Usa, Inc. | Eventually consistent data replication in queue-based messaging systems |
| CN110708247A (zh) * | 2019-09-27 | 2020-01-17 | 浙江大搜车软件技术有限公司 | 消息路由方法、装置、计算机设备和存储介质 |
| CN110912808A (zh) * | 2019-11-29 | 2020-03-24 | 三一重工股份有限公司 | 消息订阅方法、装置、系统、设备终端和可读存储介质 |
| CN111694644A (zh) * | 2020-05-15 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于机器人操作系统的消息处理方法、装置及计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| AI前线: "Spark Streaming消费kafka使用及原理", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/30721699> * |
| 于金良;朱志祥;李聪颖;: "一种分布式消息队列研究与测试", 物联网技术, no. 08, pages 37 - 39 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488705A (zh) * | 2020-11-16 | 2021-03-12 | 中国人寿保险股份有限公司 | Kafka低阶消费程序消息积压监控方法及相关设备 |
| CN115150471A (zh) * | 2022-06-27 | 2022-10-04 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
| CN115150471B (zh) * | 2022-06-27 | 2024-03-29 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949418B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388479B (zh) | 延迟消息推送方法、装置、计算机设备及存储介质 | |
| CN112000741B (zh) | 内外网数据交换系统、方法、装置、计算机设备和介质 | |
| CN110399356B (zh) | 一种在线数据迁移方法、装置、计算设备及存储介质 | |
| CN111949418A (zh) | 一种订阅消息处理方法和装置 | |
| CN111026749B (zh) | 业务告警方法及装置 | |
| CN112486074B (zh) | 数据处理系统、方法及装置 | |
| CN109167810B (zh) | 监听、通知、刷新方法和装置、计算设备及存储介质 | |
| US10152383B2 (en) | Expedited device backup, wipe, and enrollment | |
| US10938773B2 (en) | Method and apparatus for synchronizing contact information and medium | |
| CN113297031A (zh) | 容器集群中的容器组防护方法及装置 | |
| US20140351210A1 (en) | Data processing system, data processing apparatus, and storage medium | |
| CN113297229B (zh) | 路由读请求、反馈报文的方法以及各自装置、数据库 | |
| KR20180011183A (ko) | 메시지 알림들을 제거하는 방법, 시스템, 및 서버 | |
| CN112286947B (zh) | 保持不同存储系统的数据一致的方法以及装置 | |
| CN114385596A (zh) | 数据处理方法及装置 | |
| CN110263210B (zh) | 自适应英语学习词库图谱管理方法和系统 | |
| CN113407491A (zh) | 数据处理方法及装置 | |
| CN112637009A (zh) | 数据链路检测系统、方法及装置 | |
| CN111625341A (zh) | 一种任务调度管理方法以及装置 | |
| CN111757115A (zh) | 一种视频流处理方法及装置 | |
| US20210042412A1 (en) | Information processing apparatus, control method, and program | |
| CN117527833B (zh) | 一种数据同步方法 | |
| CN114527944A (zh) | 资源文件处理方法及装置 | |
| CN110018891B (zh) | 一种任务管理系统、一种任务管理方法及装置 | |
| CN116781389B (zh) | 一种异常数据列表的确定方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |