CN112148504A - 目标消息的处理方法及装置、存储介质及电子装置 - Google Patents
目标消息的处理方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112148504A CN112148504A CN202010968907.2A CN202010968907A CN112148504A CN 112148504 A CN112148504 A CN 112148504A CN 202010968907 A CN202010968907 A CN 202010968907A CN 112148504 A CN112148504 A CN 112148504A
- Authority
- CN
- China
- Prior art keywords
- message
- delayed
- delay
- data platform
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 9
- 230000003111 delayed effect Effects 0.000 claims abstract description 220
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000019580 granularity Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种目标消息的处理方法及装置、存储介质及电子装置，其中，上述方法包括：获取目标应用生成的待延迟消息，将待延迟消息上传到第一数据平台；通过延迟队列对第一数据平台中的待延迟消息进行延迟处理，将待延迟消息的延迟处理结果存储至延迟队列对应的缓存；根据延迟处理结果将延迟处理后的消息上传至第二数据平台，即通过延迟队列对待延迟消息进行处理，进而确保了待延迟消息在延迟后才会被发送到下一级数据平台中，进而保证了延迟消息的批量处理，采用上述技术方案，解决了相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题，进而根据消息延迟级别、延迟时长、优先等级等进行不同的处理。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种目标消息的处理方法及装置、存储介质及电子装置。
背景技术
在生活中，会遇到很多需要在一定时间后，执行某件事的需求；例如：用户在某平台上预约了相关业务，在用户预约时间到达前10分钟向用户发送提醒信息，并且随着科学技术的进步和人工智能的发展，越来越多的应用被应用于深生活的方方面面，因此，越来越的业务都开通了预约功能。
随着时间的推移，数据量越来越多，并且每个消息的延迟需求各不相同，目前就这样的场景，通常会以一个计划任务扫描的方式实现，对于这样扫描得到的数据，需要遍历所有消息，一个个检查消息数据是否过期，这样在执行上的效率不会太高，而且大大降低了数据的精度。
针对相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题，尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标消息的处理方法及装置、存储介质及电子装置，以至少解决相关技术中，以至少解决相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题。
根据本发明实施例的一个方面，提供了一种目标消息的处理方法，包括：获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台。
在一个示例性实施例中，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，包括：通过所述延迟队列从所述第一数据平台获取所述待延迟消息；从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；根据所述消息内容确定待延迟消息的到期时间戳；根据所述到期时间戳对所述待延迟消息进行延迟处理。
在一个示例性实施例中，根据所述到期时间戳对所述待延迟消息进行延迟处理，包括：比较所述到期时间戳与预设阈值，得到比较结果；根据所述比较结果对所述待延迟消息进行延迟处理。
在一个示例性实施例中，根据所述比较结果对所述待延迟消息进行延迟处理，包括：在所述到期时间戳的数值小于所述预设阈值的情况下，将所述到期时间戳对应的所述待延迟消息直接发送到所述第二数据平台上；当所述到期时间戳的数值大于或等于预设阈值的情况下，将所述待延迟消息缓存到所述延迟队列的有序队列中，其中，所述有序队列用于对需要进行延迟处理的待延迟消息进行排列存储。
在一个示例性实施例中，根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台之前，所述方法还包括：对所述延迟队列对应的缓存进行周期检测；在所述周期检测的结果指示存在已完成延迟处理的待延迟消息的情况下，从所述延迟队列中获取所对应的消息标识符，其中，所述消息标识符通过所述待延迟消息的内容确定，且所述消息标识符用于唯一标识所述待延迟消息；将所述消息标识符对应的待延迟消息发送至所述第二数据平台。
在一个示例性实施例中，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，包括：获取所述延迟处理后的消息的属性信息；从多个第二数据平台中确定与所述属性信息对应的第二数据平台，并将所述延迟处理后的消息上传至与所述属性信息对应的第二数据平台。
根据本发明实施例的另一个方面，还提供了一种目标消息的处理装置，包括：获取模块，用于获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；处理模块，用于通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；上传模块，用于根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台。
在一个示例性实施例中，上述处理模块，还用于通过所述延迟队列从所述第一数据平台获取所述待延迟消息；从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；根据所述消息内容确定待延迟消息的到期时间戳；根据所述到期时间戳对所述待延迟消息进行延迟处理。
在一个示例性实施例中，上述处理模块，还用于比较所述到期时间戳与预设阈值，得到比较结果；根据所述比较结果对所述待延迟消息进行延迟处理。
在一个示例性实施例中，上述处理模块，还用于在所述到期时间戳的数值小于所述预设阈值的情况下，将所述到期时间戳对应的所述待延迟消息直接发送到所述第二数据平台上；当所述到期时间戳的数值大于或等于预设阈值的情况下，将所述待延迟消息缓存到所述延迟队列的有序队列中，其中，所述有序队列用于对需要进行延迟处理的待延迟消息进行排列存储。
在一个示例性实施例中，上述处理模块，还用于对所述延迟队列对应的缓存进行周期检测；在所述周期检测的结果指示存在已完成延迟处理的待延迟消息的情况下，从所述延迟队列中获取所对应的消息标识符，其中，所述消息标识符通过所述待延迟消息的内容确定，且所述消息标识符用于唯一标识所述待延迟消息；将所述消息标识符对应的待延迟消息发送至所述第二数据平台。
在一个示例性实施例中，上述上传模块，还用于获取所述延迟处理后的消息的属性信息；从多个第二数据平台中确定与所述属性信息对应的第二数据平台，并将所述延迟处理后的消息上传至与所述属性信息对应的第二数据平台。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标消息的处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标消息的处理方法。
在本发明实施例中，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，即通过延迟队列对待延迟消息进行处理，进而确保了待延迟消息在延迟后才会被发送到下一级数据平台中，进而保证了延迟消息的批量处理，采用上述技术方案，解决了相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题，进而根据消息延迟级别、延迟时长、优先等级等进行不同的处理。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种目标消息的处理方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的目标消息的处理方法的流程图；
图3为本发明可选是实施例的大规模延迟消息的分级存储和路由的系统结构框图；
图4为本发明可选实施例的消息延迟的交互流程示意图；
图5是根据本发明实施例的目标消息的处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种目标消息的处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标消息的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标消息的处理方法，图2是根据本发明实施例的目标消息的处理方法的流程图，该流程包括如下步骤：
步骤S202，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
步骤S204，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
步骤S206，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台。
通过上述步骤，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，即通过延迟队列对待延迟消息进行处理，进而确保了待延迟消息在延迟后才会被发送到下一级数据平台中，进而保证了延迟消息的批量处理，采用上述技术方案，解决了相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题，进而根据消息延迟级别、延迟时长、优先等级等进行不同的处理。
在一个示例性实施例中，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，包括：通过所述延迟队列从所述第一数据平台获取所述待延迟消息；从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；根据所述消息内容确定待延迟消息的到期时间戳；根据所述到期时间戳对所述待延迟消息进行延迟处理，也就是说，根据待延迟消息的消息内容为延迟消息确认相对应的到期时间戳，根据到期时间戳来实现对待延迟消息的延迟处理，进而确保待延迟消息在到期时间戳到达相应时间后完成延迟处理。
在一个示例性实施例中，根据所述到期时间戳对所述待延迟消息进行延迟处理，包括：比较所述到期时间戳与预设阈值，得到比较结果；根据所述比较结果对所述待延迟消息进行延迟处理。
为了确保待延迟消息均为需要通过延迟队列延迟的消息，在延迟队列中设置预设阈值，通过预设阈值与延迟队列中待延迟消息的到期时间戳所对应数值的比较，生成比较结果，进而根据比较结果对待延迟消息进行延迟处理。
在一个示例性实施例中，根据所述比较结果对所述待延迟消息进行延迟处理，包括：在所述到期时间戳的数值小于所述预设阈值的情况下，将所述到期时间戳对应的所述待延迟消息直接发送到所述第二数据平台上；当所述到期时间戳的数值大于或等于预设阈值的情况下，将所述待延迟消息缓存到所述延迟队列的有序队列中，其中，所述有序队列用于对需要进行延迟处理的待延迟消息进行排列存储。
简而言之，在确认待延迟消息的到期时间戳所对应的值小于预设阈值时，可将待延迟消息直接发送至第二消息平台，在确认待延迟消息的到期时间戳所对应的值大于或等于预设阈值时，将待延迟消息排列存储到缓存中的有序队列中，进而确保了对延迟消息处理的准确性。
在一个示例性实施例中，根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台之前，所述方法还包括：对所述延迟队列对应的缓存进行周期检测；在所述周期检测的结果指示存在已完成延迟处理的待延迟消息的情况下，从所述延迟队列中获取所对应的消息标识符，其中，所述消息标识符通过所述待延迟消息的内容确定，且所述消息标识符用于唯一标识所述待延迟消息；将所述消息标识符对应的待延迟消息发送至所述第二数据平台。
根据不同的待延迟消息的延迟时间不同，在的得到了存有待延迟消息的有序队列后，还需要对缓存中存储的待延迟消息的延迟队列进行周期检测，进而确保已完成延迟处理的待延迟消息被及时的发送至第二数据平台。
在一个示例性实施例中，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，包括：获取所述延迟处理后的消息的属性信息；从多个第二数据平台中确定与所述属性信息对应的第二数据平台，并将所述延迟处理后的消息上传至与所述属性信息对应的第二数据平台。
也就是说，经过延迟队列延迟处理后的待延迟消息的属性信息的不同，需要发送至的第二数据平台也不相同，每种属性均有自身相对应的平台，在待延迟消息被处理后，根据延迟处理后的消息的属性信息进而对处理后的消息进行分类，使得之后流程对于消息的获取更加快捷。
为了更好的理解上述目标消息的处理方法的过程，以下再结合可选实施例对上述目标消息的处理方法流程进行说明，但不用于限定本发明实施例的技术方案。
在本发明可选实施例中，提供了一种对大规模延迟消息的分级存储和路由的系统结构框图，如图3所示，具体功能如下：
(1)路由模块(即消息路由):为了支持分布式部署，根据消息标识符和路由算法，通过消息路由为每一个消息均生成一个全局唯一的消息标识符(消息Msg Id)，把决定延迟的延迟消息的消息消息标识符加入到对应的redis.sort Set(缓存分类集合)队列中；
(2)消息存储(即Redis存储):所有的消息数据存储在Redis中，采用redis.hashmap结构，key为生成的全局消息标识符，value为消息的JSON格式，值取出后可以直接发送到kafka；
(3)延迟队列:所有的消息的延迟存储在redis.sortSet中，sortSet中的每一个对象为全局生成的消息标识符，score(级别)为到期时间戳；
需要说明的是，当存在多个延迟队列时，按照时间延迟粒度区分，比如天，时，分钟，秒，同时设置不同的定时器粒度，并且支持数据下沉到细粒度队列，比如天任务消沉到时队列。
(4)定时扫描timer(即定时线程):轮训redis.sortSet队列，使用ZRANGEBYSCORE命令，获取score小于等于当前时间的所有消息ID，然后根据消息标识符查询redis.hashmap中的消息元数据，然后根据业务发送到对应的主题topic；
(5)消息中间件：本发明可选实施例中通过Kafka实现，将延迟到期的消息发往Kafka，供订阅者直接消费消息，达到延迟的功能；
(6)统计监控：延迟队列情况，进出消息统计，失败情况。
(7)分布式支持：通过Redis的分布式锁实现分布式的部署的并发控制。
需要说明的是，简版的分布式锁可以考虑3和4模块进行合并存储，并进行相应的路由简化，统计监控采用日志方式记录。
图4为本发明可选实施例的消息延迟的交互流程示意图。
通过本发明可选实施例，通过Kafka、延迟队列、Redis存储的结合的，得到了一个可对大规模数据进行延迟处理的延迟系统，对大规模延迟消息执行分级存储和路由分类，并且根据消息的延迟级别、延迟时长、优先级等进行不同的处理，进而确保了千万级物联网场景的并发延迟消息场景的顺利应用，并且该系统还可以支持分布式和线性扩展，进而实现了海量物联网设备接入实践；百万级别延迟消息支持；百万级别并发支持，并且支持扩展。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标消息的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的目标消息的处理装置的结构框图，如图5所示，该装置包括：
(1)获取模块52，用于获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
(2)处理模块54，用于通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
(3)上传模块56，用于根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台。
通过上述装置，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，即通过延迟队列对待延迟消息进行处理，进而确保了待延迟消息在延迟后才会被发送到下一级数据平台中，进而保证了延迟消息的批量处理，采用上述技术方案，解决了相关技术中，对于大量数据消息无法准确、快速的进行消息延迟发送等问题，进而根据消息延迟级别、延迟时长、优先等级等进行不同的处理。
在一个示例性实施例中，上述处理模块，还用于通过所述延迟队列从所述第一数据平台获取所述待延迟消息；从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；根据所述消息内容确定待延迟消息的到期时间戳；根据所述到期时间戳对所述待延迟消息进行延迟处理，也就是说，根据待延迟消息的消息内容为延迟消息确认相对应的到期时间戳，根据到期时间戳来实现对待延迟消息的延迟处理，进而确保待延迟消息在到期时间戳到达相应时间后完成延迟处理。
在一个示例性实施例中，上述处理模块，还用于比较所述到期时间戳与预设阈值，得到比较结果；根据所述比较结果对所述待延迟消息进行延迟处理。
为了确保待延迟消息均为需要通过延迟队列延迟的消息，在延迟队列中设置预设阈值，通过预设阈值与延迟队列中待延迟消息的到期时间戳所对应数值的比较，生成比较结果，进而根据比较结果对待延迟消息进行延迟处理。
在一个示例性实施例中，上述处理模块，还用于在所述到期时间戳的数值小于所述预设阈值的情况下，将所述到期时间戳对应的所述待延迟消息直接发送到所述第二数据平台上；当所述到期时间戳的数值大于或等于预设阈值的情况下，将所述待延迟消息缓存到所述延迟队列的有序队列中，其中，所述有序队列用于对需要进行延迟处理的待延迟消息进行排列存储。
简而言之，在确认待延迟消息的到期时间戳所对应的值小于预设阈值时，可将待延迟消息直接发送至第二消息平台，在确认待延迟消息的到期时间戳所对应的值大于或等于预设阈值时，将待延迟消息排列存储到缓存中的有序队列中，进而确保了对延迟消息处理的准确性。
在一个示例性实施例中，上述处理模块，还用于对所述延迟队列对应的缓存进行周期检测；在所述周期检测的结果指示存在已完成延迟处理的待延迟消息的情况下，从所述延迟队列中获取所对应的消息标识符，其中，所述消息标识符通过所述待延迟消息的内容确定，且所述消息标识符用于唯一标识所述待延迟消息；将所述消息标识符对应的待延迟消息发送至所述第二数据平台。
根据不同的待延迟消息的延迟时间不同，在的得到了存有待延迟消息的有序队列后，还需要对缓存中存储的待延迟消息的延迟队列进行周期检测，进而确保已完成延迟处理的待延迟消息被及时的发送至第二数据平台。
在一个示例性实施例中，上述上传模块，还用于获取所述延迟处理后的消息的属性信息；从多个第二数据平台中确定与所述属性信息对应的第二数据平台，并将所述延迟处理后的消息上传至与所述属性信息对应的第二数据平台。
也就是说，经过延迟队列延迟处理后的待延迟消息的属性信息的不同，需要发送至的第二数据平台也不相同，每种属性均有自身相对应的平台，在待延迟消息被处理后，根据延迟处理后的消息的属性信息进而对处理后的消息进行分类，使得之后流程对于消息的获取更加快捷。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
S2，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
S3，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
S2，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
S3，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种目标消息的处理方法，其特征在于，包括：
获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台。
2.根据权利要求1所述的方法，其特征在于，通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，包括：
通过所述延迟队列从所述第一数据平台获取所述待延迟消息；
从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；
根据所述消息内容确定待延迟消息的到期时间戳；
根据所述到期时间戳对所述待延迟消息进行延迟处理。
3.根据权利要求2所述的方法，其特征在于，根据所述到期时间戳对所述待延迟消息进行延迟处理，包括：
比较所述到期时间戳与预设阈值，得到比较结果；
根据所述比较结果对所述待延迟消息进行延迟处理。
4.根据权利要求3所述的方法，其特征在于，根据所述比较结果对所述待延迟消息进行延迟处理，包括：
在所述到期时间戳的数值小于所述预设阈值的情况下，将所述到期时间戳对应的所述待延迟消息直接发送到所述第二数据平台上；
当所述到期时间戳的数值大于或等于预设阈值的情况下，将所述待延迟消息缓存到所述延迟队列的有序队列中，其中，所述有序队列用于对需要进行延迟处理的待延迟消息进行排列存储。
5.根据权利要求1所述的方法，其特征在于，根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台之前，所述方法还包括：
对所述延迟队列对应的缓存进行周期检测；
在所述周期检测的结果指示存在已完成延迟处理的待延迟消息的情况下，从所述延迟队列中获取所对应的消息标识符，其中，所述消息标识符通过所述待延迟消息的内容确定，且所述消息标识符用于唯一标识所述待延迟消息；
将所述消息标识符对应的待延迟消息发送至所述第二数据平台。
6.根据权利要求1所述的方法，其特征在于，根据所述延迟处理结果将延迟处理后的消息上传至第二数据平台，包括：
获取所述延迟处理后的消息的属性信息；
从多个第二数据平台中确定与所述属性信息对应的第二数据平台，并将所述延迟处理后的消息上传至与所述属性信息对应的第二数据平台。
7.一种目标消息的处理装置，其特征在于，包括：
获取模块，用于获取目标应用生成的待延迟消息，将所述待延迟消息上传到第一数据平台；
处理模块，用于通过延迟队列对所述第一数据平台中的所述待延迟消息进行延迟处理，将所述待延迟消息的延迟处理结果存储至所述延迟队列对应的缓存；
上传模块，用于根据所述延迟处理结果将延迟处理后的消息数据上传至第二数据平台。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，还用于通过所述延迟队列从所述第一数据平台获取所述待延迟消息；从所述延迟队列中保存的所述待延迟消息中获取所述待延迟消息的消息内容；根据所述消息内容确定待延迟消息的到期时间戳；根据所述到期时间戳对所述待延迟消息进行延迟处理。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010968907.2A CN112148504A (zh) | 2020-09-15 | 2020-09-15 | 目标消息的处理方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010968907.2A CN112148504A (zh) | 2020-09-15 | 2020-09-15 | 目标消息的处理方法及装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148504A true CN112148504A (zh) | 2020-12-29 |
Family
ID=73892759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010968907.2A Pending CN112148504A (zh) | 2020-09-15 | 2020-09-15 | 目标消息的处理方法及装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148504A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925642A (zh) * | 2021-02-25 | 2021-06-08 | 百果园技术(新加坡)有限公司 | 一种延迟消息处理方法、装置、设备及存储介质 |
| CN113037450A (zh) * | 2021-03-17 | 2021-06-25 | 杭州遥望网络科技有限公司 | 一种延迟消息处理方法、装置、设备及可读存储介质 |
| CN113486037A (zh) * | 2021-07-27 | 2021-10-08 | 北京京东乾石科技有限公司 | 更新缓存数据的方法、管理器和缓存服务器 |
| CN117493048A (zh) * | 2023-12-29 | 2024-02-02 | 杭州有赞科技有限公司 | 消息动态处理方法、装置、设备和介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101341778A (zh) * | 2005-12-22 | 2009-01-07 | 高通股份有限公司 | 关于确定、传送和/或使用延迟信息的方法和设备 |
| CN101459496A (zh) * | 2008-12-18 | 2009-06-17 | 北京大学 | 一种消息的超时时间间隔的调整方法及装置 |
| US20150040140A1 (en) * | 2013-08-01 | 2015-02-05 | International Business Machines Corporation | Consuming Ordered Streams of Messages in a Message Oriented Middleware |
| CN104714850A (zh) * | 2015-03-02 | 2015-06-17 | 心医国际数字医疗系统(大连)有限公司 | 一种基于opencl的异构共同计算均衡方法 |
| CN107273542A (zh) * | 2017-07-06 | 2017-10-20 | 华泰证券股份有限公司 | 高并发数据同步方法及系统 |
| CN107391271A (zh) * | 2017-05-17 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种基于消息队列系统的延时任务触发方法和装置 |
| CN107391279A (zh) * | 2017-07-31 | 2017-11-24 | 山东浪潮云服务信息科技有限公司 | 一种消息队列容器创建方法、装置及消息队列容器 |
| CN108388479A (zh) * | 2018-02-10 | 2018-08-10 | 深圳壹账通智能科技有限公司 | 延迟消息推送方法、装置、计算机设备及存储介质 |
| CN109656725A (zh) * | 2018-11-09 | 2019-04-19 | 北京字节跳动网络技术有限公司 | 消息消费者切换方法、装置、存储介质及电子设备 |
| CN110245008A (zh) * | 2018-03-09 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 定时任务处理方法、系统和设备 |
| CN111045806A (zh) * | 2019-12-16 | 2020-04-21 | 云南优鸟科技有限公司 | 延迟消息队列实现方法以及系统 |
-
2020
- 2020-09-15 CN CN202010968907.2A patent/CN112148504A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101341778A (zh) * | 2005-12-22 | 2009-01-07 | 高通股份有限公司 | 关于确定、传送和/或使用延迟信息的方法和设备 |
| CN101459496A (zh) * | 2008-12-18 | 2009-06-17 | 北京大学 | 一种消息的超时时间间隔的调整方法及装置 |
| US20150040140A1 (en) * | 2013-08-01 | 2015-02-05 | International Business Machines Corporation | Consuming Ordered Streams of Messages in a Message Oriented Middleware |
| CN104714850A (zh) * | 2015-03-02 | 2015-06-17 | 心医国际数字医疗系统(大连)有限公司 | 一种基于opencl的异构共同计算均衡方法 |
| CN107391271A (zh) * | 2017-05-17 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种基于消息队列系统的延时任务触发方法和装置 |
| CN107273542A (zh) * | 2017-07-06 | 2017-10-20 | 华泰证券股份有限公司 | 高并发数据同步方法及系统 |
| CN107391279A (zh) * | 2017-07-31 | 2017-11-24 | 山东浪潮云服务信息科技有限公司 | 一种消息队列容器创建方法、装置及消息队列容器 |
| CN108388479A (zh) * | 2018-02-10 | 2018-08-10 | 深圳壹账通智能科技有限公司 | 延迟消息推送方法、装置、计算机设备及存储介质 |
| CN110245008A (zh) * | 2018-03-09 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 定时任务处理方法、系统和设备 |
| CN109656725A (zh) * | 2018-11-09 | 2019-04-19 | 北京字节跳动网络技术有限公司 | 消息消费者切换方法、装置、存储介质及电子设备 |
| CN111045806A (zh) * | 2019-12-16 | 2020-04-21 | 云南优鸟科技有限公司 | 延迟消息队列实现方法以及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 姜震 等: "SCI环平均消息延迟的初步研究", 《遥测遥控》, no. 05, 20 October 2002 (2002-10-20), pages 13 - 18 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925642A (zh) * | 2021-02-25 | 2021-06-08 | 百果园技术(新加坡)有限公司 | 一种延迟消息处理方法、装置、设备及存储介质 |
| CN113037450A (zh) * | 2021-03-17 | 2021-06-25 | 杭州遥望网络科技有限公司 | 一种延迟消息处理方法、装置、设备及可读存储介质 |
| CN113486037A (zh) * | 2021-07-27 | 2021-10-08 | 北京京东乾石科技有限公司 | 更新缓存数据的方法、管理器和缓存服务器 |
| CN117493048A (zh) * | 2023-12-29 | 2024-02-02 | 杭州有赞科技有限公司 | 消息动态处理方法、装置、设备和介质 |
| CN117493048B (zh) * | 2023-12-29 | 2024-04-02 | 杭州有赞科技有限公司 | 消息动态处理方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148504A (zh) | 目标消息的处理方法及装置、存储介质及电子装置 | |
| CN108563502B (zh) | 一种任务调度方法和装置 | |
| CN111338814A (zh) | 消息处理方法和装置、存储介质和电子装置 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN112256451A (zh) | 定时业务消息生成方法、装置、电子设备及存储介质 | |
| CN112069195A (zh) | 基于数据库的消息传输方法、装置、电子设备及存储介质 | |
| CN111782473A (zh) | 分布式日志数据处理方法、装置及系统 | |
| CN114385378A (zh) | 物联网设备的活跃数据处理方法、装置及存储介质 | |
| CN111082956B (zh) | 一种事件流处理方法、电子设备和可读存储介质 | |
| CN110569129A (zh) | 资源分配方法及装置、存储介质、电子装置 | |
| CN113014626B (zh) | 数据服务的管理方法及装置、存储介质及电子装置 | |
| CN111338787B (zh) | 一种数据处理方法及装置、存储介质、电子装置 | |
| CN114661433A (zh) | 事件任务的调度方法及装置、存储介质、电子设备 | |
| CN112534399A (zh) | 基于语义的物联网设备数据处理相关应用程序安装方法及装置 | |
| CN114884975B (zh) | 业务消息的处理方法和装置、存储介质及电子装置 | |
| CN112612673B (zh) | 拨测日志的分析方法及装置、存储介质及电子装置 | |
| CN113434271A (zh) | 任务执行方法及装置、存储介质、电子装置 | |
| CN112188562B (zh) | 中继基站的多播调度方法和装置、存储介质及电子装置 | |
| CN114265845A (zh) | 一种延时任务的处理方法、装置和电子设备 | |
| CN115544031A (zh) | 一种数据存储系统、方法及电子设备和存储介质 | |
| CN112055058A (zh) | 数据的存储方法、装置及计算机可读存储介质 | |
| CN113472808B (zh) | 日志的处理方法、装置、存储介质及电子装置 | |
| CN111381959A (zh) | 扩容方法及装置 | |
| CN111858043B (zh) | 服务请求的处理方法及装置、存储介质、电子装置 | |
| CN112422613B (zh) | 数据处理方法、数据处理平台和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |