CN114896082A - 消息处理方法、装置、电子设备和存储介质 - Google Patents

消息处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114896082A
CN114896082A CN202210400029.3A CN202210400029A CN114896082A CN 114896082 A CN114896082 A CN 114896082A CN 202210400029 A CN202210400029 A CN 202210400029A CN 114896082 A CN114896082 A CN 114896082A
Authority
CN
China
Prior art keywords
message
processing
timestamp
processed
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210400029.3A
Other languages
English (en)
Inventor
赵剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210400029.3A priority Critical patent/CN114896082A/zh
Publication of CN114896082A publication Critical patent/CN114896082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种消息处理方法、装置、电子设备和存储介质,应用于计算机技术领域,其中,方法包括:在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;确定所述使用端中与所述消息身份标识号对应的处理时间字段;判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。以解决现有技术中,消息处理速度过慢引发消息的大量积压,造成业务处理效率降低,严重影响业务的正常服务的问题。

Description

消息处理方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种消息处理方法、装置、电子设备和存储介质。
背景技术
对于一些实时数据分发、数据共享的业务场景中,通常由写入方、数据平台和使用方3个角色共同完成。数据平台提供数据的存储,提供数据读取接口、写入接口、写入消息(通过消息中间件实现)通知。写入方将自身业务数据整合调用数据平台写入接口,入库到平台。使用方通过监听写入消息,触发调用平台读取接口获取最新数据。
在一些异常情况下,比如使用方服务问题或者因为数据平台服务问题导致处理速度过慢,引发消息的大量积压,造成业务处理效率降低,严重影响业务的正常服务。
发明内容
本申请提供了一种消息处理方法、装置、电子设备和存储介质,用以解决现有技术中,消息处理速度过慢引发消息的大量积压,造成业务处理效率降低,严重影响业务的正常服务的问题。
第一方面,本申请实施例提供了一种消息处理方法,应用于待处理消息数据的使用端,包括:
在监测到数据平台写入所述待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
可选的,所述判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳之后,还包括:
若不存在所述消息时间戳和/或不存在所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
可选的,所述根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理,包括:
若所述消息时间戳小于所述处理时间戳,将所述待处理消息数据丢弃;
若所述消息时间戳大于或等于所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
可选的,所述对所述待处理消息内容进行消费处理之后,还包括:
在所述待处理消息内容消费处理完成后,获取更新时间戳,所述更新时间戳是在所述数据平台确定所述待处理消息内容消费处理完成后生成的;
将所述更新时间戳更新所述处理时间字段。
可选的,所述对所述待处理消息内容进行消费处理之后,还包括:
将所述消息身份标识号与所述处理时间字段对应存储。
可选的,所述将所述消息身份标识号与所述处理时间字段对应存储之后,还包括:
判断存储的消息身份标识号的存储参数是否满足预设存储条件;
若否,基于所述预设存储条件对存储的消息身份标识号进行清理。
可选的,所述存储参数包括存储数量和存储时长,所述判断存储的消息身份标识号的存储参数是否满足预设存储条件,包括:
判断存储的消息身份标识号的存储数量是否大于预设阈值,和/或,判断存储的消息身份标识号的存储时长是否超过预设时长。
第二方面,本申请实施例提供了一种消息处理装置,包括:
获取模块,用于在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定模块,用于确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断模块,用于判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
处理模块,用于若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器中所存储的程序,实现第一方面所述的消息处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的消息处理方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方法,在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;确定所述使用端中与所述消息身份标识号对应的处理时间字段;判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。如此,在有待处理消息数据写入后,确定相同身份标识的待处理消息数据中的消息时间字段,以及使用端中的处理时间字段,在存在所述消息时间戳且存在所述处理时间戳,便可以依据二者的大小关系,进行丢弃或消费处理,通过将部分待处理消息数据舍弃,从而避免了大处理消息的大量积压,提高了业务处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的消息处理系统的结构图;
图2为本申请一实施例提供的消息处理方法的流程图;
图3为本申请另一实施例提供的消息处理方法的流程图;
图4为本申请一实施例提供的消息处理装置的结构图;
图5为本申请一实施例提供的电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
全局时间戳服务(Global Timestamp Service,简称GTS),OceanBase数据库内部每个租户启动一个全局时间戳服务,事务提交时通过本租户的时间戳服务获取事务版本号,保证全局的事务顺序。
时间戳:使用数字签名技术产生的数据,签名的对象包括了原始文件信息、签名参数、签名时间等信息。时间戳系统用来产生和管理时间戳,对签名对象进行数字签名产生时间戳,以证明原始文件在签名时间之前已经存在。时间戳的主要目的在于通过一定的技术手段,对数据产生的时间进行认证。
ID(Identity document)身份标识号,是某个体系中相对唯一的编码,相当于是一种“身份证”在某一具体的事物中,身份标识号一般是不变的,至于用什么来标识该事物,则由设计者自己制定的规则来确定。
根据本申请一实施例提供了一种消息处理系统。可选地,在本申请实施例中,上述消息处理系统可以应用于如图1所示的由写入端、数据平台和使用端构成的硬件环境中。
其中,使用端包括内存缓存,数据平台包括写入接口、读取接口、时间戳服务、数据库和消息中间件。其中:
数据库:负责存储数据,可以是任意数据库,如MySQL、MongoDB、HBase等。
消息中间件:负责消息分发的组件,可以是任意消息中间件,入RocketMQ、ActiveMQ等。
时间戳服务:负责生成全局唯一且严格递增的时间戳,生成的时间戳格式通常为1636527986000000001,Unix时间戳+6位递增序号组成。
写入接口:负责将写入端的数据根据主键ID入库。
读取接口:负责将读取端提供的ID从库中读取数据。
写入端:负责调用写入接口。
使用端:监听消息中间件的消息,并通过消息中的主键ID调用读取接口读取最新数据进行业务处理、或二次存储到其他业务场景所需要的数据库中。
内存缓存:可以是主流的Guava内存缓存。
本申请一实施例中提供了一种消息处理方法,该方法可以应用于任意一种形式的电子设备中,如待处理消息数据的使用端的终端或服务器。如图2所示,该消息处理方法,包括:
步骤201、在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段。
一些实施例中,使用端与数据平台之间通信连接,在数据平台写入待处理消息数据后,使用端便可以监测到该写入操作。数据平台写入待处理消息数据后,该数据平台可以对写入的待处理消息数据生成时间戳,并存储到待处理消息数据中的消息时间字段中。可以理解的是,对于一些特殊情况下(如时间戳服务故障),会导致不能生成对应的时间戳,从而使得待处理消息数据中的消息时间字段为空,即不存在消息时间戳。
另外,对于写入的待处理消息数据中,往往通过ID进行区分,对于同一ID的待处理消息数据,其中的消息内容可能相同,也可能会频繁变更,因此,通过ID进行待处理消息数据的消息处理,能够避免同一ID的待处理消息数据被重复处理。
本实施例中,使用端通过监测数据平台写入了待处理消息数据后,便可以从数据平台获取到待处理消息数据中的消息ID和消息时间字段。
通常待处理消息数据中包括待处理消息内容,待处理消息内容以表、字段的数据格式进行存储,写入的待处理消息数据中包括写入的表、字段列表、ID等信息,本实施例中,在字段中添加消息时间字段,用于存储生成的消息时间戳。
其中,本申请中的时间戳是由时间戳服务按照预设生成格式生成的。其中,预设生成格式可以包括Unix时间戳和序列号,其中序列号为递增序列号,即每生成一次时间戳,该序列号加一。
步骤202、确定所述使用端中与所述消息身份标识号对应的处理时间字段。
一些实施例中,使用端对于待处理消息数据进行处理后,往往会对该待处理消息数据中的消息ID进行存储,以便于后续进行复核等流程。本实施例中,增设处理时间字段,用于存储每个缓存的消息ID对应的待处理消息数据最后处理时间的处理时间戳。可以理解的是,对于未处理过或时间戳服务异常的情况下,处理时间戳可能不会生成,相应的在处理时间字段内的处理时间戳为空。
基于此,使用端在获取到消息ID后,可以基于该消息ID在缓存中进行查找,若查找到该消息ID,由于消息ID与处理时间字段对应存储在使用端,因此,便可以基于查找到的消息ID,确定对应的处理时间字段。
步骤203、判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳。
一些实施例中,在消息时间字段与所述处理时间字段中均用来存储时间戳,在消息时间字段中包括存在消息时间戳和不存在消息时间戳的两种情况。处理时间字段中包括存在处理时间戳和不存在处理时间戳的两种情况。
步骤204、若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
一些实施例中,在获取到消息时间字段和处理时间字段后,在存在所述消息时间戳且存在所述处理时间戳,便可以依据二者的大小关系,进行丢弃或消费处理,通过将部分待处理消息数据舍弃,从而避免了大处理消息的大量积压,提高了业务处理效率。
在一个可选实施例中,所述根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理,包括:
若所述消息时间戳小于所述处理时间戳,将所述待处理消息数据丢弃;若所述消息时间戳大于或等于所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
具体的,由于时间戳均是由时间戳服务生成的,并且呈递增形式,因此,可以将消息时间戳与所述处理时间戳进行大小比较,若消息时间戳小于处理时间戳,则表示该待处理消息数据在前已被处理过,因此,将其舍弃不做处理,避免了对待处理消息数据的重复处理,从而提高了使用端的处理效率。若所述消息时间戳大于或等于所述处理时间戳,则表示该处理消息数据已被更新,需要再次处理,因此,使用端需要从数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
在一个可选实施例中,所述判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳之后,还包括:
若不存在所述消息时间戳和/或不存在所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
具体的,为避免该待处理消息数据被漏处理,导致业务不可用的情况,在消息时间字段中不存在消息时间戳时,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理,以保证业务的及时处理。
其中,读取接口和写入接口可通过功能组件(例如Netflix Hystrix或AlibabaSentinel等组件),对时间戳服务调用进行降级配置,以保证在时间戳服务不可用的情况下可以正常处理写入和读取请求。具体的,在时间戳服务不可用时,对写入请求降级,即在消息时间字段中不写入消息时间戳,从而保证写入的消息被及时处理。
在处理时间字段中不存在处理时间戳时,表示该待处理数据未被处理过,因此,该待处理消息数据需要被处理,即从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
另外,在消息时间字段中存在消息时间戳并且处理时间字段中包括处理时间戳时,由于二者表示的是同一消息ID的时间戳,因此,可以依据二者的大小关系,确定该待处理消息数据丢弃或消费处理。
在一个可选实施例中,所述对所述待处理消息内容进行消费处理之后,还包括:
将所述消息身份标识号与所述处理时间字段对应存储。
一些实施例中,在对待处理消息内容进行消费处理之后,将消息ID与处理时间字段对应存储,能够在后续处理时,通过消息ID确定处理时间字段,保证数据处理的一致性。
在一个可选实施例中,所述对所述待处理消息内容进行消费处理之后,还包括:
在所述待处理消息内容消费处理完成后,获取更新时间戳,所述更新时间戳是在所述数据平台确定所述待处理消息内容消费处理完成后生成的;将所述更新时间戳更新所述处理时间字段。
一些实施例中,在待处理消息内容消费处理完成后,为便于后续快速确定新写入的待处理消息数据是否为重复消息,利用处理完成后的更新时间戳,更新处理时间字段中的处理时间戳,能够在后续新写入待处理消息后,根据更新时间戳与新写入的待处理消息数据中的消息时间戳进行比较,再基于上述相关实施例,对新写入的待处理消息数据进行舍弃或消费处理。
在一个可选实施例中,所述将所述消息身份标识号与所述处理时间字段对应存储之后,还包括:
判断存储的消息身份标识号的存储参数是否满足预设存储条件;若否,基于所述预设存储条件对存储的消息身份标识号进行清理。
一些实施例中,由于使用端存储空间有限,并且随着缓存的增多,可能会降低处理速度。因此,通过设置预设存储条件,判断使用端存储的消息ID的存储参数是否满足预设存储条件,在其满足预设存储条件时,将消息ID存储在使用端,在其不满足预设存储条件时,对存储的消息ID进行清理,以使存储的消息ID满足该预设存储条件,避免因数据量过大导致内存溢出。
在一个可选实施例中,所述存储参数包括存储数量和存储时长,所述判断存储的消息身份标识号的存储参数是否满足预设存储条件,包括:
判断存储的消息身份标识号的存储数量是否大于预设阈值,和/或,判断存储的消息身份标识号的存储时长是否超过预设时长。
其中,存储参数和预设存储条件可以根据实际情况进行设置。例如,存储参数可以包括存储数量和存储时长,相应的预设存储条件可以设置为存储数据不大于预设阈值,存储时长不超过预设时长。基于此,在判断存储的消息身份标识号的存储参数是否满足预设存储条件时,便可以判断存储的消息身份标识号的存储数量是否大于预设阈值,若大于则确定不满足,需要对消息ID进行清理,若小于则确定满足,直接将其存储至缓存中。或者,也可以判断存储的消息身份标识号的存储时长是否超过预设时长,若大于则确定不满足,需要对消息ID进行清理,若小于则确定满足,直接将其存储至缓存中。
其中,预设阈值可以但不限于为1万条,预设时长可以但不限于为10分钟。
在一个具体实施例中,参见图3,该消息处理方法包括:
第一、使用端接收到消息后,先判断消息时间字段中是否包括消息时间戳,如果不包括,则直接进入处理流程。如此,若时间戳服务短时间内无法提供服务,那么消息中则不带有消息时间戳,可通过没有时间戳的方式进行降级处理,避免因为没有时间戳而导致整个业务不可用。
第二、读取使用端内存缓存中消息ID最后处理的处理时间字段。
第三、判断使用端内存缓存中是否处理时间戳,如果没有,则表示该消息之前未处理过,则本条消息应该被处理,直接执行读取处理和处理流程。如果有处理时间戳,则判断消息中的消息时间戳是否小于缓存中的处理时间戳,如果小于则直接丢弃消息(被过滤掉),如果不小于则执行读取和处理流程。
其中,读取和处理流程包括从消息平台中读取待处理消息内容,便对其进行消费处理。
第四、读取数据并且执行完业务逻辑处理后,将读取接口返回的时间戳和消息ID保存到内存缓存中,用于下一条消息的处理。
基于同一构思,本申请实施例中提供了一种消息处理装置,该装置的具体实施可参见方法实施例部分的描述,重复之处不再赘述,如图4所示,该装置主要包括:
获取模块401,用于在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定模块402,用于确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断模块403,用于判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
处理模块404,用于若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
基于同一构思,本申请实施例中还提供了一种电子设备,如图5所示,该电子设备主要包括:处理器501、存储器502和通信总线503,其中,处理器501和存储器502通过通信总线503完成相互间的通信。其中,存储器502中存储有可被处理器501执行的程序,处理器501执行存储器502中存储的程序,实现如下步骤:
在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
上述电子设备中提到的通信总线503可以时外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。该通信总线503可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器502可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器501的存储装置。
上述的处理器501可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等,还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在计算机上运行时,使得计算机执行上述实施例中所描述的消息处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种消息处理方法,其特征在于,应用于待处理消息数据的使用端,包括:
在监测到数据平台写入所述待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
2.根据权利要求1所述的消息处理方法,其特征在于,所述判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳之后,还包括:
若不存在所述消息时间戳和/或不存在所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
3.根据权利要求1所述的消息处理方法,其特征在于,所述根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理,包括:
若所述消息时间戳小于所述处理时间戳,将所述待处理消息数据丢弃;
若所述消息时间戳大于或等于所述处理时间戳,从所述数据平台获取与所述消息身份标识号对应的待处理消息内容,并对所述待处理消息内容进行消费处理。
4.根据权利要求2或3所述的消息处理方法,其特征在于,所述对所述待处理消息内容进行消费处理之后,还包括:
在所述待处理消息内容消费处理完成后,获取更新时间戳,所述更新时间戳是在所述数据平台确定所述待处理消息内容消费处理完成后生成的;
将所述更新时间戳更新所述处理时间字段。
5.根据权利要求2或3所述的消息处理方法,其特征在于,所述对所述待处理消息内容进行消费处理之后,还包括:
将所述消息身份标识号与所述处理时间字段对应存储。
6.根据权利要求5所述的消息处理方法,其特征在于,所述将所述消息身份标识号与所述处理时间字段对应存储之后,还包括:
判断存储的消息身份标识号的存储参数是否满足预设存储条件;
若否,基于所述预设存储条件对存储的消息身份标识号进行清理。
7.根据权利要求6所述的消息处理方法,其特征在于,所述存储参数包括存储数量和存储时长,所述判断存储的消息身份标识号的存储参数是否满足预设存储条件,包括:
判断存储的消息身份标识号的存储数量是否大于预设阈值,和/或,判断存储的消息身份标识号的存储时长是否超过预设时长。
8.一种消息处理装置,其特征在于,包括:
获取模块,用于在监测到数据平台写入待处理消息数据后,获取所述待处理消息数据中的消息身份标识号和消息时间字段;
确定模块,用于确定所述使用端中与所述消息身份标识号对应的处理时间字段;
判断模块,用于判断消息时间字段中是否存在消息时间戳,以及所述处理时间字段中是否存在处理时间戳;
处理模块,用于若存在所述消息时间戳且存在所述处理时间戳,根据所述消息时间戳与所述处理时间戳的大小关系,对所述待处理消息数据进行丢弃或消费处理。
9.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器中所存储的程序,实现权利要求1-7任一项所述的消息处理方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的消息处理方法。
CN202210400029.3A 2022-04-15 2022-04-15 消息处理方法、装置、电子设备和存储介质 Pending CN114896082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210400029.3A CN114896082A (zh) 2022-04-15 2022-04-15 消息处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210400029.3A CN114896082A (zh) 2022-04-15 2022-04-15 消息处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114896082A true CN114896082A (zh) 2022-08-12

Family

ID=82717736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210400029.3A Pending CN114896082A (zh) 2022-04-15 2022-04-15 消息处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114896082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016265A (zh) * 2022-12-12 2023-04-25 广州文远知行科技有限公司 消息全链路监控方法、装置、系统、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016265A (zh) * 2022-12-12 2023-04-25 广州文远知行科技有限公司 消息全链路监控方法、装置、系统、设备和存储介质
CN116016265B (zh) * 2022-12-12 2024-03-29 广州文远知行科技有限公司 消息全链路监控方法、装置、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108376118B (zh) 服务发布系统、方法、设备及存储介质
CN113067875A (zh) 基于微服务网关动态流控的访问方法和装置以及设备
CN114896082A (zh) 消息处理方法、装置、电子设备和存储介质
CN110069217B (zh) 一种数据存储方法及装置
CN111343267A (zh) 一种配置的管理方法及系统
CN109246234B (zh) 一种镜像文件下载方法、装置、电子设备及存储介质
CN110674153B (zh) 一种数据一致性检测方法、装置及电子设备
CN113010376A (zh) 一种对存储训练数据的云存储系统的监测方法及装置
CN112118352A (zh) 通知触发消息的处理方法和装置
CN111399849A (zh) 一种应用程序安装包的确定方法及系统
CN111949421A (zh) Sdk调用方法、装置、电子设备和计算机可读存储介质
CN109525654B (zh) 一种数据获取、发送方法、装置、客户端及服务器
CN111523844A (zh) 仓储管理方法、装置、服务器及可读存储介质
CN110727895A (zh) 一种敏感词发送方法、装置、电子设备及存储介质
CN108390770B (zh) 一种信息生成方法、装置及服务器
CN110955587A (zh) 一种待更换设备确定方法及装置
CN115580522A (zh) 一种容器云平台运行状态的监控方法及装置
CN110113187B (zh) 一种配置更新方法、装置、配置服务器及配置系统
CN114928603A (zh) 客户端软件的升级方法、装置、电子设备和介质
CN110083509B (zh) 一种日志数据的规整方法及装置
CN109995855B (zh) 一种数据获取方法、装置及终端
CN114491653A (zh) 数据内容防篡改系统、方法及装置
CN111143583A (zh) 一种媒体数据库数据变化监听方法以及监听装置
CN112051985B (zh) 事件触发方法、装置、电子设备及可读存储介质
CN111179097B (zh) 保单批改的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination