CN112527521B - 消息处理方法及设备 - Google Patents

消息处理方法及设备 Download PDF

Info

Publication number
CN112527521B
CN112527521B CN202011400421.5A CN202011400421A CN112527521B CN 112527521 B CN112527521 B CN 112527521B CN 202011400421 A CN202011400421 A CN 202011400421A CN 112527521 B CN112527521 B CN 112527521B
Authority
CN
China
Prior art keywords
message file
target
source
messages
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011400421.5A
Other languages
English (en)
Other versions
CN112527521A (zh
Inventor
张雨
张孟鑫
原林
杨友洪
王然
吴楠
周思远
曲远亮
赵锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011400421.5A priority Critical patent/CN112527521B/zh
Publication of CN112527521A publication Critical patent/CN112527521A/zh
Application granted granted Critical
Publication of CN112527521B publication Critical patent/CN112527521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明实施例提供了一种消息处理方法及设备，所述方法包括从各分布式数据库获取待发送至应用程序的源消息文件；获取目标消息文件，其中，目标消息文件为根据应用程序接收到的源消息文件确定的，将目标消息文件与源消息文件进行去重比对处理，得到去重比对处理结果，根据去重比对处理结果对目标消息文件进行处理，以保持目标消息文件与源消息文件中的消息一致。提高了消息传输及同步的可靠性，进而保证了业务系统的正常运行。

Description

消息处理方法及设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种消息处理方法及设备。
背景技术
实时数据集成工具OGG for java adapter可以帮助企业在传统数据库和云平台、大数据平台之间进行实时复制，且能够实现大量交易数据的实时捕捉、变换和发送，实现源数据与目标数据之间的同步。
为了进一步提升源数据与目标数据之间的同步效率，OGG for java adapter可与Apache Kafka平台进行实时的数据集成，得到OGG-kafka，实现源数据与目标数据之间的实时加载和同步。
然而，在源数据与目标数据之间同步的过程中，单一的OGG-kafka在处理数据时，由于网络不稳定或网络抖动等情况，容易造成消息的丢失，降低了消息传输及同步的可靠性，进而影响了业务系统的后续处理过程。
发明内容
本发明实施例提供一种消息处理方法及设备，以提高消息传输及同步的可靠性，进而保证了业务系统的正常运行。
第一方面，本发明实施例提供一种消息处理方法，包括：从各分布式数据库获取待发送至应用程序的源消息文件；获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的；将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果；根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息一致。
可选的，所述根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息数量一致，包括：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致。
可选的，所述根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息数量一致，包括：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则根据所述去重比对处理结果从所述源消息文件中获取所述目标消息文件中不存在的目标消息；将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。
可选的，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：以trail文件为单位从各分布式数据库获取待发送至应用程序的源消息文件。
可选的，所述应用程序为订阅服务的应用程序，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：从各分布式数据库获取待发送至所述订阅服务的应用程序的源消息文件。
可选的，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：从oracle归档日志中获取待发送至应用程序的源消息文件。
可选的，还包括：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则生成消息不一致提示，并发送至显示终端显示。
第二方面，本发明实施例提供一种消息处理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令使得执行所述计算机程序时实现如下步骤：从各分布式数据库获取待发送至应用程序的源消息文件；
获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的；将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果；根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息一致。
可选的，所述处理器执行所述计算机程序时还实现如下步骤：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的消息处理方法。
本发明实施例提供了一种消息处理方法及设备，采用上述方案后，能在消息传输之前，先从各分布式数据库中获取生成的待发送至应用程序的源消息文件，然后再获取目标消息文件，其中，目标消息文件为根据所述应用程序接收到的源消息文件确定的，在获取到目标消息文件与源消息文件之后，可以将目标消息文件与源消息文件进行去重比对处理，得到去重比对处理结果，再根据去重比对处理结果对目标消息文件进行处理，以保持目标消息文件与源消息文件中的消息一致，避免了在源数据与目标数据之间同步的过程中，由于网络不稳定或网络抖动等情况，容易造成消息的丢失的情况，提高了消息传输及同步的可靠性，进而保证了业务系统的正常运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的消息处理方法的应用系统的架构示意图；
图2为本发明实施例提供的消息处理方法的流程示意图；
图3为本发明实施例提供的监控过程的应用示意图；
图4为本发明实施例提供的消息处理装置的结构示意图；
图5为本发明实施例提供的消息处理设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例还能够包括除了图示或描述的那些实例以外的其他顺序实例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了进一步提升源数据与目标数据之间的同步效率，OGG for java adapter可与Apache Kafka平台进行实时的数据集成，得到OGG-kafka，实现源数据与目标数据之间的实时加载和同步。
然而，在源数据与目标数据之间同步的过程中，单一的OGG-kafka在处理数据时，由于网络不稳定或网络抖动等情况，容易造成消息的丢失，降低了消息传输及同步的可靠性，进而影响了业务系统的后续处理过程。例如，业务系统可以为金融系统、客服处理系统等涉及到消息处理的系统。若消息在传输过程中，有丢失的情况，但业务系统在接收到目标数据之后，并不知道消息有丢失，仍然按接收到的目标消息进行处理，可能造成处理结果不一致的问题。
基于上述问题，本申请提出通过生成一监控应用程序来监控源数据与目标数据之间同步的过程，以保持目标消息文件与源消息文件中消息的一致性，避免了在源数据与目标数据之间同步的过程中，由于网络不稳定或网络抖动等情况，容易造成消息的丢失的情况，提高了消息传输及同步的可靠性，进而达到了保证业务系统的后续处理过程的技术效果。
图1为本发明实施例提供的消息处理方法的应用系统的架构示意图，如图1所示，所述应用系统包括数据库101、应用程序102和监控应用程序103，数据库101用于生成待发送至应用程序102的源消息文件，应用程序接收到的消息可以称为目标消息文件。其中，目标消息文件中的消息可以与源消息文件中的消息一致，也可能由于在消息传输过程中造成的消息丢失，导致目标消息文件中的消息与源消息文件中的消息不一致。监控应用程序103用于监控消息的传输及同步过程，并在消息丢失时，及时对消息进行处理，来保持目标消息文件与源消息文件中消息的一致性。其中，数据库101可以为分布式数据库，也可以为数据库集群。此外，数据库101、应用程序102和监控应用程序103可以部署在一个服务器中，也可以部署在不同的服务器中。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明实施例提供的消息处理方法的流程示意图，如图2所示，本实施例的方法，可以包括：
S201：从各分布式数据库获取待发送至应用程序的源消息文件。
在本实施例中，各分布式数据库在生成消息时，可以通过监控应用程序监控生成的源消息文件。
其中，各分布式数据库可以为oracle数据库，则消息的产生端为oracle归档日志，则所述从各分布式数据库获取待发送至应用程序的源消息文件的一种实现方式可以为：从oracle归档日志中获取待发送至应用程序的源消息文件。
此外，在数据库的产生端，GoldenGate从oracle归档日志中读取数据，并根据读取的数据生成trail文件。OGG for java adapter读取trail文件，将数据发送到kafka。同时，监控应用程序与OGG for java adapter共用一套trail文件，可以根据trail文件号与偏移量，保证了数据来源的唯一性，则所述从各分布式数据库获取待发送至应用程序的源消息文件的一种实现方式可以为：以trail文件为单位从各分布式数据库获取待发送至应用程序的源消息文件。
此外，在消息发送的过程中，为了提高消息发送的效率与准确率，可以只将消息发送至订阅服务后的应用程序，则所述从各分布式数据库获取待发送至应用程序的源消息文件的一种实现方式可以为：从各分布式数据库获取待发送至所述订阅服务的应用程序的源消息文件。
S202：获取目标消息文件，其中，目标消息文件为根据应用程序接收到的源消息文件确定的。
在本实施例中，在获取到源消息文件之后，为了确定消息在传输过程中是否丢失，可以从应用程序接收到的文件中获取目标消息文件。其中，目标消息文件为应用程序接收到的消息。目标消息文件中消息的数量可能与源消息文件中消息的数量一致，也可能与源消息文件中消息的数量不一致，若目标消息文件中消息的数量与源消息文件中消息的数量不一致，则代表消息在传输的过程中，可能有消息丢失。
S203：将目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果。
S204：根据去重比对处理结果对所述目标消息文件进行处理，以保持目标消息文件与源消息文件中的消息一致。
在本实施例中，在确定传输过程中消息是否丢失时，可以采用将目标消息文件与源消息文件进行去重比对处理的方式，得到去重比对处理结果，然后再根据去重比对处理结果对目标消息文件进行处理，以保持目标消息文件与源消息文件中消息的一致性。
此外，在得到去重比对处理结果后，去重比对处理结果可能有两种，一种为消息没有丢失时，去重比对处理结果为源消息文件与目标消息文件中的消息数量一致。另一种为消息丢失时，去重比对处理结果为源消息文件与目标消息文件中的消息数量不一致，根据不同的去重比对处理结果，可以对目标消息文件执行不一样的处理。其中，去重比对处理为现有的处理过程，在此不再详细进行论述。
若去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则可以确定目标消息文件与源消息文件中的消息一致，业务系统可以直接根据目标消息执行后续操作。
若去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则可以根据去重比对处理结果从源消息文件中获取目标消息文件中不存在的目标消息，并将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。处理完成之后，可以发送处理完成提示至业务系统，业务系统可以根据处理完成提示执行后续操作。
采用上述方案后，能在消息传输之前，先从各分布式数据库中获取待发送至应用程序的源消息文件，然后再获取目标消息文件，其中，目标消息文件为根据所述应用程序接收到的源消息文件确定的，在获取到目标消息文件与源消息文件之后，可以将目标消息文件与源消息文件进行去重比对处理，得到去重比对处理结果，再根据去重比对处理结果对目标消息文件进行处理，以保持目标消息文件与源消息文件中的消息一致，避免了在源数据与目标数据之间同步的过程中，由于网络不稳定或网络抖动等情况，容易造成消息的丢失的情况，提高了消息传输及同步的可靠性，进而保证了业务系统的正常运行。
此外，在另一个实施例中，所述方法还可以包括：
若去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则生成消息不一致提示，并发送至显示终端显示。
在本实施例中，可以在去重比对处理结果为消息数量不一致时，生成消息不一致提示，并发送至显示终端显示，可以及时提醒维护人员能发现系统故障，并及时进行维护，保证了业务系统的正常运行。
图3为本发明实施例提供的监控过程的应用示意图，如图3所示，监控应用程序可以根据ogg(Oracle GoldenGate)产生的trail文件(轨迹文件)号与偏移量，确定传输的消息的数量与位置。由于trail文件的滚动机制，当一个文件封口以后，会自增长trail文件号生成下一个trail文件，并且由于kafka消息的顺序性，同一个trail文件产生的kafka消息量是确定的，因此可以以trail文件为单位，通过比较监控应用程序与java UE程序产生的kafka消息量，来确定消息在传输过程中消息数量的准确性。且监控应用程序可以实时监控kafka的消息数量，以trail文件为单位将消息量与java UE进程产生的kafka消息量进行去重对比，通过队列任务，增加消息重发次数，超时告警等各种手段，保障了数据在传输过程中无丢失，并且可以补发消息，提供了实时监控kafka消息数量的接口，以便于可以按时间段进行kafka消息量的查看。保证数据在传输过程中的可靠性。其中，topic代表订阅服务的应用程序。其中，Kafka是一个分布式、支持分区的、多副本的分布式消息系统。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置，图4为本发明实施例提供的消息处理装置的结构示意图，如图4所示，可以包括：
获取模块401，用于从各分布式数据库获取待发送至应用程序的源消息文件。
所述获取模块401，还用于获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的。
处理模块402，用于将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果。
所述处理模块402，还用于根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息一致。
在一个具体实施方式中，所述处理模块，还用于：
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致。
在一个具体实施方式中，所述处理模块，还用于：
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则根据所述去重比对处理结果从所述源消息文件中获取所述目标消息文件中不存在的目标消息。
将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。
在一个具体实施方式中，所述获取模块，还用于：
以trail文件为单位从各分布式数据库获取待发送至应用程序的源消息文件。
在一个具体实施方式中，所述应用程序为订阅服务的应用程序，所述获取模块，还用于：从各分布式数据库获取待发送至所述订阅服务的应用程序的源消息文件。
在一个具体实施方式中，所述获取模块，还用于：
从oracle归档日志中获取待发送至应用程序的源消息文件。
在一个具体实施方式中，所述处理模块，还用于：
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则生成消息不一致提示，并发送至显示终端显示。
本发明实施例提供的装置，可以实现上述如图2所示的实施例的方法，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例提供的消息处理设备的硬件结构示意图，如图5所示，本实施例提供的设备500包括：至少一个处理器501和存储器502。其中，处理器501、存储器502通过总线503连接。
在具体实现过程中，至少一个处理器501执行所述存储器502存储的计算机执行指令，使得至少一个处理器501执行所述存储器存储的计算机执行指令，使得执行所述计算机程序时实现如下步骤：从各分布式数据库获取待发送至应用程序的源消息文件。获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的。将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果。根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息一致。
此外，所述处理器执行所述计算机程序时还实现如下步骤：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致。
此外，所述根据所述去重比对处理结果对所述目标消息文件进行处理，以保持所述目标消息文件与所述源消息文件中的消息数量一致，包括：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则根据所述去重比对处理结果从所述源消息文件中获取所述目标消息文件中不存在的目标消息。将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。
此外，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：以trail文件为单位从各分布式数据库获取待发送至应用程序的源消息文件。
此外，所述应用程序为订阅服务的应用程序，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：从各分布式数据库获取待发送至所述订阅服务的应用程序的源消息文件。
此外，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：从oracle归档日志中获取待发送至应用程序的源消息文件。
此外，还包括：若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则生成消息不一致提示，并发送至显示终端显示。
处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的消息处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种消息处理方法，其特征在于，包括：
从各分布式数据库获取待发送至应用程序的源消息文件；
获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的；
将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果；
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致；
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则根据所述去重比对处理结果从所述源消息文件中获取所述目标消息文件中不存在的目标消息；
将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。
2.根据权利要求1所述的方法，其特征在于，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：
以trail文件为单位从各分布式数据库获取待发送至应用程序的源消息文件。
3.根据权利要求1所述的方法，其特征在于，所述应用程序为订阅服务的应用程序，
所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：
从各分布式数据库获取待发送至所述订阅服务的应用程序的源消息文件。
4.根据权利要求1所述的方法，其特征在于，所述从各分布式数据库获取待发送至应用程序的源消息文件，包括：
从oracle归档日志中获取待发送至应用程序的源消息文件。
5.根据权利要求1所述的方法，其特征在于，还包括：
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则生成消息不一致提示，并发送至显示终端显示。
6.一种消息处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得执行所述计算机执行指令时实现如下步骤：
从各分布式数据库获取待发送至应用程序的源消息文件；
获取目标消息文件，其中，所述目标消息文件为根据所述应用程序接收到的源消息文件确定的；
将所述目标消息文件与所述源消息文件进行去重比对处理，得到去重比对处理结果；
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量一致，则确定所述目标消息文件与所述源消息文件中的消息一致；
若所述去重比对处理结果为所述源消息文件与所述目标消息文件中的消息数量不一致，则根据所述去重比对处理结果从所述源消息文件中获取所述目标消息文件中不存在的目标消息；
将所述目标消息存储至所述目标消息文件中，以保持所述目标消息文件与所述源消息文件中的消息数量一致。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的消息处理方法。
CN202011400421.5A 2020-12-03 2020-12-03 消息处理方法及设备 Active CN112527521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400421.5A CN112527521B (zh) 2020-12-03 2020-12-03 消息处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400421.5A CN112527521B (zh) 2020-12-03 2020-12-03 消息处理方法及设备

Publications (2)

Publication Number Publication Date
CN112527521A CN112527521A (zh) 2021-03-19
CN112527521B true CN112527521B (zh) 2023-07-04

Family

ID=74997439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400421.5A Active CN112527521B (zh) 2020-12-03 2020-12-03 消息处理方法及设备

Country Status (1)

Country Link
CN (1) CN112527521B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072359A (ja) * 2006-09-13 2008-03-27 Docomo Technology Inc メッセージ比較判定装置、メッセージ比較判定方法およびメッセージ比較判定プログラム
CN102473127A (zh) * 2009-07-16 2012-05-23 国际商业机器公司 在包含源和目标的分布式环境中进行重复数据删除的集成方法
CN103761162A (zh) * 2014-01-11 2014-04-30 深圳清华大学研究院 分布式文件系统的数据备份方法
CN104462568A (zh) * 2014-12-26 2015-03-25 山东中创软件商用中间件股份有限公司 一种数据对账方法、装置和系统
CN107046811A (zh) * 2015-12-03 2017-08-15 华为技术有限公司 一种源存储设备发送源文件和源文件的克隆文件至备份存储设备的方法、源存储设备以及备份存储设备
CN107426300A (zh) * 2017-06-16 2017-12-01 深圳市盛路物联通讯技术有限公司 订阅数据的发送、接收方法、装置及系统
CN111464621A (zh) * 2020-03-30 2020-07-28 四川新网银行股份有限公司 分布式系统异步通信中消息发送与接收的数量检测方法
CN111639138A (zh) * 2020-06-03 2020-09-08 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072359A (ja) * 2006-09-13 2008-03-27 Docomo Technology Inc メッセージ比較判定装置、メッセージ比較判定方法およびメッセージ比較判定プログラム
CN102473127A (zh) * 2009-07-16 2012-05-23 国际商业机器公司 在包含源和目标的分布式环境中进行重复数据删除的集成方法
CN103761162A (zh) * 2014-01-11 2014-04-30 深圳清华大学研究院 分布式文件系统的数据备份方法
CN104462568A (zh) * 2014-12-26 2015-03-25 山东中创软件商用中间件股份有限公司 一种数据对账方法、装置和系统
CN107046811A (zh) * 2015-12-03 2017-08-15 华为技术有限公司 一种源存储设备发送源文件和源文件的克隆文件至备份存储设备的方法、源存储设备以及备份存储设备
CN107426300A (zh) * 2017-06-16 2017-12-01 深圳市盛路物联通讯技术有限公司 订阅数据的发送、接收方法、装置及系统
CN111464621A (zh) * 2020-03-30 2020-07-28 四川新网银行股份有限公司 分布式系统异步通信中消息发送与接收的数量检测方法
CN111639138A (zh) * 2020-06-03 2020-09-08 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LightFlood: an Efficient Flooding Scheme for File Search in Unstructured Peer-to-Peer Systems;S. Jiang 等;《2003 International Conference on Parallel Processing, 2003. Proceedings》;第1-9页 *
基于合并控制消息的分布式文件系统优化机制;刘扬宽 等;《小型微型计算机系统》;第1317-1320页 *

Also Published As

Publication number Publication date
CN112527521A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110321387B (zh) 数据同步方法、设备及终端设备
WO2017096968A1 (zh) 日志上传方法及装置
US10812314B2 (en) Methods and apparatuses for pushing a message
US10296409B2 (en) Forecasting workload transaction response time
CN106815254B (zh) 一种数据处理方法和装置
US9800455B1 (en) Log monitoring system
CN110806960B (zh) 信息处理方法、装置及终端设备
CN111835467A (zh) 消息发送方法、装置、计算机设备和存储介质
US10613922B2 (en) Synchronously generating diagnostic data
CN111092865A (zh) 一种安全事件分析方法及系统
CN108418859B (zh) 写数据的方法和装置
CN111400294B (zh) 数据异常监测方法、装置及系统
CN110910249B (zh) 一种数据处理方法、装置、节点设备及存储介质
US9031969B2 (en) Guaranteed in-flight SQL insert operation support during an RAC database failover
CN112527521B (zh) 消息处理方法及设备
CN111049913B (zh) 数据文件的传输方法及装置、存储介质、电子设备
CN108390770B (zh) 一种信息生成方法、装置及服务器
CN110597794A (zh) 数据处理方法、装置和电子设备
CN112131180B (zh) 数据上报方法、装置以及存储介质
CN112650613B (zh) 一种错误信息处理方法、装置、电子设备及存储介质
CN114996057A (zh) 数据备份方法及装置、电子设备和计算机可读存储介质
CN110362464B (zh) 软件分析方法及设备
CN110489208B (zh) 虚拟机配置参数核查方法、系统、计算机设备和存储介质
CN113850664A (zh) 一种数据异常检测方法及数据上报服务
CN115695587A (zh) 一种业务数据处理系统、方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant