CN111416823A

CN111416823A - 一种数据传输方法和装置

Info

Publication number: CN111416823A
Application number: CN202010206687.XA
Authority: CN
Inventors: 周广一; 白硕
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-14

Abstract

本申请实施例公开了一种数据传输方法和装置。所述方法包括：当接收到新的消息时，获取所述新的消息的标识信息；将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息；如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息。

Description

一种数据传输方法和装置

技术领域

本申请实施例涉及信息处理领域，尤指一种数据传输方法和装置。

背景技术

随着社的高速发展，人们之间的信息交流越来越方便，因此催生出大量的互联网应用项目。随着应用向项目的不断增多，不同的消息需要在不同系统应用中传递和切换，从而确保服务可以得到正常的使用。

相关技术中，不同系统之间通信可以利用RPC(Remote Procedure CallProtocol，远程过程调用协议)来实现。由于RPC采用的是同步处理技术，在性能、健壮性、可扩展性上都存在着诸多缺点。针对RPC存在的缺点，相关技术中又提出基于消息的异步处理模型采用非阻塞的调用特性，发送者将消息发送给消息服务器，消息服务器在合适的时候再将消息转发给接收者。由于发送和接收过程都是异步的，发送者无需等待，二者的生命周期也不必相同，这样大大提高了程序的性能、可扩展性以及异步性。

由于消息队列异步处理系统消息在性能上、可扩展性上有着巨大的优势，该种方式被越来越多的使用。生产者生产消息，消费者消费处理信息，消息队列在中间起到暂存消息以及实时的传递消息给消费者。如果暂时没有消费者，那么消息队列可以先暂时存储消息，待有新的消费者出现时再将未发送的消息进行传递。但由于整个网络的不确定性以及客观现实环境的不确定，会造成数据丢失。所以实现方式是根据消息链下一环是否有回应来判断是否要需要重复发送数据来解决数据丢失问题。

如果生产者发送了一个消息数据，消息队列接收到了这个消息，并且给生产者进行了回应，那么生产者得到了回应，确认消息数据已经成功送达，然后发送下一个消息数据。如果没等到消息队列的回复的消息，并且超过了默认等待时间，那么它就认为此消息数据在网络传输过程中已丢失，再重复发送一次，直到可以得到消息队列回复的确认消息。

在实际应用中，在利用异步处理模型进行数据传输时，传输过程中会出现大量重复数据。

发明内容

为了解决上述任一技术问题，本申请实施例提供了一种数据传输方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种数据传输方法，包括：

当接收到新的消息时，获取所述新的消息的标识信息；

将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息；

如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息。

一种数据传输装置，包括：

获取模块，用于当接收到新的消息时，获取所述新的消息的标识信息；

比较模块，用于将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息；

保存模块，用于如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。

一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

当接收到新的消息时，获取所述新的消息的标识信息，将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息，如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息；通过消息的标识信息检测该消息是否已经接收过，来避免重复数据的接收，提高数据接收的效率。

本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。

图1为本申请实施例提供的数据传输方法的流程图；

图2为本申请实施例提供的数据传输装置的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。

在实现本申请过程中，发明人对相关技术进行了技术分析，发现相关技术至少存在如下问题，包括：

数据传输所使用的消息队列是消息传输过程中保存消息的容器，主要目的是提供路由并保证消息的传递，如果发送消息时接收者不可用，消息队列会保留信息，直到可以成功的传递它。

数据在数据链的网络传输过程是由生产者产生数据消息，借助消息队列服务器短暂存储消息(如未消费的数据)，由消费者从消息队列服务器获取还没有被消费的数据，经过业务逻辑的处理后存到数据仓库中。

在整条生产链中，生产者到消息队列服务器，消息队列服务器到消费者中间都是由网络进行连接。由于网络延迟和网络不稳定、网络堵塞等突发情况就会造成数据在传输过程中发生丢失。为保证数据能够准确的到达相应的目的地，通常采取回应的方式。即生产者在发送数据后，会收到另外一端的回复，明确给出已收到数据的确认消息。此时生产者才会发送下一条数据。如果生产者迟迟没有收到回复，或者超出了生产者默认的等待时间。那么生产者就会认为此次发送的数据包已经丢失，然后重新会发送一份，直至收到另外一段的确认消息。

虽然经过上述步骤可以保证数据包在整个传输过程中不会存在丢失包的情况，但也会引来另外一个问题，就是数据重复问题。大量重复的数据会造成系统数据库的紊乱。

图1为本申请实施例提供的数据传输方法的流程图。如图1所示，图1所示方法包括：

步骤101、当接收到新的消息时，获取所述新的消息的标识信息；

在一个示例性实施例中，所述新的消息的标识信息可以与消息的内容一起发送过来，便于对该消息及时处理。

在一个示例性实施例中，该新的消息是生产者发送的。

在一个示例性实施例中，该标识信息可以根据消息的内容、文字长度和生成时间中的至少一个来生成，或者，利用预先设置的生成策略，对得到的信息进行计算，生成对应的标识信息。

步骤102、将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息；

在一个示例性实施例中，与相关技术中消息的接收流程不同，在得到消息后，会将接收的新的消息的标识信息与已接收的消息的标识进行比较，来判断接收的新的消息是否已经接收过，避免再次接收造成数据重复的问题。

步骤103、如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息。

在一个示例性实施例中，由于所述新的消息的标识信息不在所述标识列表中，表示该新的消息还没有接收过，则执行保存操作。

本申请实施例提供的方法，当接收到新的消息时，获取所述新的消息的标识信息，将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息，如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息；通过消息的标识信息检测该消息是否已经接收过，来避免重复数据的接收，提高数据接收的效率。

下面对本申请实施例提供的方法进行说明：

在一个示例性实施例中，所述将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果之后，所述方法还包括：

如果所述比较结果为所述新的消息的标识信息在所述标识列表中，则删除所述新的消息，并发送所述新的消息接收成功的通知信息。

在消费者完成消息存储后，消费者会给生产者回复确认消息，如果确认消息的传输过程中由于网络问题出现网络延迟或者网络掉线等问题，会造成生产者没有及时收到确认消息或者超过了默认等待时间未收该确认消息。生产者会得出消息数据丢失的信息，因此会重新发送一份到消息队列。

消息队列通过消息的标识信息的判断机制，对消息队列每次接收到消息后先进行判断是否已经存储，包括：获取每一份消息都会去数据库事务表进行标识信息的查询，如果已经存在了，放弃此次消息存储，返回给生产者确认消息。如果不存在，一方面在事务表中进行此次消息的标识信息的存储，另一方面进行消息数据在磁盘的存储。

由于所述新的消息的标识信息在所述标识列表中，表示该新的消息已经接收过，则执行删除操作，减少本地对重复数据的保存，优化数据存储操作。

通过在消息队列中对标识信息的比对，可以减少消息队列中重复数据的存储，优化消息队列中数据的存储操作。

通过通知该新消息已经成功，避免生产者因未收到确认消息而再次执行重发操作，优化数据的传输操作。

在一个示例性实施例中，所述保存所述新的消息之后，所述方法还包括：

在所述标识列表中增加所述新的消息的标识信息，并发送所述新的消息接收成功的通知信息。

在接收到一个消息后，一方面将这个消息存储到磁盘上，避免数据丢失；另一方面，在数据库事务表中存储另一份能标识这份消息数据唯一属性的标识信息，为后续重复接收的判断提供判断依据。当两者都存储完成后，再给生产者发送反馈信息，使得生产者确认消息存储无误后就发送下一份数据。

在一个示例性实施例中，所述消息存储在消息队列中，其中至少两个计算机均存储所述消息队列；其中所述至少两个计算机中的一台为主用计算机，其他的计算机为备用计算机，所述主用计算机和所述备用计算机互为主备；

其中，所述主用计算机从用于接收消息数据的缓存中获取接收到的消息，所述备用计算机在检测到所述主用计算机接收到新的消息后，从所述主用计算机获取消息的数据。

消息队列用于暂存消息数据的，接收的数据一般存储在缓存中，经过一段时间后自动将数据刷新到本地磁盘进行存储。如果服务器发生突然断电，会造成数据为未缓存完成的情况，针对上述情况，可以采取集群的管理模式，即消息队列服务器由至少两台计算机组成，其中有一台是主机，其他的都是从机。主机完好时，对外提供服务，接收消息数据并处理。从机即刻从主机上直接备份数据。假如主机断电了，那么从机立刻选出一台主机对外提供服务，针对已经丢失的数据从备份文件中进行获取。

另外，可以设置从缓存中刷新数据到本地磁盘的时间和/或频率，并按照刷新的时间和/或频率，从缓存中读取数据到主机，从机再从该主机读取该数据，防止数据丢失，保证数据的完整。

针对消息在网络传输过程链中的不确定，从源头到尾部都进行有效性的保障。针对生产者生产的消息数据由于网络问题无法到到达消息队列中，采取响应确认消息的形式，即生产者在收到消息队列回复的消息再进行发送下一条数据。同理，消息队列采取响应确认消息的形式进行消息的传输。

发送所述新的消息；

如果接收到所述新的消息的确认收到的指示信息后，再发送下一条消息。

通过收到消费者的消息再进行发送下一条消息，可以有效保障数据传输的完整性，提高传输效率。

下面对本申请实施例提供的方法进行说明：

针对数据重复问题，可以采取“幂等”的操作逻辑，即在内存中创建一个保存数据唯一标识信息的数据库。针对每份传输的数据包都给一个唯一的标识信息，作为消息的标识信息。生产者发送数据包，消息队列服务器接收到数据后，先到内存数据库中根据数据包的唯一标识信息进行查询，看是否存在。如已经存在，直接放弃这份数据的存储。如不存在，先将数据包的唯一标识信息存储到内存数据库中，然后将数据包内的数据存储到硬盘服务器上，接着回复给生产者确认收到信息，最后生产者发送下一份数据，如此循环往复，直至结束。

针对消息在网络传输过程链中的不确定，从源头到尾部都进行有效性的保障。针对生产者生产的消息数据由于网络问题无法到到达消息队列中，采取响应确认消息的形式，即收到消息队列回复的消息再进行发送下一条数据。如果发送消息重复，采取幂等操作逻辑方式，引入消息数据唯一标识信息事务表方式，消息队列每次接收到消息后先进行判断是否已经存储。

另外，针对消息队列中的消息如果由于断电、卡顿等造成数据丢失问题采取集群部署方式，即主从复制模式。接收到数据后在本台机器存储后，复制一份到另一台机器，这样就确保数据存储到硬盘的过程中保证数据不丢失。

图2为本申请实施例提供的一种数据传输装置的结构图。如图2所示，图2所示装置包括：

在一个示例性实施例中，所述装置还包括：

第一处理模块，用于如果所述比较结果为所述新的消息的标识信息在所述标识列表中，则删除所述新的消息，并发送所述新的消息接收成功的通知信息。

所述装置还包括：

第二处理模块，用于在保存所述新的消息之后，在所述标识列表中增加所述新的消息的标识信息，并发送所述新的消息接收成功的通知信息。

在一个示例性实施例中，所述装置还包括：

发送模块，用于在所述保存所述新的消息之后，发送所述新的消息；如果接收到所述新的消息的确认收到的指示信息后，再发送下一条消息。

本申请实施例提供的装置，当接收到新的消息时，获取所述新的消息的标识信息，将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果，其中所述标识列表中记录有已接收的消息的标识信息，如果所述比较结果为所述新的消息的标识信息不在所述标识列表中，则保存所述新的消息；通过消息的标识信息检测该消息是否已经接收过，来避免重复数据的接收，提高数据接收的效率。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文任一所述的方法。

一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执上文任一所述的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims

1.一种数据传输方法，包括：

当接收到新的消息时，获取所述新的消息的标识信息；

2.根据权利要求1所述的方法，其特征在于，所述将所述新的消息的标识信息与预先记录的标识列表进行比较，得到比较结果之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述保存所述新的消息之后，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述保存所述新的消息之后，所述方法还包括：

发送所述新的消息；

5.根据权利要求1至4任一所述的方法，其特征在于：

所述消息存储在消息队列中，其中至少两个计算机均存储所述消息队列；其中所述至少两个计算机中的一台为主用计算机，其他的计算机为备用计算机，所述主用计算机和所述备用计算机互为主备；

6.一种数据传输装置，包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。