CN111460028A

CN111460028A - 数据传输方法、数据传输装置、存储介质和电子设备

Info

Publication number: CN111460028A
Application number: CN202010158239.7A
Authority: CN
Inventors: 马天亮
Original assignee: Lazas Network Technology Shanghai Co Ltd
Current assignee: Lazas Network Technology Shanghai Co Ltd
Priority date: 2020-03-09
Filing date: 2020-03-09
Publication date: 2020-07-28

Abstract

本发明实施例公开了一种数据传输方法、数据传输装置、存储介质和电子设备。本发明实施例的第一服务器接收到客户端发送的数据传输命令后，对数据传输命令进行处理，并将处理后的数据传输命令发送至第二服务器。第二服务器接收到处理后的数据传输命令后，对其进行解析，获取数据传输命令对应的目标数据集合对应的全局自增识别码，并确定及发送自身的点位信息。第一服务器接收到点位信息后，在目标数据集合中确定待传输数据集合，并向第二服务器传输待传输数据集合，使得第二服务器能够接收并存储待传输数据集合。识别码在用于确定数据时具有较高的准确性，这使得第一服务器在数据传输时，只需传输未传输过的数据，降低了服务器的运行成本和数据的传输时间。

Description

数据传输方法、数据传输装置、存储介质和电子设备

技术领域

本发明涉及计算机技术领域，具体涉及一种数据传输方法、数据传输装置、存储介质和电子设备。

背景技术

随着计算机技术的高速发展，数据的规模及数据访问量也在不断增长。大量的数据通常被存储在数据库中。用户需要对数据库中的数据进行处理时，需要通过服务器向关联数据库发送数据处理命令，同时服务器会对被处理的数据进行缓存。数据库管理系统中的任一台服务器在将缓存在内存中的数据向其他服务器进行传输(例如主从同步)时，通过现有的数据传输方法，若在数据传输的过程中产生了中断，则需要将全部待传输数据集合进行再次传输。在待传输数据集合的数量较大时，现有的方式提升了服务器的运行成本以及数据的传输时间。

发明内容

有鉴于此,本发明实施例的目的在于提供一种数据传输方法、数据传输装置、存储介质和电子设备，以降低服务器的运行成本以及数据的传输时间。

第一方面，本发明实施例提供了一种数据传输方法，所述方法包括：

接收第一命令，将所述第一命令对应的数据集合确定为目标数据集合，所述第一命令用于指示进行数据传输；

根据所述目标数据集合确定第二命令，所述第二命令包括用于记录目标节点的点位信息的码字；

发送所述第二命令；

接收至少一个所述目标节点的所述点位信息，所述点位信息用于表征在第一时刻所述目标节点中已存储数据集合对应的最新识别码；

根据所述点位信息在所述目标数据集合中确定待传输数据集合；

向所述目标节点传输所述待传输数据集合。

优选地，所述根据所述目标数据集合确定第二命令包括：

生成所述目标数据集合对应的全局自增识别码；

根据所述全局自增识别码对所述第一命令进行封装，以确定所述第二命令。

第二方面，本发明实施例提供了一种数据传输方法，所述方法包括：

接收第二命令，所述第二命令用于指示进行数据传输；

对所述第二命令进行解析，获取目标数据集合对应的全局自增识别码，所述目标数据集合为所述第二命令对应的数据集合；

确定并发送点位信息，以用于确定待传输数据集合，所述点位信息用于表征在第一时刻已存储数据集合对应的最新识别码；

接收所述待传输数据集合以进行存储。

优选地，所述确定并发送点位信息包括：

响应于针对所述目标数据集合的传输中断，确定并发送所述点位信息。

第三方面，本发明实施例提供了一种数据传输方法，所述方法包括：

发送所述第二命令；

接收第二命令；

对所述第二命令进行解析，获取所述目标数据集合对应的全局自增识别码；

确定并发送所述点位信息；

向所述目标节点传输所述待传输数据集合；

接收所述待传输数据集合以进行存储。

第四方面，本发明实施例提供了一种数据传输装置，所述装置包括：

第一接收单元，用于接收第一命令，将所述第一命令对应的数据集合确定为目标数据集合，所述第一命令用于指示进行数据传输；

命令确定单元，用于根据所述目标数据集合确定第二命令，所述第二命令包括用于记录目标节点的点位信息的码字；

第一发送单元，用于发送所述第二命令；

第二接收单元，用于接收至少一个所述目标节点的所述点位信息，所述点位信息用于表征在第一时刻所述目标节点中已存储数据集合对应的最新识别码；

第一确定单元，用于根据所述点位信息在所述目标数据集合中确定待传输数据集合；

传输单元，用于向所述目标节点传输所述待传输数据集合。

第五方面，本发明实施例提供了一种数据传输装置，所述装置包括：

第三接收单元，用于接收第二命令，所述第二命令用于指示进行数据传输；

解析单元，用于对所述第二命令进行解析，获取目标数据集合对应的全局自增识别码，所述目标数据集合为所述第二命令对应的数据集合；

第二发送单元，用于确定并发送点位信息，以用于确定待传输数据集合，所述点位信息用于表征在第一时刻已存储数据集合对应的最新识别码；

第四接收单元，用于接收所述待传输数据集合以进行存储。

优选地，所述第二发送单元用于响应于针对所述目标数据集合的传输中断，确定并发送所述点位信息。

第六方面，本发明实施例提供了一种数据传输系统，所述系统包括：

第一服务器，用于接收第一命令，将所述第一命令对应的数据集合确定为目标数据集合，所述第一命令用于指示进行数据传输，根据所述目标数据集合确定第二命令，所述第二命令包括用于记录目标节点的点位信息的码字，发送所述第二命令，接收至少一个所述目标节点的所述点位信息，所述点位信息用于表征在第一时刻所述目标节点中已存储数据集合对应的最新识别码，根据所述点位信息在所述目标数据集合中确定待传输数据集合，并向所述目标节点传输所述待传输数据集合；

第二服务器，用于接收第二命令，对所述第二命令进行解析，获取目标数据集合对应的全局自增识别码；确定并发送所述点位信息，所述点位信息用于表征在第一时刻已存储数据集合对应的最新识别码，并接收所述待传输数据集合以进行存储。

第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面、第二方面和第三方面中任一项所述的方法。

第八方面，本发明实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面、第二方面和第三方面中任一项所述的方法。

本发明实施例的第一服务器接收到客户端发送的用于指示进行数据传输的第一命令后，根据第一命令对应的目标数据集合确定第二命令，并将第二命令发送至第二服务器。第二服务器接收到第二命令后，对其进行解析，获取目标数据集合对应的全局自增识别码，并确定及发送自身的点位信息。第一服务器接收到点位信息后，在目标数据集合中确定待传输数据集合，并向第二服务器传输待传输数据集合，使得第二服务器能够接收并存储待传输数据集合。识别码在用于确定数据时具有较高的准确性，这使得第一服务器在数据传输时，只需传输未传输过的数据，降低了服务器的运行成本和数据的传输时间。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的硬件系统架构的示意图；

图2是本发明第一实施例的数据传输方法的流程图；

图3是本发明第二实施例的数据传输方法的流程图；

图4是本发明第三实施例的数据传输方法的流程图；

图5是本发明第四实施例的数据传输装置的示意图；

图6是本发明第五实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明公开进行描述，但是本发明公开并不仅仅限于这些实施例。在下文对本发明公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明公开。为了避免混淆本发明公开的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个申请文件中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

随着数据规模的不断增长，数据访问量也在飞速增长，因此数据库访问系统通常配备多台服务器以接收用户的数据处理请求，并对数据库中存储的数据进行处理和缓存。不同的服务器接收不同用户的数据处理请求，或者部分服务器用于执行“读”的功能，部分服务器用于执行“写”的功能，因此缓存在不同服务器内存中的被处理数据也不同。因此对于数据库访问系统而言，需要对不同服务器中缓存的数据进行传输，以降低不同服务器中缓存的被处理数据之间的差异。可选地，服务器之间可以定期进行主从同步。

服务器作为服务端在接收到用户(例如运维人员)通过客户端发送的数据传输命令后，将自身缓存的至少部分被处理数据(也即，待传输数据集合)向其他服务器进行传输时，通过现有的数据传输方法，若待传输数据集合在传输过程中产生了中断，例如网络连接中断、TCP(Transmission Control Protocol，传输控制协议)连接超时，则需要将全部待传输数据集合进行再次传输。在待传输数据集合的数量较大时，现有的方式提升了服务器的运行成本，同时使得数据传输的效率较低。

在本实施例中，以数据传输命令为Redis命令、数据库为Redis数据库为例进行说明，但是本领域技术人员容易理解，在数据库为其他key-value(主键-值)类型的数据库(如Level DB)、数据传输命令为其他key-value类型的数据库可以使用的命令(例如Level DB，MongoDB)时，本实施例的方法同样适用。

Redis是一种高性能的key-value存储系统，具有key-value存储系统兼具的查询速度快、存放数据量大的特点，并支持高并发(也即，同时并行处理多个请求)，因此得到了广泛应用。Redis集群可以作为key-value型的数据库访问系统，其中包括Redis以及多个服务器。客户端在与Redis集群进行连接时只需要连接集群中的任一节点即可，集群内部的节点是相互通信的，这使得Redis集群能够同时处理大量的请求。

图1是本发明实施例的硬件系统架构的示意图。图1所示的系统架构包括多个服务器和至少一个终端，图1以一个第一服务器11、一个第二服务器12和一个终端13为例进行说明，其中第一服务器11作为主服务器，第二服务器12作为从服务器。容易理解，在图1所示的系统架构中，任一台服务器均可以作为主服务器，也可以作为从服务器，本实施例不做限定，终端13安装有提供数据库访问服务的预定客服端，各服务器均可以看作是系统架构中的一个节点。第一服务器11、第二服务器12和终端13可以通过网络进行通信连接。在本发明实施例中，终端13用于通过预定客户端向第一服务器11发送数据传输命令。第一服务器11在接收到数据传输命令后，确定数据传输命令的目标数据集合，生成目标数据集合对应的全局自增识别码，并根据全局自增识别码对数据传输命令进行处理，从而将处理后的数据传输命令发送至第二服务器12。从服务器12将自身的点位信息发送至第一服务器11，使得第一服务器11根据第二服务器12发送的点位信息确定待传输数据集合，从而对待传输数据集合进行传输。

图2是本发明第一实施例的数据传输方法的流程图。本实施例的方法适用于第一服务器与第二服务器交互。如图2所示，本实施例的方法包括如下步骤：

步骤S100，接收第一命令，将第一命令对应的数据集合确定为目标数据集合。

在本实施例中，第一命令用于指示进行数据传输，例如主从复制(同步)命令；目标数据集合缓存在主服务器的内存中。具体地，用户可以根据实际需求通过预定客户端发送第一命令，或者预先设置第一命令的发送周期，使得预定客户端可以以预定周期发送第一命令，从而使得服务器(也即，源节点)可以接收到第一命令。接收到第一命令的服务器即为第一服务器。同时，第一服务器可以在内存中将第一命令对应的数据集合确定为目标数据集合。

步骤S200，根据目标数据集合确定第二命令。

在本实施例中，第二命令包括用于记录目标节点(也即，第二服务器)的点位信息的码字。

在一种可选的实现方式中，第一服务器可以生成目标数据集合对应的全局自增识别码，并根据全局自增识别码对第一命令进行封装。全局自增识别码也即全局唯一ID，与人的指纹相似，具有全局唯一性，即使存储在不同数据库(或缓存在不同服务器)中的数据也不会具有相同的识别码，这使得第一服务器可以根据全局自增识别码避免数据重复传输的情况。同时，全局自增识别码还具有自增性，只要预先设置好自增id的初始值及所需要的参数，第一服务器就能够生成目标数据集合中各目标数据对应的全局自增识别码。在本实施例中，各目标数据均可以为第一服务器与第二服务器在不同时刻进行数据传输时对应的目标数据集合。

可选地，全局自增识别码可以为UUID(Universally Unique Identifier，通用唯一识别码)。UUID是一种软件建构的标准，其目的在于让分布式系统中的所有元素都具有唯一的辨识信息，而不需要通过中央控制端对辨识信息进行指定。由此，在数据库创建和更新时，无需考虑数据名称重复的问题。UUID具有多个版本，包括基于时间的UUID、DCE(Distributed Computing Environment，分布式计算环境)安全的UUID、基于名称的UUID(MD5)、随机UUID等。其中，基于时间的UUID可以通过计算当前时间戳、随机数和机器MAC地址得到。DCE安全的UUID与基于时间的UUID类似，仅将时间戳的前四位替换为POSIX的UID或GID。基于名称的UUID(MD5)可以通过计算名称和宁城空间的MD5散列值得到。随机UUID可以根据随机数或者伪随机数生成。

容易理解，在本实施例中，全局自增识别码还可以为其他类型的识别码，本实施例不做限定。

在获取目标数据集合对应的全局自增识别码后，第一服务器可以根据全局自增识别码对第一命令进行封装，从而将封装后的第一命令确定为第二命令。具体地，可以个第一命令与目标数据集合的全局自增识别码一同封装，从而确定第二命令。

步骤S300，发送第二命令。

具体地，第一服务器可以根据第二命令将数据库管理系统中的任意关联的服务器确定为第二服务器，并向第二服务器发送第二命令以进行数据传输。

步骤S400，接收第二命令。

具体地，第二命令对应的第二服务器可以接收到第一服务器发送的第二命令。

步骤S500，对第二命令进行解析，获取目标数据集合对应的全局自增识别码。

目标数据集合对应的全局自增识别码可以用于确定目标数据集合对应的UUID，因此第二服务器可以对第二命令进行解析，获取目标数据集合对应的全局自增识别码。

步骤S600，确定并发送点位信息。

在本实施例中，点位信息用于表征在第一时刻目标节点中以存储数据对应的最新识别码。其中，第一时刻可以根据第二命令的发送时间，第二服务器在接收到第二命令时的时间戳，第二服务器在前一次与第一服务器进行数据传输时传输完毕的时间戳，或者第二服务器在本次与第一服务器进行数据传输时传输中断的时间戳等确定，最新识别码可以为截止至第一时刻最新存储的数据对应的UUID。在本实施例中，第二服务器在每次对第一服务器传输的目标数据存储完毕后，可以记录目标数据集合对应的UUID，并将最新记录的UUID确定为自身的点位信息，从而将点位信息发送至第一服务器。也就是说，在目标数据集合传输完毕前，第二服务器的点位信息均为前一次数据传输完毕时记录的UUID(也即，lastUUID)。

容易理解，在数据传输的过程中，若由于网络连接中断、TCP连接超时等原因导致数据传输中断，第二服务器不记录目标数据集合的UUID，并将前一次数据传输完毕时记录的UUID作为自身的点位信息发送至第一服务器，以使得第一服务器可以接收到第二服务器在数据传输中断时的点位信息，以继续进行数据传输过程。

例如，第二服务器接收到第二命令的时间戳为2019年10月15日上午10:00(精确到分钟)，则第一时刻可以为2019年10月15日上午10:00，第二服务器在第一时刻最新存储的已存储数据集合对应的UUID为00000123-0311-7400-0330-000000026768，则第二服务器对应的点位信息可以为00000123-0311-7400-0330-000000026768。

步骤S700，接收至少一个目标节点的点位信息。

具体地，第一服务器可以接收到至少一个目标节点的点位信息，从而在后续根据该目标节点的点位信息确定该目标节点对应的待传输数据集合。

在数据传输的过程中，若由于网络连接中断、TCP连接超时等原因导致数据传输中断，第一服务器也可以接收到第二服务器发送的点位信息，从而可以获取第二服务器在数据传输中断时的数据传输进度，以继续进行数据传输过程。

步骤S800，根据点位信息在目标数据集合中确定待传输数据集合。

在一种情况中，若目标数据集合中不存在与点位信息匹配的目标数据，可以认为第一服务器与第二服务器未进行过数据传输，第一服务器可以将目标集合确定为待传输数据集合。

在另一种情况中，若目标数据集合中存在与点位信息匹配的目标数据，可以认为第一服务器与第二服务器对(至少部分)目标数据进行过传输，第一服务器可以根据点位信息确定目标数据集合中已传输数据集合，并根据已传输数据集合确定待传输数据集合。点位信息在用于确定数据时具有较高的准确性，这使得第一服务器在继续数据传输过程时，无需将对第二服务器中已存储的目标数据进行再次传输，只需要传输未传输过的目标数据，有效降低了服务器的运行成本以及数据的传输时间。

例如，第二服务器的点位信息为123，目标数据集合对应的UUID为[0,500]，目标数据集合中存在与点位信息123匹配的目标数据，则已传输数据集合为由UUID为[0,123]的目标数据构成的集合，待传输数据集合为由UUID为[124,500]的目标数据构成的集合。

步骤S900，向目标节点传输待传输数据集合。

在确定待传输数据集合后，第一服务器可以向目标节点传输待传输数据集合。

步骤S1000，接收待传输数据集合以进行存储。

第二服务器可以以各种现有的方式对待传输数据集合进行存储。

以在Redis集群中主服务器与从服务器进行数据同步(也即，主从同步)为例。主服务器在接收到数据同步命令后，生成当次待同步的目标数据集合对应的UUID。由于Redis集群中部分从服务器与主服务器进行过同步，而部分从服务器未与主服务器进行过同步，且进行过同步的从服务器的同步进度可能不同，因此目标数据集合中包括多个不同时刻主从同步时数据同步命令对应的目标数据(每个目标数据可以看作不同时刻主从同步对应的目标数据集合)。主服务器将目标数据集合对应的UUID和数据同步命令进行封装，并将封装后的数据同步命令发送至Redis集群中的至少一个从服务器。从服务器在接收到封装后的数据同步命令后，根据在接收到封装后的数据同步命令的时刻时(也即，前一次进行数据同步完毕时)已同步的数据集合(也即，已存储数据集合)对应的last UUID确定自身的点位信息，并上报至主服务器。主服务器根据从服务器上报的点位信息确定该从服务器的同步进度(也即，已传输数据集合)，并在目标数据集合中确定该目标节点对应的待传输数据集合，从而向该从服务器传输待传输数据集合以进行数据同步。若数据同步完毕，从服务器会记录本次目标数据集合对应的UUID作为自身的lastUUID；若数据同步未完毕(也即，传输中断)，从服务器会将当前的last UUID(也即，前一次进行数据同步完毕时记录的UUID)作为自身的点位信息再次上报至主服务器，使得主服务器无需对已进行同步的数据进行再次同步。

在一种可选的实现方式中，本实施例的方法还可以包括如下步骤：

步骤S1100，对第二命令进行持久化处理，以存放至本地日志文件。

持久化是一种将瞬时数据(也即，不能永久保存的数据)转换为持久数据的机制。可选地，第一服务器可以对第二命令进行AOF(Append Of File，追加文件)日志持久化，具体通过将与目标数据集合相关的第二命令写入本地日志文件中，这使得第一服务器即使产生了宕机(也即，操作系统无法从严重的系统错误中恢复，或者系统硬件层面产生问题使得系统长时间无法响应，从而需要重新启动服务器的现象)等意外情况时，目标数据集合也不会因此而丢失，确保了数据传输过程的稳定性。

容易理解，第一服务器还可以通过其他方式进行持久化处理，例如生成目标数据集合的RDB(Redis Database)快照等，本实施例不做限定。

容易理解，步骤S1100和步骤S200可以同时执行，也可以先后执行，本实施例不做限定。

本实施例的第一服务器接收到客户端发送的用于指示进行数据传输的第一命令后，根据第一命令对应的目标数据集合确定第二命令，并将第二命令发送至第二服务器。第二服务器接收到第二命令后，对其进行解析，获取目标数据集合对应的全局自增识别码，并确定及发送自身的点位信息。第一服务器接收到点位信息后，在目标数据集合中确定待传输数据集合，并向第二服务器传输待传输数据集合，使得第二服务器能够接收并存储待传输数据集合。识别码在用于确定数据时具有较高的准确性，这使得第一服务器在数据传输时，只需传输未传输过的数据，降低了服务器的运行成本和数据的传输时间。

图3是本发明第二实施例的数据传输方法的流程图。本实施例的方法适用于第一服务器。如图3所示，本实施例的方法包括如下步骤：

步骤S100’，接收第一命令，将第一命令对应的数据集合确定为目标数据集合。

在本实施例中，步骤S100’和步骤S100的实现方式相同，在此不再赘述。

步骤S200’，根据目标数据集合确定第二命令。

在本实施例中，步骤S200’和步骤S200的实现方式相同，在此不再赘述。

步骤S300’，发送第二命令。

在本实施例中，步骤S300’和步骤S300的实现方式相同，在此不再赘述。

步骤S400’，接收至少一个目标节点的点位信息。

在本实施例中，步骤S400’和步骤S700的实现方式相同，在此不再赘述。

步骤S500’，根据点位信息在目标数据集合中确定待传输数据集合。

在本实施例中，步骤S500’和步骤S800的实现方式相同，在此不再赘述。

步骤S600’，向目标节点传输待传输数据集合。

在本实施例中，步骤S600’和步骤S900的实现方式相同，在此不再赘述。

由此，第一服务器可以在接收到用户客户端发送的用于指示进行数据传输的第一命令后，根据第一命令对应的目标数据集合确定第二命令，并将第二命令发送至至少一个作为目标节点的第二服务器，并获取上述第二服务器的点位信息，从而根据点位信息在目标数据集合中确定待传输数据集合以对待传输数据集合进行传输。这使得第一服务器在数据传输时，只需传输未传输过的数据，降低了服务器的运行成本和数据的传输时间。

可选地，本实施例的方法还可以包括如下步骤：

步骤S200A’，对第二命令进行持久化处理，以存放至本地。

在本实施例中，步骤S200A’和步骤S1100的实现方式相同，在此不再赘述。

容易理解，步骤S200A’和步骤S200’可以同时执行，也可以先后执行，本实施例不做限定。

由此，使得第一服务器可以对目标数据集合进行永久性存储，提升了数据传输过程的稳定性。

图4是本发明第三实施例的数据传输方法的流程图。本实施例的方法适用于第二服务器。如图4所示，本实施例的方法包括如下步骤：

步骤S100”，接收第二命令。

在本实施例中，步骤S100”和步骤S400的实现方式相同，在此不再赘述。

步骤S200”，对第二命令进行解析，获取目标数据集合对应的全局自增识别码。

在本实施例中，步骤S200”和步骤S500的实现方式相同，在此不再赘述。

步骤S300”，确定并发送点位信息。

在本实施例中，步骤S300”和步骤S600的实现方式相同，在此不再赘述。

步骤S400”，接收待传输数据集合以进行存储。

在本实施例中，步骤S400”和步骤S1000的实现方式相同，在此不再赘述。

由此，第二服务器可以在接收到第二命令后，对第二命令进行解析，获取目标数据集合对应的全局自增识别码，进行确定并将自身的点位信息发送至第一服务器，从而对接收到的待传输数据集合进行存储。

图5是本发明第四实施例的数据传输系统的示意图。如图5所示，本实施例的系统包括数据传输装置5A和数据传输装置5B。

其中，数据传输装置5A包括第一接收单元501、命令确定单元502、第一发送单元503、第二接收单元504、第一确定单元505和传输单元506。

其中，第一接收单元501用于接收第一命令，将所述第一命令对应的数据集合确定为目标数据集合，所述第一命令用于指示进行数据传输。命令确定单元502用于根据所述目标数据集合确定第二命令，所述第二命令包括用于记录目标节点的点位信息的码字。第一发送单元503用于发送所述第二命令。第二接收单元504用于接收至少一个所述目标节点的所述点位信息，所述点位信息用于表征在第一时刻所述目标节点中已存储数据集合对应的最新识别码。第一确定单元505用于根据所述点位信息在所述目标数据集合中确定待传输数据集合。传输单元506用于向所述目标节点传输所述待传输数据集合。

进一步地，所述命令确定单元502包括生成子单元和封装子单元。

其中，生成子单元用于生成所述目标数据集合对应的全局自增识别码。封装子单元用于根据所述全局自增识别码对所述第一命令进行封装，以确定所述第二命令。

进一步地，所述数据传输装置5A还包括命令处理单元507。

其中，命令处理单元507用于对所述第二命令进行持久化处理，以存放至本地日志文件。

进一步地，所述第一确定单元505包括第一确定子单元。

其中，第一确定子单元用于响应于所述目标集合中不存在与所述点位信息匹配的目标数据，将所述目标数据集合确定为所述待传输数据集合。

进一步地，所述第一确定单元包括第二确定子单元和第三确定子单元。

其中，第二确定子单元用于响应于所述目标数据集合中存在与所述点位信息匹配的目标数据，根据所述点位信息确定所述目标数据集合中的已传输数据集合。第三确定子单元用于根据所述已传输数据集合确定所述待传输数据集合。

进一步地，所述全局自增识别码为通用唯一识别码。

进一步地，所述数据传输装置5A用于实现Redis集群的数据同步；

所述数据传输装置5A适用于所述Redis集群中的主服务器。

数据传输装置5B包括第三接收单元508、解析单元509、第二发送单元510和第四接收单元511。

其中，第三接收单元508用于接收第二命令，所述第二命令用于指示进行数据传输。解析单元509用于对所述第二命令进行解析，获取目标数据集合对应的全局自增识别码，所述目标数据集合为所述第二命令对应的数据集合。第二发送单元510用于确定并发送点位信息，以用于确定待传输数据集合，所述点位信息用于表征在第一时刻已存储数据集合对应的最新识别码。第四接收单元511用于接收所述待传输数据集合以进行存储。

进一步地，所述第二发送单元510用于响应于针对所述目标数据集合的传输中断，确定并发送所述点位信息。

进一步地，所述第二发送单元用于根据所述全局自增识别码确定并发送所述点位信息。

进一步地，所述数据传输装置5B用于实现Redis集群的数据同步；

所述数据传输装置5B适用于所述Redis集群中的从服务器。

图6是本发明第五实施例的电子设备的示意图。如图6所示，该电子设备：至少包括一个处理器601；以及，与至少一个处理器601通信连接的存储器602；以及，与扫描装置通信连接的通信组件603，通信组件603在处理器601的控制下接收和发送数据；其中，存储器602存储有可被至少一个处理器601执行的命令，命令被至少一个处理器601执行以实现上述步骤。

具体地，该电子设备包括：一个或多个处理器601以及存储器602，图6中以一个处理器601为例。处理器601、存储器602可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器601通过运行存储在存储器602中的非易失性软件程序、命令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述数据传输方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器602中，当被一个或者多个处理器601执行时，执行上述任意方法实施例中的数据传输方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本发明的第六实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来命令相关的硬件来完成，该程序存储在一个存储介质中，包括若干命令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例公开了A1、一种数据传输方法，所述方法包括：

发送所述第二命令；

向所述目标节点传输所述待传输数据集合。

A2、如A1所述的方法中，所述根据所述目标数据集合确定第二命令包括：

生成所述目标数据集合对应的全局自增识别码；

A3、如A1所述的方法中，所述方法还包括：

对所述第二命令进行持久化处理，以存放至本地日志文件。

A4、如A1所述的方法中，所述根据所述点位信息在所述目标数据集合中确定待传输数据集合包括：

响应于所述目标集合中不存在与所述点位信息匹配的目标数据，将所述目标数据集合确定为所述待传输数据集合。

A5、如A1所述的方法中，所述根据所述点位信息在所述目标数据集合中确定待传输数据集合包括：

响应于所述目标数据集合中存在与所述点位信息匹配的目标数据，根据所述点位信息确定所述目标数据集合中的已传输数据集合；

根据所述已传输数据集合确定所述待传输数据集合。

A6、如A2所述的方法中，所述全局自增识别码为通用唯一识别码。

A7、如A1所述的方法中，所述数据传输方法用于实现Redis集群的数据同步；

所述数据传输方法适用于所述Redis集群中的主服务器。

本发明实施例还公开了B1、一种数据传输方法，所述方法包括：

接收第二命令，所述第二命令用于指示进行数据传输；

接收所述待传输数据集合以进行存储。

B2、如B1所述的方法中，所述确定并发送点位信息包括：

B3、如B1或B2所述的方法中，所述确定并发送点位信息包括：

根据所述全局自增识别码确定并发送所述点位信息。

B4、如B1所述的方法中，所述数据传输方法用于实现Redis集群的数据同步；

所述数据传输方法适用于所述Redis集群中的从服务器。

本发明实施例还公开了C1、一种数据传输方法，所述方法包括：

发送所述第二命令；

接收第二命令；

确定并发送所述点位信息；

向所述目标节点传输所述待传输数据集合；

接收所述待传输数据集合以进行存储。

本发明实施例还公开了D1、一种数据传输装置，所述装置包括：

第一发送单元，用于发送所述第二命令；

传输单元，用于向所述目标节点传输所述待传输数据集合。

D2、如D1所述的装置中，所述命令确定单元包括：

生成子单元，用于生成所述目标数据集合对应的全局自增识别码；

封装子单元，用于根据所述全局自增识别码对所述第一命令进行封装，以确定所述第二命令。

D3、如D1所述的装置中，所述装置还包括：

命令处理单元，用于对所述第二命令进行持久化处理，以存放至本地日志文件。

D4、如D1所述的装置中，所述第一确定单元包括：

第一确定子单元，用于响应于所述目标集合中不存在与所述点位信息匹配的目标数据，将所述目标数据集合确定为所述待传输数据集合。

D5、如D1所述的装置中，所述第一确定单元包括：

第二确定子单元，用于响应于所述目标数据集合中存在与所述点位信息匹配的目标数据，根据所述点位信息确定所述目标数据集合中的已传输数据集合；

第三确定子单元，用于根据所述已传输数据集合确定所述待传输数据集合。

D6、如D2所述的装置中，所述全局自增识别码为通用唯一识别码。

D7、如D1所述的装置中，所述数据传输装置用于实现Redis集群的数据同步；

所述数据传输装置适用于所述Redis集群中的主服务器。

本发明实施例还公开了E1、一种数据传输装置，所述装置包括：

第四接收单元，用于接收所述待传输数据集合以进行存储。

E2、如E1所述的装置中，所述第二发送单元用于响应于针对所述目标数据集合的传输中断，确定并发送所述点位信息。

E3、如E1或E2所述的装置中，所述第二发送单元用于根据所述全局自增识别码确定并发送所述点位信息。

E4、如E1所述的装置中，所述数据传输装置用于实现Redis集群的数据同步；

所述数据传输装置适用于所述Redis集群中的从服务器。

本发明实施例还公开了F1、一种数据传输系统，所述系统包括：

本发明实施例还公开了G1、一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如A1-A7，B1-B4和C1中任一项所述的方法。

本发明实施例还公开了H1、一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如1-A7，B1-B4和C1中任一项所述的方法。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种数据传输方法，其特征在于，所述方法包括：

发送所述第二命令；

向所述目标节点传输所述待传输数据集合。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据集合确定第二命令包括：

生成所述目标数据集合对应的全局自增识别码；

3.一种数据传输方法，其特征在于，所述方法包括：

接收第二命令，所述第二命令用于指示进行数据传输；

接收所述待传输数据集合以进行存储。

4.根据权利要求3所述的方法，其特征在于，所述确定并发送点位信息包括：

5.一种数据传输方法，其特征在于，所述方法包括：

发送所述第二命令；

接收第二命令；

确定并发送所述点位信息；

向所述目标节点传输所述待传输数据集合；

接收所述待传输数据集合以进行存储。

6.一种数据传输装置，其特征在于，所述装置包括：

第一发送单元，用于发送所述第二命令；

传输单元，用于向所述目标节点传输所述待传输数据集合。

7.一种数据传输装置，其特征在于，所述装置包括：

第四接收单元，用于接收所述待传输数据集合以进行存储。

8.一种数据传输系统，其特征在于，所述系统包括：

9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-5中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-5中任一项所述的方法。