CN107959695A - 一种数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种数据传输方法及装置，涉及计算机技术领域，主要目的是提高集群资源的利用率，进一步提高写入数据的传输性能。所述方法包括：当接收到写入请求时，获取写入数据及写入数据对应的分片编号，根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点,所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，将所述写入数据发送至所述分片编号对应分片所在的写入节点。本发明主要用于写入数据的传输。

Description

一种数据传输方法及装置

技术领域

本发明涉及计算机技术领域，尤其是一种数据传输方法及装置。

背景技术

分布式存储搜索引擎系统(ElasticSearch，ES)是目前流行的一种分布式多用户能力的全文搜索服务器，设计用于云计算中，能够达到实时搜索。由于系统分布式的特点，可通过多台服务器组成ES集群，进一步对集群索引中的数据进行分片，一个服务器中可以包括有多个分片，以便共同提高索引和搜索功能。

当客户端向集群中的服务器写入数据时，首先根据写入数据的唯一标识与索引中的分片数量取模，进而得到该条写入数据的分片编号，然后确定该条写入数据的分片对应的服务器节点，若该条写入数据被分配到其他服务器节点时，该服务器节点会将写入数据转发到对应有该分片的服务器节点，当数据写入成功后，将写入响应发回返回客户端。

然而，现有的数据传输方法当写入数据发送到服务器节点时，若写入数据对应的分片不在当前写入的服务器节点时，需要进行一次转发操作，这样使得在写入数据频繁时，会导致ES集群资源的浪费，进而降低数据的写入性能。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据传输方法及装置，能够提高ES集群资源的利用率，进一步提高数据的写入性能。

一方面，本发明提供了一种数据传输方法，包括：

当接收到写入请求时，获取写入数据及写入数据的分片编号；

根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点，所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录；

将所述写入数据发送至所述分片编号对应分片所在的写入节点。

另一方面，本发明提供一种数据传输装置，包括：

第一获取单元，用于当接收到写入请求时，获取写入数据及写入数据的分片编号；

查询单元，用于根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点，所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录；

发送单元，用于将所述写入数据发送至所述分片编号对应分片所在的写入节点。

借由上述技术方案，本发明提供的一种数据传输方法及装置，当接收到写入请求时，获取写入数据及写入数据的分片编号，根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，这里的节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，由于不同的写入数据对应有不同的分片编号，而每个分片编号对应分片所在的写入节点也不同，进一步根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，最后将写入数据发送至分片编号对应分片所在的写入节点。相对于现有的数据传输的方法相比，本发明实施例在将写入数据发送至服务器节点之前对写入数据的要写入的服务器节点进行查询，进而将写入数据直接发送至对应的写入服务器节点，无需进行节点的转发，使得ES集群资源得到充分利用，从而提高数据的写入数据的传输性能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据传输方法流程示意图；

图2示出了本发明实施例提供的另一种数据传输方法流程示意图；

图3示出了本发明实施例提供的一种数据传输装置结构示意图；

图4示出了本发明实施例提供的另一种数据传输装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种数据传输方法，如图1所示，该方法应用于ES集群的数据写入，针对在客户端向服务器发送写入数据之前，确定写入数据对应的节点服务器，进一步更有目的的发送写入数据，具体步骤包括：

101、当接收到写入请求时，获取写入数据及写入数据的分片编号。

这里的写入请求为请求向ES集群中的服务器传输写入数据的操作，由于ES集群由多台服务器组成，并且拥有海量的数据，需要将数据进行分片进而分配到不同的服务器，由于不同写入数据对应写入的服务器不同，因此不同的写入数据对应有各自的分片编号，进而保证当接收到写入请求时，根据写入数据的分片编号能够准确传输到要写入的服务器中。

需要说明的是，这里的分片编号用于体现分片与节点的对应关系，进而根据分片编号能够获取分片编号对应的分片所在的节点服务器，进一步保证写入数据传输的准确性。

另外，为了方便数据记录，每个写入数据对应有相应的ID标识，进一步将写入数据对应的ID标识与写入索引中的分片数量取模运算，进而获取写入数据的分片编号，这样保证了在向服务器发送写入数据之前，能够确定写入数据所要发送至该分片编号对应分片所在的写入节点。

需要说明的是，上述计算分片数据的方法为取模运算，本发明实施例的运算方法可以根据集群中对应索引进行相应调整，在此不做限定。

102、根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点。

这里的节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，用于方便查找写入数据对应分片所在写入节点，这里的写入节点为ES集群中的服务器，由于ES集群由多台服务器组成，而写入数据只需要传输至其中的一台服务器，因此通过查询节点分布信息，并能够获取写入数据的分片编号对应分片所在写入服务器。

本发明实施例对获取节点分布信息的方法不做限定，具体可以通过启动线程任务或者预置节点服务器来获取ES集群中节点分布信息，当线程不运行时，保存已获取到的当前ES集群中节点分布信息，这里预置的节点服务器主要用于收集ES集群中的各个节点分布记录，进而将收集到的节点服务器的分布记录反馈至客户端得到节点分布信息，本发明实施例对该预置节点服务器的放置位置不做限定，优选放置于方便进行收集操作的位置，如ES集群服务器的中央位置。

现有技术中，如果客户端发送的写入节点并非写入数据对应分片所在的写入节点，则需要对写入数据进行转发，降低了数据写入的效率，本发明实施例通过对预先查找写入数据对应分片所在的写入节点，并将写入数据直接发送至写入节点，无需节点的转发，减少了资源浪费。

103、将写入数据发送至分片编号对应分片所在的写入节点。

当查找到写入节点后，客户端将写入数据发送至分片编号对应分片所在的写入节点，以便相应的服务器写入数据，本发明实施例对服务器写入数据的方式不做限定。

这里的写入节点为客户端直接发送至写入数据对应的服务器，相比较现有技术的数据传输方式，无需进行写入数据的二次转发，使得写入数据更具有目的性，避免了服务器的资源浪费。

结合上述的实现方式可以看出，本发明实施例提供的一种数据传输方法，当接收到写入请求时，获取写入数据及写入数据的分片编号，根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，这里的节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，由于不同的写入数据对应有不同的分片编号，而每个分片编号对应分片所在的写入节点也不同，进一步根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，最后将写入数据发送至分片编号对应分片所在的写入节点。相对于现有的数据传输的方法相比，本发明实施例在将写入数据发送至服务器节点之前对写入数据的要写入的服务器节点进行查询，进而将写入数据直接发送至对应的写入服务器节点，无需进行节点的转发，使得ES集群资源得到充分利用，从而提高数据的写入数据的传输性能

以下为了更加详细地说明本发明提出的一种数据传输方法，特别是针对获取节点分布信息的方式，本发明实施例还提供了另一种数据传输方法，如图2所示，该方法的具体步骤包括：

201、按照预置时间间隔启动预置线程获取不同分片编号对应分片所在的写入节点的分布记录。

具体地，在客户端侧启动预置线程，这里的线程用于定期获取ES集群中不同分片编号对应分片所在的节点的分布记录，即根据该分片编号能够获取对应分片所在的节点。

应说明的是，本发明实施例对这里的预置时间间隔不做限定，可以为一周、一个月或者更长时间，具体根据写入数据的频率自行设定，若写入数据操作比较频繁，则需要经常更新集群中节点的分布情况，若写入数据比较少，则可以将预置时间间隔设置较长。

202、将不同分片编号对应分片所在的写入节点的分布记录存储至数据表格，得到节点分布信息。

这里的数据表格用于存储节点分布信息，从而方便查找不同分片编号对应分片所在的写入节点，需要说明的是，本发明实施例对数据表格的形式不做限定。

203、当接收到写入请求时，获取写入数据及写入数据的分片编号。

当客户端需要向ES集群中服务器写入一条数据时，该数据为写入数据，进一步通过下述方式获取写入数据的分片编号，由于写入该数据对应标识该条数据的唯一ID，即使当数据位置发生改变时也能够根据ID查找到该条写入数据，并且ES集群中有多个服务器，每个服务器有多个分片，进而根据写入数据的ID与节点索引对应的分片数量进行取模运算能够得到写入数据的分片编号，这里的节点索引用于表示每个服务器对应的分片数量，本发明实施例对分片编号的运算方法不做限定，也可也根据其他算法生成不同的分片编号。

204、根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点。

本步骤中，首先遍历节点分布信息中分片编号对应分片所在的写入节点，由于节点分布信息中包含有各分片编号对应分片所在的写入节点的分布记录，进一步根据写入数据的分片编号，能够查询与写入数据的分片编号相一致的分片，进而将该分片所在的节点作为写入节点。

205、将写入数据发送至分片编号对应分片所在的写入节点。

本发明实施例通过在发送写入数据之前预先对写入数据对应分片所在的写入节点进行查询，使得无需进行写入数据的节点转发，实现更有目的的发送，避免了ES集群节点资源的占用。

对于本发明实施例的具体应用场景可以包括但不限制于下述实现方式：当客户端在向ES集群发送写入数据前，客户端首先启动预置线程，获取ES集群中各个节点的分布信息，得到该集群中包括6台服务器，对集群中的数据进行分配得到60个分片，每个分片上记录有不同的分片编号，并将该分布信息存储至数据表格Table1中，然后获取写入数据对应的分片编号，进一步根据查找数据表格Table1中与写入数据对应的分片编号相一致的分片，得到该分片对应的节点，将该节点作为写入节点，进一步根据写入节点的位置将写入数据直接发送至写入节点，以便服务器完成数据写入操作。

现有技术的写入数据传输方法是当写入数据发送到服务器节点时，若写入数据对应的分片不在当前写入的服务器节点时，需要进行一次转发操作，使得服务器进行转发数据的过程中，会消耗服务器更多的时间，占用服务器过多的资源，导致写入数据的传输性能较低。

本发明实施例提供的另一种数据传输装置，通过在客户端侧启动预置线程预先收集好的集群中各个节点分布情况，进一步查询写入数据的分片编号对应分片所在的服务器，有目的发送写入数据，从而提高写入数据的传输性能。

进一步地，作为图1所示方法的具体实现，本发明实施例提供一种数据传输装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置不在对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容，如图3所示，所述装置包括：

第一获取单元31，用于当接收到写入请求时，获取写入数据及写入数据的分片编号，这里的写入数据的分片编号用于标识写入数据对应分片所在的节点位置；

查询单元32，用于根据写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点，这里的节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录；

发送单元33，用于将写入数据发送至分片编号对应分片所在的写入节点。

本发明实施例提供的一种数据传输装置，当接收到写入请求时，获取写入数据及写入数据的分片编号，根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，这里的节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，由于不同的写入数据对应有不同的分片编号，而每个分片编号对应分片所在的写入节点也不同，进一步根据写入数据的分片编号从节点分布信息中查询与分片编号对应分片所在的写入节点，最后将写入数据发送至分片编号对应分片所在的写入节点。相对于现有的数据传输的方法相比，本发明实施例在将写入数据发送至服务器节点之前对写入数据的要写入的服务器节点进行查询，进而将写入数据直接发送至对应的写入服务器节点，无需进行节点的转发，使得ES集群资源得到充分利用，从而提高数据的写入数据的传输性能。

进一步地，如图4所示，所述装置还包括：

第二获取单元34，用于获取节点分布信息。

进一步地，第一获取单元31，具体用于将写入数据对应的标识信息与节点索引对应的分片数量进行取模运算，得到写入数据的分片编号。

进一步地，查询单元32包括：

遍历模块321，用于遍历节点分布信息中各分片编号对应分片所在的写入节点；

查询模块322，用于查询与写入数据的分片编号相一致的写入节点。

进一步地，第二获取单元34包括：

获取模块341，用于按照预置时间间隔启动预置线程获取不同分片编号对应分片所在的写入节点的分布记录；

存储模块342，用于将所述不同分片编号对应分片所在的写入节点的分布记录存储至数据表格，得到节点分布信息。

本发明提供的另一种数据传输装置，通过在客户端侧启动预置线程预先收集好的集群中各个节点分布情况，进一步查询写入数据的分片编号对应分片所在的服务器，有目的发送写入数据，从而提高写入数据的传输性能。

所述数据传输装置包括处理器和存储器，上述第一获取单元31、查询单元32和发送单元33等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来节省人力，提高了ES集群资源的利用率，进一步提高写入数据的传输性能。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：当接收到写入请求时，获取写入数据及写入数据对应的分片编号，根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点,所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录，将所述写入数据发送至所述分片编号对应分片所在的写入节点。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据传输方法，其特征在于，包括：

当接收到写入请求时，获取写入数据及写入数据的分片编号；

根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点，所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录；

将所述写入数据发送至所述分片编号对应分片所在的写入节点。

2.根据权利要求1所述的方法，其特征在于，所述获取写入数据的分片编号包括：

将所述写入数据对应的标识信息与节点索引对应的分片数量进行取模运算，得到所述写入数据的分片编号。

3.根据权利要求1所述的方法，其特征在于，所述根据所述写入数据的分片编号从所述节点分布信息中查询所述分片编号对应分片所在的写入节点包括：

遍历所述节点分布信息中各分片编号对应分片所在的写入节点；

将与所述写入数据的分片编号相一致分片对应的节点作为写入节点。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

获取节点分布信息。

5.根据权利要求4所述的方法，其特征在于，所述获取节点分布信息包括：

按照预置时间间隔启动预置线程获取不同分片编号对应分片所在的写入节点的分布记录；

将所述不同分片编号对应分片所在的写入节点的分布记录存储至数据表格，得到节点分布信息。

6.一种数据传输装置，其特征在于，包括：

第一获取单元，用于当接收到写入请求时，获取写入数据及写入数据的分片编号；

查询单元，用于根据所述写入数据的分片编号从节点分布信息中查询与所述分片编号对应分片所在的写入节点，所述节点分布信息用于表示各分片编号对应分片所在的写入节点的分布记录；

发送单元，用于将所述写入数据发送至所述分片编号对应分片所在的写入节点。

7.根据权利要求6所述的装置，其特征在于，

所述第一获取单元，具体用于将所述写入数据对应的标识信息与节点索引对应的分片数量进行取模运算，得到所述写入数据的分片编号。

8.根据权利要求6所述的装置，其特征在于，所述查询单元包括：

遍历模块，用于遍历所述节点分布信息中各分片编号对应分片所在的写入节点；

查询模块，用于查询与所述写入数据的分片编号相一致的写入节点。

9.根据权利要求6-8中任一项所述的装置，其特征在于，所述方法还包括：

第二获取单元，用于获取节点分布信息。

10.根据权利要求9所述的装置，其特征在于，所述第二获取单元包括：

获取模块，用于按照预置时间间隔启动预置线程获取不同分片编号对应分片所在的写入节点的分布记录；

存储模块，用于将所述不同分片编号对应分片所在的写入节点的分布记录存储至数据表格，得到节点分布信息。