CN111953551B - 日志数据的传输方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种日志数据的传输方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法可以应用于分布式集群系统中的服务器，该分布式集群系统可以包括多个服务器，该方法可以获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据，使得对于客户端来说，可以根据服务器中生成的日志直传接口直接向服务器发送目标日志数据，实现日志数据的自动化传输和实时传输，可以降低人力成本，提高传输效率。

Description

日志数据的传输方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种日志数据的传输方法、装置、电子设备及存储介质。

背景技术

随着移动互联网的迅猛发展，日志数据在处理历史数据、诊断问题的追踪以及系统活动的理解等方面发挥着重要作用。以用户在游戏过程中产生的游戏日志为例，游戏日志可以记录用户在游戏过程中的操作行为，通过该游戏日志可以对用户的状态，行为等进行分析，挖掘出有价值的信息；同时也能够对游戏服务中存在的问题进行定位。其中，在一些特殊场景下，比如，对于出海的游戏，为了使得玩家可以获得良好的游戏体验，游戏服务器一般都部署在海外。

现有的，对于出海游戏所产生的日志数据来说，一般都需要游戏运维工作人员将出海游戏所产生的日志打包到海外服务器之后，通过一些网络传输工具将推送到国内服务器。

但由于现有游戏日志数据的收集、打包需要运维人工参与，因此，存在人力成本较高，且传输效率低的问题。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种日志数据的传输方法、装置、电子设备及存储介质，可以解决现有日志数据传输时人力成本高、且传输效率低的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种日志数据的传输方法，应用于分布式集群系统中的服务器，分布式集群系统包括多个服务器，该方法包括：

获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；

通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，上述获取目标日志数据的目标发送端地址和目标接收端地址，包括：

接收客户端发送的地址选择请求，地址选择请求包括：目标发送端地址；根据地址选择请求，向客户端反馈目标接收端地址列表；接收客户端根据目标接收端地址列表发送的地址响应，地址响应包括：目标接收端地址。

可选地，上述根据目标发送端地址和目标接收端地址，选择获取目标网络传输链路，包括：

获取目标发送端地址和目标接收端地址之间多个网络传输链路的网络传输参数；根据网络传输参数和预设时间间隔，分别计算获取目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数和丢包率；根据网络延迟参数和丢包率，选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路。

可选地，上述通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据，包括：

监测获取客户端发送目标日志数据的传输速率；根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；若获取扩容后的多个服务器，则采用扩容后的多个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据；或者，若获取缩容后的至少一个服务器，则采用缩容后的至少一个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，上述根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容，包括：

根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量。

可选地，上述根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量，包括：

若确定目标日志数据的传输速率大于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需扩容的服务器数量；或，若确定目标日志数据的传输速率小于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需缩容的服务器数量。

第二方面，本申请实施例提供了一种日志数据的传输方法，应用于客户端，该方法包括：

获取目标日志数据对应的日志直传接口和目标网络传输链路，日志直传接口包括：目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据。

可选地，上述根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据，包括：

将日志直传接口内嵌至目标日志数据的发送程序中，基于网络传输链路和发送程序向服务器发送目标日志数据。

可选地，上述方法还包括：响应于用户的地址注册指令，向服务器发送地址选择请求，地址选择请求包括：目标发送端地址；获取服务器根据地址选择请求反馈的目标接收端地址列表；根据目标接收端地址列表，确定目标接收端地址；向服务器发送地址响应，地址响应包括：目标接收端地址。

第三方面，本申请实施例提供了一种日志数据的传输装置，应用于分布式集群系统中的服务器，分布式集群系统包括多个服务器，该装置包括：获取模块、生成模块以及接收模块；

获取模块，用于获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

生成模块，用于根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；

接收模块，用于通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，获取模块，具体用于接收客户端发送的地址选择请求，地址选择请求包括：目标发送端地址；根据地址选择请求，向客户端反馈目标接收端地址列表；接收客户端根据目标接收端地址列表发送的地址响应，地址响应包括：目标接收端地址。

可选地，生成模块，具体用于获取目标发送端地址和目标接收端地址之间多个网络传输链路的网络传输参数；根据网络传输参数和预设时间间隔，分别计算获取目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数和丢包率；根据网络延迟参数和丢包率，选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路。

可选地，接收模块，具体用于监测获取客户端发送目标日志数据的传输速率；根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；若获取扩容后的多个服务器，则采用扩容后的多个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据；或者，若获取缩容后的至少一个服务器，则采用缩容后的至少一个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，接收模块，具体用于根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量。

可选地，接收模块，具体用于若确定目标日志数据的传输速率大于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需扩容的服务器数量；或，若确定目标日志数据的传输速率小于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需缩容的服务器数量。

第四方面，本申请实施例提供了一种日志数据的传输装置，应用于客户端，该装置包括：获取模块和发送模块；

获取模块，用于获取目标日志数据对应的日志直传接口和目标网络传输链路，日志直传接口包括：目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

发送模块，用于根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据。

可选地，发送模块，具体用于将日志直传接口内嵌至目标日志数据的发送程序中，基于网络传输链路和发送程序向服务器发送目标日志数据。

可选地，上述装置还包括：响应模块，用于响应于用户的地址注册指令，向服务器发送地址选择请求，地址选择请求包括：目标发送端地址；获取服务器根据地址选择请求反馈的目标接收端地址列表；根据目标接收端地址列表，确定目标接收端地址；向服务器发送地址响应，地址响应包括：目标接收端地址。

第五方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行上述日志数据的传输方法的步骤。

第六方面，本申请实施例提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述日志数据的传输方法的步骤。

本申请的有益效果是：

本申请实施例提供的一种日志数据的传输方法、装置、电子设备及存储介质中，可以应用于分布式集群系统中的服务器，分布式集群系统包括多个服务器，该方法可以获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据，使得对于客户端来说，可以根据服务器中生成的日志直传接口直接向服务器发送目标日志数据，实现日志数据的自动化传输和实时传输，可以降低人力成本，提高传输效率。

且应用本申请实施例，由于可以对目标日志数据的传输链路进行优化，因此，可以减少目标日志数据的传输延迟，进一步实现实时传输，降低日志数据丢失的风险。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种日志数据的传输系统的架构图；

图2为本申请实施例提供的另一种日志数据的传输方法的流程示意图；

图3为本申请实施例提供的又一种日志数据的传输方法的流程示意图；

图4为本申请实施例提供的另一种日志数据的传输方法的流程示意图；

图5为本申请实施例提供的又一种日志数据的传输方法的流程示意图；

图6为本申请实施例提供的另一种日志数据的传输方法的流程示意图；

图7为本申请实施例提供的又一种日志数据的传输方法的流程示意图；

图8为本申请实施例提供的一种日志数据的传输装置的功能模块示意图；

图9为本申请实施例提供的另一种日志数据的传输装置的功能模块示意图；

图10为本申请实施例提供的又一种日志数据的传输装置的功能模块示意图；

图11为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

现有的，对于出海的游戏，为了良好的游戏体验，服务器一般都部署在海外，对于玩家在游戏过程中产生的游戏日志数据，则需要游戏运维工作人员将游戏过程所产生的日志数据打包到海外服务器，然后通过一些网络传输工具走公网将游戏日志数据推送到国内服务器。

因此，对于现有的游戏日志数据的传输来说，存在如下几个问题：第一、需要运维人员对游戏日志数据进行收集、打包，因此，不可避免地会增加人力成本，存在传输效率低的问题，且无法实现游戏日志数据的实时传输；第二、如果遇到日常活动非常大的游戏，那么游戏日志量会非常大，现有的海外服务器将面临无法承载这么大的数据量的问题；第三、由于现有的游戏日志数据是通过网络传输工具走公网推送到国内服务器，没有经过网络链路优化，因此，会带来严重的游戏日志数据传输延迟，且存在数据丢失的风险。

有鉴于此，本申请实施例提供一种日志数据的传输方法，该方法可以根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路，使得对于客户端来说，可以根据服务器中生成的日志直传接口直接向服务器发送目标日志数据，而无需运维人员参与进行收集、打包，实现日志数据的自动化传输和实时传输，可以降低人力成本，提高传输效率。

且本申请可以通过目标网络传输链路对目标日志数据的传输链路进行优化，因此，可以进一步减少目标日志数据的传输延迟，实现实时传输，降低日志数据丢失的风险。

图1为本申请实施例提供的一种日志数据的传输方法的流程示意图，该方法可以应用于分布式集群系统中的服务器，该分布式集群系统可以包括多个服务器，该多个服务器可以用于获取、并存储客户端中生成的日志数据，比如，可以用于获取并存储玩家在游戏过程中产生的游戏日志数据。如图1所示，该方法可以包括：

S101、获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址。

其中，服务器可以用于获取、并存储客户端中产生的目标日志数据，根据实际的应用场景，该目标日志数据可以是游戏日志数据，或其他应用场景下的日志数据，本申请在此不作限定。可选地，目标日志数据的目标发送端地址和目标接收端地址可以为用户输入的，又或者可以根据客户端发送的地址选择请求生成的，本申请在此不作限定。

S102、根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路。

根据目标发送端地址和目标接收端地址，可以生成针对目标日志数据的日志直传接口，所生成的日志直传接口可以指示目标日志数据的发送端和目标日志数据的接收端；可以理解的是，对于服务器来说，由于目标发送端地址和目标接收端地址是已知的，因此，可以在目标发送端地址和目标接收端地址选择之间最优网络传输链路作为目标日志数据的目标网络传输链路，实现传输链路的优化，减少目标日志数据的传输延迟、降低日志数据丢失的风险。

S103、通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

基于上述的内容，目标网络传输链路和日志直传接口确定之后，则客户端通过服务器可以获取到目标日志数据的目标网络传输链路和日志直传接口，根据该目标网络传输链路和日志直传接口可以向服务器发送目标日志数据，服务器则可以通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。在此过程中，对于客户端来说，由于可以根据服务器生成的日志直传接口直接向服务器发送目标日志数据，实现日志数据的自动化传输，可以降低人力成本，提高传输效率。此外，可以理解的是，相较于现有技术来说，由于在日志生成时即可实现日志数据的传输，因此，可以实现日志数据的实时传输。

综上，本申请实施例提供的日志数据的传输方法，该方法可以应用于分布式集群系统中的服务器，该分布式集群系统可以包括多个服务器，该方法可以获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据，使得对于客户端来说，可以根据服务器中生成的日志直传接口直接向服务器发送目标日志数据，实现日志数据的自动化传输和实时传输，可以降低人力成本，提高传输效率。

且应用本申请实施例，由于可以对目标日志数据的传输链路进行优化，因此，可以减少目标日志数据的传输延迟，进一步实现实时传输，降低日志数据丢失的风险。

图2为本申请实施例提供的另一种日志数据的传输方法的流程示意图。可选地，如图2所示，上述获取目标日志数据的目标发送端地址和目标接收端地址，包括：

S201、接收客户端发送的地址选择请求，地址选择请求包括：目标发送端地址。

S202、根据地址选择请求，向客户端反馈目标接收端地址列表。

S203、接收客户端根据目标接收端地址列表发送的地址响应，地址响应包括：目标接收端地址。

可选地，上述日志数据的传输方法可以作为一个日志传输系统部署在服务器中，可选的实施方式中，用户可以通过客户端在该系统中注册目标发送端地址，并向服务器发送地址选择请求，该地址选择请求中可以包括目标发送端地址，服务器根据该地址选择请求，可以向客户端反馈目标接收端地址列表，可选地，该目标接收端地址列表可以包括多个目标接收端地址，每一目标接收端地址可以对应一组服务器集群的地址，用户通过该客户端可以在该目标接收端地址列表中确定目标接收端地址，并向服务器发送地址响应，该地址响应可以包括目标接收端地址，此时，服务器可以获取到目标日志数据的目标发送端地址和目标接收端地址。当然，目标日志数据的目标发送端地址和目标接收端地址的获取方式并不以此为限，根据实际的应用场景可以灵活设置。

图3为本申请实施例提供的又一种日志数据的传输方法的流程示意图。可选地，如图3所示，上述根据目标发送端地址和目标接收端地址，选择获取目标网络传输链路，包括：

S301、获取目标发送端地址和目标接收端地址之间多个网络传输链路的网络传输参数。

其中，若目标发送端地址与目标接收端地址之间的网络传输链路包括多个时，可以获取该多个网络传输链路的网络传输参数，可选地，该网络传输参数可以包括网络延迟参数、丢包率、网络带宽等，本申请在此不作限定。

可以理解的是，对于海外应用场景来说，根据实际的应用场景可以在相应的地区搭建专用网络线路，以使得目标发送端地址与目标接收端地址之间可以存在多个网络传输链路。

S302、根据网络传输参数和预设时间间隔，分别计算获取目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数和丢包率。

S303、根据网络延迟参数和丢包率，选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路。

可选地，在获取到上述网络传输参数后，则可以每隔预设时间间隔分别计算获取目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数和丢包率，最后根据各网络传输链路的网络延迟参数和丢包率，选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路。当然，需要说明的时，本申请在此并不限定目标网络传输链路的确定方式，可以根据网络延迟参数和丢包率确定、又或者可以根据网络延迟参数、丢包率以及其他网络传输参数(比如，网络带宽等)的组合确定，根据实际的应用场景可以灵活选择。

举例说明，以计算目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数为例，比如，目标发送端地址为c、目标接收端地址为d，预设时间间隔为interval，c和d之间公网对应的网络延迟为Dist(c，d)，若c和d之间的网络基站点包括{e、f、g}，则可以分别计算得到c和d到达这些网络基站点的网络延迟参数，即可以计算得到各网络传输链路的网络延迟参数：Dist(c，e，d)、Dist(c，f，d)、Dist(c，g，d)，根据各网络传输链路的网络延迟参数，即可得到网络延迟参数最小的网络传输链路Distance＝min{Dist(c，d)，Dist(c，e，d)，Dist(c，f，d)，Dist(c，g，d)}。此外，对于确定丢包率最小的网络传输链路的方式与上述确定方式类似，本申请在此不再赘述，根据上述计算方式，可以每隔interval时间段选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路，实现目标网络传输链路的动态选择，提高日志传输数据的实时性。

图4为本申请实施例提供的另一种日志数据的传输方法的流程示意图。可选地，对于获取、并存储日志数据的服务器来说，为了解决日志数据量较大而服务器存储容量不足的问题，以及日志数据量较小而服务器存储容量被浪费的问题。如图4所示，上述通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据，包括：

S401、监测获取客户端发送目标日志数据的传输速率。

S402、根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容。

预设阈值可以根据历史经验值设置，日志数据传输过程中，服务器可以监测获取客户端发送目标日志数据的传输速率，根据该传输速率和该预设阈值可以确定进行分片扩容或分片缩容，使得通过分片扩容可以应对高数据量，减少日志数据的传输延迟，通过分片缩容可以提高服务器的资源使用率。

可选地，服务器可以基于分布式消息队列进行分片扩容或分片缩容，针对每种日志单独划分存储区域，每份存储区域或空间，可以进一步细化多个分片，分片的个数影响着日志传输和处理能力，针对大数据量、少分片的分区，可动态扩大分片个数，避免数据传输和处理产生延迟；针对小数据量、多分片的分区，可动态缩小分片个数，以提高服务器的资源使用率。

S403、若获取扩容后的多个服务器，则采用扩容后的多个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据；或者，若获取缩容后的至少一个服务器，则采用缩容后的至少一个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

其中，若确定分片扩容，可以获取扩容后的多个服务器，采用该扩容后的多个服务器接收客户端基于日志直传接口发送的目标日志数据，从而解决日志数据量较大而服务器存储容量不足的问题；相应地，若确定分片缩容，可以获取缩容后的至少一个服务器，接收客户端基于日志直传接口发送的目标日志数据，使得在日志数据量较小时，可以提高服务器的资源使用率。其中，接收该目标日志数据时可以通过上述目标网络传输链路接收，使得可以减少日志数据的传输延迟。

可选地，上述根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容，包括：

根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量。

可以理解的是，在确定分片扩容或分片缩容时，可以进一步地获取分片扩容数或分片缩容数。可选地，一个分片可以对应一个服务器，又或者，可以对应服务器(服务器可以包括多个分区)中的一个分区，本申请在此不作限定。若一个分片对应一个服务器，则根据目标日志数据的传输速率和预设阈值，可以获取需扩容的服务器数量或需缩容的服务器数量；若一个分片对应服务器中的一个分区，则根据目标日志数据的传输速率和预设阈值，可以获取需扩容的分区数量或需缩容的分区数量。

可选地，上述根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量，包括：

若确定目标日志数据的传输速率大于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需扩容的服务器数量；或，若确定目标日志数据的传输速率小于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需缩容的服务器数量。

可选地，若一个分片可以对应一个服务器，其中，确定需扩容的服务器数量，或，需缩容的服务器数量时，可以根据目标日志数据的传输速率与预设阈值的大小关系来确定。可选地，若目标日志数据的传输速率大于预设阈值，可以根据目标日志数据的传输速率和该预设阈值，获取扩容后总的服务器数量；根据该扩容后总的服务器数量和当前分片数，获取需扩容的服务器数量。对于获取需缩容的服务器数量的过程，可参见上述获取需扩容的服务器数量的过程，本申请在此不再赘述。

本申请在此以一个服务器包括多个分区，一个分片对应一个分区为例进行说明，假设一个服务器对应的分片个数为n，一个分片能够没有延迟的处理的数据量是x GB/s，也即一个服务器能及时处理的数据量是(x*n)GB/s，即预设阈值为(x*n)GB/s，后台监测获取客户端发送目标日志数据的传输速率为y GB/s；可选地，当y>(x*n)时，进行分片扩容，扩容的方式可以包括：计算新分片数t＝y/x+1，则需扩容(t-n)个分片，使得通过扩容后的t个分片可以应对高数据量，解决日志数据量较大而服务器存储容量不足的问题，降低日志数据的传输延迟，实现日志数据的实时传输；可选地，当y<(x*n)时，进行分片缩容，缩容的方式可以包括：计算新分片数t＝y/x+1，则需减少(t-n)个分片，使得通过缩容后的t个分片可以应对低数据量，避免日志数据量较小时服务器存储容量的浪费，提高服务器的资源使用率。

图5为本申请实施例提供的又一种日志数据的传输方法的流程示意图，该方法可以应用于与上述服务器进行日志数据交互的客户端，如图5所示，该方法包括：

S501、获取目标日志数据对应的日志直传接口和目标网络传输链路，日志直传接口包括：目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址。

S502、根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据。

其中，对于客户端来说，客户端可以通过上述服务器获取目标日志数据对应的日志直传接口和目标网络传输链路，其中，日志直传接口可以包括目标发送端地址和目标接收端地址。可选的实施方式中，日志数据传输过程中，客户端可以向服务器发送日志直传接口和目标网络传输链路的获取请求，服务器响应该获取请求，可以向客户端反馈目标日志数据对应的日志直传接口和目标网络传输链路，但实际获取方式并不以此为限。应用本申请实施例，使得对于客户端来说，可以将其产生的目标日志数据向目标接收端地址对应的服务器发送，实现目标日志数据的实时传输。可以理解的是，一个服务器可以接收多个客户端发送的多条目标日志数据，也即，多个客户端对应的目标接收端地址可以相同。

此外，还需要说明的是，由于服务器侧根据目标发送端地址和目标接收端地址可以选择获取目标传输链路，因此，对于客户端来说，客户端可以通过服务器获取该目标网络传输链路，进而通过该目标网络传输链路可以向服务器发送目标日志数据，实现传输链路的优化，减少目标日志数据的传输延迟、降低日志数据丢失的风险。

图6为本申请实施例提供的另一种日志数据的传输方法的流程示意图。可选地，如图6所示，上述根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据，包括：

S601、将日志直传接口内嵌至目标日志数据的发送程序中，基于网络传输链路和发送程序向服务器发送目标日志数据。

可选地，客户端在获取到上述日志直传接口后，可以将该日志直传接口内嵌至目标日志数据的发送程序中，使得当有新的目标日志数据产生时，客户端可以基于目标网络传输链路和该发送程序向服务器发送该目标日志数据，实现目标日志数据的实时传输。

图7为本申请实施例提供的又一种日志数据的传输方法的流程示意图。可选地，如图7所示，上述方法还包括：

S701、响应于用户的地址注册指令，向服务器发送地址选择请求，地址选择请求包括：目标发送端地址。

S702、获取服务器根据地址选择请求反馈的目标接收端地址列表。

S703、根据目标接收端地址列表，确定目标接收端地址。

S704、向服务器发送地址响应，地址响应包括：目标接收端地址。

可选地，前述日志数据的传输方法作为一个日志传输系统部署在服务器中时，可选的实施方式中，用户可以在该系统中注册客户端的地址，生成地址注册指令，响应于该地址注册指令，可以向服务器发送地址选择请求，该地址选择请求中可以包括目标发送端地址。另外，对于该部分的其他内容可参见前述的相关部分，本申请在此不再赘述。

其中，服务器侧对应的上述日志数据的传输方法可以作为一个日志传输系统部署在服务器中，则用户可以通过客户端进行地址的选择，比如，可以在该系统中注册目标发送端地址、并选择目标接收端地址，客户端响应于用户的地址注册指令，可以向服务器发送地址选择请求，进而服务器根据该地址选择请求可以确定目标日志数据的目标发送端地址和目标接收端地址。

可选地，上述目标网络传输链路为从多个网络传输链路中选择的网络延迟参数和丢包率最小的网络传输链路，对于目标网络传输链路的相关说明可参见前述的相关部分，本申请在此不再赘述。

图8为本申请实施例提供的一种日志数据的传输装置的功能模块示意图，该日志数据的传输装置可以应用于分布式集群系统中的服务器，分布式集群系统包括多个服务器，该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图8所示，该日志数据的传输装置100可以包括：获取模块110、生成模块120以及接收模块130；

获取模块110，用于获取目标日志数据的目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

生成模块120，用于根据目标发送端地址和目标接收端地址，生成针对目标日志数据的日志直传接口，并选择获取目标网络传输链路；

接收模块130，用于通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，获取模块110，具体用于接收客户端发送的地址选择请求，地址选择请求包括：目标发送端地址；根据地址选择请求，向客户端反馈目标接收端地址列表；接收客户端根据目标接收端地址列表发送的地址响应，地址响应包括：目标接收端地址。

可选地，生成模块120，具体用于获取目标发送端地址和目标接收端地址之间多个网络传输链路的网络传输参数；根据网络传输参数和预设时间间隔，分别计算获取目标发送端地址和目标接收端地址之间各网络传输链路的网络延迟参数和丢包率；根据网络延迟参数和丢包率，选择网络延迟参数和丢包率最小的网络传输链路作为目标网络传输链路。

可选地，接收模块130，具体用于监测获取客户端发送目标日志数据的传输速率；根据目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；若获取扩容后的多个服务器，则采用扩容后的多个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据；或者，若获取缩容后的至少一个服务器，则采用缩容后的至少一个服务器，通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据。

可选地，接收模块130，具体用于根据目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量。

可选地，接收模块130，具体用于若确定目标日志数据的传输速率大于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需扩容的服务器数量；或，若确定目标日志数据的传输速率小于预设阈值，根据当前分片数和目标日志数据的传输速率，获取需缩容的服务器数量。

图9为本申请实施例提供的另一种日志数据的传输装置的功能模块示意图，该日志数据的传输装置可以应用于客户端，该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图9所示，该日志数据的传输装置200包括：获取模块210和发送模块220。

获取模块210，用于获取目标日志数据对应的日志直传接口和目标网络传输链路，日志直传接口包括：目标发送端地址和目标接收端地址，目标接收端地址为服务器的地址，目标发送端地址为客户端的地址；

发送模块220，用于根据日志直传接口和目标网络传输链路，向服务器发送目标日志数据。

可选地，发送模块220，具体用于将日志直传接口内嵌至目标日志数据的发送程序中，基于网络传输链路和发送程序向服务器发送目标日志数据。

图10为本申请实施例提供的又一种日志数据的传输装置的功能模块示意图。可选地，如图10所示，该日志数据的传输装置200还包括：响应模块230，用于响应于用户的地址注册指令，向服务器发送地址选择请求，地址选择请求包括：目标发送端地址；获取服务器根据地址选择请求反馈的目标接收端地址列表；根据目标接收端地址列表，确定目标接收端地址；向服务器发送地址响应，地址响应包括：目标接收端地址。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图11为本申请实施例提供的一种电子设备结构示意图。如图11所示，该电子设备可以包括：处理器510、存储介质520和总线530，存储介质520存储有处理器510可执行的机器可读指令，当电子设备运行时，处理器510与存储介质520之间通过总线530通信，处理器510执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种日志数据的传输方法，其特征在于，应用于分布式集群系统中的服务器，所述分布式集群系统包括多个服务器，所述方法包括：

获取目标日志数据的目标发送端地址和目标接收端地址，所述目标接收端地址为所述服务器的地址，所述目标发送端地址为客户端的地址；

根据所述目标发送端地址和所述目标接收端地址，生成针对所述目标日志数据的日志直传接口，并选择获取目标网络传输链路；

通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；

所述通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据，包括：

监测获取所述客户端发送所述目标日志数据的传输速率；

根据所述目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；

若获取扩容后的多个所述服务器，则采用扩容后的多个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；或者，

若获取缩容后的至少一个所述服务器，则采用缩容后的至少一个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。

2.根据权利要求1所述的方法，其特征在于，所述获取目标日志数据的目标发送端地址和目标接收端地址，包括：

接收客户端发送的地址选择请求，所述地址选择请求包括：目标发送端地址；

根据所述地址选择请求，向客户端反馈目标接收端地址列表；

接收客户端根据所述目标接收端地址列表发送的地址响应，所述地址响应包括：目标接收端地址。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标发送端地址和所述目标接收端地址，选择获取目标网络传输链路，包括：

获取所述目标发送端地址和所述目标接收端地址之间多个网络传输链路的网络传输参数；

根据所述网络传输参数和预设时间间隔，分别计算获取所述目标发送端地址和所述目标接收端地址之间各所述网络传输链路的网络延迟参数和丢包率；

根据所述网络延迟参数和所述丢包率，选择所述网络延迟参数和所述丢包率最小的所述网络传输链路作为所述目标网络传输链路。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容，包括：

根据所述目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标日志数据的传输速率和预设阈值，获取需扩容的服务器数量或需缩容的服务器数量，包括：

若确定所述目标日志数据的传输速率大于预设阈值，根据当前分片数和所述目标日志数据的传输速率，获取需扩容的服务器数量；或，

若确定所述目标日志数据的传输速率小于预设阈值，根据当前分片数和所述目标日志数据的传输速率，获取需缩容的服务器数量。

6.一种日志数据的传输方法，其特征在于，应用于客户端，所述方法包括：

获取目标日志数据对应的日志直传接口和目标网络传输链路，所述日志直传接口包括：目标发送端地址和目标接收端地址，所述目标接收端地址为服务器的地址，所述目标发送端地址为客户端的地址；

根据所述日志直传接口和目标网络传输链路，向所述服务器发送目标日志数据，以使所述服务器通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；

其中，所述服务器通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据，包括：

监测获取所述客户端发送所述目标日志数据的传输速率；

根据所述目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；

若获取扩容后的多个所述服务器，则采用扩容后的多个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；或者，

若获取缩容后的至少一个所述服务器，则采用缩容后的至少一个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。

7.根据权利要求6所述的方法，其特征在于，所述根据所述日志直传接口和目标网络传输链路，向所述服务器发送目标日志数据，包括：

将所述日志直传接口内嵌至目标日志数据的发送程序中，基于所述网络传输链路和所述发送程序向所述服务器发送所述目标日志数据。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应于用户的地址注册指令，向所述服务器发送地址选择请求，所述地址选择请求包括：目标发送端地址；

获取所述服务器根据所述地址选择请求反馈的目标接收端地址列表；

根据所述目标接收端地址列表，确定目标接收端地址；

向所述服务器发送地址响应，所述地址响应包括：目标接收端地址。

9.一种日志数据的传输装置，其特征在于，应用于分布式集群系统中的服务器，所述分布式集群系统包括多个服务器，所述装置包括：获取模块、生成模块以及接收模块；

所述获取模块，用于获取目标日志数据的目标发送端地址和目标接收端地址，所述目标接收端地址为所述服务器的地址，所述目标发送端地址为客户端的地址；

所述生成模块，用于根据所述目标发送端地址和所述目标接收端地址，生成针对所述目标日志数据的日志直传接口，并选择获取目标网络传输链路；

所述接收模块，用于通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；

所述接收模块，具体用于监测获取所述客户端发送所述目标日志数据的传输速率；

根据所述目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；

若获取扩容后的多个所述服务器，则采用扩容后的多个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；或者，

若获取缩容后的至少一个所述服务器，则采用缩容后的至少一个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。

10.一种日志数据的传输装置，其特征在于，应用于客户端，所述装置包括：获取模块和发送模块；

所述获取模块，用于获取目标日志数据对应的日志直传接口和目标网络传输链路，所述日志直传接口包括：目标发送端地址和目标接收端地址，所述目标接收端地址为服务器的地址，所述目标发送端地址为客户端的地址；

所述发送模块，用于根据所述日志直传接口和目标网络传输链路，向所述服务器发送目标日志数据，以使所述服务器通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；

其中，所述服务器通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据，包括：

监测获取所述客户端发送所述目标日志数据的传输速率；

根据所述目标日志数据的传输速率和预设阈值，确定分片扩容或分片缩容；

若获取扩容后的多个所述服务器，则采用扩容后的多个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据；或者，

若获取缩容后的至少一个所述服务器，则采用缩容后的至少一个所述服务器，通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。

11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一所述日志数据的传输方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一所述日志数据的传输方法的步骤。

Images