CN107995234A - 数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种数据传输方法及装置，涉及信息技术领域，解决了现有技术中日志数据传输效率较低和速度较慢的问题。本发明的主要技术方案为：实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。本发明适用于数据传输。

Description

数据传输方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据传输方法及装置。

背景技术

随着信息技术的不断发展，日志采集系统随之出现，如Flume，Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。日志采集系统通常从源服务器中获取日志数据，然后将日志数据传输给目标服务器，其中，源服务器可以用于记录日志数据，目标服务器可以用于对日志数据进行分析或者备份。为了保证日志数据能够成功传输到目标服务器，日志采集系统通常将从源服务器中获取的日志数据保存到中间传输通道上，然后将从中间传输通道获取的日志数据传输给目标服务器。

目前，在进行数据传输时，通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中。然而，内存传输通道和磁盘传输通道为不同的传输通道，若将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中，会造成日志数据二次保存，造成日志数据传输效率较低。此外，将数据保存到磁盘传输通道的速度较慢，造成日志数据传输的速度较慢。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的数据传输方法及装置。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据传输方法，所述方法包括：

实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。

另一方面，本发明提供了一种数据传输装置，所述装置包括：

监控单元，用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

调整单元，用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值；

检测单元，用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

获取单元，用于若检测单元检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据；

传输单元，用于将所述预置内存传输通道中的日志数据传输给目标服务器。

借由上述技术方案，本发明提供的一种数据传输方法及装置。首先实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。与现有技术中通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中相比，本发明实施例通过根据用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出的同时避免内存资源浪费，以及通过在所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值时，停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够进一步避免预置内存传输通道数据溢出以及避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种数据传输方法流程图；

图2为本发明实施例提供的另一种数据传输方法流程图；

图3为本发明实施例提供的一种数据传输装置结构示意图；

图4为本发明实施例提供的另一种数据传输装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明实施例提供了一种数据传输方法，如图1所示，可以应用于日志采集、聚合和传输系统，所述方法包括：

101、实时监控用户设置的预置内存传输通道的数据容量阈值，并根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值。

其中，所述预置内存传输通道保存有从源服务器中获取的日志数据。所述源服务器可以为产品对应的服务器，例如，源服务器可以为电视应用对应的服务器，浏览器对应的服务器等。例如，用户设置的预置内存传输通道的数据容量阈值为1000条，可以将预置内存传输通道的数据容量阈值调整到用户设置的预置内存传输通道的数据容量阈值的5％-10％，若将预置内存传输通道的数据容量阈值调整到用户设置的预置内存传输通道的数据容量阈值的10％，调整后的预置内存传输通道的数据容量阈值小于内存实际数据容量，则调整后的预置内存传输通道的数据容量阈值为1100条。

在不同的时刻预置内存传输通道中日志数据的数据量不同。若用户设置的预置内存传输通道数据容量阈值小于预置内存传输通道中日志数据的数据量，会造成预置内存传输通道数据溢出，从而造成程序报错以及带来重启系统的麻烦。若用户设置的预置内存传输通道的数据容量阈值远大于预置内存传输通道中日志数据的数据量，会造成内存资源浪费。本发明实施例，通过根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出，同时能够避免内存资源浪费。此外，能够避免因预置内存传输通道数据溢出程序报错，而带来的系统重启麻烦。

需要说明的是，本发明实施例的执行主体可以为分布式日志采集、聚合和传输系统Flume，其中，Flume包括源Source组件，Channel以及目标Sink组件。所述Source组件可以用于从源服务器中读取的日志数据，所述Channel传输从源服务器中读取的日志数据，目标Sink组件用于将Channel中的日志数据写入到目标服务器中。

102、检测预置内存传输通道中的数据容量是否大于或者等于用户设置的预置内存传输通道的数据容量阈值。

需要说明的是，当预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值时，说明预置内存传输通道中存储的日志数据已经达到用户设置的预置内存传输通道的数据容量阈值。当预置内存传输通道中的数据容量小于用户设置的预置内存传输通道的数据容量阈值时，说明预置内存传输通道还存在空间存储日志数据，则可以继续从源服务器读取日志数据。

例如，用户设置的预置内存传输通道的数据容量阈值为1000条，预置内存传输通道中的数据容量为1000条时，则说明预置内存传输通道中的数据容量已经达到用户设置的预置内存传输通道的数据容量阈值。当预置内存传输通道中的数据容量为900条时，则说明预置内存传输通道中还存在空间存储日志数据，则可以继续从源服务器读取日志数据。

103、若预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值，则停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器。

需要说明的是，当预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值时，继续从源服务器中获取的日志数据，会造成预置内存传输通道溢出以及溢出的日志数据会存储到磁盘传输通道，导致日志数据传输的效率较低以及速度较慢。本发明实施例中，通过停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够避免预置内存传输通道溢出以及能够避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

本发明实施例提供的一种数据传输方法。首先实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于用户设置的预置内存传输通道的数据容量阈值；若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。与现有技术中通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中相比，本发明实施例通过根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出的同时避免内存资源浪费，以及通过在所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值时，停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够进一步避免预置内存传输通道数据溢出以及避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

本发明实施例提供了另一种数据传输方法，如图2所示，可以应用于日志采集、聚合和传输系统，所述方法包括：

201、实时监控用户设置的预置内存传输通道的数据容量阈值，并根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值。

其中，所述源服务器和预置内存传输通道的数据容量阈值在步骤101已进行了详细的描述，在此不进行赘述。

对于本发明实施例，步骤201具体可以包括：根据所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量动态调整所述预置内存传输通道的数据容量阈值。需要说明的是，所述根据所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量动态调整所述预置内存传输通道的数据容量阈值，具体包括：根据所述用户设置的预置内存传输通道的数据容量阈值和预置调整范围，动态调整所述预置内存传输通道的数据容量阈值，调整后的预置内存传输通道的数据容量阈值小于或者等于内存实际数据容量。通过根据所述用户设置的预置内存传输通道的数据容量阈值和预置调整范围，动态调整预置内存传输通道的数据容量阈值，能够能够避免预置内存传输通道数据溢出，同时能够避免内存资源浪费。此外，能够避免因预置内存传输通道数据溢出程序报错，而带来的系统重启麻烦。

其中，所述预置调整范围可以根据用户的需求进行设置，也可以根据系统默认模式进行设置，本发明实施例不做限制。例如，预置调整范围为5％-10％，也可以为8％-12％等。

例如，用户设置的预置内存传输通道的数据容量阈值为1000条，预置调整范围为5％-10％，则说明允许按照5％-10％的调整范围对预置内存传输通道进行调整。若按照用户设置的预置内存传输通道的数据容量阈值的10％对预置内存传输通道的数据容量阈值进行调整，调整后的预置内存传输通道的数据容量阈值1100条小于或者等于内容实际数据容量1200条，则将用户设置的预置内存传输通道的数据容量阈值1000条调整为1100条。

202、从源服务器中获取日志数据并将日志数据保存到预置内存传输通道中。

其中，所述预置内存传输通道保存有从源服务器中获取的日志数据。需要说明的是，可以通过Source组件从源服务器中获取日志数据。所述预置内存传输通道可以为MemoryChannel。

203、检测预置内存传输通道中的数据容量是否大于或者等于用户设置的预置内存传输通道的数据容量阈值。若是，则执行步骤204；若否，则执行步骤207。

204、停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器。

需要说明的是，可以通过Sink组件将预置内存传输通道中的日志数据传输给目标服务器。

205、在预置内存传输通道中删除已传输的日志数据。

对于本发明实施例，通过在预置内存传输通道中删除已传输的日志数据，可以保证预置内存传输通道存在空闲，保存从源服务器中获取的日志数据。

206、检测预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值。若是，则执行207。

其中，所述第一数据容量阈值小于所述用户设置的预置内存传输通道的数据容量阈值。所述第一数据容量阈值可以根据用户需求进行设置，也可以根据系统默认模式进行设置，本发明实施例不做限定。例如，当用户设置的预置内存传输通道的数据容量阈值1000条时，第一数据容量可以为900条。

对于本发明实施例，通过设置小于用户设置的预置内存传输通道的数据容量阈值的第一数据容量阈值以及检测预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值，可以保证预置内存传输通道有存在可以存储空间存储日志数据的空间，从而能够进一步避免预置内存传输通道溢出，以及进一步避免存在将日志数据保存到磁盘传输通道的情况，进而能够进一步提升日志数据传输效率和传输速度。

207、继续从源服务器中获取日志数据。

对于本发明实施例，具体可以应用如下场景，但不限于此，包括：若监控到用户设置的预置内存传输通道的数据容量阈值为1000条，则将预置内存传输通道的数据容量阈值调整到用户设置的预置内存传输通道的数据容量阈值的10％，即调整后的预置内存传输通道的数据容量阈值为1100条。对于本发明实施例，通过源服务器记录的日志数据量动态调整预置内存传输通道的数据容量阈值，能够在避免预置内存传输通道数据溢出的同时能够避免内存资源浪费。

然后通过Source组件从源服务器中读取日志数据，将日志数据保存到MemoryChannel中，当MemoryChannel中的数据容量等于用户设置的预置内存传输通道的数据容量阈值1000条时，停止从源服务器中读取日志数据，并通过Sink组件将MemoryChannel中的日志数据传输到目标服务器中。对于本发明实施例，当MemoryChannel中的数据容量等于1000条时，通过停止从源服务器中获取日志数据并将MemoryChannel中的日志数据传输给目标服务器，能够避免MemoryChannel溢出以及避免能够避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

此外，第一数据容量阈值为900条且当确认日志数据成功传输到目标服务器时，在MemoryChannel中删除已传输的日志数据。当MemoryChannel中的数据容量小于900条时，再继续从源服务器中读取日志数据。需要说明的是，通过在MemoryChannel中删除已传输的日志数据，可以使得MemoryChannel空闲，从而可以使得source组件继续从源服务器中读取日志数据，进而可以保证源服务器中的全部日志数据成功传输到目标服务器。

本发明实施例提供的另一种数据传输方法。首先实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于用户设置的预置内存传输通道的数据容量阈值；若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。与现有技术中通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中相比，本发明实施例通过根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出的同时避免内存资源浪费，以及通过在所述预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值时，停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够进一步避免预置内存传输通道数据溢出以及避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

进一步地，本发明实施例提供一种数据传输装置，如图3所示，所述装置包括：监控单元31、调整单元32、检测单元33、获取单元34、传输单元35。

监控单元31，可以用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据。

调整单元32，可以用于根据所述监控单元31监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值。

检测单元33，可以用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值。

获取单元34，可以用于若检测单元33检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据。

传输单元35，可以用于将所述预置内存传输通道中的日志数据传输给目标服务器。

需要说明的是，本发明实施例提供的一种数据传输装置所涉及各功能单元的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明实施例提供的一种数据传输装置。所述装置包括：监控单元、调整单元、检测单元、获取单元和传输单元。监控单元，用于实时监控用户设置的预置内存传输通道的数据容量阈值；调整单元，用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值；检测单元，用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据；获取单元，用于若检测单元检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从源服务器中获取日志数据。与现有技术中通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中相比，本发明实施例通过根据用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出的同时避免内存资源浪费，以及通过在所述预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值时，停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够进一步避免预置内存传输通道数据溢出以及避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

进一步地，本发明实施例提供另一种数据传输装置，如图4所示，所述装置包括：监控单元41、调整单元42、检测单元43、获取单元44、传输单元45。

监控单元41，可以用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据。

调整单元42，可以用于根据所述监控单元41监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值。

检测单元43，可以用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值。

获取单元44，可以用于若检测单元33检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据。

传输单元45，可以用于将所述预置内存传输通道中的日志数据传输给目标服务器。

所述调整单元42，具体可以用于根据所述监控单元41监控的所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量，动态调整所述预置内存传输通道的数据容量阈值。

所述调整单元42，具体可以用于根据所述监控单元41监控的所述用户设置的预置内存传输通道的数据容量阈值和预置调整范围，动态调整所述预置内存传输通道的数据容量阈值，调整后的预置内存传输通道的数据容量阈值小于或者等于内存实际数据容量。

所述检测单元43，还可以用于检测所述预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值，所述第一数据容量阈值小于所述用户设置的预置内存传输通道的数据容量阈值。

所述获取单元44，还可以用于若所述检测单元检测所述预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值，则继续从所述源服务器中获取日志数据。

进一步地，所述装置还包括：删除单元46。

删除单元46，可以用于在所述预置内存传输通道中删除已传输的日志数据。

所述获取单元44，还可以用于若所述检测单元检测所述预置内存传输通道中的数据容量小于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则继续从所述源服务器中获取日志数据。

进一步地，所述装置还包括：保存单元47。

所述获取单元44，还可以用于从所述源服务器中获取日志数据。

所述保存单元47，可以用于将所述获取单元获取的所述日志数据保存到所述预置内存传输通道中。

需要说明的是，本发明实施例提供的另一种数据传输装置所涉及各功能单元的其他相应描述，可以参考图2所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明实施例提供的另一种数据传输装置。所述装置包括：监控单元、调整单元、检测单元、获取单元和传输单元。监控单元，用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据；调整单元，用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值；检测单元，用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；获取单元，用于若检测单元检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据。与现有技术中通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中相比，本发明实施例通过根据用户设置的预置内存传输通道动态调整预置内存传输通道的数据容量阈值，能够避免预置内存传输通道数据溢出的同时避免内存资源浪费，以及通过在所述预置内存传输通道中的数据容量大于或者等于用户设置的预置内存传输通道的数据容量阈值时，停止从源服务器中获取日志数据并将预置内存传输通道中的日志数据传输给目标服务器，能够进一步避免预置内存传输通道数据溢出以及避免将日志数据保存到磁盘传输通道中，从而能够避免日志数据二次保存，进而能够提升日志数据传输效率。此外，能够提升日志数据传输速度。

所述数据传输装置包括处理器和存储器，上述获取单元、检测单元、传输单元、删除单元和保存单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高情感特征识别的效率和准确率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据传输方法，其特征在于，包括：

实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。

2.根据权利要求1所述的方法，其特征在于，所述根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值包括：

根据所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量，动态调整所述预置内存传输通道的数据容量阈值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量，动态调整所述预置内存传输通道的数据容量阈值包括：

根据所述用户设置的预置内存传输通道的数据容量阈值和预置调整范围，动态调整所述预置内存传输通道的数据容量阈值，调整后的预置内存传输通道的数据容量阈值小于或者等于内存实际数据容量。

4.根据权利要求1所述的方法，其特征在于，所述若是，则停止从所述源服务器中获取日志数据并将所述日志数据传输给目标服务器之后，所述方法还包括：

检测所述预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值，所述第一数据容量阈值小于所述用户设置的预置内存传输通道的数据容量阈值；

若是，则继续从所述源服务器中获取日志数据。

5.根据权利要求4所述的方法，其特征在于，所述检测所所述预置内存传输通道中的数据容量是否小于或者等于第一数据容量阈值之前，所述方法还包括：

在所述预置内存传输通道中删除已传输的日志数据。

6.根据权利要求1所述的方法，其特征在于，所述检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值之后，所述方法还包括：

若否，则继续从所述源服务器中获取日志数据。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值之前，所述方法还包括：

从所述源服务器中获取日志数据；

将所述日志数据保存到所述预置内存传输通道中。

8.一种数据传输装置，其特征在于，包括：

监控单元，用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

调整单元，用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值；

检测单元，用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

获取单元，用于若检测单元检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据；

传输单元，用于将所述预置内存传输通道中的日志数据传输给目标服务器。

9.根据权利要求8所述的装置，其特征在于，

所述调整单元，具体用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值和内存实际数据容量，动态调整所述预置内存传输通道的数据容量阈值。

10.根据权利要求8所述的装置，其特征在于，

所述调整单元，具体用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值和预置调整范围，动态调整所述预置内存传输通道的数据容量阈值，调整后的预置内存传输通道的数据容量阈值小于或者等于内存实际数据容量。