CN108491526B - 日志数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种日志数据处理方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：当接收到流转指令时，显示流转界面，基于流转界面的输入选项，获取目标流转路径信息，根据目标流转路径信息至少包括的源服务器的标识、流转启动时间和目标服务器的标识，从源服务器中获取日志数据；当日志数据成功流转至目标服务器时，显示入库界面，基于入库界面的输入选项，获取日志数据的目标入库路径信息；根据入库路径信息的筛选条件信息对日志数据进行筛选，并将筛选后的日志数据存储至目标服务器的数据库中。由于无需人工编写程序指令，提高了日志数据处理效率和数据分析脚本开发效率。

Description

日志数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种日志数据处理方法、装置、电子设备及存储介质。

背景技术

服务器为用户提供某项服务时，往往会产生大量的日志数据，以记录该服务的运行状态和用户的行为。例如，服务器为用户提供就医服务时，会生成记录用户挂号情况、处方流转情况的日志数据。一般的，日志数据分布在多个源服务器中。在实际产品运营过程中，工作人员通常需要将多个源服务器的日志数据进行流转、入库处理，以使工作人员可以在一个目标服务器中分析产品运营效果，制定运营策略。其中，流转是指将多个源服务器的日志数据转移至目标服务器中，入库是指在将流转至目标服务器的日志数据存储至数据库中。

相关技术中，日志数据处理过程为：当需要某类日志数据时，工作人员确定生成该类日志数据的多个源服务器的源地址和目标服务器的目的地址，在该类日志数据的数据分析脚本中编写流转、入库的程序指令，并将该源地址和目的地址添加至该数据分析脚本中，目标服务器执行该数据分析脚本，从而将多个源服务器中的日志数据流转至目标服务器，然后将该日志数据存储至目标服务器的数据库中。

在实现本发明的过程中，发明人发现相关技术至少存在以下问题：

实际上，对该类日志数据的计算和分析是该数据分析脚本的主要用途，然而，工作人员在开发该数据分析脚本时，还需要花费大量时间人工编写流转和入库的程序指令，导致数据分析脚本的开发效率和日志数据的处理效率均较低。

发明内容

本发明实施例提供了一种日志数据处理方法、装置、电子设备及存储介质，可以解决相关技术中数据分析脚本的开发效率和日志数据的处理效率均较低的问题。所述技术方案如下：

第一方面，提供了一种日志数据处理方法，所述方法应用在目标服务器中，所述方法包括：

当接收到流转指令时，显示流转界面，基于所述流转界面的输入选项，获取目标流转路径信息，所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识；

根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据，以使所述日志数据流转至所述目标服务器；

当所述日志数据成功流转至所述目标服务器时，显示入库界面，基于所述入库界面的输入选项，获取所述日志数据的目标入库路径信息，所述入库路径信息至少包括筛选条件信息；

根据所述筛选条件信息对所述日志数据进行筛选，并将筛选后的日志数据存储至所述目标服务器的数据库中。

第二方面，提供了一种日志数据处理装置，所述装置应用在目标服务器中，所述装置包括：

显示模块，用于当接收到流转指令时，显示流转界面，基于所述流转界面的输入选项，获取目标流转路径信息，所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识；

获取模块，用于根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据，以使所述日志数据流转至所述目标服务器；

所述显示模块，还用于当所述日志数据成功流转至所述目标服务器时，显示入库界面，基于所述入库界面的输入选项，获取所述日志数据的目标入库路径信息，所述入库路径信息至少包括筛选条件信息；

存储模块，用于根据所述筛选条件信息对所述日志数据进行筛选，并将筛选后的日志数据存储至所述目标服务器的数据库中。

第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如第一方面所述的日志数据处理方法所执行的操作。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的日志数据处理方法所执行的操作。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，在需要对日志数据进行流转时，当接收到流转指令时，目标服务器可以基于流转界面的输入选项，获取目标流转路径信息，根据源服务器的标识、流转启动时间和目标服务器的标识，从源服务器中获取日志数据，以使日志数据流转至目标服务器；当日志数据成功流转至目标服务器时，再基于显示的入库界面的输入选项，获取日志数据的目标入库路径信息，先对日志数据进行筛选，再存储至目标服务器的数据库中。由于通过流转界面和入库界面来采集处理过程所需信息，使得工作人员无需花费大量时间在数据分析脚本中人工编写程序指令，从而大大减少了日志数据的处理时间，提高了日志数据的处理效率和数据分析脚本的开发效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种实施环境的示意图；

图2是本发明实施例提供的一种日志数据处理方法的流程图；

图3是本发明实施例提供的一种流转过程的流程图；

图4a是本发明实施例提供的一种入库过程的流程图；

图4b是本发明实施例提供的一种日志数据处理方法的流程图；

图5是本发明实施例提供的一种日志数据处理装置的结构示意图；

图6示出了本发明实施例提供的一种电子设备的结构示意图；

图7是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种实施环境的示意图，该实施环境包括：源服务器101和目标服务器102。其中，该源服务器101中安装了用于提供服务的应用程序，在为用户提供服务过程中，源服务器101会产生大量日志数据，以记录提供服务过程中运行状态和用户的行为。该源服务器101与该目标服务器102之间建立通信连接，该目标服务器102可以通过该通信连接，将该日志数据从源服务器101流转至目标服务器102中，并将该日志数据存进行入库处理，以方便工作人员在目标服务器上分析产品运营效果。

其中，该源服务器101的数量可以为多个。例如，分布在多家医院的多个源服务器101，可以为用户提供挂号、就诊等服务，在提供服务过程中，该多个源服务器101可以生成记录用户挂号情况、处方流转情况的日志数据。

下面，针对上述流转和入库过程所涉及到的名词进行介绍：

流转：日志数据从源服务器转移到目标服务器中。

入库：将日志数据存储在目标服务器的数据库中，存储过程中会对日志数据进行过滤、筛选和转换等操作。

目标流转路径信息：流转之前事先配置的信息，用于说明流转的执行过程，可以包括源服务器的标识、流转启动时间、目标服务器的标识和用户终端的终端标识等流转所需信息。

目标入库路径信息：入库之前事先配置的信息，用于说明入库的执行过程，可以包括筛选条件信息、数据库地址等入库所需信息。

其中，该源服务器101可以为可生成日志数据的任一设备，目标服务器102可以为可执行流转、入库过程的任一设备，本发明实施例对此不做具体限定。例如，该源服务器101和目标服务器102可以为PAD(Portable Android Device，平板电脑)或者计算机等任一可实现上述处理过程的电子设备。

图2是本发明实施例提供的一种日志数据处理方法的流程图。该发明实施例的执行主体为目标服务器，参见图2，该方法包括：

201、当接收到流转指令时，目标服务器显示流转界面，基于该流转界面的输入选项获取目标流转路径信息。

其中，该目标流转路径信息至少包括生成该日志数据的源服务器的标识、流转启动时间和目标服务器的标识。该日志数据为多个源服务器提供服务过程中所生成的数据，工作人员需要浏览该日志数据时，可以通过目标服务器实现该日志数据的流转。该流转启动时间为目标服务器开始执行流转该日志数据的时间。

本发明实施例中，当工作人员需要浏览该日志数据时，可以触发该目标服务器的流转指令，当该目标服务器接收到触发的流转指令时，在当前显示界面上显示流转界面，该流转界面用于采集输入的目标流转路径信息。具体的，该流转界面上显示多个输入选项，该多个输入选项至少包括输入源服务器的标识、流转启动时间的选项，工作人员可以在该多个输入选项中输入该源服务器的标识和流转启动时间，目标服务器根据该流转界面中多个输入选项的选项标识，获取源服务器的标识和流转启动时间。

在一种可能的设计中，该多个输入选项还可以包括尝试次数、预设时间、目标流转路径信息的标识、终端标识、日志数据分别在源服务器、目标服务器的存放路径等。具体的，如下表一所示，该多个输入选项还可以包括以下选项：

表一：

其中，该终端标识可以为工作人员的用户终端，目标服务器可以在执行流转时，根据该终端标识，向工作人员发送通知消息，以方便工作人员实时监控该流转过程。该目标流转路径信息的标识可以为该目标流转路径信息的名称、介绍等，以方便工作人员了解该流转过程。该尝试次数用于指示目标服务器对该日志数据执行流转的次数，该预设时间为上一次流转失败开始到再次执行流转时的时间间隔；通过该尝试次数和预设时间，提高了流转的成功几率，进而保证了日志数据处理的可靠性。该日志数据在源服务器的存放路径用于指示该日志数据在该源服务器中的存储位置，以便于目标服务器直接基于该存放路径获取到该日志数据。该目标服务器中保存日志数据的路径用于指示目标服务器获取该日志数据后暂时存储该日志数据的存储位置；该存储位置可以为目标服务器中缓存空间。该目标入库路径信息的标识可以为该目标入库路径信息的名称，用于指示流转之后所执行的入库过程。

本发明实施例中，在需要流转日志数据时，目标服务器可以通过流转界面采集待流转的日志数据的流转所需信息，后续可以仅基于采集的信息，实现流转过程，工作人员仅在流转界面上输入流转所需信息即可，无需再进行人工编写流转的程序指令，从而大大节省了流转的时间。并且，由于省略了在数据分析脚本中编写代码的过程，也大大提高了数据分析脚本的开发效率。

202、目标服务器根据该源服务器的标识、该流转启动时间和该目标服务器的标识，从该源服务器中获取该日志数据，以使该日志数据流转至该目标服务器。

本发明实施例中，工作人员通过该多个输入选项输入多个选项信息后，目标服务器获取该多个选项信息，并基于该多个选项信息所限定的目标流转路径信息执行流转过程。一般的，工作人员将该流转启动时间设置为该源服务器生成该日志数据之后的时间，例如，该流转启动时间可以为该源服务器生成该日志数据后1小时。另外，目标服务器进行流转之前，可以先将本地已存储的历史日志数据进行备份，当流转失败可能导致历史日志数据受损时，目标服务器还可以基于该备份数据进行恢复。具体的，本步骤可以为：当达到该流转启动时间时，目标服务器将该目标服务器的历史日志数据移动至缓存空间以外的其他存储空间；目标服务器根据该源服务器的标识，读取该源服务器中的日志数据，并将读取日志数据存储至该目标服务器的缓存空间中。

进一步的，该目标流转路径信息还可以包括该日志数据分别在源服务器和目标服务器中的存放路径，因此，目标服务器根据该源服务器的标识查找该源服务器，根据该日志数据在源服务器的存放路径，获取该日志数据。目标服务器根据该目标服务器中保存日志数据的路径，将该日志数据存储在该路径对应的缓存空间中。

本发明实施例中，目标服务器可以在确定源服务器生成日志数据后，再进行流转，从而能保证日志数据的完整性。并且，在流转之前，通过先备份再流转的流程，在流转失败时还可以基于备份数据来恢复日志数据，防止历史日志数据因流转失败被损坏时无法恢复，大大减小了流转失败引起的风险。

进一步的，目标服务器执行上述流转过程后，还可以判断是否流转成功，当流转成功时，目标服务器通过以下步骤204-205对该日志数据执行入库过程。当流转失败时，目标服务器可以通过以下步骤203尝试多次流转，以提高流转成功的几率，进而增大日志数据处理流程的鲁棒性。

其中，目标服务器判断是否流转成功的过程可以为：目标服务器执行流转过程后，检测缓存空间是否存在待流转的日志数据，当该缓存空间中存在该日志数据时，确定流转成功；当该缓存空间中不存在该日志数据时，确定流转失败。

203、当日志数据未成功流转至目标服务器时，目标服务器通过计时器开始计时，当计时时间达到该预设时间时，再次执行从源服务器中获取日志数据的过程。

本发明实施例中，当流转失败时，目标服务器可以基于尝试次数和预设时间，尝试进行多次流转。具体的，该尝试多次流转的过程可以为：目标服务器可以通过计时器，从流转失败时开始计时，并判断当前时间是否到达该预设时间，当该计时时间达到该预设时间时，目标服务器再次执行从源服务器中获取日志数据的过程。当再次流转失败时，目标服务器重复执行上述流转过程，直至流转成功。然而，当流转失败次数达到该尝试次数时，目标服务器停止执行从源服务器中获取日志数据的过程，并将所述目标服务器的历史日志数据重新移回至目标服务器的原存储空间中。

在一种可能的设计中，该目标流转路径信息还可以包括用户终端的终端标识，该用户终端为使用该目标服务器的用户的终端，目标服务器进行流转之后，还可向工作人员通知该流转结果，具体的，该通知过程可以为：目标服务器根据该终端标识，向该用户终端发送通知消息，该通知消息用于通知用户日志数据是否成功流转至目标服务器。

为了更加清晰的明确上述流转过程，以图3所示流程图对上述流转过程进行说明，如图3所示，目标服务器接收流转指令时，基于该流转启动时间，等待源服务器生成日志数据，如果目标服务器中存在历史日志数据，则先备份该历史日志数据，将日志数据流转至目标服务器；如果目标服务器中不存在历史日志数据，则直接将日志数据流转至目标服务器。并判断是否流转成功，当流转成功时，结束，当流转失败时，根据备份数据，恢复该历史日志数据，结束。其中，图3中的流转失败是指尝试多次流转后仍流转失败。

204、当该日志数据成功流转至该目标服务器时，目标服务器显示入库界面，基于该入库界面的输入选项获取该日志数据的目标入库路径信息。

本发明实施例中，该目标入库路径信息至少包括筛选条件信息，当流转成功时，目标服务器则在当前显示界面上显示入库界面，该入库界面用于采集输入的目标入库路径信息。具体的，该入库界面上显示多个输入选项，该多个输入选项至少包括输入筛选条件信息的选项，该筛选条件信息可以为具体的筛选算法，工作人员可以在该入库界面的多个输入选项中输入该筛选算法，目标服务器根据该入库界面中输入选项的选项标识，获取相应输入选项中的数据库地址和筛选算法。其中，目标服务器可以通过筛选表达式定义该筛选算法，该筛选算的输入选项也即是输入筛选表达式的选项，工作人员可以通过该输入选项输入该筛选筛选表达式。其中，该筛选算法可以根据用户需要设置并更改，本发明实施例对此不做具体限定。例如，该筛选算法可以为AWK(Aho Weiberger and Kernigha，阿霍、威贝尔和克尼汉)程序算法，则该筛选表达式可以为AWK表达式。

在一种可能的设计中，该多个输入选项还可以包括分隔符、数据表的标识和数据表的对应字段等。该数据表标识可以为该数据表的表名称。具体的，如下表二所示，该多个输入选项还可以包括以下选项：

表二：

输入选项	选项含义
		str	数据库地址
table	数据表的表名称
		separator	分隔符
filed arr	数据表的对应字段
		AWK map	AWK表达式

其中，该数据表标识为该数据库中用于存储该日志数据的表。该分隔符用于将该日志数据内所包括的多行数据间隔为不同数组，该数据表的对应字段用于对应存储划分后的多个数组。

本发明实施例中，通过在该入库界面采集入库所需信息，从而定义目标入库路径信息，后续可以自己与该目标入库路径信息实现入库过程，工作人员仅在入库界面上输入该目标入库路径信息，无需再进行人工编写入库的程序指令，从而大大节省了入库的时间，提高了入库效率。并且，由于省略了在数据分析脚本中编写代码的过程，也大大提高了数据分析脚本的开发效率。

205、目标服务器根据该筛选算法对该日志数据进行筛选，并根据该数据库地址将筛选后的日志数据存储至目标服务器的数据库中。

本发明实施例中，源服务器直接生成的日志数据中可能存在空数据或者错误数据，目标服务器可以先对该日志数据进行筛选，再存储至数据库，具体的，本步骤可以为：目标服务器按照该筛选条件信息中的筛选表达式，在该日志数据包括的多行数据中筛选出与该筛选表达式匹配的行数据，删除与该筛选表达式匹配的行数据；将删除后的日志数据存储至该数据库地址对应的数据库中。

其中，在该数据库中，该目标入库路径信息中还可以包括分隔符，目标服务器可以将该日志数据以数据表的形式进行存储，则将删除后的日志数据存储至该数据库地址对应的数据库中的步骤可以为：该目标服务器根据上述筛选条件信息进行筛选后，对于每行数据，目标服务器基于该分隔符，将该行数据所包括的子数据添加至对应数组中，得到多个数组，将该多个数组分别存储至该数据库的数据表对应字段中。

需要说明的是，该目标服务器可以事先在数据表设置每个数组对应的字段，该字段用于存储对应的数组，目标服务器可以将该多个数组按照预设顺序存储在数据表的对应字段中。例如就诊时间、就诊人信息等数组。另外，目标服务器还可以将不同类型的日志数据或者同类日志数据的不同数组分别存储在其对应的数据表，例如，存储挂号数据的数据表，存储处方数据的数据表。

需要说明的是，为了更加清晰的明确上述入库过程中筛选、切分数组再存储的处理过程，以图4a所示流程图对上述入库过程进行说明，如图4a所示，目标服务器先根据AWK算法，对日志数据进行筛选，滤掉日志数据中的错误数据然后根据分隔符，将日志数据划分到多个数组中，并将多个数组的数据分别存储到数据表的对应字段中。

需要说明的是，该目标服务器中可以设置调度模块，通过该调度模块执行上述流转和入库过程。为了更加清晰的明确上述流转和入库的处理过程，以图4b所示流程图对上述整体处理过程进行说明，如图4b所示，目标服务器接收流转指令时，通过该调度模块加载该流转界面和入库界面，该调度模块初始化流转过程和入库过程，并判断是否达到执行流转过程的流转启动时间，当未达到流转启动时间时，继续等待；当达到流转启动时间时，该调度模块按顺序执行流转过程，并执行入库过程；并判断是否执行成功，当执行成功时，该调度模块在循环队列中注销该流转和入库过程，该循环队列由多个待执行的流转、入库过程组成；当执行失败时，该调度模块取消当前流转过程，并对该流转、入库过程进行延时处理，当延时预设时间后，该调度模块再次执行该流转、入库过程；并判断该循环队列中是否还有待执行的流转、入库过程，当该循环队列中有待执行的流转、入库过程时，继续执行该流转、入库过程；当该循环队列中没有待执行的流转、入库过程时，结束。

本发明实施例中，在需要对日志数据进行流转时，当接收到流转指令时，目标服务器可以基于流转界面的输入选项，获取目标流转路径信息，根据源服务器的标识、流转启动时间和目标服务器的标识，从源服务器中获取日志数据，以使日志数据流转至目标服务器；当日志数据成功流转至目标服务器时，再基于显示的入库界面的输入选项，获取日志数据的目标入库路径信息，先对日志数据进行筛选，再存储至目标服务器的数据库中。由于通过流转界面和入库界面来采集处理过程所需信息，使得工作人员无需花费大量时间在数据分析脚本中人工编写程序指令，从而大大减少了日志数据的处理时间，提高了日志数据的处理效率和数据分析脚本的开发效率。

图5是本发明实施例提供的一种日志数据处理装置的结构示意图。参见图5，该装置包括：显示模块501、获取模块502、存储模块503。

显示模块501，用于当接收到流转指令时，显示流转界面，基于该流转界面的输入选项，获取目标流转路径信息，该目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识；

获取模块502，用于根据该源服务器的标识、该流转启动时间和该目标服务器的标识，从该源服务器中获取日志数据，以使该日志数据流转至该目标服务器；

该显示模块501，还用于当该日志数据成功流转至该目标服务器时，显示入库界面，基于该入库界面的输入选项，获取该日志数据的目标入库路径信息，该入库路径信息至少包括筛选条件信息；

存储模块503，用于根据该筛选条件信息对该日志数据进行筛选，并将筛选后的日志数据存储至该目标服务器的数据库中。

可选的，该获取模块502，用于当达到该流转启动时间时，将该目标服务器的历史日志数据移动至缓存空间以外的其他存储空间，并根据该源服务器的标识，读取该源服务器中的日志数据，将读取的日志数据存储至该目标服务器的缓存空间中。

可选的，该装置还包括：

计时模块，用于当该日志数据未成功流转至该目标服务器时，通过计时器开始计时，当计时时间达到该预设时间时，再次执行从该源服务器中获取日志数据的过程；

该获取模块502，还用于当未成功流转次数达到该尝试次数时，停止执行从该源服务器中获取日志数据的过程，并将该目标服务器的历史日志数据重新移回该目标服务器的原存储空间中。

可选的，该存储模块503包括：

筛选单元，用于按照该筛选条件信息中的筛选表达式，在该日志数据包括的多行数据中筛选出与该筛选表达式匹配的行数据，删除与该筛选表达式匹配的行数据；

切分单元，用于对于每行数据，查找该行数据内的分隔符，基于该分隔符，将该行数据所包括的子数据添加至对应数组中，得到多个数组；

存储单元，用于将该多个数组分别存储至该数据库的数据表对应字段中。

可选的，该装置还包括：

发送模块，用于根据该终端标识，向该用户终端发送通知消息，该通知消息用于通知该用户该日志数据是否成功流转至该目标服务器。

本发明实施例中，在需要对日志数据进行流转时，当接收到流转指令时，目标服务器可以基于流转界面的输入选项，获取目标流转路径信息，根据源服务器的标识、流转启动时间和目标服务器的标识，从源服务器中获取日志数据，以使日志数据流转至目标服务器；当日志数据成功流转至目标服务器时，再基于显示的入库界面的输入选项，获取日志数据的目标入库路径信息，先对日志数据进行筛选，再存储至目标服务器的数据库中。由于通过流转界面和入库界面来采集处理过程所需信息，使得工作人员无需花费大量时间在数据分析脚本中人工编写程序指令，从而大大减少了日志数据的处理时间，提高了日志数据的处理效率和数据分析脚本的开发效率。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的日志数据处理装置在日志数据处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的日志数据处理装置与日志数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6示出了本发明实施例提供的一种电子设备的结构示意图。该电子设备600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，设备600包括有：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的日志数据处理方法。

在一些实施例中，设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源609用于为设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在设备600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在设备600的侧边框时，可以检测用户对设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置设备600的正面、背面或侧面。当设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在设备600的前面板。接近传感器616用于采集用户与设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与设备600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与设备600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图7是本发明实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的日志数据处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成下述实施例中的日志数据处理方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志数据处理方法，其特征在于，所述方法应用在目标服务器中，所述方法包括：

当接收到流转指令时，显示流转界面，基于所述流转界面的输入选项，获取目标流转路径信息，所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识；

根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据，以使所述日志数据流转至所述目标服务器；

当所述日志数据成功流转至所述目标服务器时，显示入库界面，基于所述入库界面的输入选项，获取所述日志数据的目标入库路径信息，所述目标入库路径信息至少包括筛选条件信息；

根据所述筛选条件信息中的筛选表达式，在所述日志数据包括的多行数据中筛选出与所述筛选表达式匹配的行数据，删除与所述筛选表达式匹配的行数据，将筛选后的日志数据存储至所述目标服务器的数据库中，所述筛选表达式用于筛选出所述日志数据中的空数据或错误数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据包括：

当达到所述流转启动时间时，将所述目标服务器的历史日志数据移动至缓存空间以外的其他存储空间，并根据所述源服务器的标识，读取所述源服务器中的日志数据，将读取的日志数据存储至所述目标服务器的缓存空间中。

3.根据权利要求2所述的方法，其特征在于，所述目标流转路径信息还包括尝试次数和预设时间，所述根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据之后，所述方法还包括：

当所述日志数据未成功流转至所述目标服务器时，通过计时器开始计时，当计时时间达到所述预设时间时，再次执行从所述源服务器中获取日志数据的过程；

当未成功流转次数达到所述尝试次数时，停止执行从所述源服务器中获取日志数据的过程，并将所述目标服务器的历史日志数据重新移回所述目标服务器的原存储空间中。

4.根据权利要求1所述的方法，其特征在于，所述目标入库路径信息还包括分隔符，所述分隔符用于将所述日志数据内所包括的多行数据间隔为不同数组；所述将筛选后的日志数据存储至所述目标服务器的数据库中包括：

对于每行数据，查找所述行数据内的分隔符，基于所述分隔符，将所述行数据所包括的子数据添加至对应数组中，得到多个数组；

将所述多个数组分别存储至所述数据库的数据表对应字段中。

5.根据权利要求1所述的方法，其特征在于，所述目标流转路径信息还包括用户终端的终端标识，所述用户终端为使用所述目标服务器的用户的终端，所述方法还包括：

根据所述终端标识，向所述用户终端发送通知消息，所述通知消息用于通知所述用户所述日志数据是否成功流转至所述目标服务器。

6.一种日志数据处理装置，其特征在于，所述装置应用在目标服务器中，所述装置包括：

显示模块，用于当接收到流转指令时，显示流转界面，基于所述流转界面的输入选项，获取目标流转路径信息，所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识；

获取模块，用于根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识，从所述源服务器中获取日志数据，以使所述日志数据流转至所述目标服务器；

所述显示模块，还用于当所述日志数据成功流转至所述目标服务器时，显示入库界面，基于所述入库界面的输入选项，获取所述日志数据的目标入库路径信息，所述目标入库路径信息至少包括筛选条件信息；

存储模块，用于根据所述筛选条件信息中的筛选表达式，在所述日志数据包括的多行数据中筛选出与所述筛选表达式匹配的行数据，删除与所述筛选表达式匹配的行数据，将筛选后的日志数据存储至所述目标服务器的数据库中，所述筛选表达式用于筛选出所述日志数据中的空数据或错误数据。

7.根据权利要求6所述的装置，其特征在于，

所述获取模块，用于当达到所述流转启动时间时，将所述目标服务器的历史日志数据移动至缓存空间以外的其他存储空间，并根据所述源服务器的标识，读取所述源服务器中的日志数据，将读取的日志数据存储至所述目标服务器的缓存空间中。

8.根据权利要求6所述的装置，其特征在于，所述存储模块包括：

切分单元，用于对于每行数据，查找所述行数据内的分隔符，基于所述分隔符，将所述行数据所包括的子数据添加至对应数组中，得到多个数组；

存储单元，用于将所述多个数组分别存储至所述数据库的数据表对应字段中。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求5任一项所述的日志数据处理方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的日志数据处理方法所执行的操作。

Images