CN116719787A - 轨道系统中设备日志的上传方法、装置、介质及电子设备 - Google Patents

Abstract

本申请公开了一种轨道系统中设备日志的上传方法、装置、介质及电子设备，该方法可以应用于物联网领域的轨道系统中设备中，构建智能硬件设备。该方法通过轨道系统的当前运行参数和处理日志数据的优先级计算设备对应的当前日志同步频率，该计算过程可以通过AI技术(机器学习模型)实现，基于该计算使得日志上传频率根据轨道系统的运行状态和日志数据的优先级自适应调整，即保证了日志上传的及时性，又可以避免日志上传影响系统其它业务的进行，保证了系统资源的合理分配，提高了系统资源的利用率，有利于系统业务的稳定进行。

Description

轨道系统中设备日志的上传方法、装置、介质及电子设备

技术领域

本申请属于轨道交通技术领域，具体涉及一种轨道系统中设备日志的上传方法、装置、计算机可读存储介质及电子设备。

背景技术

在轨道交通领域，设备(如地铁闸机、地铁读写器等)运行所产生的日志文件，记录在设备本地的存储空间(即硬盘)中。关于日志的维护工作，需要人工手动维护其存储数量或存储空间。当需要查看设备日志时，需要人为利用U盘或其他存储介质从设备上拷贝日志。这种方式导致日志查询步骤繁琐，查询效率低下。目前也有一些方法是定时(例如每24小时)将日志上传至服务器，然而，这种上传方式使得用户等待一定间隔时间后才能够从服务器获取日志数据，数据获取的及时性较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种轨道系统中设备日志的上传方法、装置、介质及电子设备，以优化相关技术中日志数据上传及时性较差的问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种轨道系统中设备日志的上传方法，包括：

获取轨道系统中设备生成的待处理日志数据和所述轨道系统的当前运行参数，所述当前运行参数表征所述轨道系统当前所处的运行状态；

根据所述待处理日志数据的数据类型确定所述待处理日志数据的优先级；所述待处理日志数据的优先级表征所述设备在所述轨道系统中的重要性；

根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率；

根据所述当前日志同步频率将所述待处理日志数据上传至服务端。

根据本申请实施例的一个方面，提供一种轨道系统中设备日志的上传装置，包括：

数据获取模块，用于获取轨道系统中设备生成的待处理日志数据和所述轨道系统的当前运行参数，所述当前运行参数表征所述轨道系统当前所处的运行状态；

优先级确定模块，用于根据所述待处理日志数据的数据类型确定所述待处理日志数据的优先级；所述待处理日志数据的优先级表征所述设备在所述轨道系统中的重要性；

频率确定模块，用于根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率；

数据上传模块，用于根据所述当前日志同步频率将所述待处理日志数据上传至服务端。

在本申请的一个实施例中，所述装置还包括：

样本数据获取模块，用于获取多个样本数据，所述样本数据包括所述轨道系统的样本参数和样本日志同步频率；所述样本参数包括样本运行参数和样本日志数据优先级；

模型训练模块，用于根据多个所述样本数据对机器学习模型进行训练，得到频率预测模型；在训练过程中，通过所述机器学习模型对所述样本数据中的样本运行参数进行预测，得到预测频率，并根据所述预测频率与所述样本数据中的样本日志同步频率之间的差值更新所述机器学习模型的模型参数；

相应的，频率确定模块具体用于：

将所述当前运行参数和所述待处理日志数据的优先级输入所述频率预测模型，得到当前日志同步频率。

在本申请的一个实施例中，频率确定模块具体用于：

根据所述当前运行参数确定所述轨道系统是否处于忙碌状态；

若所述轨道系统处于忙碌状态，则根据所述待处理日志数据的优先级获取对应的第一预设频率作为当前日志同步频率；

若所述轨道系统处于非忙碌状态，则根据所述待处理日志数据的优先级获取对应的第二预设频率作为当前日志同步频率；其中，所述第一预设频率小于所述第二预设频率。

在本申请的一个实施例中，数据上传模块包括：

日志记录单元，用于将所述待处理日志数据记录于日志文件；

待上传数据提取单元，用于根据所述当前日志同步频率周期性地提取所述日志文件中产生变化的待上传日志数据；

第一数据上传单元，用于将所述待上传日志数据上传至服务端。

在本申请的一个实施例中，数据上传模块包括：

数据压缩单元，用于根据所述当前日志同步频率对所述待处理日志数据进行压缩处理，得到压缩数据；

第二数据上传单元，用于将所述压缩数据上传至服务端。

在本申请的一个实施例中，数据上传模块包括：

关键词识别单元，用于对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；

过滤单元，用于根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；

第三数据上传单元，用于将所述目标日志数据上传至服务端。

在本申请的一个实施例中，数据上传模块包括：

上传时间确定单元，用于确定当前时间是否到达所述当前日志同步频率对应的日志上传时间；

容量判断单元，用于若所述当前时间未到达所述日志上传时间，则判断所述待处理日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；

存储位置确定单元，用于若所述待处理日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述待处理日志数据在所述目标日志内存区域中的目标存储位置；

数据存储单元，用于将所述待处理日志数据存储至所述目标存储位置；

第四数据上传单元，用于若所述当前时间到达所述日志上传时间，则从所述目标日志内存区域获取日志数据上传至服务端。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的地图数据的处理方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的地图数据的处理方法。

根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的地图数据的处理方法。

在本申请实施例提供的技术方案，通过获取轨道系统的当前运行参数以及确定待处理日志数据的优先级，然后根据当前运行参数和数据优先级计算当前日志同步频率，进而根据当前日志同步频率将待处理日志数据上传客户端，使得日志上传频率根据轨道系统的运行状态和日志数据的优先级自适应调整，即保证了日志上传的及时性，又可以避免日志上传影响系统其它业务的进行，保证了系统资源的合理分配，提高了系统资源的利用率，有利于系统业务的稳定进行。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

图2示意性地示出了本申请一个实施例提供的轨道系统中设备日志的上传方法的流程图。

图3示意性地示出了本申请一个实施例提供的示例性系统架构的示意图。

图4示意性地示出了本申请一个实施例提供的示例性系统架构的示意图。

图5示意性地示出了本申请一个实施例提供的轨道系统中设备日志的上传装置的结构框图。

图6示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性地示出了应用本申请技术方案的示例性轨道系统架构框图。

如图1所示，轨道系统架构100可以包括设备110、网络120和服务器130。设备110可以包括轨道系统中的各类电子设备或各类电子设备的组合，例如各类传感器(如烟雾传感器、温度传感器等)、检票闸机、安检机器等等，又例如传感器与其他电子设备或终端设备所组成的装置(例如传感器采集数据发送至到终端设备，那么该终端设备与传感器构成设备110)，该轨道系统可以换是地铁系统、铁路系统等。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；服务器130可以本地化部署，也可以部署在云端。网络120可以是能够在设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本申请实施例中的系统架构可以具有任意数目的电子设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于设备110或服务器130，也可以由设备110和服务器130共同实施，本申请对此不做特殊限定。

在本申请的一个实施例中，本申请技术方案由设备110实施，该设备110即为轨道系统中的设备。首先，设备110获取待处理日志数据和轨道系统的当前运行参数，当前运行参数表征轨道系统当前所处的运行状态。然后，设备110根据待处理日志数据的数据类型确定待处理日志数据的优先级；待处理日志数据的优先级表征设备110在轨道系统中的重要性。接下来，设备110根据当前运行参数和待处理日志数据的优先级计算设备110对应的当前日志同步频率。最后，设备110根据当前日志同步频率将待处理日志数据上传至服务端，服务端可以是服务器130。

在本申请的一个实施例中，本申请技术方案由设备110和服务器130共同实施，服务器130相当于服务端。首先，服务器130获取轨道系统的当前运行参数，当前运行参数表征轨道系统当前所处的运行状态。然后，服务器130根据待处理日志数据的数据类型确定待处理日志数据的优先级；待处理日志数据的优先级表征设备110在轨道系统中的重要性。接下来，服务器130根据当前运行参数和待处理日志数据的优先级计算设备110对应的当前日志同步频率，并将当前日志同步频率发送至设备110。最后，设备110在获取待处理日志数据后，根据当前日志同步频率将待处理日志数据上传至服务端。

下面结合具体实施方式对本申请提供的轨道系统中设备日志的上传方法做出详细说明。

图2示意性地示出了本申请一个实施例提供的轨道系统中设备日志的上传方法的流程图，如图2所示，该方法包括步骤210至步骤240，具体如下：

步骤210、获取轨道系统中设备生成的待处理日志数据和轨道系统的当前运行参数，当前运行参数表征轨道系统当前所处的运行状态。

具体地，轨道系统指轨道交通系统，例如火车系统、地铁系统等。轨道系统中的设备在运行过程中会产生日志数据，日志数据是设备运行过程中所产生的各种操作行为和异常行为的记录信息。例如，烟雾传感器每秒进行一次烟雾检测，则每秒产生一次烟雾检测结果，一次烟雾检测动作和烟雾检测结果可以形成一条日志数据。通过日志数据可以定位设备运行过程中所出现的问题，因此，设备需要对日志数据进行存储，以便于后续调用和查看，待处理日志数据即为等待进行存储的日志数据。

需要说明的是，能够生成日志数据的设备可以是硬件设备，也可以是软件设备。例如，烟雾传感器是一种硬件设备，应用程序也可以产生日志数据，例如检测烟雾传感器是否能够正常进行工作的检测程序。软件设备所产生的日志数据也可以看成是集成该软件设备的硬件设备所产生的日志数据，例如，检测烟雾传感器工作的检查程序所产生的日志数据也可以看成是烟雾传感器所产生的日志数据。

在本申请的一个实施例中，日志数据也可以是由多个设备协同生成的。例如，烟雾传感器仅做烟雾检测，不具备数据记录功能，通常这样的烟雾传感器可以与控制设备协同工作，控制设备向烟雾传感器发送检测指令，烟雾传感器返回检测结果，控制设备可以基于检测动作和检测结果生成日志数据。

轨道系统的当前运行参数表征轨道系统当前所处的运行状态，该当前运行参数可以包括当前业务流量、当前设备维护状态和当前网络资源利用率。当前业务流量是指轨道系统在当前时间所处理的业务量，例如地铁系统的当前业务流量可以是当前时间搭乘地铁的人次，该参数也可以是地铁PIS系统(Passenger Information System，乘客信息系统)所统计的客流数据。当前设备维护状态是指设备是否处于维护中，若设备处于维护中，该设备一般是停止运行状态。当前网络资源利用率可以通过当前所占用网络带宽和总带宽的比值来确定。

步骤220、根据待处理日志数据的数据类型确定待处理日志数据的优先级；待处理日志数据的优先级表征设备在轨道系统中的重要性。

具体地，优先级表征设备在轨道系统中的重要性，重要性越高，优先级越高。例如，在地铁系统中，进出站闸机重要性通常高于温度传感器的重要性，那么进出站闸机的优先级应高于温度传感器的优先级。日志数据的数据类型也相当于生成该日志数据的设备(或装置、模块等)的类型，例如，温度传感器所生成日志数据的数据类型为温度数据，进出站闸机所生成日志数据的数据类型为进出站数据。确定待处理日志数据的优先级的过程，可以根据待处理日志数据的数据类型确定设备类型，进而根据设备类型确定待处理日志数据的优先级。

步骤230、根据当前运行参数和待处理日志数据的优先级计算设备对应的当前日志同步频率。

具体地，日志同步频率是指将设备的日志数据上传(也即同步)至服务端的频率，也可以通过日志同步周期来表示，日志同步频率与日志同步周期互为倒数。

在本申请的一个实施例中，当前日志同步频率可以通过机器学习模型预测得到。首先获取多个样本数据，样本数据包括轨道系统的样本参数和样本日志同步频率；样本参数包括样本运行参数和样本日志数据优先级。样本运行参数包括样本业务流量、样本设备维护状态和样本网络资源利用率。样本日志数据优先级也相当于设备优先级。示例性的，一条样本数据可以表示为(50％，Y，4，60％，60s)，50％表示样本业务流量，Y表示设备处于维护中(设备未处于维护中可以用N表示)，4表示设备优先级，60％表示样本网络资源利用率，60s表示推荐的样本日志同步周期。

然后，根据多个样本数据对机器学习模型进行训练，得到频率预测模型。在训练过程中，机器学习模型根据样本数据中的样本运行参数进行频率预测，得到预测频率。进而计算预测频率与样本数据中的样本日志同步频率之间的差值作为损失函数，并根据损失函数计算模型梯度，接下来可以根据反向传播法更新模型参数，同时在训练过程中使用梯度下降法寻找最小损失函数。当模型收敛时，即得到训练好的机器学习模型，记为频率预测模型。模型收敛可以是训练次数达到设定次数，或者损失函数达到设定范围。

最后，将当前运行参数和待处理日志数据的优先级输入频率预测模型，得到当前日志同步频率。

在本申请的一个实施例中，计算当前同步频率的过程还可以是：根据当前运行参数确定轨道系统是否处于忙碌状态；若轨道系统处于忙碌状态，则根据待处理日志数据的优先级获取对应的第一预设频率作为当前日志同步频率；若轨道系统处于非忙碌状态，则根据待处理日志数据的优先级获取对应的第二预设频率作为当前日志同步频率；其中，第一预设频率小于第二预设频率。

具体地，可以根据当前运行参数确定轨道系统是否处于忙碌状态，在处于忙碌状态和非忙碌状态时采用不同的日志同步频率。例如，当前运行参数包括当前业务流量、当前设备维护状态和当前网络资源利用率，可以从中选择一种或多种来判断轨道系统是否处于忙碌状态。示例性的，在当前业务流量大于预设流量阈值时，判断轨道系统处于忙碌状态，在当前业务流量小于或等于预设流量阈值时，判断轨道系统处于非忙碌状态。又例如，为各个运行参数设置不同的权重，然后根据各当前运行参数的加权和判断轨道系统是否处于忙碌状态。当加权和大于预设阈值时，判断轨道系统处于忙碌状态，当加权和小于或等于预设阈值时，判断轨道系统处于非忙碌状态。可选的，当各个运行参数的量纲不一致时，在计算各当前运行参数的加权和之前，还可以对各当前运行参数进行归一化处理，以使得各个当前运行参数的量纲一致。

进一步的，日志同步频率还与日志数据的优先级关联，不同优先级的日志数据的日志同步频率不同，一般的，优先级高的日志数据的日志同步频率较大，优先级低的日志数据的日志同步频率较小。可以预先根据忙碌状态和优先级设置为不同类型的设备设置一日志同步频率，该日志同步频率为预设频率，那么一个优先级确定的设备对应于两种预设频率：系统处于忙碌状态对应的第一预设频率和系统处于非忙碌状态的第二预设频率。那么，在根据当前运行参数确定轨道系统当前处于忙碌状态时，则获取优先级对应的第一预设频率作为当前日志同步频率；在根据当前运行参数确定轨道系统当前处于非忙碌状态时，则获取优先级对应的第二预设频率作为当前日志同步频率。

在轨道系统处于忙碌状态时，轨道系统中其他数据(比如业务数据)的处理将占用大量系统资源，为了避免资源挤占，应设置较小的第一预设频率。在轨道系统处于非忙碌状态时，轨道系统中的系统资源可能有较多余量，为了充分利用系统资源，可以设置较大的第二预设频率。因此，第一预设频率应小于第二预设频率。

在本申请的一个实施例中，轨道系统的忙碌状态可以进一步进行细分，比如将轨道系统的状态划分为忙碌状态、正常运行状态和非忙碌状态，又或者将轨道系统的忙碌状态按照从高到低划分为多级忙碌状态。

在本申请的一个实施例中，用户可以手动干预当前日志同步频率的设置，在根据当前运行参数和待处理日志数据的优先级计算设备对应的当前日志同步频率时，可以先判断是否接收到外部输入频率，该外部输入频率即为用户手动干预所设置的频率。当接收到外部输入频率时，则直接将外部输入频率作为当前日志同步频率。当未接收到外部输入频率时，再根据当前运行参数和待处理日志数据的优先级计算设备对应的当前日志同步频率。例如，在使用频率预测模型计算当前日志同步频率时，可以将外部输入频率设置为频率预测模型的一个参数，在外部输入频率有具体值时，频率预测模型直接输出外部输入频率作为预测结果；在外部输入频率没有具体值时，频率预测模型根据当前运行参数和待处理日志数据的优先级进行预测后输出预测结果。

步骤240、根据当前日志同步频率将待处理日志数据上传至服务端。

具体地，在确定当前日志同步频率后，根据当前日志同步频率周期性地将待处理日志数据上传至服务端。由于当前日志同步频率根据轨道系统的当前运行参数和数据优先级计算得到，故而当前日志同步频率可以自适应轨道系统的运行状态进行变化。例如，假设温度传感器在地铁系统正常工作下的日志同步频率所对应周期为3min，当地铁系统中涌入大量乘客时(例如早晚高峰期间、周边区域大型活动结束期间等)，系统业务量激增，闸机、购票机繁忙，交易数据持续上传，网络带宽占用率(即网络资源利用率)激增，此时若持续按照3min的周期上传温度日志数据，容易导致日志数据上传失败或者业务交易出现异常。而在本申请实施例中，此时判定系统处于忙碌状态，计算得到当前日志同步频率所对应周期变更为30min，那么设备将按照30min的周期将温度日志数据上传至服务端。

在本申请实施例提供的技术方案，通过获取轨道系统的当前运行参数以及确定待处理日志数据的优先级，然后根据当前运行参数和数据优先级计算当前日志同步频率，进而根据当前日志同步频率将待处理日志数据上传客户端，使得日志上传频率根据轨道系统的运行状态和日志数据的优先级自适应调整，即保证了日志上传的及时性，又可以避免日志上传影响系统其它业务的进行，保证了系统资源的合理分配，提高了系统资源的利用率，有利于系统业务的稳定进行。

在本申请的一个实施例中，在将日志数据上传至服务端之前，可以对日志数据进行压缩处理，得到压缩数据，例如可以使用Gzip、Deflate、Brotil等算法进行压缩处理。然后将压缩数据上传至服务端。服务端接收压缩数据后采用与压缩算法相对应的解压算法，对压缩数据进行还原，得到日志数据。

在本申请的一个实施例中，在将待处理日志数据上传至服务端之前，还可以先将待处理日志数据记录于日志文件，然后根据当前日志同步频率提取日志文件中的产生变化的待上传数据上传至服务端，如此，可以减少日志数据上传量，降低日志数据上传所占用网络带宽，提高日志数据上传效率。

在本申请的一个实施例中，可以根据日志文件大小的变化来确定日志文件中的数据是否产生变化，具体包括：获取日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量；若当前数据量大于历史数据量，则根据历史数据量确定日志文件中的历史数据；从日志文件中提取除历史数据之外的日志数据作为待上传日志数据。

具体地，日志文件的数据量即表示日志文件的大小，通过相邻两个周期所对应的日志文件大小的变化，即可确定日志文件中的日志数据是否产生变化。相邻两个周期的日志文件大小，即为日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量。如果当前数据量大于历史数据量，则表明日志文件中新增加了日志数据，那么新增部分的日志数据即为待上传日志数据。而将日志文件中的日志数据减去历史日志数据，即为新增部分的日志数据。

在本申请的一个实施例中，如果当前数据量等于历史数据量，则表明日志文件内的数据无变化，此时可以选择不上传日志数据至服务端。如果当前数据量小于历史数据量，则表明日志文件内的数据丢失，属于异常情况，此时可以生成异常提示信息，以便于计时发现该异常情况。该异常提示信息可以发送至服务端。

在本申请的一个实施例中，日志文件大小的变化可以根据日志文件中数据的时间戳是否产生变化来确定，具体包括：获取上一次将目标日志数据写入日志文件的历史时间戳；确定日志文件中是否存在与历史时间戳相同的目标时间戳；若存在目标时间戳，则提取日志文件中在目标时间戳之后的日志数据作为待上传日志数据；若不存在目标时间戳，则提取日志文件记录的日志数据作为待上传日志数据。

具体地，日志数据的开头通常是该日志数据的生成时间戳。上一次将目标日志数据写入日志文件的历史时间戳，是指上一次上传日志数据至服务端后，写入日志文件中的第一条目标日志数据的时间戳。将该历史时间戳在日志文件中匹配，当匹配到与该历史时间戳相同的目标时间戳时，说明找到了上一次进行日志数据上传的数据节点，该数据节点之后的数据均是未上传的数据，故而提取日志文件中在目标时间戳之后的日志数据作为待上传日志数据。当未匹配到与该历史时间戳相同的目标时间戳时，说明整个日志文件的文件均是新生成的日志数据，是未上传的数据，故而此时将日志文件中记录的全部日志数据作为待上传日志数据。

在本申请的一个实施例中，还可以通过时间戳判断日志文件是否存在异常，具体为：获取将目标日志数据写入日志文件的最新时间戳；若最新时间戳小于历史时间戳，则生成异常提示信息。

具体而言，将目标日志数据写入日志文件的最新时间戳是指最近一次向日志文件写入的第一条目标日志数据的时间戳。如果最新时间戳小于历史时间戳，则表明数据记录出现混乱或者时间戳混乱，也可能导致数据丢失，故而生成异常提示信息，以便于用户及时了解和解决异常情况。该异常提示信息可以发送至服务端。

在本申请的一个实施例中，在将目标日志数据上传至服务端之前，还可以对待处理日志数据进行关键词过滤处理，具体为：对待处理日志数据进行关键词识别，以确定待处理日志数据中的待处理关键词；根据待处理关键词对应的关键词过滤方式，对待处理日志数据进行关键词过滤处理，得到目标日志数据；将目标日志数据上传至服务端。

具体地，关键词过滤处理是指对待处理日志数据中的关键词进行删除、替换、保留等处理方式，通过关键词过滤处理对待处理日志数据进行过滤处理，可以减少待处理日志数据所包含的噪声数据、非重要数据，有效降低日志数据上传所涉及数据量，降低日志数据上传所占用网络带宽，提高日志数据上传效率。

在本申请的一个实施例中，对待处理日志数据中的关键词进行删除处理，是指删除待处理日志数据中与关键词匹配的信息。对待处理日志数据中的关键词进行替换处理，是指将待处理日志数据中的与关键词匹配的一段信息替换为另一段信息。对待处理日志数据中的关键词进行保留处理，是指保留待处理日志数据中与关键词匹配的信息，删除与关键词不匹配的信息。

需要说明的是，本申请中所涉及“关键词”含义并非狭义上的仅指一个词语，而是所设定的一种信息数据，其可以是一个字符、一个词语、一个字段、一条指令等其他符合要求的形式。

在本申请的一个实施例中，在得到待处理日志数据后，还可以先将待处理日志数据存储至系统内存，然后从系统内存中获取日志数据上传至服务端，具体步骤包括：确定当前时间是否到达当前日志同步频率对应的日志上传时间；若当前时间未到达日志上传时间，则判断待处理日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；目标日志内存区域是设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；若待处理日志数据所占用的内存容量大于当前剩余内存容量，则根据预设策略确定待处理日志数据在目标日志内存区域中的目标存储位置；将待处理日志数据存储至目标存储位置；若当前时间到达日志上传时间，则从目标日志内存区域获取日志数据上传至服务端。

具体地，根据当前日志同步频率，在未到达对应的日志上传时间时，无需上传日志数据至服务端，而是将日志数据存储至系统内存。后续在到达对应的日志上传时间时，可以从系统内存中获取日志数据上传至服务端。在从系统内存中获取日志数据上传至服务端时，也可以提取生成变化的日志数据上传至服务端。

在存储日志数据时，目标日志内存区域需要预先向系统内存申请，一次性向系统申请较大空间的内存，可能难以申请成功，本申请实施例采用多次申请较小目标子内存区域的方式来得到一个较大的目标日志内存区域，进而可以通过该目标日志内存区域存储目标日志数据。预设策略是预先配置的在日志数据所占用内存容量超出目标日志内区域的内存容量时的日志数据存储策略，相当于对目标日志内存区域中已存储的历史日志数据的处理策略。

在本申请的与一个实施例中，在申请目标日志内存区域时，可以根据预设日志内存容量和内存申请颗粒度计算内存申请次数，然后根据内存申请次数和内存申请颗粒度向设备的系统内存进行多次内存申请，得到多个目标子内存区域，进而根据多个目标子内存区域确定目标日志内存区域。预设日志内存容量是预先设定的用于存储日志数据的目标日志内存区域的容量。内存申请颗粒度是指成功进行一次内存申请所得到的内存容量。例如，预设日志内存容量为10MB，内存申请颗粒度为1MB，则申请次数为10/1＝10次。

在本申请的一个实施例中，系统内存可能不会通过每一次的内存申请，即存在内存申请失败的情况，那么目标日志内存区域是内存申请成功所得到的多个目标子内存区域之和，可见，目标日志内存区域所包括的目标子内存区域的数量小于或等于内存申请次数。

在本申请的一个实施例中，内存申请颗粒度可以通过机器学习模型根据当前设备数据和预设日志内存容量预测得到。当前设备数据包括当前系统内存参数、当前操作系统参数和当前处理器参数。当前设备数据包括当前系统内存参数、当前操作系统参数和当前处理器参数。当前系统内存参数包括但不限于系统内存总容量和系统内存当前剩余容量。当前处理器参数包括但不限于当前处理器主频、当前处理器使用率和当前处理器架构。如此，机器学习模型可以根据当前设备数据确定内存申请颗粒度，可以使得内存申请匹配设备的当前运行状况，有效提高内存申请成功率。

在本申请的一个实施例中，预设策略包括循环存储和磁盘存储。循环存储是指循环使用目标日志内存区域进行数据存储，磁盘存储是指将日志数据存储至磁盘中。当采用循环存储方式时，将目标日志内存区域的当前起始位置作为接下来待处理日志数据的目标存储位置，当前起始位置是目标日志内存区域中存储的历史日志数据距离当前时刻最远的存储位置，也即，在目标日志内存区域中的数据存满时，再返回目标日志内存区域的起始位置继续按照地址顺序从前往后进行存储，如此实现循环存储。当采用磁盘存储方式时，将目标日志内存区域当前存储的历史日志数据转存至磁盘，然后从数据转存后的目标日志内存区域选择任意存储位置作为该待处理日志数据的目标存储位置。

通过不同的存储策略，提高了日志数据存储的灵活性；同时也实现了在内存中积累一定的日志数据后，将日志数据批量地写入磁盘的技术方案，避免内存数据频繁写入磁盘，降低磁盘读写频率，进而避免磁盘损坏，减少设备维护费用。

在本申请的一个实施例中，也可以先对待处理日志数据进行过滤处理后再存储日志数据，这样可以有效降低日志数据所占用的存储空间，提高内存利用率。

示例性的，图3示意性地示出了本申请一个实施例提供的示例性系统架构的示意图。如图3所示，该系统架构包括设备和智能日志服务平台(相当于服务端)，设备包括应用程序、日志模块和存储模块。智能日志服务平台根据轨道系统的当前运行参数(当前业务流量、当前设备维护状态、当前网络资源利用率等)、待处理日志数据的优先级(相当于设备优先级)、外部因素(即外部输入数据)等计算设备对应的当前日志同步频率。智能日志服务平台将当前日志同步频率下发至设备。

在设备中，设备根据当前日志同步频率计算日志上传时间。日志模块获取应用程序产生的待处理日志数据，在未到达日志上传时间时，日志模块将待处理日志数据存储至存储模块，存储模块包括系统内存和磁盘。在到达日志上传时间时，日志模块将待处理日志数据上传至智能日志服务平台。

示例性的，该系统架构为地铁系统架构。①.当演唱会散场，地体客流激增，地铁的PIS系统推送客流数据至智能日志服务平台。②.智能日志服务平台调整日志同步频率并下发至日志模块，将日志同步周期由原5s修改为30min。③.日志模块继续接受处理应用程序的日志数据。④.来自应用程序大量激增的日志数据，临时存入存储模块。⑤.日志模块每30min上传一次日志数据至智能日志服务平台，避开高峰时段，不占用有限的网络资源。

示例性的，图4示意性地示出了本申请一个实施例提供的示例性系统架构的示意图。如图4所示，该系统架构包括设备和智能日志服务平台(相当于服务端)，设备包括应用程序、日志模块、内存和磁盘。该系统架构运行过程如下：

①应用程序调用日志模块创建日志。日志模块创建多个日志文件。

②日志模块将日志文件存储于内存或磁盘。

③日志模块自动准实时将日志数据同步至智能日志服务平台。用户可以通过设备中的文件提取器(FileExtractor)进行配置，设置文件变化检查时间(即日志同步频率)；FileExtractor根据检查时间，周期性检查日志文件是否产生变化，变化后立即同步至服务端。检查时间设置越小(如1秒)，同步的实时性越高。

④智能日志服务平台可以配置日志存储策略、日志上传规则等。智能日志服务平台可以接收其他业务系统、客流系统的数据，同时集中处理、维护日志数据，支持将日志数据推送至大数据平台进行内容分析、数据挖掘等业务。

图5示意性地示出了本申请一个实施例提供的轨道系统中设备日志的上传装置的结构框图，该装置可以实施本申请任意实施例提供的轨道系统中设备日志的上传方法。如图5所示，本申请实施例提供的轨道系统中设备日志的上传装置包括：

数据获取模块510，用于获取轨道系统中设备生成的待处理日志数据和所述轨道系统的当前运行参数，所述当前运行参数表征所述轨道系统当前所处的运行状态；

优先级确定模块520，用于根据所述待处理日志数据的数据类型确定所述待处理日志数据的优先级；所述待处理日志数据的优先级表征所述设备在所述轨道系统中的重要性；

频率确定模块530，用于根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率；

数据上传模块540，用于根据所述当前日志同步频率将所述待处理日志数据上传至服务端。

在本申请的一个实施例中，所述装置还包括：

样本数据获取模块510，用于获取多个样本数据，所述样本数据包括所述轨道系统的样本参数和样本日志同步频率；所述样本参数包括样本运行参数和样本日志数据优先级；

模型训练模块，用于根据多个所述样本数据对机器学习模型进行训练，得到频率预测模型；在训练过程中，通过所述机器学习模型对所述样本数据中的样本运行参数进行预测，得到预测频率，并根据所述预测频率与所述样本数据中的样本日志同步频率之间的差值更新所述机器学习模型的模型参数；

相应的，频率确定模块530具体用于：

将所述当前运行参数和所述待处理日志数据的优先级输入所述频率预测模型，得到当前日志同步频率。

在本申请的一个实施例中，频率确定模块530具体用于：

根据所述当前运行参数确定所述轨道系统是否处于忙碌状态；

若所述轨道系统处于忙碌状态，则根据所述待处理日志数据的优先级获取对应的第一预设频率作为当前日志同步频率；

若所述轨道系统处于非忙碌状态，则根据所述待处理日志数据的优先级获取对应的第二预设频率作为当前日志同步频率；其中，所述第一预设频率小于所述第二预设频率。

在本申请的一个实施例中，数据上传模块540包括：

日志记录单元，用于将所述待处理日志数据记录于日志文件；

待上传数据提取单元，用于根据所述当前日志同步频率周期性地提取所述日志文件中产生变化的待上传日志数据；

第一数据上传单元，用于将所述待上传日志数据上传至服务端。

在本申请的一个实施例中，数据上传模块540包括：

数据压缩单元，用于根据所述当前日志同步频率对所述待处理日志数据进行压缩处理，得到压缩数据；

第二数据上传单元，用于将所述压缩数据上传至服务端。

在本申请的一个实施例中，数据上传模块540包括：

关键词识别单元，用于对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；

过滤单元，用于根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；

第三数据上传单元，用于将所述目标日志数据上传至服务端。

在本申请的一个实施例中，数据上传模块540包括：

上传时间确定单元，用于确定当前时间是否到达所述当前日志同步频率对应的日志上传时间；

容量判断单元，用于若所述当前时间未到达所述日志上传时间，则判断所述待处理日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；

存储位置确定单元，用于若所述待处理日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述待处理日志数据在所述目标日志内存区域中的目标存储位置；

数据存储单元，用于将所述待处理日志数据存储至所述目标存储位置；

第四数据上传单元，用于若所述当前时间到达所述日志上传时间，则从所述目标日志内存区域获取日志数据上传至服务端。

本申请各实施例中提供的轨道系统中设备日志的上传装置的具体细节已经在对应的实施例中进行了详细的描述，此处不再赘述。

图6示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。

需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理器601(Central Processing Unit，CPU)，其可以根据存储在只读存储器602(Read-Only Memory，ROM)中的程序或者从存储部分608加载到随机访问存储器603(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器603中，还存储有系统操作所需的各种程序和数据。中央处理器601、在只读存储器602以及随机访问存储器603通过总线604彼此相连。输入/输出接口605(Input/Output接口，即I/O接口)也连接至总线604。

以下部件连接至输入/输出接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至输入/输出接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理器601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种轨道系统中设备日志的上传方法，其特征在于，包括：

获取轨道系统中设备生成的待处理日志数据和所述轨道系统的当前运行参数，所述当前运行参数表征所述轨道系统当前所处的运行状态；

根据所述待处理日志数据的数据类型确定所述待处理日志数据的优先级；所述待处理日志数据的优先级表征所述设备在所述轨道系统中的重要性；

根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率；

根据所述当前日志同步频率将所述待处理日志数据上传至服务端。

2.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，在根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率之前，所述方法还包括：

获取多个样本数据，所述样本数据包括所述轨道系统的样本参数和样本日志同步频率；所述样本参数包括样本运行参数和样本日志数据优先级；

根据多个所述样本数据对机器学习模型进行训练，得到频率预测模型；在训练过程中，通过所述机器学习模型对所述样本数据中的样本运行参数进行预测，得到预测频率，并根据所述预测频率与所述样本数据中的样本日志同步频率之间的差值更新所述机器学习模型的模型参数；

相应的，根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率，包括：

将所述当前运行参数和所述待处理日志数据的优先级输入所述频率预测模型，得到当前日志同步频率。

3.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率，包括：

根据所述当前运行参数确定所述轨道系统是否处于忙碌状态；

若所述轨道系统处于忙碌状态，则根据所述待处理日志数据的优先级获取对应的第一预设频率作为当前日志同步频率；

若所述轨道系统处于非忙碌状态，则根据所述待处理日志数据的优先级获取对应的第二预设频率作为当前日志同步频率；其中，所述第一预设频率小于所述第二预设频率。

4.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，根据所述当前日志同步频率将所述待处理日志数据上传至服务端，包括：

将所述待处理日志数据记录于日志文件；

根据所述当前日志同步频率周期性地提取所述日志文件中产生变化的待上传日志数据；

将所述待上传日志数据上传至服务端。

5.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，根据所述当前日志同步频率将所述待处理日志数据上传至服务端，包括：

根据所述当前日志同步频率对所述待处理日志数据进行压缩处理，得到压缩数据；

将所述压缩数据上传至服务端。

6.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，根据所述当前日志同步频率将所述待处理日志数据上传至服务端，包括：

对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；

根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；

将所述目标日志数据上传至服务端。

7.根据权利要求1所述的轨道系统中设备日志的上传方法，其特征在于，根据所述当前日志同步频率从所述目标存储位置获取日志数据上传至服务端，包括：

确定当前时间是否到达所述当前日志同步频率对应的日志上传时间；

若所述当前时间未到达所述日志上传时间，则判断所述待处理日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；

若所述待处理日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述待处理日志数据在所述目标日志内存区域中的目标存储位置；

将所述待处理日志数据存储至所述目标存储位置；

若所述当前时间到达所述日志上传时间，则从所述目标日志内存区域获取日志数据上传至服务端。

8.一种轨道系统中设备日志的上传装置，其特征在于，包括：

数据获取模块，用于获取轨道系统中设备生成的待处理日志数据和所述轨道系统的当前运行参数，所述当前运行参数表征所述轨道系统当前所处的运行状态；

优先级确定模块，用于根据所述待处理日志数据的数据类型确定所述待处理日志数据的优先级；所述待处理日志数据的优先级表征所述设备在所述轨道系统中的重要性；

频率确定模块，用于根据所述当前运行参数和所述待处理日志数据的优先级计算所述设备对应的当前日志同步频率；

数据上传模块，用于根据所述当前日志同步频率将所述待处理日志数据上传至服务端。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的轨道系统中设备日志的上传方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至7中任意一项所述的轨道系统中设备日志的上传方法。