CN110019076A - 多系统日志数据的构建方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开一种多系统日志数据的构建方法、装置、设备及可读存储介质，所述方法包括：接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设规则要求；若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日志数据进行分类筛选，以抽取目标数据；对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数据。本方案因经过预设规则判断的日志数据满足初步需求，在此基础上进行预设正则表达式筛选，可提高筛选的效率以及准确率；而将所筛选出的日志数据按照预设格式排列，则可使构建的日志数据形式统一，以便于对各系统日志文件的分析。

Description

多系统日志数据的构建方法、装置、设备及可读存储介质

技术领域

本发明主要涉及网络交互技术领域，具体地说，涉及一种多系统日志数 据的构建方法、装置、设备及可读存储介质。

背景技术

目前市面上的企业、机构等为了实现不同功能需要对接多个系统，如针 对前端的应用层系统、支持前端显示的后台系统、邮件系统等；各个系统在 运行过程中针对用户的操作会生成日志文件，以对用户的操作进行记录，防 止风险。

但因各个系统可能来自于不同的供应商，不同供应商设定系统生成日志 文件的内容和形式存在差异性，导致各对接系统的日志文件的内容以及形式 千差万别；使得在对各日志文件进行分析时，其中存在的无效内容会造成干 扰，且格式的不一致也增加了分析的难度。

发明内容

本发明的主要目的是提供一种多系统日志数据的构建方法、装置、设备 及可读存储介质，旨在解决现有技术中因对接系统生成日志文件的内容和形 式的差异性，而增加各日志文件分析难度的问题。

为实现上述目的，本发明提供一种多系统日志数据的构建方法，所述多 系统日志数据的构建方法包括以下步骤：

接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；

将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设 规则要求；

若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日 志数据进行分类筛选，以抽取目标数据；

对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数 据。

优选地，所述判断各所述日志数据是否满足预设规则要求的步骤之后包 括：

若各所述日志数据中存在不满足预设规则要求的目标日志数据，确定各 所述目标日志数据中不满足预设规则要求的原因，并判断预设调整方案中是 否存在针对所述原因且用于调整预设正则表达式的目标调整方案；

若存在针对所述原因，对预设正则表达式调整的目标调整方案，则调用 所述目标调整方案对预设正则表达式进行调整，生成附加正则表达式；

调用所述附加正则表达式对所述目标日志数据进行分类筛选，以抽取目 标数据，并执行对各所述目标数据按照预设格式进行排列的步骤。

优选地，所述判断预设调整方案中是否存在针对所述原因且用于调整预 设正则表达式的目标调整方案的步骤之后包括：

若不存在针对所述原因且用于调整预设正则表达式的目标调整方案，则 将所述原因生成对预设正则表达式的调整信息，并将所述调整信息输出，以 提示运维方对预设正则表达式进行调整。

优选地，所述对各所述目标数据按照预设格式进行排列的步骤包括：

将各所述目标数据和预设敏感数据对比，判断各所述目标数据中是否存 在敏感目标数据；

若各所述目标数据中存在敏感目标数据，对所述敏感目标数据和所述目 标数据中除所述敏感目标数据之外的其他目标数据，按照预设格式进行区别 排列。

优选地，所述按照预设格式进行区别排列的步骤之后包括：

向预设预警系统发送提示信息，并在接收到预设预警系统基于提示信息 发送的请求信息时，将所述敏感目标数据发送到预设预警系统。

优选的，所述对各所述目标数据按照预设格式进行排列的步骤包括：

读取所述目标数据中各元素的类型标识符，并将各所述类型标识符和预 设格式中各排列标识符对比，确定所述类型标识符与所述排列标识符的对应 关系；

根据所述对应关系，将所述目标数据中的各元素添加到所述预设格式的 对应位置中，以按照预设格式进行排列。

此外，为实现上述目的，本发明还提出一种多系统日志数据的构建装置， 所述多系统日志数据的构建装置包括：

接收模块，用于接收各系统上传的日志文件，并读取各所述日志文件中 的日志数据；

判断模块，用于将各所述日志数据和预设规则对比，判断各所述日志数 据是否满足预设规则要求；

抽取模块，用于若各所述日志数据满足预设规则要求，基于预设正则表 达式对各所述日志数据进行分类筛选，以抽取目标数据；

排列模块，用于对各所述目标数据按照预设格式进行排列，以构建多系 统的规范日志数据。

优选地，所述多系统日志数据的构建装置还包括：

确定模块，用于若各所述日志数据中存在不满足预设规则要求的目标日 志数据，确定各所述目标日志数据中不满足预设规则要求的原因，并判断预 设调整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整 方案；

调整模块，用于若存在针对所述原因，对预设正则表达式调整的目标调 整方案，则调用所述目标调整方案对预设正则表达式进行调整，生成附加正 则表达式；

调用模块，用于调用所述附加正则表达式对所述目标日志数据进行分类 筛选，以抽取目标数据，并执行对各所述目标数据按照预设格式进行排列的 步骤。

此外，为实现上述目的，本发明还提出一种多系统日志数据的构建设备， 所述多系统日志数据的构建设备包括：存储器、处理器、通信总线以及存储 在所述存储器上的多系统日志数据的构建程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述多系统日志数据的构建程序，以实现以下步骤：

接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；

将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设 规则要求；

若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日 志数据进行分类筛选，以抽取目标数据；

对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数 据。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存 储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个 或者一个以上的处理器执行以用于：

接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；

将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设 规则要求；

若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日 志数据进行分类筛选，以抽取目标数据；

对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数 据。

本实施例的多系统日志数据的构建方法，当接收到多系统上传的日志文 件时，读取各日志文件中的日志数据；并判断所读取的日志数据是否满足预 设规则要求，在满足预设规则要求后基于预设正则表达式对日志数据进行分 类筛选，抽取目标数据；进而对目标数据按照预设格式进行排列，构建多系 统的规范日志数据。本方案对多个系统所生成的日志文件通过预设规则进行 初步判断筛选后，再通过预设正则表达式对日志数据进行更为准确的分类筛 选；因预设规则判断的日志数据满足初步需求，在此基础上进行预设正则表达式筛选，可提高筛选的效率，且使所筛选出的日志数据内容更为准确；而 将所筛选出的日志数据按照预设格式排列，则可使构建的日志数据形式统一， 以便于对各系统日志文件的分析。

附图说明

图1是本发明的多系统日志数据的构建方法第一实施例的流程示意图；

图2是本发明的多系统日志数据的构建方法第二实施例的流程示意图；

图3是本发明的多系统日志数据的构建装置第一实施例的功能模块示意 图；

图4是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

本发明提供一种多系统日志数据的构建方法。

请参照图1，图1为本发明多系统日志数据的构建方法第一实施例的流程 示意图。在本实施例中，所述多系统日志数据的构建方法包括：

步骤S10，接收多系统上传的日志文件，并读取各所述日志文件中的日志 数据；

本发明的多系统日志数据的构建方法应用于服务器，适用于通过服务器 对与机构或企业对接的各个系统所生成日志文件的内容和形式进行规范统 一，以便于对日志文件进行分析。机构或企业为了实现其功能需要对接内部 各外部的多个系统，且各个系统在其运行过程中会对用户在系统的操作进行 记录，并生成日志文件；通过对日志文件进行查看，即可获知用户在系统中 所进行的操作，而对用户在各系统中的操作进行监控，以防止由用户操作所 带来风险。具体地，为了通过日志文件对用户操作进行监控，需要先获取各系统的日志文件；可设定定时上传机制或定时请求机制进行获取，对于定时 上传机制，由各个系统主动将生成的日志文件定时上传到服务器；而对于定 时请求机制，则由服务器定时向各系统发送请求信息，各系统在接收到请求 信息后将其生成的日志文件上传；接收此各个系统所上传的日志文件，即实 现对各系统的日志文件的获取操作。可理解地，因各系统由不同的开发商提 供，使得各个系统生成的日志文件所包括的信息各不相同，在记录用户操作 的同时可能还包括系统本身的信息或其他信息，如系统版本号、系统更新状 态、系统运行时长等。此类信息与用户在系统中所进行的操作无关，为无效 信息，需要对此无效信息进行过滤操作。而过滤操作需要先获取到日志文件 中所包括的所有日志数据，再对所有日志数据中所包括的无效信息进行过滤。 从而在接收到多个系统上传的日志文件后，对各日志文件中所包括的所有日 志数据进行读取操作，以获取到各日志文件中所包括的日志数据。

步骤S20，将各所述日志数据和预设规则对比，判断各所述日志数据是否 满足预设规则要求；

进一步地，在读取各日志文件中的日志数据后，对日志数据中的无效信 息进行过滤操作；具体可预先在服务器中设置预设规则进行此过滤操作，实 现通过预设规则对日志数据进行初步筛选。其中预设规则为预先设置用于判 断日志数据是否初步符合要求的判断规则，如时间范围、用户数据量等预设 规则。将读取的日志数据和预设规则对比，判断各日志数据是否满足预设规 则的要求；如对于上述时间范围、用户数据量的预设规则，即判断日志数据 是否在预设规则所规定的时间范围内生成，且数据量是否满足用户数据量的要求；以通过时间范围和用户数据量确保读取在合适时间范围内、且数据量 合适的日志数据；避免时间过长而导致日志文件失效、日志数据过多增加处 理难度，或者时间过长而导致处理频次过多、浪费服务器资源。本实施例通 过设置预设规则进行初步判断，可确保日志数据的合理性及有效性。

步骤S30，若各所述日志数据满足预设规则要求，基于预设正则表达式对 各所述日志数据进行分类筛选，以抽取目标数据；

更进一步地，在将日志数据和预设规则对比，判断出日志数据满足预设 规则的要求，即读取的日志数据合理有效后；因对于金融机构来说，比较关 心用户对系统的操作，即哪个用户账户在什么时间段做了何种操作，而不关 心系统本身的信息。从而需要进一步对日志数据进行分类，将用户对系统的 操作数据从读取的日志数据中分离出来，将日志数据中的无效信息过滤掉。 其中分离操作可通过设定正则表达式进行，正则表达式用事先定义好的一些 特定字符、及这些特定字符的组合，组成一个“规则字符串”，此“规则字 符串”用来表达对字符串的一种过滤逻辑。如foo用于匹配文本字符串的字面 值，而匹配中文字符的正则表达式为：[\u4e00-\u9fa5]，匹配由26个英文字母 组成的字符串为："^[A-Za-z]+$"等。将所需要筛选的数据定义到正则表达式中 形成预设正则表达式，通过此预设正则表达式对日志数据进行分类筛选；抽 取所需要的目标数据，而将不需要的无效信息过滤掉，所抽取的目标数据即 为用户对系统操作的操作数据。

步骤S40，对各所述目标数据按照预设格式进行排列，以构建多系统的规 范日志数据。

可理解地，因对接的系统众多，使得相应抽取的目标数据众多；为了对 目标数据进行规范管理，并方便对目标数据进行查看及分析，需要对目标数 据按照统一的格式进行排列。具体地，预先设置用于规范目标数据排列的预 设格式，此预设格式其实质为对各种类型数据的位置进行规范，以表征各位 置与数据类型的对应关系；便于通过预设格式中位置即可获知数据类型，进 而可快速对日志数据中某一数据类型的所有数据进行参看、分析，避免从各 日志数据中查找此类型的各个数据。在抽取得到目标数据后，将目标数据按照预设格式进行排列；如对于用户名、时间和操作的目标数据，在预设格式 中的排列方式为：用户名、操作、时间；从而需要将目标数据中时间和操作 的排列位置进行调整，以按照预设格式进行统一排列，构建多系统的规范日 志数据。对于目标数据中所涉及到的多个类型的数据，在排列时需要先区分 各个数据的类型，再将各类型数据按照预设格式进行排列。具体地，对各目 标数据按照预设格式进行排列的步骤包括：

步骤S41，读取所述目标数据中各元素的类型标识符，并将各所述类型标 识符和预设格式中各排列标识符对比，确定所述类型标识符与所述排列标识 符的对应关系；

进一步地，各系统在生成日志文件时，对日志文件中的各个日志数据添 加类型标识符，以表征各个日志数据的类型。在对日志数据进行筛选，抽取 目标数据后，所抽取的目标数据仍然携带有类型标识符，从而在排列时，读 取目标数据中各元素的类型标识符，其中目标数据中的各元素即为目标数据 中用户对系统操作的各个操作数据。而预设格式中对于各种类型数据的排列 位置有所规定，规定通过排列标识符体现；将体现目标数据元素类型的类型 标识符和预设格式中排列位置的排列标识符进行对比，确定类型标识符与排列标识符的对应关系，此对应关系即表征各目标数据在预设格式中的排列位 置关系。

步骤S42，根据所述对应关系，将所述目标数据中的各元素添加到所述预 设格式的对应位置中，以按照预设格式进行排列。

更进一步地，在确定类型标识符与所述排列标识符的对应关系后，根据 对应关系，即可将目标数据中的各元素添加到预设格式的对应位置中，以按 照预设格式进行规范排列，构建出多系统的规范日志数据。如目标数据中元 素A、C、B的类型标识符为f1、f2、f3，而预设格式中对于A、C、B的排列顺 序为A、B、C，且对应的排列标识符为q1、q2、q3；从而元素A的类型标识符 f1与排列标识符q1对应、元素B的类型标识符f3与排列标识符q2对应、元素C 的类型标识符f2与排列标识符q3对应，即形成的对应关系为f1对应q1、f2对应 q3、f3对应q2；在对目标数据排列过程中，根据目标数据中元素A的标识符f1， 确定其在预设格式中具有排列标识符q1的位置，相应地元素B在q2的位置，元 素C在q3的位置，从而元素A、C、B添加到q1、q2、q3的位置中，形成A、B、 C的排列。通过将各目标数据按照预设格式进行规范的排列，并进行显示和存 储操作，便于后续的查看、读取分析等操作。

本实施例的多系统日志数据的构建方法，当接收到多系统上传的日志文 件时，读取各日志文件中的日志数据；并判断所读取的日志数据是否满足预 设规则要求，在满足预设规则要求后基于预设正则表达式对日志数据进行分 类筛选，抽取目标数据；进而对目标数据按照预设格式进行排列，构建多系 统的规范日志数据。本方案对多个系统所生成的日志文件通过预设规则进行 初步判断筛选后，再通过预设正则表达式对日志数据进行更为准确的分类筛 选；因预设规则判断的日志数据满足初步需求，在此基础上进行预设正则表达式筛选，可提高筛选的效率，且使所筛选出的日志数据内容更为准确；而 将所筛选出的日志数据按照预设格式排列，则可使构建的日志数据形式统一， 以便于对各系统日志文件的分析。

进一步地，请参照图2，在本发明多系统日志数据的构建方法第一实施例 的基础上，提出本发明多系统日志数据的构建方法第二实施例，在第二实施 例中，所述判断各所述日志数据是否满足预设规则要求的步骤之后包括：

步骤S50，若各所述日志数据中存在不满足预设规则要求的目标日志数 据，确定各所述目标日志数据中不满足预设规则要求的原因，并判断预设调 整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整方 案；

可理解地，在日志数据抽取过程中，可能因各对接系统所生成日志文件 规则的差异性，而使得在将日志数据和预设规则对比时，判断出日志数据不 满足预设规则要求。如预设规则要求抽取一天之内的日志文件，但对接的系 统可能生成日志文件的周期为一周；使得此系统上传的日志文件为上一周用 户操作系统所生成的日志文件，抽取的日志数据也都是上一周所生成；从而 在通过预设规则判断时，判断不出本周内各天的日志数据，使得日志数据不 满足预设规则。对于此各日志数据中所存在的不满足预设规则要求的日志数 据时，仍然需要进行规范化处理，以便于后续查看、分析操作。具体地，将 此类日志数据作为目标日志数据，并通过目标日志数据所不满足预设规则要 求的类型，来确定此目标日志数据所不满足预设规则要求的原因。将预设规 则中的各项要求作为一类类型，如时间要求的时间类型、数量要求的数量类 型等；在日志数据不满足预设规则要求时，实际上是不满足预设规则中某一 类型的要求，如上述日志数据不满足预设规则中时间要求的时间类型；根据 此不满足的要求类型，可确定不满足的原因，即时间不匹配。为了对各日志 数据进行规范，需要对此不满足初步要求的日志数据进行调整，而调整操作 可通过调整预设正则表达式进行；将不满足预设规则的数据作为原始数据， 通过调整预设正则表达式的过滤逻辑，来抽取目标数据。

为了使预设正则表达式的调整更为灵活，预先设置有预设调整方案；此 预设调整方案为预先针对各种可能出现的目标日志数据不满足预设规则要求 的原因，所设置的对预设正则表达式的调整方案；并对各个预设调整方案设 置标识符，以表征所适用的不满足预设规则要求的原因。在确定不满足预设 规则要求的原因后，读取各个预设调整方案的标识符，根据各标识符所表征 的不满足预设规则要求原因，判断各预设调整方案中是否存在针对于此所确 定原因，对预设正则表达式进行调整的目标调整方案。

步骤S60，若存在针对所述原因，对预设正则表达式调整的目标调整方案， 则调用所述目标调整方案对预设正则表达式进行调整，生成附加正则表达式；

当判断出各预设调整方案中存在针对于所确定原因，对预设正则表达式 进行调整的目标调整方案时，调用此目标调整方案对预设正则表达式进行调 整；调整的过程具体依据于目标调整方案进行，如当目标调整方案为对正则 表达式中的时间进行调整时，则对正则表达式中筛选的时间范围进行放大或 缩小处理。因对于来源于各个系统所生成日志文件中的日志数据，除目标日 志数据不满足预设规则要求外，其他系统所生成日志文件中的目标数据仍然 满足预设规则的要求；对于此类满足预设规则要求的其他日志数据，仍然可 以使用原预设正则表达式进行筛选；为了与原预设正则表达式进行区分，将 经调整后的预设正则表达式作为附加正则表达式，通过附加正则表达式对不 满足预设规则要求的目标日志数据进行筛选。

步骤S70，调用所述附加正则表达式对所述目标日志数据进行分类筛选， 以抽取目标数据，并执行对各所述目标数据按照预设格式进行排列的步骤。

进一步地，在生成附加正则表达式后，通过此附加正则表达式对不满足 预设规则的目标日志数据进行分类筛选；即按照附加正则表达式中所调整的 过滤逻辑对目标日志数据进行过滤，抽取目标日志数据中的目标数据，并将 所抽取的目标数据按照预设格式进行排列，以规范显示、存储。考虑到实际 使用过程中目标日志数据不满足预设规则要求的原因众多，使得预先所设置 的预设调整方案不能针对日志数据不满足预设规则要求的原因，对预设正则 表达式进行调整；即预设调整方案中不存在针对不满足预设规则要求的原因， 对预设正则表达式进行调整的目标调整方案；此时需要人工介入，由人工进 行手动调整。具体地，判断预设调整方案中是否存在针对所述原因且用于调 整预设正则表达式的目标调整方案的步骤之后包括：

步骤S80，若不存在针对所述原因且用于调整预设正则表达式的目标调整 方案，则将所述原因生成对预设正则表达式的调整信息，并将所述调整信息 输出，以提示运维方对预设正则表达式进行调整。

当根据各预设调整方案的标识符，判断各预设调整方案中不存在针对所 确定原因，对预设正则表达式进行调整的目标调整方案时，则将所确定的目 标日志数据不满足预设规则要求的原因，生成对预设正则表达式的调整信息； 即将目标日志数据中不满足预设规则要求中的要求类型、目标日志数据与要 求之间的差异，生成调整信息；并将此生成的调整信息输出，以便于运维方 的工作人员根据此调整信息对预设正则表达式进行调整。

进一步地，在本发明多系统日志数据的构建方法另一实施例中，所述对 各所述目标数据按照预设格式进行排列的步骤包括：

步骤S21，将各所述目标数据和预设敏感数据对比，判断各所述目标数据 中是否存在敏感目标数据；

可理解地，用户在对各系统操作过程中，可能涉及到系统中的隐私数据， 如系统中所存储的客户身份证数据、交易数据等，将此类涉及到个人隐私或 商业保密的数据作为敏感数据。因从日志数据中所抽取的目标数据表征用户 对系统操作的操作数据，对于操作所涉及到的敏感数据也相应的会显示在目 标数据中；考虑到敏感数据所涉及到的风险性较高，在对日志数据规范排列 时，需要对其进行区分。具体地，预先定义敏感数据的类型，如身份证数据、 姓名、手机号码、交易金额、交易量等；在对目标数据进行排列时，先将目标数据和预设敏感数据进行对比，判断其中是否存在敏感数据。因目标数据 中的各元素添加有表征其类型的类型标识符，在设定预设敏感数据时也针对 各个类型的敏感数据分配敏感类型标识符；将目标数据的类型标识符和敏感 类型标识符对比，判断目标数据的类型标识符是否包括在敏感类型标识符中； 若敏感类型标识符中包括目标数据所携带的类型标识符，则说明目标数据中 存在敏感数据，否则不存在敏感数据，将目标数据中所存在的敏感数据作为 目标敏感数据，以及目标数据中其他非敏感数据进行区分。

步骤S22，若各所述目标数据中存在敏感目标数据，对所述敏感目标数据 和所述目标数据中除所述敏感目标数据之外的其他目标数据，按照预设格式 进行区别排列。

进一步地，若通过各目标数据的类型标识符和预设敏感数据的敏感类型 标识符对比，确定各目标数据中存在敏感目标数据；则在对目标数据按照预 设格式进行排列的过程中，需要将此敏感目标数据和目标数据中除此敏感目 标数据之外的其他数据进行区分。区分的方式可以根据敏感目标数据所属的 类型，添加与类型对应的敏感类型标识符，也可以针对敏感目标数据添加表 征其为敏感数据的统一标识符。在对各目标数据按照预设格式进行排列时， 目标数据中的敏感目标数据仍然按照预设格式的位置进行排列，只是其携带 有表征其为敏感数据的标识符而已。同时在对目标数据显示的过程中，对于 其中的敏感目标数据，进行区别显示；且可以用颜色进行区别，也可以用大 小进行区别；即当某一目标数据携带有表征其为敏感数据的标识符时，则对 其进行颜色或者大小进行区别显示；通过区别显示，便于更为直观的查看目 标数据中的敏感数据。因敏感目标数据涉及较高风险，可能导致数据泄露； 而为了防止泄密，在将敏感目标数据和其他目标数据区别排列之后，设置有 报警机制。具体地，按照预设格式进行区别排列的步骤之后包括：

步骤S22，向预设预警系统发送提示信息，并在接收到预设预警系统基于 提示信息发送的请求信息时，将所述敏感目标数据发送到预设预警系统。

本实施例为了对敏感数据进行预警，预先设置有与服务器通信连接的预 设预警系统，以用于对可能存在风险的操作进行预警。在对敏感目标数据排 列后，向预设预警系统发送提示信息，以提示目标数据中存在可能存在风险 的敏感目标数据。预设预警系统在接收到此提示信息后，可向服务器发送请 求信息，以请求获取敏感目标数据。考虑到所存在的敏感目标数据可能较多， 为了区分，在提示信息中添加表征各敏感目标数据的标识；预设预警系统根 据标识确定其所需要的敏感目标数据，并将其所需要的敏感目标数据所具有 的标识添加到请求信息中，以请求获取其所需要的敏感目标数据。当服务器 接收到请求信息时，读取其中所携带的标识，而将与标识对应的敏感目标数 据发送到预设预警系统；以供预设预警系统根据敏感目标数据进行预警。此 外，也可以直接在服务器进行预警；设置各个敏感数据与风险等级的对应关 系，以及各个风险等级的预警措施，其中预警措施包括记录用户对敏感数据 的操作、限制后续用户对敏感数据的查看操作、发送操作、对已操作的敏感 数据进行加密等。将目标数据中所存在的敏感目标数据和敏感数据对比，确定敏感目标数据的风险等级，进而用与此风险等级对应的预警措施进行预警， 以防止由用户操作所引起的风险。

此外，请参照图3，本发明提供一种多系统日志数据的构建装置，在本发 明多系统日志数据的构建装置第一实施例中，所述多系统日志数据的构建装 置包括：

接收模块10，用于接收多系统上传的日志文件，并读取各所述日志文件 中的日志数据；

判断模块20，用于将各所述日志数据和预设规则对比，判断各所述日志 数据是否满足预设规则要求；

抽取模块30，用于若各所述日志数据满足预设规则要求，基于预设正则 表达式对各所述日志数据进行分类筛选，以抽取目标数据；

排列模块40，用于对各所述目标数据按照预设格式进行排列，以构建多 系统的规范日志数据。

本实施例的多系统日志数据的构建装置，当接收模块10接收到多系统上 传的日志文件时，读取各日志文件中的日志数据；并通过判断模块20判断所 读取的日志数据是否满足预设规则要求，在满足预设规则要求后抽取模块30 基于预设正则表达式对日志数据进行分类筛选，抽取目标数据；进而由排列 模块40对目标数据按照预设格式进行排列，构建多系统的规范日志数据。本 方案对多个系统所生成的日志文件通过预设规则进行初步判断筛选后，再通 过预设正则表达式对日志数据进行更为准确的分类筛选；因预设规则判断的 日志数据满足初步需求，在此基础上进行预设正则表达式筛选，可提高筛选 的效率，且使所筛选出的日志数据内容更为准确；而将所筛选出的日志数据 按照预设格式排列，则可使构建的日志数据形式统一，以便于对各系统日志 文件的分析。

进一步地，在本发明多系统日志数据的构建装置另一实施例中，所述多 系统日志数据的构建装置还包括：

确定模块，用于若各所述日志数据中存在不满足预设规则要求的目标日 志数据，确定各所述目标日志数据中不满足预设规则要求的原因，并判断预 设调整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整 方案；

调整模块，用于若存在针对所述原因，对预设正则表达式调整的目标调 整方案，则调用所述目标调整方案对预设正则表达式进行调整，生成附加正 则表达式；

调用模块，用于调用所述附加正则表达式对所述目标日志数据进行分类 筛选，以抽取目标数据，并执行对各所述目标数据按照预设格式进行排列的 步骤。

进一步地，在本发明多系统日志数据的构建装置另一实施例中，所述多 系统日志数据的构建装置还包括：

生成模块，用于若不存在针对所述原因且用于调整预设正则表达式的目 标调整方案，则将所述原因生成对预设正则表达式的调整信息，并将所述调 整信息输出，以提示运维方对预设正则表达式进行调整。

进一步地，在本发明多系统日志数据的构建装置另一实施例中，所述排 列模块还包括：

对比单元，用于将各所述目标数据和预设敏感数据对比，判断各所述目 标数据中是否存在敏感目标数据；

排列单元，用于若各所述目标数据中存在敏感目标数据，对所述敏感目 标数据和所述目标数据中除所述敏感目标数据之外的其他目标数据，按照预 设格式进行区别排列。

进一步地，在本发明多系统日志数据的构建装置另一实施例中，所述排 列模块还包括：

发送单元，用于向预设预警系统发送提示信息，并在接收到预设预警系 统基于提示信息发送的请求信息时，将所述敏感目标数据发送到预设预警系 统。

进一步地，在本发明多系统日志数据的构建装置另一实施例中，所述排 列模块还包括：

读取单元，用于读取所述目标数据中各元素的类型标识符，并将各所述 类型标识符和预设格式中各排列标识符对比，确定所述类型标识符与所述排 列标识符的对应关系；

添加单元，用于根据所述对应关系，将所述目标数据中的各元素添加到 所述预设格式的对应位置中，以按照预设格式进行排列。

其中，上述多系统日志数据的构建装置的各虚拟功能模块存储于图4所示 多系统日志数据的构建设备的存储器1005中，处理器1001执行多系统日志数 据的构建程序时，实现图3所示实施例中各个模块的功能。

参照图4，图4是本发明实施例方法涉及的硬件运行环境的设备结构示意 图。

本发明实施例多系统日志数据的构建设备可以是PC(personal computer， 个人计算机)，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等 终端设备。

如图4所示，该多系统日志数据的构建设备可以包括：处理器1001，例 如CPU(Central Processing Unit，中央处理器)，存储器1005，通信总线1002。 其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。 存储器1005可以是高速RAM(random access memory，随机存取存储器)， 也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005 可选的还可以是独立于前述处理器1001的存储装置。

可选地，该多系统日志数据的构建设备还可以包括用户接口、网络接口、 摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi(Wireless Fidelity，无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入 单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无 线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图4中示出的多系统日志数据的构建设备结构 并不构成对多系统日志数据的构建设备的限定，可以包括比图示更多或更少 的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，作为一种计算机可读存储介质的存储器1005中可以包括操作 系统、网络通信模块以及多系统日志数据的构建程序。操作系统是管理和控 制多系统日志数据的构建设备硬件和软件资源的程序，支持多系统日志数据 的构建程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器 1005内部各组件之间的通信，以及与多系统日志数据的构建设备中其它硬件 和软件之间通信。

在图4所示的多系统日志数据的构建设备中，处理器1001用于执行存储 器1005中存储的多系统日志数据的构建程序，实现上述多系统日志数据的构 建方法各实施例中的步骤。

本发明提供了一种可读存储介质，所述可读存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述多系统日志数据的构建方法各实施例中的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者 装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包 括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况 下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、 物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是 手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方 法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围， 凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换， 或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种多系统日志数据的构建方法，其特征在于，所述多系统日志数据的构建方法包括以下步骤：

接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；

将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设规则要求；

若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日志数据进行分类筛选，以抽取目标数据；

对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数据。

2.如权利要求1所述的多系统日志数据的构建方法，其特征在于，所述判断各所述日志数据是否满足预设规则要求的步骤之后包括：

若各所述日志数据中存在不满足预设规则要求的目标日志数据，确定各所述目标日志数据中不满足预设规则要求的原因，并判断预设调整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整方案；

若存在针对所述原因，对预设正则表达式调整的目标调整方案，则调用所述目标调整方案对预设正则表达式进行调整，生成附加正则表达式；

调用所述附加正则表达式对所述目标日志数据进行分类筛选，以抽取目标数据，并执行对各所述目标数据按照预设格式进行排列的步骤。

3.如权利要求2所述的多系统日志数据的构建方法，其特征在于，所述判断预设调整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整方案的步骤之后包括：

若不存在针对所述原因且用于调整预设正则表达式的目标调整方案，则将所述原因生成对预设正则表达式的调整信息，并将所述调整信息输出，以提示运维方对预设正则表达式进行调整。

4.如权利要求1所述的多系统日志数据的构建方法，其特征在于，所述对各所述目标数据按照预设格式进行排列的步骤包括：

将各所述目标数据和预设敏感数据对比，判断各所述目标数据中是否存在敏感目标数据；

若各所述目标数据中存在敏感目标数据，对所述敏感目标数据和所述目标数据中除所述敏感目标数据之外的其他目标数据，按照预设格式进行区别排列。

5.如权利要求4所述的多系统日志数据的构建方法，其特征在于，所述按照预设格式进行区别排列的步骤之后包括：

向预设预警系统发送提示信息，并在接收到预设预警系统基于提示信息发送的请求信息时，将所述敏感目标数据发送到预设预警系统。

6.如权利要求1-5任一项所述的多系统日志数据的构建方法，其特征在于，所述对各所述目标数据按照预设格式进行排列的步骤包括：

读取所述目标数据中各元素的类型标识符，并将各所述类型标识符和预设格式中各排列标识符对比，确定所述类型标识符与所述排列标识符的对应关系；

根据所述对应关系，将所述目标数据中的各元素添加到所述预设格式的对应位置中，以按照预设格式进行排列。

7.一种多系统日志数据的构建装置，其特征在于，所述多系统日志数据的构建装置包括：

接收模块，用于接收多系统上传的日志文件，并读取各所述日志文件中的日志数据；

判断模块，用于将各所述日志数据和预设规则对比，判断各所述日志数据是否满足预设规则要求；

抽取模块，用于若各所述日志数据满足预设规则要求，基于预设正则表达式对各所述日志数据进行分类筛选，以抽取目标数据；

排列模块，用于对各所述目标数据按照预设格式进行排列，以构建多系统的规范日志数据。

8.如权利要求7所述的多系统日志数据的构建装置，其特征在于，所述多系统日志数据的构建装置还包括：

确定模块，用于若各所述日志数据中存在不满足预设规则要求的目标日志数据，确定各所述目标日志数据中不满足预设规则要求的原因，并判断预设调整方案中是否存在针对所述原因且用于调整预设正则表达式的目标调整方案；

调整模块，用于若存在针对所述原因，对预设正则表达式调整的目标调整方案，则调用所述目标调整方案对预设正则表达式进行调整，生成附加正则表达式；

调用模块，用于调用所述附加正则表达式对所述目标日志数据进行分类筛选，以抽取目标数据，并执行对各所述目标数据按照预设格式进行排列的步骤。

9.一种多系统日志数据的构建设备，其特征在于，所述多系统日志数据的构建设备包括：存储器、处理器、通信总线以及存储在所述存储器上的多系统日志数据的构建程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述多系统日志数据的构建程序，以实现如权利要求1-6中任一项所述的多系统日志数据的构建方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有多系统日志数据的构建程序，所述多系统日志数据的构建程序被处理器执行时实现如权利要求1-6中任一项所述的多系统日志数据的构建方法的步骤。