CN107844400A - 一种日志数据的校验方法及装置 - Google Patents

一种日志数据的校验方法及装置 Download PDF

Info

Publication number
CN107844400A
CN107844400A CN201710957387.3A CN201710957387A CN107844400A CN 107844400 A CN107844400 A CN 107844400A CN 201710957387 A CN201710957387 A CN 201710957387A CN 107844400 A CN107844400 A CN 107844400A
Authority
CN
China
Prior art keywords
daily record
verification
verified
record data
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710957387.3A
Other languages
English (en)
Other versions
CN107844400B (zh
Inventor
王海
朱珠
吴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710957387.3A priority Critical patent/CN107844400B/zh
Priority to CN202110925639.0A priority patent/CN113688006B/zh
Publication of CN107844400A publication Critical patent/CN107844400A/zh
Application granted granted Critical
Publication of CN107844400B publication Critical patent/CN107844400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3086—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种日志数据的校验方法及装置，该方法包括：获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，本申请实施例提供的日志数据的校验方法及装置，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。

Description

一种日志数据的校验方法及装置
技术领域
本申请涉及日志校验领域，尤其涉及一种日志数据的校验方法及装置。
背景技术
随着互联网技术的快速发展，各家公司产品产生的日志已经毫无疑问的成为公司最大的数据源头。日志的全面性、准确性直接影响到公司内部各项工作的展开。因此，如果出现日志错误、日志重复、日志缺失等问题需要尽早发现，并解决，把影响降至最低。
相关技术中，主要通过如下方式对日志数据进行校验，具体为：一种方式是，采用人工日志校验的方式对日志数据进行逐一校验，人为凭经验确定待校验日志的正确性；另一种方式是，采用自动日志校验的方式对日志数据进行逐一校验，通过在业务程序中写入相应的日志校验代码，自动对生成的日志进行正确性校验。
由此可知，对于人工日志校验的方式而言，存在校验效率低、人工成本高的问题；而对于上述自动日志校验的方式而言，由于日志校验规则固定不变，一旦需要修改日志校验规则，就需要对业务程序进行整体修改并测试，势必将影响业务系统的正常运行，存在灵活性低、易用性差的问题。
发明内容
本申请实施例的目的是提供一种日志数据的校验方法及装置，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
为解决上述技术问题，本申请实施例是这样实现的：
本申请实施例提供了一种日志数据的校验方法，包括：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种日志数据的校验方法，包括：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种日志数据的校验装置，包括：
日志数据获取模块，用于获取待校验日志数据；
校验规则确定模块，用于获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
日志数据校验模块，用于利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种日志数据的校验装置，包括：
日志数据获取模块，用于获取待校验日志数据；
校验规则确定模块，用于获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
日志数据校验模块，用于利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种日志数据校验设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种日志数据校验设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例中的日志数据的校验方法及装置，获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，本申请实施例提供的日志数据的校验方法及装置，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的日志数据的校验方法的第一种流程示意图；
图2为本申请一实施例提供的日志数据的校验方法的第二种流程示意图；
图3为本申请一实施例提供的日志数据的校验方法的第三种流程示意图；
图4为本申请一实施例提供的日志数据的校验方法的第四种流程示意图；
图5为本申请一实施例提供的日志数据的校验过程一种实现原理示意图；
图6为本申请一实施例提供的日志数据的校验过程另一种实现原理示意图；
图7为本申请另一实施例提供的日志数据的校验方法的第一种流程示意图；
图8为本申请另一实施例提供的日志数据的校验方法的第二种流程示意图；
图9为本申请另一实施例提供的日志数据的校验方法的第三种流程示意图；
图10为本申请实施例提供的日志数据的校验装置的第一模块组成示意图；
图11为本申请实施例提供的日志数据的校验装置的第二模块组成示意图；
图12为本申请实施例提供的日志数据校验设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请一实施例提供了一种日志数据的校验方法及装置，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
图1为本申请一实施例提供的日志数据的校验方法的第一种流程示意图，实现图1中的校验方法的日志校验程序可以与业务系统程序设置于同一硬件设备中，也可以与业务系统程序设置于不同的硬件设备中，如图1所示，该方法至少包括以下步骤：
步骤S101，获取待校验日志数据；其中，该待校验日志数据可以是业务系统输出的日志数据，也可以是与业务系统对接的分布式数据处理服务器输出的日志数据，日志数据可以来自于服务端日志、客户端日志、Web端日志，日志数据为用户使用某种互联网产品时针对用户的操作动作所产生的数据，例如，针对用户的文件下载操作所产生的下载日志，针对用户的网页浏览操作所产生的浏览日志，针对用户的网上转账交易操作所产生的交易日志等等。
步骤S102，获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则。
步骤S103，利用确定出的上述校验规则对上述待校验日志数据进行校验，并生成该待校验日志数据的校验结果。其中，该校验结果可以包含存在错误信息的日志文件的标识、重复的日志文件的标识、缺失的日志文件的标识、日志错误率、日志正确率、日志重复率、日志缺失率等信息中的一种或多种。
其中，上述校验方法的执行主体可以是服务器，还可以是客户端，在服务器或者客户端中设置有独立于业务系统程序的日志校验程序，该运行日志校验程序时执行上述步骤S101至S103。
在本申请提供的实施例中，日志校验程序独立于业务系统程序，且日志校验程序具体执行时是根据配置文件的变化而变化的，日志校验程序与业务系统程序之间是松耦合的，相互独立，互不影响，因此，能够结合用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
需要说明的是，步骤S101与S102的执行没有严格的先后顺序。可是，针对上述配置文件中包含需要校验的日志数据的标识信息的情况，此时，先执行步骤S102，再执行步骤S101，最后执行步骤S103，具体的，首先，获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；然后，根据配置文件中的标识信息，获取与该标识信息对应的待校验日志数据(即在接收到的大量日志数据中查找出与标识信息匹配的日志数据作为待校验日志数据)；最后，利用确定出的上述校验规则对上述待校验日志数据进行校验，并生成该待校验日志数据的校验结果。另外，针对待校验日志数据中包含多个日志文件的情况，按照配置文件中指定的日志校验顺序或日志校验系统自动确定的日志校验顺序，利用确定出的校验规则逐一对各日志文件进行校验，并生成相应的校验结果。这样用户即能够有选择性的对日志数据进行校验，提高了日志校验系统的易用性，还能自定义日志校验顺序，进一步提高了日志校验的灵活性。
其中，上述步骤S102中获取用于表征日志校验需求的配置文件，可以包括如下三种方式：
方式一：接收用户终端发送的配置文件，采用该方式生成配置文件，对于会写配置文件的专业用户，能够更好地满足用户的自动定义校验需求，从而达到自由配置校验规则的效果，提高了日志校验的灵活性、多样性，满足用户的不同校验需求。
方式二：根据用户终端发送的校验配置信息，生成与该校验配置信息对应的配置文件，采用该方式生成配置文件，对于不会写配置文件的非专业用户，但又存在特殊的校验需求的情况下，只需用户结合自身的日志校验需求进行选项操作，即可自动生成相应的位置文件。
方式三：根据上述待校验日志数据的日志类型，生成与该日志类型对应的配置文件，采用该方式生成配置文件，对于不会写配置文件且不存在特殊的校验需求的非专业用户，系统根据预设的日志类型与校验需求之间的对应关系(该对应关系可以是系统根据以往用户选用的配置文件确定的)，自动生成与该校验日志数据的日志类型对应的配置文件，一方面，无需用户自己形成配置文件并上传；另一方面，也不需要用户输入校验配置信息，也能够自动完成日志数据的校验工作，进一步扩展了校验方法的实际应用场景。
需要说明的是，在具体实施时，可以根据用户的具体情况与实际需求进行选择。
其中，上述配置文件中的日志校验需求的语言格式符合JSON数据格式。
在本申请实施例中，采用标准的JSON协议作为配置文件的格式，JSON数据格式就是若干个键/值(key,value)对的集合，若干个键/值的具体内容可以根据用户的实际校验需求进行自由配置，可以写入各式各样的日志校验需求，保证了日志校验需求配置的灵活性。
具体的，如图2所示，上述步骤S102获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则，具体包括：
步骤1021，获取用于表征日志校验需求的配置文件，对该配置文件进行解析，得到相应的日志校验需求；
步骤1022，根据上述日志校验需求，在校验插件库中选取与该日志校验需求对应的至少一个校验插件，该校验插件用于实现至少一项校验功能；
相应的，上述步骤S103利用确定出的上述校验规则对上述待校验日志数据进行校验，并生成该待校验日志数据的校验结果，具体包括：
步骤1031，利用选取出的至少一个校验插件对上述待校验日志数据进行校验；
步骤1032，生成上述待校验日志数据的校验结果。
其中，由于插件具有易修改、可维护性强的特点，且各个插件之间相互独立，均与日志校验主程序之间通过接口联系，可以被随时删除、插入和修改，结构灵活，容易修改，方便软件的升级和维护，因此，在具体实施时，可以采用插件式架构来实现针对不同的日志校验需求匹配相应的校验规则，预先创建校验插件库，在该校验插件库中存储有多个具有特定校验功能的校验插件，在对待校验日志数据进行校验的过程中，调取与日志校验需求匹配的至少一个校验插件，进而利用该至少一个校验插件实现对待校验日志数据的自动校验。
进一步的，为了在校验插件的数量有限的情况下，更好地满足用户多样化的日志校验需求，基于此，上述校验插件库中的每个校验插件用于实现一项校验功能，两两校验插件的校验功能完全不同；
上述步骤1031利用选取出的至少一个校验插件对上述待校验日志数据进行校验，具体包括：
利用选取出的多个校验插件组合成的校验插件集对上述待校验日志数据进行校验。
在具体实施时，校验插件库中每个校验插件可以只具有一项校验功能的插件，即校验插件库中包含多个具有单一校验功能的校验插件，例如，存在性校验插件、类型校验插件、值域校验插件、内容长度校验插件、逻辑关系校验插件等等，该逻辑关系校验插件包括因果关系校验插件、时序关系校验插件、或依赖关系校验插件等，且每个校验插件所具有的校验功能都是不同的。
在本申请提供的实施例中，通过以最小校验功能为单元将校验插件原子化，具有支持多个原子性的校验算子的特点，根据用户的日志校验需求可自由地、灵活地对校验算子进行组合，得到所需的校验规则，这样即使校验插件库中包含的校验插件数量是有限的，但是通过将这些有限的具有单一校验功能的校验插件的任意组合，能够得到满足各种日志校验需求的无限多的校验插件集，从而实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
进一步的，考虑到随着产品的不断升级，导致用户随时可能产生新的校验需求，为了提高用户体验度，基于此，如图3所示，上述校验方法还包括：
步骤S104，接收用户终端发送的校验插件库更新请求，该更新请求携带有待修改的校验插件标识及修改内容，或者该更新请求携带有待增加的校验插件标识及程序代码，或者该更新请求携带有待删除的校验插件标识；
步骤S105，根据上述更新请求对校验插件库进行更新，得到更新后的校验插件库。
在具体实施时，可以通过设置预定的接口来接收用户终端的校验插件库更新请求，用户通过该接口传输携带有待修改的校验插件标识及修改内容，或者待增加的校验插件标识及程序代码，或者待删除的校验插件标识的更新请求，使得校验功能的增加、删除或修改，只需相应的增加、删除或修改校验插件即可，并且在对校验插件库更新维护过程中，不会影响整个日志校验程序架构，从而能够快速地实现校验功能的调整，扩充校验功能，进而保证更好地满足用户多样化的日志校验需求。
其中，上述校验插件库可以由系统开发人员或者具有设置权限的第三方用户共同来维护，具体的，可以为第三方用户设置一个开放的接口，进一步满足用户多样化、个性化的日志校验需求，提升用户体验度。
另外，为了实现校验插件的更新管理达到可控的目的，而不是任何用户都可以随意删除或修改校验插件库中的任意校验插件，因此，可以为第三方用户设定各自的更新权限，例如，第三方用户只具有更新自身上传的校验插件的权限，而无法对系统开发人员上传的校验插件进行修改、删除操作。为了达到校验插件的更新管理具有可控性的目的，在本申请实施例中，如图4所示，上述步骤S104接收用户终端发送的校验插件库更新请求之后，还包括：
步骤S111，根据用户终端的标识判断该用户终端是否为第三方用户；若否(说明该用户终端为系统开发人员使用的用户终端)，则直接执行步骤S105根据上述更新请求，对校验插件库进行更新，得到更新后的校验插件库；若是，则执行步骤S112根据校验插件库更新请求，确定该用户终端是否具有与更新请求对应的校验插件的更新权限；
若具有，则执行步骤S105根据上述更新请求，对校验插件库进行更新，得到更新后的校验插件库；
若不具有，则不执行更新操作，并执行步骤S113生成用于表征当前用户无更新权限的提示信息。
进一步的，考虑到目前的日志类型多种多样，针对待校验日志数据中包含多种日志类型的日志文件的情况，本申请实施例还可以针对不同日志类型的日志文件配置各自校验规则，基于此，上述步骤S101获取待校验日志数据之后，还包括：
根据待校验日志数据中各日志文件的日志类型，将多个日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件，即在每个类别中可以只包含一种日志类型的日志文件，也可以包含两种以上日志类型的日志文件；
上述根据待校验日志数据的日志类型，生成与该日志类型对应的配置文件，具体包括：
针对每个类别，确定与该类别对应的校验项，并根据该校验项生成与该类别所对应的配置文件；
上述步骤S103利用确定出的上述校验规则对上述待校验日志数据进行校验，具体包括：
分别针对每个类别，利用确定出的与该类别对应的校验规则逐一对该类别中的至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成。
举例说明，本申请实施例中预设的日志类型、日志类别与校验项的对应关系，具体可以为下表1所示。
表1
日志类型 日志类别 校验项
交易日志、存款日志、借款日志 高敏感度日志 C
登录日志、账号修改日志、密码修改日志 中敏感度日志 B
点击日志、浏览日志、评价日志 低敏感度日志 A
其中，针对待校验日志数据的日志类型为点击日志、浏览日志、评价日志中任一种的情况，将该日志文件划分到属于低敏感度日志的类别中，对应的校验项A包括：存在性验证和值域校验；
针对待校验日志数据的日志类型为登录日志、账号修改日志、密码修改日志中任一种的情况，将该日志文件划分到属于中敏感度日志的类别中，对应的校验项B包括：存在性验证、值域校验和内容长度校验；
针对待校验日志数据的日志类型为交易日志、存款日志、借款日志中任一种的情况，将该日志文件划分到属于高敏感度日志的类别中，对应的校验项C包括：存在性验证、值域校验、内容长度校验和逻辑关系校验。
在本申请实施例中，先基于各日志文件的日志类型，对多个日志文件进行分类处理，将使用相同校验项的日志文件划分到一个类别中；并且生成各类别对应的配置文件，根据各自的配置文件确定相应的校验规则；最后，按照类别进行校验，即一个类别中的所有日志文件均校验完成后，再校验下一个类别中的日志文件，这样无需频繁更换校验规则，提高了日志数据的校验效率。
进一步的，考虑到可能存在某些类别中包含的日志文件的数量比较少的情况，针对该情况，为了进一步提高日志校验效率，可以不为该类别中日志文件使用单独的校验规则，而是选用校验更严格的校验规则对该类别的日志文件进行校验，达到优化合并处理的目的，这样无需频繁更换校验插件，基于此，每个类别对应于一个校验级别，具体可以为下表2所示；
上述根据待校验日志数据中各日志文件的日志类型，将多个日志文件划分为多个类别之后，还包括：
判断各类别中的日志文件的数量是否小于预设数量阈值，例如，分别判断划分到属于低敏感度日志、中敏感度日志、高敏感度日志这三个类别中的日志文件的数量是否小于预设数量阈值；
若是，则将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别，例如，划分到属于低敏感度日志的类别中的日志文件的数量小于预设数量阈值，此时，可以将属于低敏感度日志的类别中的日志文件与属于中敏感度日志的类别中的日志文件合并为一个类别，即采用与属于中敏感度日志的类别对应的校验规则对属于低敏感度日志的类别中的日志文件进行校验。
表2
日志类型 日志类别 校验级别
交易日志、存款日志、借款日志 高敏感度日志 第三级别
登录日志、账号修改日志、密码修改日志 中敏感度日志 第二级别
点击日志、浏览日志、评价日志 低敏感度日志 第一级别
其中，每个日志类别对应的校验项与表1中相同，在此不再赘述。
进一步的，由于用于对日志数据进行校验的日志校验程序可以与业务系统程序设置于同一硬件设备中，也可以与业务系统程序设置于不同的硬件设备中，考虑到针对日志校验程序与业务系统程序设置于同一硬件设备中的情况，此时可能由于运行日志校验程序时需要占用一定负载，存在资源争用的问题，进而可能影响到业务系统程序的正常运行，因此，在部署有业务系统程序的硬件设备的闲置负载比较小的情况下，可以将日志校验程序部署在独立的硬件设备中，此时两个硬件设备之间需要进行待校验日志数据的传输，可能存在数据泄露、数据传输流畅性差和数据丢失的问题，基于此，上述步骤S101获取待校验日志数据之前，还包括：
对业务系统或者分布式数据处理系统传输的日志数据执行如下至少一种操作，并将执行如下至少一种操作后的日志数据作为待校验日志数据：
对接收到的已加密的日志数据进行解密处理；或者，
对接收到的已压缩的日志数据进行解压缩处理；或者，
对解密处理和/或解压缩处理后的日志数据进行完整性验证。
具体的，在业务系统(客户端)或者分布式数据处理系统将待校验日志数据传输至日志校验系统(服务器端)的过程中，由于可能存在数据泄露、数据传输流畅性差和数据丢失的问题，需要采用如下实现方式来解决该问题，具体为：
(1)为了防止日志被非法截获，而出现日志数据的外泄的情况，提高日志数据的传输安全性，先在业务系统(客户端)或者分布式数据处理系统对待校验日志数据进行加密处理，将加密处理后的待校验日志数据传输至日志校验系统(服务器端)，对应的，日志校验系统(服务器端)接收到该加密处理后的日志数据之后，需要对该已加密的日志数据进行解密处理，其中，可以采用非对称加密算法对日志数据进行解加密处理。
(2)为了节约客户端传输数据所需的移动流量，以及提高数据在网络中的传输成功率，先在业务系统(客户端)或者分布式数据处理系统对待校验日志数据进行压缩处理，将压缩处理后的待校验日志数据传输至日志校验系统(服务器端)，对应的，日志校验系统(服务器端)接收到该压缩处理后的日志数据之后，需要对该已压缩的日志数据进行解压缩处理，其中，可以采用GZIP算法对日志数据进行解压缩处理。
(3)为了保证日志数据在网络传输的过程中不重、不丢，提高日志数据传输的完整性、一致性，日志校验系统(服务器端)接收到业务系统(客户端)或者分布式数据处理系统发送的数据传输完毕指令，以及对接收到的日志数据解密处理和/或解压缩处理之后，根据接收到的各日志文件的随机字符串token和日志编号sequence_id，确定数据传输完毕指令所指示的已传输的日志文件是否一致，如果存在日志文件缺失的情况，则向业务系统(客户端)或者分布式数据处理系统发送日志文件重新发送请求，如果存在日志文件重复的情况，则删除重复的日志文件。
具体的，上述步骤S103利用确定出的上述校验规则对上述待校验日志数据进行校验，包括：利用确定出的上述校验规则对上述待校验日志数据包含的各待校验日志文件执行如下至少一种校验操作：
确定待校验日志文件中是否存在预设属性数据；或者，
确定待校验日志文件的日志类型是否正确；或者，
确定待校验日志文件中属性数据的长度是否符合预设长度要求；或者，
确定待校验日志文件中属性数据的值域是否符合预设值域要求；或者，
确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在。
其中，对待校验日志数据执行哪些项校验操作，由配置文件中写入的日志校验需求来决定。
其中，由于在产品日志文件生成过程中，针对用户对互联网产品的某一次使用操作，将为本次使用操作生成一个随机字符串，即token，与本次使用操作相关的日志文件的标识中均包含该随机字符串，即对于具有相同的随机字符串的一组日志文件为同一次对产品的使用操作生成的；并且还将为本次使用操作生成的各日志文件生成各自的日志编号，即sequence_id，因此，上述确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在，具体包括：
查找与待校验日志文件具有相同随机字符串的多个关联日志文件；
根据待校验日志文件的日志编号，确定与该待校验日志文件满足特定逻辑关系的关联日志文件是否存在，其中，该逻辑关系可以是因果关系、时序关系、依赖关系等，具体验证与待校验日志具有哪种逻辑关系的关联日志文件是否存在，由配置文件中指定的逻辑关系验证类型来决定，即由用户的实际日志校验需求来决定。
在本申请实施例中，以校验时序关系为例，上述根据待校验日志文件的日志编号，确定与该待校验日志文件满足特定逻辑关系的关联日志文件是否存在，具体为：
根据待校验日志文件的日志编号，确定该待校验日志文件的在先日志文件是否存在(即在某次产品使用操作中生成待校验日志文件之前产生的关联日志文件是否存在)；或者，
根据待校验日志文件的日志编号，确定该待校验日志文件的在后日志文件是否存在(即在某次产品使用操作中生成待校验日志文件之后产生的关联日志文件是否存在)。
举例说明，在配置文件中指定“A日志之后，将发生B日志”时，那么如果当前待校验日志文件为A日志，则需要确定在A日志生成之后是否产生一个与A日志具有相同随机字符串的B日志，如果不存在，则认为这组日志校验不通过。
进一步的，为了便于第三方用户、研发人员得到各自所需的日志数据校验结果，以及实现对校验结果的可追溯性，基于此，上述生成待校验日志数据的校验结果之后，还包括：对上述校验结果执行如下至少一种操作：
将待校验日志数据的校验结果发送至对应的用户终端；或者，
将待校验日志数据的校验结果发送至对应的研发系统；或者，
将待校验日志数据的校验结果存入预设数据库中，这样有利于相关人员后续能够随时获取已校验日志数据的校验结果，实现了对校验结果的可追溯性。
图5为本申请实施例提供的日志数据的校验过程一种实现原理示意图，如图5所示，将规则引擎作为日志校验系统的主体程序，且校验功能载体采用插件模式，每一个具有特定校验功能的校验插件均独立存在，可随用随调，动态可插拔。具体的，规则引擎的输入为日志数据和配置文件，规则引擎接收到日志数据和配置文件之后，可以先对配置文件进行解析，得到相应的日志校验需求；再在校验插件库中选取与该日志校验需求对应的至少一个校验插件；最后，利用选取出的至少一个校验插件对待校验日志数据进行校验，并生成待校验日志数据的校验结果，规则引擎的输出为待校验日志数据的校验结果。
其中，如果解析出的日志校验需求中包含需要校验的日志标识信息，则利用选取出的至少一个校验插件对待校验日志数据进行校验之前，还包括：查找出与标识信息匹配的日志数据作为待校验日志数据。
另外，系统开发人员和第三方用户能够通过预设接口对校验插件库中的校验插件进行更新维护，更新过程中无需改动日志校验系统的主体程序，直接通过该预设接口新增校验插件、删除校验插件、修改校验插件即可，进一步满足用户多样化、个性化的日志校验需求，提升用户体验度。
图6为本申请实施例提供的日志数据的校验过程另一种实现原理示意图，如图6所示，图5中的规则引擎可以采用分布式编程架构，可以是基于ODPS(Open Data ProcessingService，开发数据处理服务)的一套分布式编程框架，可以使用Python编程语言灵活操作输入的日志数据，即通过分布式服务器集群来进行日志数据的自动校验，在日志数据处理量比较大的情况下，可以采用该系统架构，由多台服务器并行对日志数据进行自动校验，这样能够提高日志数据的校验效率，实现全量日志快速校验。
接下来，本申请实施例中给出一个具体实例，以下载日志的校验过程为例：
(1)获取待校验日志数据，该待校验日志数据为一个下载日志，具体为：
{
"log_type":"download_start"
"uid":"abcdef123456",
"age":201,
"download_app":"",
"token":"abcabcabcabc",
"sequence_id":1
}
(2)获取用于表征日志校验需求的配置文件，该配置文件的具体代码为：
{
"input_project":"tip_dev",//日志表所在project名称
"input_table":"test_client_log",//日志表名称
"output_project":"tip_dev",//结果表所在project名称
"output_table":"test_client_log_check_result",//结果表名称
"rule_type":"content_check",
"seed":"download_start",//日志名称
//检测有无这些属性以及属性值是否为空.对于第一级节点,field_name写ROW即可.
(3)对上述配置文件进行解析，得到相应的日志校验需求，该日志校验需求为对日志类型为下载日志的日志文件执行3方面校验：一是，确定日志文件中是否存在性别(sex)属性(即存在性验证)；二是，确定日志文件中的年龄(age)属性是否在0-150之间(即值域校验)；三是，确定日志文件中用户ID的长度是否是32位(内容长度校验)。
(4)根据上述日志校验需求，在校验插件库中选取与该日志校验需求对应的至少一个校验插件，即在校验插件库中选取存在性校验插件、值域校验插件、内容长度校验插件。
本申请一实施例中的日志数据的校验方法，获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，本申请实施例提供的日志数据的校验方法，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
本申请另一实施例提供了一种日志数据的校验方法，能够实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
图7为本申请另一实施例提供的日志数据的校验方法的第一种流程示意图，如图7所示，该方法至少包括以下步骤：
步骤S701，获取待校验日志数据；
步骤S702，获取用于表征日志校验需求的配置文件；
步骤S703，根据上述配置文件，在校验插件库中选取与该配置文件对应的至少一个校验插件，每个校验插件用于实现一项校验功能，两两校验插件的校验功能完全不同；
步骤S704，利用上述至少一个校验插件组合成的校验插件集对上述待校验日志数据进行校验；
步骤S705，生成上述待校验日志数据的校验结果。
在本申请实施例中，通过以最小校验功能为单元将校验插件原子化，具有支持多个原子性的校验算子的特点，根据用户的日志校验需求可自由地、灵活地对校验算子进行组合，得到所需的校验规则，这样即使校验插件库中包含的校验插件数量是有限的，但是通过将这些有限的具有单一校验功能的校验插件的任意组合，能够得到满足各种日志校验需求的无限多的校验插件集，从而实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
进一步的，用户还可以针对不同日志类型的日志文件配置各自的日志校验需求，即可以在配置文件中写入分类校验信息，或者通过用户终端发送包含分类校验信息的校验配置信息，因此，如图8所示，上述步骤S702获取用于表征日志校验需求的配置文件之后，还包括：
步骤S706，根据配置文件中的分类校验信息和待校验日志数据中各日志文件的日志类型，将多个日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件；
相应的，上述步骤S703根据上述配置文件，在校验插件库中选取与该配置文件对应的至少一个校验插件，具体包括：
步骤S7031，针对每个类别，确定与该类别对应的校验项，并根据该校验项在校验插件库中选取与该类别所对应的至少一个校验插件；
相应的，上述步骤S704利用上述至少一个校验插件组合成的校验插件集对上述待校验日志数据进行校验，具体包括：
步骤S7041，分别针对每个类别，利用选取出的与该类别对应的至少一个校验插件组合成的校验插件集，逐一对该类别中的至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成，对下一个类别中的各日志文件执行校验操作。
仍以表1中的日志类型、日志类别与校验项的对应关系为例，将该对应关系作为配置文件中的分类校验信息，具体为：
针对待校验日志数据的日志类型为点击日志、浏览日志、评价日志中任一种的情况，将该日志文件划分到属于低敏感度日志的类别中，对应的校验项A包括：存在性验证和值域校验；
针对待校验日志数据的日志类型为登录日志、账号修改日志、密码修改日志中任一种的情况，将该日志文件划分到属于中敏感度日志的类别中，对应的校验项B包括：存在性验证、值域校验和内容长度校验；
针对待校验日志数据的日志类型为交易日志、存款日志、借款日志中任一种的情况，将该日志文件划分到属于高敏感度日志的类别中，对应的校验项C包括：存在性验证、值域校验、内容长度校验和逻辑关系校验。
进一步的，同样考虑到可能存在某些类别中包含的日志文件的数量比较少的情况，针对该情况，为了提高日志校验效率，可以不为该类别中日志文件使用单独的校验规则，而是选用校验更严格的校验规则对该类别的日志文件进行校验，达到优化合并处理的目的，这样无需频繁更换校验插件，基于此，每个类别对应于一个校验级别，仍以表2中的对应关系为例；如图9所示，上述步骤S706根据配置文件中的分类校验信息和待校验日志数据中各日志文件的日志类型，将多个日志文件划分为多个类别之后，还包括：
步骤S707，判断各类别中的日志文件的数量是否小于预设数量阈值，例如，分别判断划分到属于低敏感度日志、中敏感度日志、高敏感度日志这三个类别中的日志文件的数量是否小于预设数量阈值；
若是，则执行步骤S708将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别，例如，划分到属于低敏感度日志的类别中的日志文件的数量小于预设数量阈值，此时，可以将属于低敏感度日志的类别中的日志文件与属于中敏感度日志的类别中的日志文件合并为一个类别，即采用与属于中敏感度日志的类别对应的校验规则对属于低敏感度日志的类别中的日志文件进行校验。
若否，则执行步骤S7031针对每个类别，确定与该类别对应的校验项，并根据该校验项在校验插件库中选取与该类别所对应的至少一个校验插件。
需要说明的是，本申请另一实施例与本申请一实施例基于同一发明构思，因此该实施例的具体实施可以参见前述方法的实施，重复之处不再赘述。
对应上述图2至图6描述的日志数据的校验方法，基于相同的技术构思，本申请实施例还提供了一种日志数据的校验装置，如图10所示，包括：日志数据获取模块1001、校验规则确定模块1002、日志数据校验模块1003。
在一个具体的实施例中，日志数据获取模块1001，用于获取待校验日志数据；
校验规则确定模块1002，用于获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；
日志数据校验模块1003，用于利用确定出的上述校验规则对上述待校验日志数据进行校验，并生成该待校验日志数据的校验结果。
可选地，针对配置文件生成过程，上述校验规则确定模块1002，具体用于：
接收用户终端发送的配置文件；或者，
根据用户终端发送的校验配置信息，生成与所述校验配置信息对应的配置文件；或者，
根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件。
可选地，所述配置文件中的日志校验需求的语言格式符合JSON数据格式。
可选地，针对校验规则确定过程，上述校验规则确定模块1002，具体用于：
对所述配置文件进行解析，得到相应的日志校验需求；
根据所述日志校验需求，在校验插件库中选取与所述日志校验需求对应的至少一个校验插件，所述校验插件用于实现至少一项校验功能；
相应的，上述日志数据校验模块1003，具体用于：
利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验。
可选地，所述校验插件库中的每个校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
上述日志数据校验模块1003，具体用于：
利用选取出的多个所述校验插件组合成的校验插件集对所述待校验日志数据进行校验。
可选地，如图11所示，上述校验装置还包括：
更新请求接收模块1004，用于接收用户终端发送的校验插件库更新请求，所述更新请求携带有待修改的校验插件标识及修改内容，或者所述更新请求携带有待增加的校验插件标识及程序代码，或者所述更新请求携带有待删除的校验插件标识；
插件库更新模块1005，用于根据所述更新请求对所述校验插件库进行更新，得到更新后的校验插件库。
可选的，所述待校验日志数据包括多种日志类型的日志文件；
上述校验装置还包括：日志数据分类模块1006，用于在获取待校验日志数据之后，根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件；
相应的，针对配置文件生成过程，上述校验规则确定模块1002，具体用于：针对每个类别，确定与该类别对应的校验项，并根据该校验项生成与该类别所对应的配置文件；
相应的，上述日志数据校验模块1003，具体用于：分别针对每个类别，利用确定出的与该类别对应的校验规则逐一对该类别中的所述至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成。
可选地，每个所述类别对应于一个校验级别；上述校验装置还包括：类别重新划分模块1007，用于在根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别之后，判断各所述类别中的日志文件的数量是否小于预设数量阈值；若是，则将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别。
可选地，上述校验装置还包括：数据预处理模块1008，用于在获取待校验日志数据之前，对业务系统或者分布式数据处理系统传输的日志数据执行如下至少一种操作，并将执行如下至少一种操作后的日志数据作为待校验日志数据：
对接收到的已加密的日志数据进行解密处理；或者，
对接收到的已压缩的日志数据进行解压缩处理；或者，
对解密处理和/或解压缩处理后的日志数据进行完整性验证。
可选地，上述日志数据校验模块1003，具体用于：利用确定出的所述校验规则对所述待校验日志数据包含的各待校验日志文件执行如下至少一种校验操作：
确定待校验日志文件中是否存在预设属性数据；或者，
确定待校验日志文件的日志类型是否正确；或者，
确定待校验日志文件中属性数据的长度是否符合预设长度要求；或者，
确定待校验日志文件中属性数据的值域是否符合预设值域要求；或者，
确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在。
可选地，上述校验装置还包括：校验结果处理模块1009，用于对所述校验结果执行如下至少一种操作：
将所述校验结果发送至对应的用户终端；或者，
将所述校验结果发送至对应的研发系统；或者，
将所述校验结果存入预设数据库中。
本申请实施例中的日志数据的校验装置，获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，本申请实施例提供的日志数据的校验装置，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
在另一个具体的实施例中，上述日志数据获取模块1001，用于获取待校验日志数据；
上述校验规则确定模块1002，用于获取用于表征日志校验需求的配置文件，并根据该配置文件，在校验插件库中选取与该配置文件对应的至少一个校验插件，其中，每个校验插件用于实现一项校验功能，两两校验插件的校验功能完全不同；
上述日志数据校验模块1003，用于利用上述至少一个校验插件组合成的校验插件集对上述待校验日志数据进行校验，并生成该待校验日志数据的校验结果。
在本申请实施例中，通过以最小校验功能为单元将校验插件原子化，具有支持多个原子性的校验算子的特点，根据用户的日志校验需求可自由地、灵活地对校验算子进行组合，得到所需的校验规则，这样即使校验插件库中包含的校验插件数量是有限的，但是通过将这些有限的具有单一校验功能的校验插件的任意组合，能够得到满足各种日志校验需求的无限多的校验插件集，从而实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
需要说明的是，需要说明的是，由于这些装置所解决问题的原理与前述图7至9所述的校验方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。
进一步地，对应上述图1至图6所示的方法，基于相同的技术构思，本申请实施例还提供了一种日志数据校验设备，该设备用于执行上述的日志数据的校验方法，如图12所示。
日志数据校验设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1201和存储器1202，存储器1202中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1202可以是短暂存储或持久存储。存储在存储器1202的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对日志数据校验设备中的一系列计算机可执行指令。更进一步地，处理器1201可以设置为与存储器1202通信，在日志数据校验设备上执行存储器1202中的一系列计算机可执行指令。日志数据校验设备还可以包括一个或一个以上电源1203，一个或一个以上有线或无线网络接口1204，一个或一个以上输入输出接口1205，一个或一个以上键盘1206等。
在一个具体的实施例中，日志数据校验设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对日志数据校验设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
可选地，计算机可执行指令在被执行时，所述获取用于表征日志校验需求的配置文件，包括：
接收用户终端发送的配置文件；或者，
根据用户终端发送的校验配置信息，生成与所述校验配置信息对应的配置文件；或者，
根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件。
可选地，计算机可执行指令在被执行时，所述配置文件中的日志校验需求的语言格式符合JSON数据格式。
可选地，计算机可执行指令在被执行时，所述确定与所述配置文件对应的校验规则，包括：
对所述配置文件进行解析，得到相应的日志校验需求；
根据所述日志校验需求，在校验插件库中选取与所述日志校验需求对应的至少一个校验插件，所述校验插件用于实现至少一项校验功能；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：
利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验。
可选地，计算机可执行指令在被执行时，所述校验插件库中的每个校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
所述利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验，包括：
利用选取出的多个所述校验插件组合成的校验插件集对所述待校验日志数据进行校验。
可选地，计算机可执行指令在被执行时，还包含用于进行以下计算机可执行指令：
接收用户终端发送的校验插件库更新请求，所述更新请求携带有待修改的校验插件标识及修改内容，或者所述更新请求携带有待增加的校验插件标识及程序代码，或者所述更新请求携带有待删除的校验插件标识；
根据所述更新请求对所述校验插件库进行更新，得到更新后的校验插件库。
可选地，计算机可执行指令在被执行时，所述待校验日志数据包括多种日志类型的日志文件；
所述获取待校验日志数据之后，还包括：根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件；
所述根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件，包括：针对每个类别，确定与该类别对应的校验项，并根据该校验项生成与该类别所对应的配置文件；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：分别针对每个类别，利用确定出的与该类别对应的校验规则逐一对该类别中的所述至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成。
可选地，计算机可执行指令在被执行时，每个所述类别对应于一个校验级别；
所述根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别之后，还包括：
判断各所述类别中的日志文件的数量是否小于预设数量阈值；
若是，则将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别。
可选地，计算机可执行指令在被执行时，所述获取待校验日志数据之前，还包括：
对业务系统或者分布式数据处理系统传输的日志数据执行如下至少一种操作，并将执行如下至少一种操作后的日志数据作为待校验日志数据：
对接收到的已加密的日志数据进行解密处理；或者，
对接收到的已压缩的日志数据进行解压缩处理；或者，
对解密处理和/或解压缩处理后的日志数据进行完整性验证。
可选地，计算机可执行指令在被执行时，所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：利用确定出的所述校验规则对所述待校验日志数据包含的各待校验日志文件执行如下至少一种校验操作：
确定待校验日志文件中是否存在预设属性数据；或者，
确定待校验日志文件的日志类型是否正确；或者，
确定待校验日志文件中属性数据的长度是否符合预设长度要求；或者，
确定待校验日志文件中属性数据的值域是否符合预设值域要求；或者，
确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在。
可选地，计算机可执行指令在被执行时，还包含用于进行以下计算机可执行指令：对所述校验结果执行如下至少一种操作：
将所述校验结果发送至对应的用户终端；或者，
将所述校验结果发送至对应的研发系统；或者，
将所述校验结果存入预设数据库中。
本申请实施例中的日志数据校验设备，获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，本申请实施例提供的日志数据校验设备，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
在另一个具体的实施例中，日志数据校验设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对日志数据校验设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例中的日志数据校验设备，通过以最小校验功能为单元将校验插件原子化，具有支持多个原子性的校验算子的特点，根据用户的日志校验需求可自由地、灵活地对校验算子进行组合，得到所需的校验规则，这样即使校验插件库中包含的校验插件数量是有限的，但是通过将这些有限的具有单一校验功能的校验插件的任意组合，能够得到满足各种日志校验需求的无限多的校验插件集，从而实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
需要说明的是，由于这些设备所解决问题的原理与前述图7至9所述的校验方法相似，因此该设备的实施可以参见前述方法的实施，重复之处不再赘述。
进一步地，对应上述图1至图6所示的方法，基于相同的技术构思，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，在一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述获取用于表征日志校验需求的配置文件，包括：
接收用户终端发送的配置文件；或者，
根据用户终端发送的校验配置信息，生成与所述校验配置信息对应的配置文件；或者，
根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述配置文件中的日志校验需求的语言格式符合JSON数据格式。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述确定与所述配置文件对应的校验规则，包括：
对所述配置文件进行解析，得到相应的日志校验需求；
根据所述日志校验需求，在校验插件库中选取与所述日志校验需求对应的至少一个校验插件，所述校验插件用于实现至少一项校验功能；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：
利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述校验插件库中的每个校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
所述利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验，包括：
利用选取出的多个所述校验插件组合成的校验插件集对所述待校验日志数据进行校验。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，还实现以下流程：
接收用户终端发送的校验插件库更新请求，所述更新请求携带有待修改的校验插件标识及修改内容，或者所述更新请求携带有待增加的校验插件标识及程序代码，或者所述更新请求携带有待删除的校验插件标识；
根据所述更新请求对所述校验插件库进行更新，得到更新后的校验插件库。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述待校验日志数据包括多种日志类型的日志文件；
所述获取待校验日志数据之后，还包括：根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件；
所述根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件，包括：针对每个类别，确定与该类别对应的校验项，并根据该校验项生成与该类别所对应的配置文件；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：分别针对每个类别，利用确定出的与该类别对应的校验规则逐一对该类别中的所述至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，每个所述类别对应于一个校验级别；
所述根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别之后，还包括：
判断各所述类别中的日志文件的数量是否小于预设数量阈值；
若是，则将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述获取待校验日志数据之前，还包括：
对业务系统或者分布式数据处理系统传输的日志数据执行如下至少一种操作，并将执行如下至少一种操作后的日志数据作为待校验日志数据：
对接收到的已加密的日志数据进行解密处理；或者，
对接收到的已压缩的日志数据进行解压缩处理；或者，
对解密处理和/或解压缩处理后的日志数据进行完整性验证。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：利用确定出的所述校验规则对所述待校验日志数据包含的各待校验日志文件执行如下至少一种校验操作：
确定待校验日志文件中是否存在预设属性数据；或者，
确定待校验日志文件的日志类型是否正确；或者，
确定待校验日志文件中属性数据的长度是否符合预设长度要求；或者，
确定待校验日志文件中属性数据的值域是否符合预设值域要求；或者，
确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，还实现以下流程：对所述校验结果执行如下至少一种操作：
将所述校验结果发送至对应的用户终端；或者，
将所述校验结果发送至对应的研发系统；或者，
将所述校验结果存入预设数据库中。
本申请实施例中的存储介质存储的计算机可执行指令在被处理器执行时，获取待校验日志数据；以及获取用于表征日志校验需求的配置文件，并确定与该配置文件对应的校验规则；利用确定出的校验规则对待校验日志数据进行校验，并生成该待校验日志数据的校验结果。相比于相关技术中人工日志校验方式或校验规则固定不变的校验方式，可以根据用户的实际校验需求自动匹配校验规则，从而达到校验规则可自由配置的效果，再利用该校验规则实现日志数据的自动校验，提高了日志校验方式的灵活性、可变性，无需修改业务系统的应用程序，即可实现结合不同的校验需求采用相应的校验规则对日志数据进行校验。
在另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
本申请实施例中的存储介质存储的计算机可执行指令在被处理器执行时，通过以最小校验功能为单元将校验插件原子化，具有支持多个原子性的校验算子的特点，根据用户的日志校验需求可自由地、灵活地对校验算子进行组合，得到所需的校验规则，这样即使校验插件库中包含的校验插件数量是有限的，但是通过将这些有限的具有单一校验功能的校验插件的任意组合，能够得到满足各种日志校验需求的无限多的校验插件集，从而实现在校验插件的数量有限的情况下，也能够更好地满足用户多样化的日志校验需求，大大降低了校验插件的维护成本。
需要说明的是，由于这些存储介质所解决问题的原理与前述图7至9所述的校验方法相似，因此该存储介质的实施可以参见前述方法的实施，重复之处不再赘述。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种日志数据的校验方法，其特征在于，包括：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
2.根据权利要求1所述的方法，其特征在于，所述获取用于表征日志校验需求的配置文件，包括：
接收用户终端发送的配置文件；或者，
根据用户终端发送的校验配置信息，生成与所述校验配置信息对应的配置文件；或者，
根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件。
3.根据权利要求1所述的方法，其特征在于，所述配置文件中的日志校验需求的语言格式符合JSON数据格式。
4.根据权利要求1所述的方法，其特征在于，所述确定与所述配置文件对应的校验规则，包括：
对所述配置文件进行解析，得到相应的日志校验需求；
根据所述日志校验需求，在校验插件库中选取与所述日志校验需求对应的至少一个校验插件，所述校验插件用于实现至少一项校验功能；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：
利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验。
5.根据权利要求4所述的方法，其特征在于，所述校验插件库中的每个校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
所述利用选取出的所述至少一个校验插件对所述待校验日志数据进行校验，包括：
利用选取出的多个所述校验插件组合成的校验插件集对所述待校验日志数据进行校验。
6.根据权利要求4所述的方法，其特征在于，还包括：
接收用户终端发送的校验插件库更新请求，所述更新请求携带有待修改的校验插件标识及修改内容，或者所述更新请求携带有待增加的校验插件标识及程序代码，或者所述更新请求携带有待删除的校验插件标识；
根据所述更新请求对所述校验插件库进行更新，得到更新后的校验插件库。
7.根据权利要求2所述的方法，其特征在于，所述待校验日志数据包括多种日志类型的日志文件；
所述获取待校验日志数据之后，还包括：根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别，每个类别中包括至少一种日志类型的日志文件；
所述根据所述待校验日志数据的日志类型，生成与所述日志类型对应的配置文件，包括：针对每个类别，确定与该类别对应的校验项，并根据该校验项生成与该类别所对应的配置文件；
所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：分别针对每个类别，利用确定出的与该类别对应的校验规则逐一对该类别中的所述至少一个日志文件进行校验，直到将该类别中所有日志文件校验完成。
8.根据权利要求7所述的方法，其特征在于，每个所述类别对应于一个校验级别；
所述根据所述待校验日志数据中各日志文件的日志类型，将多个所述日志文件划分为多个类别之后，还包括：
判断各所述类别中的日志文件的数量是否小于预设数量阈值；
若是，则将该类别中的至少一个日志文件，与高于该类别对应的校验级别的日志文件合并为一个类别。
9.根据权利要求1所述的方法，其特征在于，所述获取待校验日志数据之前，还包括：
对业务系统或者分布式数据处理系统传输的日志数据执行如下至少一种操作，并将执行如下至少一种操作后的日志数据作为待校验日志数据：
对接收到的已加密的日志数据进行解密处理；或者，
对接收到的已压缩的日志数据进行解压缩处理；或者，
对解密处理和/或解压缩处理后的日志数据进行完整性验证。
10.根据权利要求1所述的方法，其特征在于，所述利用确定出的所述校验规则对所述待校验日志数据进行校验，包括：利用确定出的所述校验规则对所述待校验日志数据包含的各待校验日志文件执行如下至少一种校验操作：
确定待校验日志文件中是否存在预设属性数据；或者，
确定待校验日志文件的日志类型是否正确；或者，
确定待校验日志文件中属性数据的长度是否符合预设长度要求；或者，
确定待校验日志文件中属性数据的值域是否符合预设值域要求；或者，
确定与待校验日志文件具有特定逻辑关系的关联日志文件是否存在。
11.根据权利要求1所述的方法，其特征在于，还包括：对所述校验结果执行如下至少一种操作：
将所述校验结果发送至对应的用户终端；或者，
将所述校验结果发送至对应的研发系统；或者，
将所述校验结果存入预设数据库中。
12.一种日志数据的校验方法，其特征在于，包括：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
13.一种日志数据的校验装置，其特征在于，包括：
日志数据获取模块，用于获取待校验日志数据；
校验规则确定模块，用于获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
日志数据校验模块，用于利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
14.一种日志数据的校验装置，其特征在于，包括：
日志数据获取模块，用于获取待校验日志数据；
校验规则确定模块，用于获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
日志数据校验模块，用于利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
15.一种日志数据校验设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
16.一种日志数据校验设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
17.一种存储介质，用于存储计算机可执行指令，其特征在于，所述可执行指令在被执行时实现以下流程：
获取待校验日志数据；
获取用于表征日志校验需求的配置文件，并确定与所述配置文件对应的校验规则；
利用确定出的所述校验规则对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
18.一种存储介质，用于存储计算机可执行指令，其特征在于，所述可执行指令在被执行时实现以下流程：
获取用于表征日志校验需求的配置文件，并根据所述配置文件，在校验插件库中选取与所述配置文件对应的至少一个校验插件，其中，每个所述校验插件用于实现一项校验功能，两两所述校验插件的校验功能完全不同；
利用所述至少一个校验插件组合成的校验插件集对所述待校验日志数据进行校验，并生成所述待校验日志数据的校验结果。
CN201710957387.3A 2017-10-16 2017-10-16 一种日志数据的校验方法及装置 Active CN107844400B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710957387.3A CN107844400B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置
CN202110925639.0A CN113688006B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710957387.3A CN107844400B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110925639.0A Division CN113688006B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置

Publications (2)

Publication Number Publication Date
CN107844400A true CN107844400A (zh) 2018-03-27
CN107844400B CN107844400B (zh) 2021-07-27

Family

ID=61661360

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710957387.3A Active CN107844400B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置
CN202110925639.0A Active CN113688006B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110925639.0A Active CN113688006B (zh) 2017-10-16 2017-10-16 一种日志数据的校验方法及装置

Country Status (1)

Country Link
CN (2) CN107844400B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898485A (zh) * 2018-06-07 2018-11-27 阿里巴巴集团控股有限公司 一种数据校验的方法及装置
CN109413452A (zh) * 2018-09-30 2019-03-01 武汉斗鱼网络科技有限公司 基于不同方式的弹幕校验方法、装置、终端及存储介质
CN109462517A (zh) * 2018-10-24 2019-03-12 云南电网有限责任公司信息中心 一种面向数字电网业务的数据监测的方法、系统及设备
CN109542743A (zh) * 2018-11-16 2019-03-29 北京微播视界科技有限公司 日志校验方法、装置、电子设备及计算机可读存储介质
CN109726111A (zh) * 2018-08-17 2019-05-07 平安普惠企业管理有限公司 测试规则订制方法、设备、装置及计算机可读存储介质
CN110377136A (zh) * 2019-06-18 2019-10-25 苏州浪潮智能科技有限公司 一种psu原始值日志记录方法及装置
CN110389941A (zh) * 2019-06-19 2019-10-29 平安国际智慧城市科技股份有限公司 数据库校验方法、装置、设备及存储介质
CN110554929A (zh) * 2018-06-04 2019-12-10 百度在线网络技术（北京）有限公司 数据校验方法、装置、计算机设备及存储介质
CN110750740A (zh) * 2019-09-16 2020-02-04 苏宁云计算有限公司 网页请求中的采集数据校验方法及装置
CN110866557A (zh) * 2019-11-12 2020-03-06 贵州医渡云技术有限公司 数据评价方法及装置、存储介质及电子设备
CN110889106A (zh) * 2018-09-11 2020-03-17 北京京东金融科技控股有限公司 配置方法、装置、系统、计算机可读存储介质
CN111061687A (zh) * 2019-11-20 2020-04-24 有时数联科技（北京）有限公司 一种异常数据的定位方法、装置及系统
CN111159712A (zh) * 2019-12-23 2020-05-15 京东数字科技控股有限公司 检测方法、设备及存储介质
CN111459817A (zh) * 2020-03-31 2020-07-28 中国银行股份有限公司 一种程序执行码的检验方法及装置
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN111832072A (zh) * 2020-07-02 2020-10-27 上海识装信息科技有限公司 一种日志平台防非法操作的方法及系统
CN112287035A (zh) * 2019-07-25 2021-01-29 中移动信息技术有限公司 数据加载方法、装置、设备及存储介质
CN112448946A (zh) * 2020-11-09 2021-03-05 北京工业大学 基于区块链的日志审计方法及装置
CN112468359A (zh) * 2020-11-10 2021-03-09 许继集团有限公司 电力系统物联网边缘物联代理装置的日志采集系统及方法
CN112463729A (zh) * 2020-11-27 2021-03-09 中国工商银行股份有限公司 数据文件的入库方法、装置、电子设备和介质
CN113055299A (zh) * 2019-12-27 2021-06-29 无锡智道安盈科技有限公司 利用规则路由引擎进行多协议保险公司系统对接的方法
CN113570255A (zh) * 2021-07-30 2021-10-29 上海通联金融服务有限公司 批处理文件的质量检测方法
CN114428815A (zh) * 2022-01-17 2022-05-03 多点生活(成都)科技有限公司 数据存储方法、装置、电子设备和计算机可读介质
CN114840543A (zh) * 2022-05-05 2022-08-02 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726792B (zh) * 2022-04-19 2023-06-20 中国联合网络通信集团有限公司 一种基于json报文的处理方法、装置、设备及介质
CN116166501B (zh) * 2023-02-03 2024-03-08 上海擎创信息技术有限公司 一种日志校验方法、装置、电子设备及存储介质
CN115858884A (zh) * 2023-02-28 2023-03-28 天翼云科技有限公司 一种日志校验方法、装置和产品

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020078216A1 (en) * 2000-12-18 2002-06-20 Igor Pankovcin Method and system for processing data records having multiple formats
CN102624721A (zh) * 2012-03-02 2012-08-01 北京神州绿盟信息安全科技股份有限公司 一种特征码验证平台装置及特征码验证方法
CN103106186A (zh) * 2013-01-22 2013-05-15 百度在线网络技术（北京）有限公司 一种表单校验方法及系统
CN103530141A (zh) * 2012-07-06 2014-01-22 河南思维自动化设备股份有限公司 一种车载数据更新方法及车载数据更新系统
US20140189526A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Changing log file content generation
CN104270395A (zh) * 2014-10-24 2015-01-07 中国建设银行股份有限公司 一种输入数据校验的方法、装置及系统
CN104572416A (zh) * 2014-12-29 2015-04-29 北京锐安科技有限公司 一种运维数据的处理方法及装置
CN104616168A (zh) * 2015-01-23 2015-05-13 北京京东尚科信息技术有限公司 一种营销工具合法性校验的方法及装置
CN104965783A (zh) * 2015-06-16 2015-10-07 百度在线网络技术（北京）有限公司 一种网页内容展现监测的方法和装置
CN105099764A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 日志处理方法及装置
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105808375A (zh) * 2014-12-31 2016-07-27 航天信息软件技术有限公司 导入数据的方法和装置
CN105930409A (zh) * 2016-04-18 2016-09-07 深圳市永兴元科技有限公司 基于动态生成规则的数据校验方法及装置
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN106792784A (zh) * 2015-11-23 2017-05-31 大唐移动通信设备有限公司 一种在服务器侧进行数据校验的方法、服务器和系统
US20170154189A1 (en) * 2015-11-27 2017-06-01 International Business Machines Corporation Automated compliance exception approval

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931562B (zh) * 2010-09-29 2013-08-28 杭州华三通信技术有限公司 网络日志的处理方法及设备
US20130290707A1 (en) * 2011-02-07 2013-10-31 Carpadium Consulting Pty. Ltd. Information distribution system
CN103440198B (zh) * 2013-08-27 2017-06-16 星云融创（北京）科技有限公司 表单校验方法
CN106202535B (zh) * 2016-07-25 2020-03-27 浪潮(北京)电子信息产业有限公司 一种rrd数据库的检测的方法及系统
CN106934272B (zh) * 2017-02-09 2021-09-07 北京奇虎科技有限公司 一种应用信息的校验方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020078216A1 (en) * 2000-12-18 2002-06-20 Igor Pankovcin Method and system for processing data records having multiple formats
CN102624721A (zh) * 2012-03-02 2012-08-01 北京神州绿盟信息安全科技股份有限公司 一种特征码验证平台装置及特征码验证方法
CN103530141A (zh) * 2012-07-06 2014-01-22 河南思维自动化设备股份有限公司 一种车载数据更新方法及车载数据更新系统
US20140189526A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Changing log file content generation
CN103106186A (zh) * 2013-01-22 2013-05-15 百度在线网络技术（北京）有限公司 一种表单校验方法及系统
CN104270395A (zh) * 2014-10-24 2015-01-07 中国建设银行股份有限公司 一种输入数据校验的方法、装置及系统
CN104572416A (zh) * 2014-12-29 2015-04-29 北京锐安科技有限公司 一种运维数据的处理方法及装置
CN105808375A (zh) * 2014-12-31 2016-07-27 航天信息软件技术有限公司 导入数据的方法和装置
CN104616168A (zh) * 2015-01-23 2015-05-13 北京京东尚科信息技术有限公司 一种营销工具合法性校验的方法及装置
CN104965783A (zh) * 2015-06-16 2015-10-07 百度在线网络技术（北京）有限公司 一种网页内容展现监测的方法和装置
CN105099764A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 日志处理方法及装置
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
CN106792784A (zh) * 2015-11-23 2017-05-31 大唐移动通信设备有限公司 一种在服务器侧进行数据校验的方法、服务器和系统
US20170154189A1 (en) * 2015-11-27 2017-06-01 International Business Machines Corporation Automated compliance exception approval
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105930409A (zh) * 2016-04-18 2016-09-07 深圳市永兴元科技有限公司 基于动态生成规则的数据校验方法及装置
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554929A (zh) * 2018-06-04 2019-12-10 百度在线网络技术（北京）有限公司 数据校验方法、装置、计算机设备及存储介质
CN108898485A (zh) * 2018-06-07 2018-11-27 阿里巴巴集团控股有限公司 一种数据校验的方法及装置
CN109726111A (zh) * 2018-08-17 2019-05-07 平安普惠企业管理有限公司 测试规则订制方法、设备、装置及计算机可读存储介质
CN110889106A (zh) * 2018-09-11 2020-03-17 北京京东金融科技控股有限公司 配置方法、装置、系统、计算机可读存储介质
CN109413452A (zh) * 2018-09-30 2019-03-01 武汉斗鱼网络科技有限公司 基于不同方式的弹幕校验方法、装置、终端及存储介质
CN109462517A (zh) * 2018-10-24 2019-03-12 云南电网有限责任公司信息中心 一种面向数字电网业务的数据监测的方法、系统及设备
CN109542743A (zh) * 2018-11-16 2019-03-29 北京微播视界科技有限公司 日志校验方法、装置、电子设备及计算机可读存储介质
CN109542743B (zh) * 2018-11-16 2022-04-12 北京微播视界科技有限公司 日志校验方法、装置、电子设备及计算机可读存储介质
CN111666193B (zh) * 2019-03-08 2024-01-30 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN110377136A (zh) * 2019-06-18 2019-10-25 苏州浪潮智能科技有限公司 一种psu原始值日志记录方法及装置
CN110389941A (zh) * 2019-06-19 2019-10-29 平安国际智慧城市科技股份有限公司 数据库校验方法、装置、设备及存储介质
CN110389941B (zh) * 2019-06-19 2021-01-05 平安国际智慧城市科技股份有限公司 数据库校验方法、装置、设备及存储介质
CN112287035A (zh) * 2019-07-25 2021-01-29 中移动信息技术有限公司 数据加载方法、装置、设备及存储介质
CN110750740A (zh) * 2019-09-16 2020-02-04 苏宁云计算有限公司 网页请求中的采集数据校验方法及装置
CN110866557A (zh) * 2019-11-12 2020-03-06 贵州医渡云技术有限公司 数据评价方法及装置、存储介质及电子设备
CN110866557B (zh) * 2019-11-12 2022-12-13 贵州医渡云技术有限公司 数据评价方法及装置、存储介质及电子设备
CN111061687A (zh) * 2019-11-20 2020-04-24 有时数联科技（北京）有限公司 一种异常数据的定位方法、装置及系统
CN111159712B (zh) * 2019-12-23 2022-01-11 京东科技控股股份有限公司 检测方法、设备及存储介质
CN111159712A (zh) * 2019-12-23 2020-05-15 京东数字科技控股有限公司 检测方法、设备及存储介质
CN113055299A (zh) * 2019-12-27 2021-06-29 无锡智道安盈科技有限公司 利用规则路由引擎进行多协议保险公司系统对接的方法
CN111459817A (zh) * 2020-03-31 2020-07-28 中国银行股份有限公司 一种程序执行码的检验方法及装置
CN111459817B (zh) * 2020-03-31 2024-02-02 中国银行股份有限公司 一种程序执行码的检验方法及装置
CN111832072B (zh) * 2020-07-02 2021-06-04 上海识装信息科技有限公司 一种日志平台防非法操作的方法及系统
CN111832072A (zh) * 2020-07-02 2020-10-27 上海识装信息科技有限公司 一种日志平台防非法操作的方法及系统
CN112448946B (zh) * 2020-11-09 2024-03-19 北京工业大学 基于区块链的日志审计方法及装置
CN112448946A (zh) * 2020-11-09 2021-03-05 北京工业大学 基于区块链的日志审计方法及装置
CN112468359A (zh) * 2020-11-10 2021-03-09 许继集团有限公司 电力系统物联网边缘物联代理装置的日志采集系统及方法
CN112463729A (zh) * 2020-11-27 2021-03-09 中国工商银行股份有限公司 数据文件的入库方法、装置、电子设备和介质
CN112463729B (zh) * 2020-11-27 2024-02-06 中国工商银行股份有限公司 数据文件的入库方法、装置、电子设备和介质
CN113570255A (zh) * 2021-07-30 2021-10-29 上海通联金融服务有限公司 批处理文件的质量检测方法
CN114428815A (zh) * 2022-01-17 2022-05-03 多点生活(成都)科技有限公司 数据存储方法、装置、电子设备和计算机可读介质
CN114840543A (zh) * 2022-05-05 2022-08-02 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107844400B (zh) 2021-07-27
CN113688006B (zh) 2024-03-29
CN113688006A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN107844400A (zh) 一种日志数据的校验方法及装置
US20210287048A1 (en) System and method for efficient generation of machine-learning models
US11379755B2 (en) Feature processing tradeoff management
US20200050968A1 (en) Interactive interfaces for machine learning model evaluations
AU2016304571B2 (en) Model integration tool
WO2019192261A1 (zh) 一种支付方式推荐方法、装置及设备
CA2953969C (en) Interactive interfaces for machine learning model evaluations
CN107644286A (zh) 工作流处理方法及装置
CN106796526A (zh) Json样式表语言变换
CN107025559A (zh) 一种业务处理方法及装置
CN107402881A (zh) 一种项目测试的选取方法及装置
CN107679700A (zh) 业务流程处理方法、装置及服务器
CN107545030A (zh) 数据血缘关系的处理方法、装置及设备
JP6869347B2 (ja) リスク制御イベント自動処理の方法および装置
CN107329899A (zh) 一种应用程序兼容性测试方法和装置
CN108228861A (zh) 用于执行机器学习的特征工程的方法及系统
CN107273300A (zh) 一种应用程序测试方法和装置
CN107291623A (zh) 一种应用程序测试方法和装置
CN107450959A (zh) 一种版本数据发布、获取方法、设备及装置及更新系统
Lee et al. Convenient interface to inverse Ising (ConIII): a Python 3 package for solving Ising-type maximum entropy models
CN109376285A (zh) 基于json格式的数据排序验证方法、电子设备及介质
CN115221663A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN109885504A (zh) 推荐系统的测试方法、装置、介质及电子设备
CN109889584A (zh) 运营方案推送方法、装置、系统和服务器
CN104915352A (zh) 一种验证MapReduce环境下处理数据正确性的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant