CN110990362A

CN110990362A - 日志查询处理方法、装置、计算机设备和存储介质

Info

Publication number: CN110990362A
Application number: CN201911118278.8A
Authority: CN
Inventors: 马烨; 梅景兴
Original assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Current assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2020-04-10

Abstract

本发明涉及一种日志查询处理方法、装置、计算机设备和存储介质，所述方法包括：通过第一应用收集多个接口被调用的日志，将所述日志传输至第二应用；通过所述第二应用对预设时间段内的日志进行统计，生成对应的统计报表；接收终端发送的日志查询请求，所述日志查询请求中包括日志信息配置关键字；利用所述第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件；根据所述查询条件在所述统计报表中进行查询，将查询到的日志信息返回至终端。采用本方法使得日志信息可视化，通过日志信息配置关键字查询日志，提高日志查询的效率。

Description

日志查询处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及互联网技术领域，特别是涉及一种日志查询处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，各公司间相互交互越来越多，通过开放平台的方式将API(application programming interface，应用程序接口)赋能给外部公司的需求也越来越多。

在传统方式中，大部分的API管理都是偏重人工操作，操作十分繁琐，每一次外部成功请求到开放平台，无论请求结果如何，都需要有一条日志来完整的记录请求结果。但是日志文件是保存在各服务器里的，这对查找日志造成了较大的麻烦。因此，如何提高日志查找效率成为目前需要解决的一个技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高日志查找效率的日志查询处理方法、装置、计算机设备和存储介质。

一种日志查询处理方法，所述方法包括：

通过第一应用收集多个接口被调用的日志，将所述日志传输至第二应用；

通过所述第二应用对预设时间段内的日志进行统计，生成对应的统计报表；

接收终端发送的日志查询请求，所述日志查询请求中包括日志信息配置关键字；

利用所述第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件；

根据所述查询条件在所述统计报表中进行查询，将查询到的日志信息返回至终端。

在一个实施例中，在所述将查询到的日志信息返回至终端之前，所述方法还包括：

获取多个预设统计指标；

根据所述预设统计指标对查询到的日志信息进行可视化处理，生成可视化日志信息；

所述将查询到的日志信息返回至终端包括：将所述可视化日志信息返回至终端。

在一个实施例中，所述方法还包括：

获取终端触发的业务新增请求，所述业务新增请求包括用户需求场景；

获取所述用户需求场景，根据所述用户需求场景设立对应自动化工单，所述用户需求场景包括新增接口；

获取工单审批结果，根据所述审批结果对所述新增接口进行注册；

通过所述第一应用收集注册所述新增接口的日志。

在一个实施例中，所述方法还包括：

接收终端上传的调试请求，所述调试请求包含多项请求参数；

根据所述多项请求参数对所述新增接口进行调试；

通过所述第一应用收集调试所述新增接口的日志。

在一个实施例中，所述方法还包括：

当接口调用出现异常时，根据查询到的日志信息异常类型和请求参数；

根据所述异常类型和请求参数复现异常情况，定位异常出现的位置。

一种日志查询处理装置，所述装置包括：

收集模块，用于通过第一应用收集多个接口被调用的日志，将所述日志传输至第二应用；

统计模块，用于通过所述第二应用对预设时间段内的日志进行统计，生成对应的统计报表；

接收模块，用于接收终端发送的日志查询请求，所述日志查询请求中包括日志信息配置关键字；

封装模块，用于利用所述第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件；查询模块，用于根据所述查询条件在所述统计报表中进行查询，将查询到的日志信息返回至终端。

在一个实施例中，所述获取模块还用于获取多个预设统计指标；根据所述预设统计指标对查询到的日志信息进行可视化处理，生成可视化日志信息；将所述可视化日志信息返回至终端。

在一个实施例中，所述获取模块还用于获取终端触发的业务新增请求，所述业务新增请求包括用户需求场景；获取所述用户需求场景，根据所述用户需求场景设立对应自动化工单，所述用户需求场景包括新增接口；获取工单审批结果，根据所述审批结果对所述新增接口进行注册；所述收集模块还用于通过所述第一应用收集注册所述新增接口的日志。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述日志查询处理方法、装置、计算机设备和存储介质，通过第一应用收集多个接口被调用的日志，将所述日志传输至第二应用，通过所述第二应用对预设时间段内的日志进行统计，生成对应的统计报表，接收终端发送的日志查询请求，所述日志查询请求中包括日志信息配置关键字，利用所述第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件，根据所述查询条件在所述统计报表中进行查询，将查询到的日志信息返回至终端。由此，通过第二应用对日志信息配置关键字按照预设规则进行封装，从而能够根据日志信息配置关键字搜索到与所述日志信息配置关键字对应的日志信息，提高日志信息的查询效率。

附图说明

图1为一个实施例中日志查询处理方法的应用环境图；

图2为一个实施例中日志查询处理方法的流程图；

图3为一个实施例中日志查询处理装置的结构示意图；

图4为另一个实施例中日志查询处理装置的结构示意图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的日志查询处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104包括API网关，通过API网关对不同功能实现对应的请求路由，对数据进行聚合、裁剪等。服务器104接收终端102发送的日志查询请求。服务器104将查询到的日志信息返回至终端102。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种日志查询处理方法，以该方法应用于图1中的服务器为例进行说明，具体包括：

步骤202，通过第一应用收集多个接口被调用的日志，将日志传输至第二应用。

步骤204，通过第二应用对预设时间段内的日志进行统计，生成对应的统计报表。

第一应用可以对多个日志进行实时搜索工作，通过第一应用，收集多个接口被调用的日志，将日志传输至第二应用。第二应用可以对日志进行集中式存储和分析，通过第二应用对预设时间段内的日志进行统计，生成对应的统计报表。

步骤206，接收终端发送的日志查询请求，日志查询请求中包括日志信息配置关键字。

步骤208，利用第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件。

步骤210，根据查询条件在统计报表中进行查询，将查询到的日志信息返回至终端。

服务器接收终端发送的日志查询的请求，日志查询请求中包括日志信息配置关键字，利用第二应用对日志信息配置关键字按照预设的语法规则进行封装，生成查询条件。其中，第二应用提供日志信息搜索的相关语法，对日志信息搜索语法进行封装，即将日志信息配置关键字封装到固定的搜索头中，终端在搜索日志时，输入日志信息配置关键字，点击搜索并生成日志查询请求，日志查询请求包括日志信息配置关键字。日志在存储到日志数据库时，配置了与查询请求中日志信息配置关键字相同或相似的关键字段。服务器通过获取日志查询请求中的日志信息配置关键字根据查询条件在统计报表中进行查询，就可查询到对应的日志信息。

在传统的方式中，日志被分散的储存在不同的服务器上。如果管理的是数十上百台服务器，还得依次登录每台机器查阅日志。这样使得日志的查找繁琐和效率低下。

本实施例中，通过第一应用实时收集多台服务器上的日志，将收集到的日志发送到第二应用进行集中式存储和分析，通过第二应用对预设时间段内的日志进行统计，生成对应的统计报表，当接收到终端发送的日志查询请求时，通过获取查询请求中的日志信息配置关键字到统计报表中进行查询就可以查询到与日志信息配置关键字对应的日志信息。由此，提高了日志查找的效率。

在另一个实施例中，将第一应用收集到的日志按预设日志格式输出，并上传到第二应用中，第二应用按照预设存储格式进行存储，其中每条日志存储的格式中包含了与索引相同的对应的日志信息配置关键字。将收集到的日志对应的日志信息配置关键字封装到搜索语法中，生成查询条件；利用查询条件在统计报表中进行查询，当统计报表中存在与查询条件相应的日志信息时，可以快速查询到相应的日志信息。进一步的，当统计报表中没有与查询条件相应的日志信息时，可以利用查询请求中包含的日志信息配置关键字到日志数据库中进行查找。其中，将收集到的日志按预设的存储格式进行存储，存储格式中包括接口名称、与索引相同的日志信息配置关键字、随机id等。在查询日志时，输入与索引相同或者相似的日志信息配置关键字就可以查询到与日志信息配置关键字对应的日志信息。当收集到的日志没有按预设的存储格式进行存储时，通过查询请求中的多个请求参数到日志数据库中进行搜索，当多个参数匹配成功时，才会搜索到与请求参数对应的日志信息。由此，通过将收集到的日志按照预设的存储格式进行存储，通过查询请求中包含的日志信息配置关键字可以快速查询到与日志信息配置关键字相应的日志信息。

在一个实施例中，在将查询到的日志信息返回至终端之前，方法还包括：获取多个预设统计指标；根据预设统计指标对查询到的日志信息进行可视化处理，生成可视化日志信息；将查询到的日志信息返回至终端包括：将可视化日志信息返回至终端。

本实施例中，可以预设收集固定的接口调用日志，用数字的形式来展示调用情况，其中，预设了多个统计指标包括每秒访问量、成功率、周访问统计、近七天访问量等，根据多个预设指标对查询到的日志信息进行可视化处理，生成可视化信息，将可视化信息返回至终端。同时对查询到的日志信息做分析，加入日志分析日报，分析周报等。并对接口的调用次数进行监控，当接口调用次数达到预设的阀值时，发出预警信息。由此，通过对接口的调用情况进行分析和监控，保证了接口的安全性。

在一个实施例中，方法还包括：获取终端触发的业务新增请求，业务新增请求包括用户需求场景；获取用户需求场景，根据用户需求场景设立对应自动化工单，用户需求场景包括新增接口；获取工单审批结果，根据审批结果对新增接口进行注册；通过第一应用收集注册新增接口的日志。

本实施例中，可对用户的需求场景设立对应的自动化工单，用户需求场景可以是新增合作商、新增接口等。通过拥有管理员权限的用户进行工单审批，当审批通过时，才能对新增的合作商或者新增的接口进行注册。每一步操作都需要日志来记录相应的操作结果，并通过第一应用来收集用户需求场景对应的日志信息。由此，通过第一应用来收集用户需求场景的对应日志信息，方便地记录了操作过程中的操作流程。

在另一个实施例中，开放平台设置了相应的用户角色权限和业务线权限，用户角色权限包括开发者、管理员、访客、产品四种权限。当用户需求场景为新增用户权限时，触发新增用户权限申请，申请会通过邮件的形式来通知管理员，管理员在合适的时间点来授权并回复申请结果通知，避免了管理员直接对接用户的过程，节约了管理员和用户之间的交流成本。同时为管理员设立了自动化审批的功能，免去了管理员不必要的工作，为管理员提供了方便。

在一个实施例中，方法还包括：接收终端上传的调试请求，调试请求包含多项请求参数；根据多项请求参数对新增接口进行调试；通过第一应用收集调试新增接口的日志。

在传统方式中，在调用接口时，由于有较多步骤的认证鉴权，内部接口开放给外部之前，内部用户和测试人员都会先实现自我接口调试，确认自己的接口是否可调用。一般是提供鉴权文档的方式，让内部用户完成自我签名，由于编程语言的差异，在鉴权过程中总会遇到签不对的情况，花费大量时间，导致接口调试效率低。

本实施例中，把签名逻辑写在页面里，即在页面上填写必要的请求参数，就可以发起接口调试请求，通过接收终端上传的调试请求，根据调试请求中的请求参数对新增接口进行调试，并通过第一应用收集调试新增接口的日志。其中，还可以对已有接口进行调试。在页面上显示真实的请求参数和请求的返回结果。其中，在调试页面还添加了签名步骤的显示，详细的打印了各步时的结果，方便用户在调试时，不知道错在哪一步的排错。另外，还添加了帮助工具的功能。对错误码做出更明显的说明，添加了原因和常见解决方案，同时也添加了应用信息快查和调试数据缓存等功能来帮助用户更好的调试接口。

进一步的，请求参数包括请求所需要访问的API资源、应用appKey、时间搓、请求API需要的请求数据、签名值等。签名方式包括将请求体中的参数除去sign字段并按照字典序排序，按照key1＝value1&key2＝value2的格式拼接成字符串；将拼接后的字符串进行base64编码；将base64编码后的字符串前拼接上appSecret；将拼接后的字符串进行sha1加密得到sign值。当整个签名步骤完成时，判断最终的签名是否合法，如果签名时某一步骤出错，将导致生成的签名出错，这时需要重新进行签名，保证了签名的合法性。

在一个实施例中，系统中存在开发环境和测试环境，将开发环境和测试环境进行隔离，使得开发与测试独立工作。接口调试在测试环境中进行，接口在开发环境中开发，当需要对接口进行调试时，可以将开发环境中的接口导出，再将导出的接口上传到对应的测试环境中进行调试。其中，将接口数据导出成Json(JavaScript Object Notation，JS对象简谱)文件，通过用户申请的方式上传到对应环境中，实现接口数据的环境同步。

在一个实施例中，方法还包括：当接口调用出现异常时，根据查询到的日志信息获取异常类型和请求参数；根据异常类型和请求参数复现异常情况，定位异常出现的位置。

本实施例中，当接口调用出现异常时，根据查询到的日志信息获取异常类型和请求参数，根据异常类型和请求参数复现异常情况，定位异常出现的位置。其中，日志中记录了接口调用请求中的完整请求链路，当调用出现异常时，日志中记录具体的异常类型，错误堆栈。异常类型包括参数错误、权限错误、数据库错误、程序错误、网络超时等。根据获取的异常类型判断出哪个部分出现异常问题，根据日志中记录的异常类型和请求参数复现异常情况，从而定位异常出现的位置。由此，通过日志记录异常类型和请求参数并通过异常类型和请求参数复现异常情况，定位异常出现的位置，提高了异常排除的效率。

在一个实施例中，通过业务聊天机器人平台用户可以快速查阅各环境地址、错误码含义及解决方法等一系列常用功能，并支持扩展，极大的降低了用户从发现问题到解决问题的时间，并全程无需人工参与，解放了部分生产力。聊天机器人内嵌了整套对接流程，用户可以通过提问的方式，了解对接流程。也可以通过开放平台提供的对接流程手册，按手册进行相应的业务操作。提高解决问题的效率。

在一个实施例中，如图3所示，提供了一种日志查询处理装置，包括：收集模块302，统计模块304，获取模块306，封装模块308，查询模块310，其中：

收集模块302，用于通过第一应用收集多个接口被调用的日志，将日志传输至第二应用。

统计模块304，用于通过第二应用对预设时间段内的日志进行统计，生成对应的统计报表。

获取模块306，用于接收终端发送的日志查询请求，日志查询请求中包括日志信息配置关键字。

封装模块308，用于利用第二应用对日志信息配置关键字按照预设规则进行封装，生成查询条件。

查询模块310，用于根据查询条件在统计报表中进行查询，将查询到的日志信息返回至终端。

在一个实施例中，获取模块306还用于获取多个预设统计指标；根据预设统计指标对查询到的日志信息进行可视化处理，生成可视化日志信息；将可视化日志信息返回至终端。

在一个实施例中，获取模块306还用于获取终端触发的业务新增请求，业务新增请求包括用户需求场景；获取用户需求场景，根据用户需求场景设立对应自动化工单，用户需求场景包括新增接口；获取工单审批结果，根据审批结果对所述新增接口进行注册；收集模块302还用于通过第一应用收集注册新增接口的日志。

在一个实施例中，如图4所示，获取模块406还用于接收终端上传的调试请求，调试请求包含多项请求参数；该装置还包括：调试模块412，用于根据多项请求参数对新增接口进行调试；收集模块402还用于通过第一应用收集调试新增接口的日志。

在一个实施例中，获取模块406还用于当接口调用出现异常时，根据查询到的日志信息获取异常类型和请求参数；根据异常类型和请求参数复现异常情况，定位异常出现的位置。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志查询处理方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的日志查询处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种日志查询处理方法，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述将查询到的日志信息返回至终端之前，所述方法还包括：

获取多个预设统计指标；

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述第一应用收集注册所述新增接口的日志。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述多项请求参数对所述新增接口进行调试；

通过所述第一应用收集调试所述新增接口的日志。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接口调用出现异常时，根据查询到的日志信息获取异常类型和请求参数；

6.一种日志查询处理装置，所述装置包括：

封装模块，用于利用所述第二应用对所述日志信息配置关键字按照预设规则进行封装，生成查询条件；

查询模块，用于根据所述查询条件在所述统计报表中进行查询，将查询到的日志信息返回至终端。

7.根据权利要求6所述的装置，其特征在于，所述获取模块还用于获取多个预设统计指标；根据所述预设统计指标对查询到的日志信息进行可视化处理，生成可视化日志信息；将所述可视化日志信息返回至终端。

8.根据权利要求6所述的装置，其特征在于，所述获取模块还用于获取终端触发的业务新增请求，所述业务新增请求包括用户需求场景；获取所述用户需求场景，根据所述用户需求场景设立对应自动化工单，所述用户需求场景包括新增接口；获取工单审批结果，根据所述审批结果对所述新增接口进行注册；所述收集模块还用于通过所述第一应用收集注册所述新增接口的日志。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。