CN114116646A - 日志数据处理方法、装置、设备和存储介质 - Google Patents

日志数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114116646A
CN114116646A CN202111473057.XA CN202111473057A CN114116646A CN 114116646 A CN114116646 A CN 114116646A CN 202111473057 A CN202111473057 A CN 202111473057A CN 114116646 A CN114116646 A CN 114116646A
Authority
CN
China
Prior art keywords
log
performance
user
abnormal
request message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111473057.XA
Other languages
English (en)
Inventor
韩冬
朱明念
陈钰杰
夏建俊
蔡旸普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanghai Yigongtongzhi Information Technology Co ltd
Original Assignee
Hanghai Yigongtongzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanghai Yigongtongzhi Information Technology Co ltd filed Critical Hanghai Yigongtongzhi Information Technology Co ltd
Priority to CN202111473057.XA priority Critical patent/CN114116646A/zh
Publication of CN114116646A publication Critical patent/CN114116646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种日志数据处理方法、装置、设备和存储介质。该方法包括：接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；根据所述用户的用户标识生成所述用户的性能和异常记录日志；根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；所述存储位置包括：ES、sqlserver或者MQ。本申请根据需要可以将用户日志存储在不同的存储位置，能够满足管理者多种不同的需要。

Description

日志数据处理方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种日志数据处理方法、装置、设备和存储介质。
背景技术
现有技术中，市面上开源框架均存在无法自动记录一些日志的问题，如性能统计、各类异常记录均需要用户手动来进行记录，手动记录容易产生误差。
发明内容
本申请的主要目的在于提供一种日志数据处理方法、装置、设备和存储介质，以解决上述问题。
为了实现上述目的，根据本申请的一个方面，提供了一种日志数据处理方法，包括：
接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
根据所述用户的用户标识生成所述用户的性能和异常记录日志；
根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
在一种实施方式中，根据所述用户的用户标识生成所述用户的性能和异常记录日志后，所述方法还包括：向所述用户发送所述用户的性能和异常记录日志。
在一种实施方式中，还包括：记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
在一种实施方式中，所述请求消息包括请求消息标识；
所述方法还包括：根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
在一种实施方式中，根据预先设置将所述性能和异常记录日志输出到不同的存储位置，包括：
如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择 sqlserver。
在一种实施方式中，所述方法还包括：如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列 MQ中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
第二方面，本申请还提出了一种日志数据处理装置，包括：接收模块，用于接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
生成模块，用于根据所述用户的用户标识生成所述用户的性能和异常记录日志；
存储模块，用于根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
在一种实施方式中，还包括发送模块，用于生成模块根据所述用户的用户标识生成所述用户的性能和异常记录日志后，向所述用户发送所述用户的性能和异常记录日志。
在一种实施方式中，还包括生命周期计算模块，用于记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
在一种实施方式中，还包括查找模块，用于根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
在一种实施方式中，存储模块还用于：如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
在一种实施方式中，还包括读取模块，用于如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ 中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
为了实现上述目的，根据本申请的第三方面，提供了一种电子设备；包括至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行上述任一项所述的步骤。
根据本申请的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任意一项所述的步骤。
本申请的日志数据处理方法，接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；根据所述用户的用户标识生成所述用户的性能和异常记录日志；根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；所述存储位置包括：ES、sqlserver或者MQ。本申请根据需要可以将用户日志存储在不同的存储位置，能够满足管理者多种不同的需要。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种日志数据处理方法的流程图；
图2是根据本申请实施例的另一种日志数据处理方法的流程图；
图3是根据本申请实施例的一种日志数据处理装置的结构示意图；
图4是根据本申请实施例的一种日志数据处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
申请人发现，现有技术在考虑日志重构的过程中，发现市面上开源框架均存在无法自动记录一些日志的问题(如性能统计、各类异常记录)。在记录日志输出时，不能同时记录到多个位置。故发明一种可以自动记录(性能统计、各类异常记录)日志功能组件，通过简单配置，可以同时输出至多个终端进行记录(如 sqlserver、ES、本地文件、rabbitmq等且支持扩展)。开源框架也无法自动记录整个请求的生命周期日志，排查问题难度增大，故设计发明记录整个请求生命周期方案，使排查问题更轻松。
本申请提出了一种日志数据处理方法，参见附图1所示的一种日志数据处理方法的流程图；应用于云端服务器，该方法包括：
步骤S102，服务器接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
其中，用户通过自己的客户端发送日志获取请求消息，服务器接收到日志获取请求消息后，生成日志并发送给用户客户端。
步骤S104，服务器根据所述用户的用户标识生成所述用户的性能和异常记录日志；
步骤S106，服务器根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；所述存储位置包括：ES、sqlserver或者MQ。
根据所述用户的用户标识生成所述用户的性能和异常记录日志后，向所述用户发送所述用户的性能和异常记录日志。
具体的，可以在配置文件中进行设置，设置性能和异常记录日志输出的位置。
如果把日志数据存储在ES中，可以满足比较快的读取速度的要求；如果管理员要求比较快的读取速度，则可以使用ES。
把日志存储在数据库sqlserver中，可以进一步的使用数据库的特点；
SQL是英文Structured Query Language的缩写，意思为结构化查询语言。SQL 语言的主要功能就是同各种数据库建立联系，进行沟通。按照ANSI(美国国家标准协会)的规定，SQL被作为关系型数据库管理系统的标准语言。SQL Server是由 Microsoft开发和推广的关系数据库管理系统(RDBMS)。
把日志存储在消息队列MQ中，可以利用消息队列的特点。
本发明的上述技术方案，云端服务器中存储了多个客户端用户的日志数据，根据每个客户端的标识来对日志数据进行分门别类的存储。查找时，可以根据用户的客户端的标识来进查找对应的日志数据，其中，日志数据包括性能日志和异常记录日志；异常记录日志包括系统异常和业务异常。
还可以根据请求的标识来查找对应的日志数据。
在一种实施方式中，记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，T＝T2-T1。
所述请求消息包括请求消息标识；根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
在一种实施方式中，根据预先设置将所述性能和异常记录日志输出到不同的存储位置时，如果对读速度要求满足大于预定的读速度阈值，则存储位置选择 ES；如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
在一种实施方式中，如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ 中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
参见附图2所示的另一种日志数据处理的方法的流程图；该方法包括：
步骤S201，用户发起请求；
具体的，记录请求开始时间，记录请求人ID，记录请求HTTP相关信息，标记请求ID，用于追溯日志；
步骤S202，系统处理用户请求；
步骤S203，判断是否异常；如果是，则执行步骤S204；如果否，则执行步骤S205；
步骤S204，记录异常信息，结构化返回http；
步骤S205，记录请求结束时间，记录返回http相关信息。
步骤S206，将记录信息插入队列等待消费；
步骤S207，日志消费者；
步骤S208，写入本地文件、ES、sqsver或MQ。
性能统计日志功能实现方案主要使用了中间件模式，将请求开始时间和结束时间进行记录，当请求结束时，自动记录请求响应所用时间。并且记录了用户一些信息，比如用户系统标识、请求ID、用户客户端信息、IP地址等。
异常日志自动记录功能，结合了.Net Core3.1内置异常处理中间件，将异常信息自动记录到日志中，区分系统异常和业务异常。当系统运行发生异常时，将系统异常结果结构化返回给用户。当业务发生异常时，将结构化业务异常结果返回给用户。
日志同时多输出功能，结合了软件设计模式中的责任链模式和观察者模式。将日志的产生与消费解耦。当然，输出到哪里也是可以根据配置文件配置的，且支持多选，如均不输出，系统则默认输出到控制台。
本申请的技术方案中，各类异常日志无需手动记录，性能日志无需手动统计，避免了因日志输出导致的性能损耗，日志输出可自定义组合，可请求周期ID快速定位日志位置。
本申请可以自动记录日志功能组件，可以自动记录性能统计、各类异常记录；通过简单配置，可以同时输出至多个终端进行记录(如sqlserver、ES、本地文件、rabbitmq等且支持扩展)。开源框架也无法自动记录整个请求的生命周期日志，排查问题难度增大，故设计发明记录整个请求生命周期方案，使排查问题更轻松。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第二方面，本申请还提出了一种日志数据处理装置，参见附图3所示的一种日志数据处理装置的结构示意图；该装置包括：
接收模块31，用于接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
生成模块32，用于根据所述用户的用户标识生成所述用户的性能和异常记录日志；
存储模块33，用于根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
在一种实施方式中，还包括发送模块，用于所述生产模块32根据所述用户的用户标识生成所述用户的性能和异常记录日志后，向所述用户发送所述用户的性能和异常记录日志。
在一种实施方式中，还包括生命周期模块，用于记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
在一种实施方式中，还包括查找模块，用于根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
在一种实施方式中，存储模块还用于，如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
在一种实施方式中，还包括读取模块，用于如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ 中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
根据本申请的第三方面，提供了一种电子设备，参见附图4所示的电子设备的结构示意图；包括至少一个处理器41和至少一个存储器42；所述存储器42用于存储一个或多个程序指令；所述处理器41，用于运行一个或多个程序指令，用以执行以下的步骤：
接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
根据所述用户的用户标识生成所述用户的性能和异常记录日志；
根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
所述处理器41还用于，根据所述用户的用户标识生成所述用户的性能和异常记录日志后，所述方法还包括：向所述用户发送所述用户的性能和异常记录日志。
所述处理器41还用于，记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
所述处理器41还用于，所述请求消息包括请求消息标识；
根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
所述处理器41还用于，如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
所述处理器41还用于，如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ 中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
第四方面，本申请还提出了一种计算机可读存储介质，应用于服务器，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行以下的步骤：
接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
根据所述用户的用户标识生成所述用户的性能和异常记录日志；
根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
在一种实施方式中，根据所述用户的用户标识生成所述用户的性能和异常记录日志后，所述方法还包括：向所述用户发送所述用户的性能和异常记录日志。
在一种实施方式中，还包括：记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
在一种实施方式中，所述请求消息包括请求消息标识；
所述方法还包括：根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
在一种实施方式中，根据预先设置将所述性能和异常记录日志输出到不同的存储位置，包括：
如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
在一种实施方式中，所述方法还包括：如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ 中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称 SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称 ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM) 和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种日志数据处理方法，其特征在于，应用于云端服务器，所述方法包括：
接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
根据所述用户的用户标识生成所述用户的性能和异常记录日志；
根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
2.根据权利要求1所述的日志数据处理方法，其特征在于，
根据所述用户的用户标识生成所述用户的性能和异常记录日志后，所述方法还包括：向所述用户发送所述用户的性能和异常记录日志。
3.根据权利要求2所述的日志数据处理方法，其特征在于，
还包括：记录接收用户发送的日志获取请求消息的时间T1；
记录向所述用户发送所述用户的性能和异常记录日志的时间T2；
根据所述T1和T2计算生命周期T，
T＝T2-T1。
4.根据权利要求3所述的日志数据处理方法，其特征在于，所述请求消息包括请求消息标识；
所述方法还包括：根据所述请求消息标识确定在所述生命周期T内所述用户的与所述请求消息对应的性能和异常记录日志。
5.根据权利要求1所述的日志数据处理方法，其特征在于，
根据预先设置将所述性能和异常记录日志输出到不同的存储位置，包括：
如果对读速度要求满足大于预定的读速度阈值，则存储位置选择ES；
如果要求把性能和异常记录日志输入到消息队列中，则存储位置选择MQ；
如果要求把性能和异常记录日志存储到数据库中，则存储位置选择sqlserver。
6.根据权利要求1所述的日志数据处理方法，其特征在于，所述方法还包括：
如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
7.一种日志数据处理装置，其特征在于，包括：
接收模块，用于接收用户发送的日志获取请求消息，所述日志获取请求消息携带用户标识；
生成模块，用于根据所述用户的用户标识生成所述用户的性能和异常记录日志；
存储模块，用于根据预先设置将所述性能和异常记录日志输出到不同的存储位置，以使管理员根据不同的使用场景使用所述性能和异常记录日志；
所述存储位置包括：ES、sqlserver或者MQ。
8.根据权利要求7所述的日志数据处理装置，其特征在于，还包括读取模块，用于如果所述性能和异常记录日志存储在ES，则从ES以预定的读取速度读取所述日志；
如果所述性能和异常记录日志存储在消息队列MQ中，则从所述消息队列MQ中读取所述性能和异常记录日志；
如果所述性能和异常记录日志存储在sqlserver中，则从所述sqlserver中读取所述日志。
9.一种电子设备，其特征在于，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
CN202111473057.XA 2021-11-30 2021-11-30 日志数据处理方法、装置、设备和存储介质 Pending CN114116646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111473057.XA CN114116646A (zh) 2021-11-30 2021-11-30 日志数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111473057.XA CN114116646A (zh) 2021-11-30 2021-11-30 日志数据处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114116646A true CN114116646A (zh) 2022-03-01

Family

ID=80366585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111473057.XA Pending CN114116646A (zh) 2021-11-30 2021-11-30 日志数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114116646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978729A (zh) * 2022-05-27 2022-08-30 重庆长安汽车股份有限公司 基于can总线车载入侵的检测方法、系统及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978729A (zh) * 2022-05-27 2022-08-30 重庆长安汽车股份有限公司 基于can总线车载入侵的检测方法、系统及可读存储介质

Similar Documents

Publication Publication Date Title
CN106202235B (zh) 一种数据处理方法及装置
CN110046133B (zh) 一种存储文件系统的元数据管理方法、装置及系统
CN111241122B (zh) 任务监测方法、装置、电子设备和可读存储介质
CN110647460B (zh) 一种测试资源管理方法、装置和测试客户端
CN111241177B (zh) 数据采集方法、系统及网络设备
CN114595201A (zh) 一种接口访问日志采集记录查询方法、设备及存储介质
CN105610917B (zh) 实现系统中同步数据修复的方法及系统
CN114116762A (zh) 一种离线数据模糊搜索方法、装置、设备和介质
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN111026709B (zh) 基于集群访问的数据处理方法及装置
CN108475201A (zh) 一种虚拟机启动过程中的数据获取方法和云计算系统
CN111913764A (zh) 服务依赖分析方法、电子设备及存储介质
CN114116646A (zh) 日志数据处理方法、装置、设备和存储介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111522870B (zh) 数据库访问方法、中间件和可读存储介质
CN111399999B (zh) 计算机资源处理方法、装置、可读存储介质和计算机设备
CN113297245A (zh) 获取执行信息的方法及装置
CN108153663B (zh) 页面数据处理方法及装置
CN110457279B (zh) 数据离线扫描方法、装置、服务器及可读存储介质
CN110765125B (zh) 一种存储数据的方法及装置
CN114328577A (zh) 数据查询方法和装置
CN115237960A (zh) 信息推送方法、装置、存储介质以及电子设备
CN106569731B (zh) 极限存储方法、装置及设备
CN112861031B (zh) Cdn中url刷新方法、装置、设备以及cdn节点
CN109522124B (zh) 存储管理系统加载方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination