CN112256549B - 一种日志处理方法和装置 - Google Patents
一种日志处理方法和装置 Download PDFInfo
- Publication number
- CN112256549B CN112256549B CN202011271279.9A CN202011271279A CN112256549B CN 112256549 B CN112256549 B CN 112256549B CN 202011271279 A CN202011271279 A CN 202011271279A CN 112256549 B CN112256549 B CN 112256549B
- Authority
- CN
- China
- Prior art keywords
- data
- log
- log table
- rule
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种日志处理方法和装置,通过创建系统日志表以及历史数据日志表;当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。本发明实施例可以通过对日志数据进行分析,找出用户操作和设备运行的规律,为用户的指挥决策提供具体理论依据,充分利用日志数据的价值。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种日志处理方法和一种日志处理装置。
背景技术
日志是计算机系统中一种非常关键的组件,因为日志可以充分了解计算机系统的环境。这种日志信息对于决定故障的根本原因是非常关键的,因为系统日志可以让用户了解故障发生时所有事件。
现有技术中,日志可以记录下系统所产生的行为,并按照某种规范表达出来。可以使用日志所记录的信息为系统进行排错,优化系统的性能,或者根据这些信息调整系统的行为。然而,对于日志的应用,主要是记录系统的工作,以及收集想要的数据。并未对日志中数据的分析整理,从而分析出有价值的信息,造成了日志文件的价值并没有得到完全的利用。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志处理方法和相应的一种日志处理装置。
为了解决上述问题,本发明实施例公开了一种日志处理方法,应用于日志服务器,所述日志服务器上部署有数据立方体,所述方法包括:
创建系统日志表以及历史数据日志表;
当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。
可选地,所述日志服务器与至少一个监控设备连接,所述对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据的步骤之前,所述方法还包括:
收集所述监控设备上产生的日志数据;
依据预设策略规则,将所述监控设备上产生的日志数据分类存储至所述系统日志表,和/或所述历史数据日志表。
可选地,所述日志服务器上部署有业务功能方法列表,所述创建系统日志表以及历史数据日志表的步骤包括:
初始化所述业务功能方法列表,所述业务功能方法列表包含日志记录方式字段;
接收日志记录方式设置命令;
将所述日志记录方式设置命令存储至所述日志记录方式字段;
依据更新后的日志记录方式字段创建系统日志表以及历史数据日志表。
可选地,所述日志服务器与客户端连接,所述方法还包括:
接收查询请求,所述查询请求包含查询条件;
依据所述查询条件确定目标数据,所述目标数据为所述系统日志表,和/或,所述历史数据日志表中符合查询条件的日志数据;
将所述目标数据发送至所述客户端。
可选地,所述日志服务器还与日志备份服务器连接,所述方法包括:
按照预设备份规则,将所述记载的日志数据备份至所述日志备份服务器。
可选地,所述业务规律数据为可视化业务规律数据。
可选地,所述数据挖掘算法包括:关联规则挖掘、发现分类挖掘、聚类分析挖掘、统计挖掘以及协同过滤挖掘至少一种。
本发明实施例还公开了一种日志处理装置,应用于日志服务器,所述日志服务器上部署有数据立方体,所述装置包括:
创建模块,创建系统日志表以及历史数据日志表;
第一存储模块,用于当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
预处理模块,用于对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
模式分析模块,用于采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
模式发现模块,用于依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。
本发明实施例还公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的日志处理方法的步骤。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的日志处理方法的步骤。
本发明实施例包括以下优点:创建系统日志表以及历史数据日志表;当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。可以通过对日志数据进行分析,找出用户操作和设备运行的规律,为用户的指挥决策提供具体理论依据,充分利用日志数据的价值。
附图说明
图1是本发明的一种日志服务器所在的监控多级联网平台总体结构示意图;
图2是本发明的一种日志处理方法实施例的步骤流程图;
图3是本发明的一种日志处理装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种日志服务器所在的监控多级联网平台总体结构示意图;
监控多级联网平台是用于检测海面、道路范围内的目标(运动目标和静止目标)状态,以达到目标状态监控、统计、预警、回放的一个综合管理系统。
这一平台不仅包括全区域的监控和分析,监控方式包括了摄像机、雷达、光电感应仪器、无人机、巡逻车以及其它一系列的监控手段,系统可以自由调用所有的监控手段,结合电子地图,对区域内的设施和活动目标进行监控、预警和跟踪处理。
监控多级联网平台系统总体架构由基础设施层、数据源层、数据服务层、数据存储层、应用支撑层、应用层组成。整个监控多级联网平台系统的软硬件平台统一采用了大数据处理技术,实现不同的终端都可以在基于大数据处理平台的基础之上,进行一系列的数据管理、查询和维护等操作。
监控多级联网平台系统包括,告警服务器、数据库服务器、视频服务器、日志服务器以及ASID(address space identifier,地址空间标识)客户端。
其中,告警服务器用于当检测道海面、道路范围内的目标(运动目标和静止目标)状态存在异常现象时,发出告警信息,提醒用户对异常情况进行处理。
数据库服务器用于对监控多级联网平台系统提供数据库,为监控多级联网平台系统提供数据的存储空间,以及控制数据进出数据库的数据流向。
视频服务器用于对监控多级联网平台系统中的监控视频进行处理的服服务器,实时接收监控终端拍摄的监控视频,将监控视频进行分析、统计、存储等。
日志服务器用于记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通过日志服务器获取日志以检查错误发生的原因。
ASID客户端为系统中多个进程进行唯一标识,使得每一个进程都有唯一的地址空间标识符,提供地址空间保护。
在监控多级联网平台系统运行时,对实时视频、电子地图、告警管理、配置管理等业务进行处理时,对不同的业务使用不同进程,每种业务都有对应的不同进程进行处理。当需要处理上述的至少一种业务时,调用其对应的进程,ASID客户端根据配置文件为每个调用的进程提供一个唯一的地址空间标识;然后,通过数据服务在对应的业务服务器对业务进行相应的处理。
参照图2,示出了本发明的一种日志处理方法实施例的步骤流程图,应用于日志服务器,所述日志服务器上部署有数据立方体;
需要说明的是数据立方体(DataCube)凌驾于数据存储层和数据库之上,是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理,可以对原数据进行任意多关键字实时索引。
所述方法具体可以包括如下步骤:
步骤201,创建系统日志表以及历史数据日志表;
可选地,所述日志服务器上部署有业务功能方法列表,所述创建系统日志表以及历史数据日志表的步骤包括:
步骤S2011,初始化所述业务功能方法列表,所述业务功能方法列表包含日志记录方式字段;
在日志服务器处理层面初始化业务功能列表和功能方法列表,供用户在具体功能的具体方式上设置日志记录方式,也便于后期将用户的业务操作与系统日志衔接。
步骤S2012,接收日志记录方式设置命令;
接收用户针对每个功能方法的日志记录方式的设置命令。
步骤S2013,将所述日志记录方式设置命令存储至所述日志记录方式字段;
将用户针对每个功能方法设置的日志记录方式存储至业务功能方法列表的日志记录方式字段中,更新日志记录方式字段。
步骤S2014,依据更新后的日志记录方式字段创建系统日志表以及历史数据日志表。
依据更新后的日志记录方式字段创建系统日志表以及历史数据日志表,用于记录业务处理的操作日志信息以及业务数据的变动过程。
步骤202,当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
当用户对应用系统进行业务操作时,日志服务器根据设置好的预设日志记录方式将操作日志或数据变动信息存至系统日志表,和/或,历史数据日志表。
其中,日志数据主要分为以下几类:
报警日志。记录系统内发生的所有报警信息,包括报警类型、报警级别、报警内容等。初始页面按照时间倒序显示所有报警日志。可按照报警类型、报警级别、时间范围等条件进行过滤查询。以柱状图或是饼状图等直观方式显示报警日志。
系统操作日志。记录操作人员进入、退出系统和所有功能操作的时间和人员等信息。初始页面按照时间倒序显示所有操作日志。根据登录人员、时间范围等条件进行过滤查询。
设备状态日志。系统对设备运行状况进行监控显示。运行状况可包含设备启动、关闭、异常等,需设备厂家提供接口支持。初始页面显示所有监控设备的状态日志。可按照设备类型、时间范围等条件进行过滤查询。
步骤203,对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
对系统日志表,和/或历史数据日志表记载的日志进行预处理。由于从日志文件中得到的原始日志记录并不适于挖掘,必须进行适当的处理才能进行挖掘。因此,需要通过日志清理,去除无用的记录,得到预处理日志数据。
步骤204,采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
对预处理后的数据用数据挖掘算法来分析,得到至少一个模式数据;模式数据表征着用户操作或监控终端运行状态的特征。其中,一个模式数据为一个维度下的用户操作或监控终端运行状态的特征。
可选地,所述数据挖掘算法包括:关联规则挖掘、发现分类挖掘、聚类分析挖掘、统计挖掘以及协同过滤挖掘至少一种。
使用关联规则发现方法,可以从日志数据中找到的各类操作的相关性。关联规则是寻找在同一个事件中出现的不同项的相关性,用数学模型来描述关联规则发现的问题:x=>y的蕴含式,其中x,y为属性—值对集(或称为项目集),且X∩Y空集。在数据库中若S%的包含属性—值对集X的事务也包含属性—值集Y,则关联规则X=>Y的置信度为C%。
关联规则挖掘技术用于发现日志中属性之间的有趣联系。一般使用支持度(support)和置信度(confidence)两个参数来描述关联规则的属性。举例而言,采用关联分析Apriori算法进行挖掘。它的基本思想是:首先找出所有具有超出最小支持度的支持度项集,用频繁的(k—1)-项集生成候选的频繁k-项集;其次利用大项集产生所需的规则;任何频繁项集的所有子集一定是频繁项集是其核心。
Apriori算法需要两个步骤:第一个是生成条目集;第二个是使用生成的条目集创建一组关联规则。
在时间戳有序的事务集中,序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。
发现分类规则可以给出识别一个特殊群体的公共属性的描述,这种描述可以用于分类学习者。分类包括的挖掘技术将找出定义了一个项或事件是否属于数据中某特定子集或类的规则。该类技术是最广泛应用于各类业务问题的一类挖掘技术。分类算法最知名的是决策树方法,此外还有神经元网络、贝叶斯Bayesian分类等,本领域技术人员可以根据实际要求选择,本发明实施例对此并不限定。
聚类分析可以从日志数据中聚类出具有相似特性的操作。聚类是将数日志据集划分为多个类,使得在同一类中的日志数据之间有较高的相似度,而在不同类别中的日志数据差别尽可能大。在聚类技术中,没有预先定义好的类别和训练样本存在,所有记录都根据彼此相似程度来加以归类。主要算法有k—means聚类、DBSCAN(Density-Based SpatialClustering of Applications with Noise,具有噪声的基于密度的具有噪声聚类方法)等。本领域技术人员可以根据实际要求选择,本发明实施例对此并不限定。聚类分析是把具有相似特征的用户或数据项归类,通过聚类具有相似行为的用户操作或者事件。
统计方法是从日志文件中抽取知识的最常用方法,它通过分析日志文件,对各类操作和状态等统计分析。
协同过滤技术采用最近邻技术,利用客户的历史、喜好信息计算用户之间的距离,目标客户对特定商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
步骤205,依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。
采用SQL(Structured Query Language,结构化查询语言)查询语句进行分析;将数据导入多维数据立方体中,用OLAP(Online Analytical Processing,联机分析处理)工具进行分析得到业务规律数据。分析出用户操作的规律或设备的运行规律,有效了解系统的运行状况,方便用户对系统进行调整和优化。
可选地,所述业务规律数据为可视化业务规律数据。
利用计算机图形学和图像处理技术,将业务规律数据转换成图形或图像的可视化业务规律数据;使人能够在三维图形世界中直接对具有形体的业务规律数据进行操作,和计算机直接交流。
可选地,所述日志服务器与至少一个监控设备连接,所述对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据的步骤之前,所述方法还包括:
步骤S1,收集所述监控设备上产生的日志数据;
步骤S2,依据预设策略规则,将所述监控设备上产生的日志数据分类存储至所述系统日志表,和/或所述历史数据日志表。
日志服务器可以在各个监控设备上部署代理收集设备上产生的日志数据,并实时加密传输给日志服务器。当日志服务器收到日志数据,进行分析并按照预设策略规则对收到的日志进行快速的分类存储到系统日志表和/或历史数据日志表。
所述日志服务器与客户端连接,所述方法还包括:
步骤S3,接收查询请求,所述查询请求包含查询条件;
当用户需要查询日志数据了解系统数据发生了哪些变化时,用户通过客户端发送查询请求给日志服务器,调取查询请求包含查询条件,调取条件可以是具体的日志数据或具体某一类别的日志数据等。
步骤S4,依据所述查询条件确定目标数据,所述目标数据为所述系统日志表,和/或,所述历史数据日志表中符合查询条件的日志数据;
日志服务器将记录的所有日志数据都记录在系统日志表,和/或,历史数据日志表中,因此,日志服务器根据查询条件遍历全部系统日志表,和/或,历史数据日志表中的日志数据,确定系统日志表,和/或,历史数据日志表中满足查询条件的所有日志数据为目标数据。
步骤S5,将所述目标数据发送至所述客户端。
日志服务器确定目标数据后,将目标数据发送给客户端,客户端可以展示目标数据。
可选地,所述日志服务器还与日志备份服务器连接,所述方法包括:
步骤S6,按照预设备份规则,将所述记载的日志数据备份至所述日志备份服务器。
日志收集到日志服务器,还需要定期对日志进行备份到日志备份服务器。由于众多设备的日志的量大,由用户来对众多日志进行分析特别困难,并且一旦发生不安全因素再去查看日志这种事后补救远没有实时检测到问题立刻告警来的有效。
本发明实施例通过创建系统日志表以及历史数据日志表;当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。本发明实施例可以通过对日志数据进行分析,找出用户操作和设备运行的规律,为用户的指挥决策提供具体理论依据,充分利用日志数据的价值。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明的一种日志处理装置实施例的结构框图,应用于日志服务器,所述日志服务器上部署有数据立方体;所述装置具体可以包括如下模块:
创建模块301,创建系统日志表以及历史数据日志表;
第一存储模块302,用于当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
预处理模块303,用于对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
模式分析模块304,用于采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
模式发现模块305,用于依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据。
可选地,所述日志服务器与至少一个监控设备连接,所述装置还包括:
收集模块,用于收集所述监控设备上产生的日志数据;
第二存储模块,用于依据预设策略规则,将所述监控设备上产生的日志数据分类存储至所述系统日志表,和/或所述历史数据日志表。
可选地,所述日志服务器上部署有业务功能方法列表,所述创建模块301包括:
初始化子模块,用于初始化所述业务功能方法列表,所述业务功能方法列表包含日志记录方式字段;
接收子模块,用于接收日志记录方式设置命令;
创建子模块,用于依据更新后的日志记录方式字段创建系统日志表以及历史数据日志表。
可选地,所述日志服务器与客户端连接,所述装置还包括:
接收模块,用于接收查询请求,所述查询请求包含查询条件;
查询模块,用于依据所述查询条件确定目标数据,所述目标数据为所述系统日志表,和/或,所述历史数据日志表中符合查询条件的日志数据;
发送模块,用于将所述目标数据发送至所述客户端。
可选地,所述日志服务器还与日志备份服务器连接,所述装置还包括:
备份模块,用于按照预设备份规则,将所述记载的日志数据备份至所述日志备份服务器。
可选地,所述业务规律数据为可视化业务规律数据。
可选地,所述数据挖掘算法包括:关联规则挖掘、发现分类挖掘、聚类分析挖掘、统计挖掘以及协同过滤挖掘至少一种。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明一实施例还提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的日志处理方法的步骤。
本发明一实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的日志处理方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种日志处理方法和一种日志处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种日志处理方法,其特征在于,应用于日志服务器,所述日志服务器上部署有数据立方体,所述方法包括:
创建系统日志表以及历史数据日志表;
当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据;
其中,一个模式数据为一个维度下的用户操作或监控终端运行状态的特征;
所述业务规律数据通过联机分析处理工具分析导入所述至少一个模式数据后的多维数据立方体得到;所述至少一个模式数据通过结构化查询语言查询语句分析;
所述业务规律数据表征用户操作的规律或设备的运行规律。
2.根据权利要求1所述的方法,其特征在于,所述日志服务器与至少一个监控设备连接,所述对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据的步骤之前,所述方法还包括:
收集所述监控设备上产生的日志数据;
依据预设策略规则,将所述监控设备上产生的日志数据分类存储至所述系统日志表,和/或所述历史数据日志表。
3.根据权利要求1或2所述的方法,其特征在于,所述日志服务器上部署有业务功能方法列表,所述创建系统日志表以及历史数据日志表的步骤包括:
初始化所述业务功能方法列表,所述业务功能方法列表包含日志记录方式字段;
接收日志记录方式设置命令;
将所述日志记录方式设置命令存储至所述日志记录方式字段;
依据更新后的日志记录方式字段创建系统日志表以及历史数据日志表。
4.根据权利要求1或2所述的方法,其特征在于,所述日志服务器与客户端连接,所述方法还包括:
接收查询请求,所述查询请求包含查询条件;
依据所述查询条件确定目标数据,所述目标数据为所述系统日志表,和/或,所述历史数据日志表中符合查询条件的日志数据;
将所述目标数据发送至所述客户端。
5.根据权利要求1或2所述的方法,其特征在于,所述日志服务器还与日志备份服务器连接,所述方法包括:
按照预设备份规则,将所述记载的日志数据备份至所述日志备份服务器。
6.根据权利要求1或2所述的方法,其特征在于,所述业务规律数据为可视化业务规律数据。
7.根据权利要求1或2所述的方法,其特征在于,所述数据挖掘算法包括:关联规则挖掘、发现分类挖掘、聚类分析挖掘、统计挖掘以及协同过滤挖掘至少一种。
8.一种日志处理装置,其特征在于,应用于日志服务器,所述日志服务器上部署有数据立方体,所述装置包括:
创建模块,创建系统日志表以及历史数据日志表;
第一存储模块,用于当检测到业务操作时,将所述业务操作对应的日志数据存储至所述系统日志表,和/或所述历史数据日志表;
预处理模块,用于对所述系统日志表,和/或所述历史数据日志表记载的日志数据进行预处理,得到预处理日志数据;
模式分析模块,用于采用预设数据挖掘算法对所述预处理日志数据进行分析,得到至少一个模式数据;
模式发现模块,用于依据所述至少一个模式数据以及所述数据立方体,生成业务规律数据;
一个模式数据为一个维度下的用户操作或监控终端运行状态的特征;
所述业务规律数据通过联机分析处理工具分析导入所述至少一个模式数据后的多维数据立方体得到;所述至少一个模式数据通过结构化查询语言查询语句分析;
所述业务规律数据表征用户操作的规律或设备的运行规律。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的日志处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011271279.9A CN112256549B (zh) | 2020-11-13 | 2020-11-13 | 一种日志处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011271279.9A CN112256549B (zh) | 2020-11-13 | 2020-11-13 | 一种日志处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256549A CN112256549A (zh) | 2021-01-22 |
CN112256549B true CN112256549B (zh) | 2022-01-04 |
Family
ID=74265749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011271279.9A Active CN112256549B (zh) | 2020-11-13 | 2020-11-13 | 一种日志处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256549B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117637089A (zh) * | 2023-12-06 | 2024-03-01 | 广东康合慢病防治研究中心有限公司 | 一种医用慢性病病例存储监测管理装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262812A (zh) * | 2015-10-16 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种基于云计算平台的日志数据处理方法、装置及系统 |
CN105468737A (zh) * | 2015-11-24 | 2016-04-06 | 湖北大学 | 一种网络服务大数据分析方法、云计算平台及挖掘系统 |
US10210162B1 (en) * | 2010-03-29 | 2019-02-19 | Carbonite, Inc. | Log file management |
CN110019396A (zh) * | 2017-12-01 | 2019-07-16 | 中国移动通信集团广东有限公司 | 一种基于分布式多维分析的数据分析系统及方法 |
CN111192170A (zh) * | 2019-12-25 | 2020-05-22 | 平安国际智慧城市科技股份有限公司 | 题目推送方法、装置、设备和计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1277192C (zh) * | 2003-09-30 | 2006-09-27 | 联想(北京)有限公司 | 一种日志分析系统及基于该系统的分析方法 |
-
2020
- 2020-11-13 CN CN202011271279.9A patent/CN112256549B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10210162B1 (en) * | 2010-03-29 | 2019-02-19 | Carbonite, Inc. | Log file management |
CN105262812A (zh) * | 2015-10-16 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种基于云计算平台的日志数据处理方法、装置及系统 |
CN105468737A (zh) * | 2015-11-24 | 2016-04-06 | 湖北大学 | 一种网络服务大数据分析方法、云计算平台及挖掘系统 |
CN110019396A (zh) * | 2017-12-01 | 2019-07-16 | 中国移动通信集团广东有限公司 | 一种基于分布式多维分析的数据分析系统及方法 |
CN111192170A (zh) * | 2019-12-25 | 2020-05-22 | 平安国际智慧城市科技股份有限公司 | 题目推送方法、装置、设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112256549A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Thongsatapornwatana | A survey of data mining techniques for analyzing crime patterns | |
US9479518B1 (en) | Low false positive behavioral fraud detection | |
CN111614690B (zh) | 一种异常行为检测方法及装置 | |
WO2017200558A1 (en) | Method, apparatus, and computer-readable medium for detecting anomalous user behavior | |
CN111460312A (zh) | 空壳企业识别方法、装置及计算机设备 | |
CN104246786A (zh) | 模式发现中的字段选择 | |
US8538988B2 (en) | Selective storing of mining models for enabling interactive data mining | |
KR102028930B1 (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
Al-Janabi | A proposed framework for analyzing crime data set using decision tree and simple k-means mining algorithms | |
Tang et al. | Recommending resolutions for problems identified by monitoring | |
US20210319226A1 (en) | Face clustering in video streams | |
CN112256549B (zh) | 一种日志处理方法和装置 | |
Yousfi et al. | Smart big data framework for insight discovery | |
CN112256809A (zh) | 一种数据处理方法和装置 | |
Kamranfar et al. | Pavement distress recognition via wavelet-based clustering of smartphone accelerometer data | |
CN111026940A (zh) | 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备 | |
CN115659351A (zh) | 一种基于大数据办公的信息安全分析方法、系统及设备 | |
CN112289028B (zh) | 一种涉车套牌发现方法、装置、设备和介质 | |
Horovitz et al. | A fuzzy approach for interpretation of ubiquitous data stream clustering and its application in road safety | |
CN112182121B (zh) | 一种涉车关系发现方法、装置、设备和介质 | |
CN115392351A (zh) | 风险用户识别方法、装置、电子设备及存储介质 | |
CN112269879B (zh) | 基于k-means算法的中台日志分析方法及设备 | |
CN110708296B (zh) | 一种基于长时间行为分析的vpn账号失陷智能检测模型 | |
Shilpika et al. | Toward an in-depth analysis of multifidelity high performance computing systems | |
Geurts et al. | Clustering and profiling traffic roads by means of accident data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |