CN115437881B - 一种基于用户态文件系统的数据库进程异常处理方法 - Google Patents

一种基于用户态文件系统的数据库进程异常处理方法 Download PDF

Info

Publication number
CN115437881B
CN115437881B CN202211023203.3A CN202211023203A CN115437881B CN 115437881 B CN115437881 B CN 115437881B CN 202211023203 A CN202211023203 A CN 202211023203A CN 115437881 B CN115437881 B CN 115437881B
Authority
CN
China
Prior art keywords
log
database
interval time
database process
acquisition interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211023203.3A
Other languages
English (en)
Other versions
CN115437881A (zh
Inventor
娄帅
林韶宾
高孝鑫
党中华
张文凤
田俊
林禹
叶金荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Great Opensource Software Co ltd
Original Assignee
Beijing Great Opensource Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Great Opensource Software Co ltd filed Critical Beijing Great Opensource Software Co ltd
Priority to CN202211023203.3A priority Critical patent/CN115437881B/zh
Publication of CN115437881A publication Critical patent/CN115437881A/zh
Application granted granted Critical
Publication of CN115437881B publication Critical patent/CN115437881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1438Restarting or rejuvenating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于用户态文件系统的数据库进程异常处理方法,方法包括:调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统;数据库进程异常检测系统检测数据库的进程是否存在异常,存在异常则按照策略处理,无异常则继续数据库的进程检测;确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理,将处理的结果存储至服务器并进行可视化处理。本发明采用用户态文件系统,并基于用户态文件系统构建数据库进程异常检测系统,实现数据库进程异常的检测,便于在用户态文件系统中将数据库进程异常检测和数据库进程异常检测处理的功能同时实现,提高了数据库进程异常检测的效率。

Description

一种基于用户态文件系统的数据库进程异常处理方法
技术领域
本发明涉及数据库管理技术领域,特别涉及一种基于用户态文件系统的数据库进程异常处理方法。
背景技术
数据库是存放数据的仓库,它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,是有一定的规则的,否则查询的效率会很低。在数据库的正常运行中,数据库进程的起到了很重要的作用,维护了数据库的稳定,相当于一个企业中的管理者,具有负责全局统筹的作用。在数据的日常运行中,数据库进程会出现异常情况,常采用捕获数据库异常的方法用异常场景测试应用程序。确定代码中的操作可能发生的异常,并强制异常发生。然后检查跟踪输出以查看引发的异常,或检查调试器中返回的错误信息。这样,便可以了解将在所使用的异常场景中看到哪些返回代码。
现有技术一,CN201911385147.6一种数据库读取数据方法、装置、设备及存储介质,在获取目标数据读取指令之后,会首先在缓冲区描述符中查询对应的缓存标识;而未查询到时,会先在缓冲区描述符中新建对应的缓存标识,并调用操作系统读取包括数据库进程标识的缓冲区描述符;当操作系统读取到数据库进程标识时,会将磁盘中对应的数据直接写入到共享缓存中,最终使得用户可以读取到该数据。上述共享缓存相当于同时作为操作系统数据库读操作的页高速缓冲存储器,此时可以避免双重缓存,从而极大的提高从磁盘读取数据的速度,减少数据库从磁盘读取数据的时间。还提供了一种装置、设备及存储介质,同样具有上述有益效果。
现有技术二,CN202110483790.3基于多进程的多路视频流的AI分析方法及系统,所述方法包括以下步骤:创建共享内存以及多个管道;通过多线程取视频流,保存待检测图片在共享内存中;加载目标检测模型,读取共享内存中的待检测图片送入所述目标检测模型处理,获得检测结果并将检测结果写入管道;基于所述检测结果,获取报警信息、检测结果图并多线程写入数据库中。针对于检测耗时长的问题,设计了三个进程分别进行取流、目标检测、写数据库,保证目标检测模型可以全速运行,提高GPU的使用效率;在取流进程中为每路摄像头开启一个线程进行抽帧解码,在写数据库进程创建线程池加快AI分析分析结果的存储和推送。
现有技术三,CN201010195132.6一种内存数据库及其数据处理方法,方法包括:包括以下步骤:将内存数据库进程与内存数据分离;创建共享内存段,并将所述内存数据存入所述共享内存段,将内存数据库数据区地址指向所述共享内存段地址;当所述内存数据库进程启动时,连接所述共享内存段。还公开了一种内存数据库。采用内存数据库进程与内存数据分离,并以共享内存段的方式申请内存数据库的数据存储空间,在内存数据库进程异常的情况下,内存数据库的数据由于存储在共享内存段中而不受影响,提高了内存数据库的数据安全性;并且无需进行主备内存数据库数据同步,降低了设备成本和设备维护复杂度。
目前现有技术一、现有技术二和现有技术三缺少有效解决数据库进程异常的处理方法,导致数据库的读数据和写数据的速度变慢,因而影响数据库正常运行,容易造成数据的丢失,因而,本发明提供了一种基于用户态文件系统的数据库进程异常处理方法,通过用户态文件系统实现数据库进程异常的处理,有效解决数据丢失的问题。
发明内容
为了解决上述技术问题,本发明提供了一种基于用户态文件系统的数据库进程异常处理方法,包括以下步骤:
调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统;
数据库进程异常检测系统检测数据库的进程是否存在异常,存在异常则按照策略处理,无异常则继续数据库的进程检测;
确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理,将处理的结果存储至服务器并进行可视化处理。
可选的,数据库进程异常检测系统对数据库的进程进行实时检测,若无异常,则返回调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统,继续数据库的进程检测。
可选的,数据库进程异常检测系统对数据库的进程进行实时检测,若有异常,则进行确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理。
可选的,数据库进程异常检测系统检测的内容为:
数据写进程:负责将更改的数据从数据库缓冲区高速缓存写入数据文件;
监控进程:负责在一个服务器进程失败时清理资源;
归档进程:在每次日志切换时把已满的日志组进行备份或归档;
系统监控:检查数据库的一致性和在数据库打开时启动数据库的恢复;
检查点进程:负责在每当缓冲区高速缓存中的更改永久地记录在数据库中时,更新控制文件和数据文件中的数据库状态信息;
恢复进程:保证分布式事务的一致性,在分布式事务中,同时进行事务提交或回滚;
作业调度器:负责将调度与执行系统中已定义好的计算机操作者,完成预定义的工作;
日志写进程,将重做日志缓冲区中的更改写入在线重做日志文件。
可选的,数据库进程异常检测系统对数据库的进程进行实时检测包括:
数据库进程异常检测系统接收到第一数据库进程,确认属于预设数据库进程的内容类型;
待第一数据库进程的内容类型确定后,按照进程的预设数据库进程的功能判定是否执行了具体的功能,若正常进行,则第一数据库进程正常,则进行数据库进程异常检测系统接收到第二数据库进程;若不能正常进行,则第一数据库进程为异常,按照异常的数据库进程处理;
数据库进程异常检测系统接收到第二数据库进程,返回数据库进程异常检测系统接收到第一数据库进程,进行数据库进程的检测。
可选的,日志文件的形成过程为:
预设相邻数据库进程的间隔时间,并设定日志的采集间隔时间,进行定期采集系统日志;
对采集到的日志进行XML格式化,生成新的日志文件;
将日志文件发送到服务器;
根据系统日志记录数量的变化,对未来数据库进程异常检测系统日志产生的日志记录数量进行预测,动态地调整日志的采集间隔时间。
可选的,动态地调整日志的采集间隔时间的内容为:日志记录数量偏差幅度;日志记录数量与理想日志记录数量参考值的关系,新的日志的采集间隔时间与数据库进程异常检测系统的日志的采集间隔时间的最大值的关系;新的日志的采集间隔时间与数据库进程异常检测系统的日志的采集间隔时间的最小值的关系。
可选的,进一步包括:
(1)设定日志的采集间隔时间;
(2)设定日志的采集间隔时间超时,超时则进行(3),不超时则按照(1)设定的日志的采集间隔时间执行;
(3)进行日志采集,统计采集的日志记录数量;
(4)进行日志记录数量偏差幅度判断;偏差幅度大,则进行(5),偏差幅度小,则按照(1)设定的日志的采集间隔时间执行;
(5)判断日志记录数量是否大于理想日志记录数量参考值,若日志记录数量大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间和相邻数据库进程的间隔时间变化步长之和;若日志记录数量不大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间与相邻数据库进程的间隔时间变化步长之差。
可选的,新的日志的采集间隔时间调整为设定日志的采集间隔时间和相邻数据库进程的间隔时间变化步长之和后需要:
判断新的日志的采集间隔时间是否不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,若新的日志的采集间隔时间不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照日志的采集间隔时间的最大值为日志的采集间隔时间;若新的日志的采集间隔时间小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照设定的日志的采集间隔时间执行。
可选的,新的日志的采集间隔时间调整为设定日志的采集间隔时间与相邻数据库进程的间隔时间变化步长之差后需要:
判断新的日志的采集间隔时间是否不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照日志的采集间隔时间的最小值为日志的采集间隔时间;若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照设定的日志的采集间隔时间执行。
本发明采用用户态文件系统,并基于用户态文件系统构建数据库进程异常检测系统,实现了数据库进程异常的检测,便于在用户态文件系统中将数据库进程异常检测和数据库进程异常检测处理的功能同时实现,提高了数据库进程异常检测的效率和准确率,确定数据库进程异常的类型,按照类型调取用户态文件系统存储的对应的策略进行处理,同时还可以增加机器学习功能,增加数据库进程异常检测系统的学习能力和智能化水平,更好的保证数据的正常工作;同时提高用户态文件系统进行数据处理的可靠程度,实现了数据库进程异常检测并进行了对应的处理,保证了数据库的读数据和写数据的速度,一定程度上保护了数据存储的数据的安全,使其不易丢失。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中基于用户态文件系统的数据库进程异常处理方法流程图;
图2为本发明实施例中数据库进程异常检测系统的检测流程图;
图3为本发明实施例中日志文件的形成流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
实施例1
如图1所示,本发明实施例提供了一种基于用户态文件系统的数据库进程异常处理方法,包括以下步骤:
S100:调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统;
S200:数据库进程异常检测系统对数据库的进程进行实时检测,若无异常,则返回步骤S100,继续数据库的进程检测;若有异常,则进行步骤S300;
S300:确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理,将处理的结果存储至服务器并进行可视化处理。
上述技术方案的工作原理和有益效果为:本发明采用用户态文件系统,并基于用户态文件系统构建数据库进程异常检测系统,实现了数据库进程异常的检测,便于在用户态文件系统中将数据库进程异常检测和数据库进程异常检测处理的功能同时实现,提高了数据库进程异常检测的效率和准确率,确定数据库进程异常的类型,按照类型调取用户态文件系统存储的对应的策略进行处理,同时还可以增加机器学习功能,增加数据库进程异常检测系统的学习能力和智能化水平,更好的保证数据的正常工作;同时提高用户态文件系统进行数据处理的可靠程度,实现了数据库进程异常检测并进行了对应的处理,保证了数据库的读数据和写数据的速度,一定程度上保护了数据存储的数据的安全,使其不易丢失。
实施例2
在实施例1的基础上,本发明实施例提供的数据库进程异常检测系统检测的内容为:
数据写进程:负责将更改的数据从数据库缓冲区高速缓存写入数据文件;
监控进程:负责在一个服务器进程失败时清理资源;
归档进程:在每次日志切换时把已满的日志组进行备份或归档;
系统监控:检查数据库的一致性和在数据库打开时启动数据库的恢复;
检查点进程:负责在每当缓冲区高速缓存中的更改永久地记录在数据库中时,更新控制文件和数据文件中的数据库状态信息;
恢复进程:保证分布式事务的一致性,在分布式事务中,同时进行事务提交或回滚;
作业调度器:负责将调度与执行系统中已定义好的计算机操作者,完成预定义的工作;
日志写进程,将重做日志缓冲区中的更改写入在线重做日志文件。
上述技术方案的工作原理和有益效果为:本发明的数据库进程异常检测的数据库进程包含数据写进程、监控进程、归档进程、系统监控、检查点进程、恢复进程、作业调度器和日志写进程,基本囊括了正常使用的数据库进程,能够全面的对数据库异常进行检测,保障了数据库能够正常的工作,对实现数据的安全性存储有很好的促进作用。
实施例3
如图2所示,在实施例1的基础上,本发明实施例提供的数据库进程异常检测系统对数据库的进程进行实时检测包括:
S201:数据库进程异常检测系统接收到第一数据库进程,确认属于预设数据库进程的内容类型;
S202:待第一数据库进程的内容类型确定后,按照进程的预设数据库进程的功能判定是否执行了具体的功能,若正常进行,则第一数据库进程正常,则进行步骤S203;若不能正常进行,则第一数据库进程为异常,按照异常的数据库进程处理;
S203:数据库进程异常检测系统接收到第二数据库进程,返回步骤S201,进行数据库进程的检测。
上述技术方案的工作原理和有益效果为:本发明首先确定数据库进程的类型,也就确定了数据库进程对应的功能,对其功能是否能够正常进行作为判断数据库进程是否异常的标准,简单且高效,缩短了数据库进程的检测时间。
实施例4
如图3所示,在实施例1的基础上,本发明实施例提供的步骤S300的日志文件的形成过程为:
S301:预设相邻数据库进程的间隔时间,并设定日志的采集间隔时间,进行定期采集系统日志;
S302:对采集到的日志进行XML格式化,生成新的日志文件;
S303:将日志文件发送到服务器;
S304:根据系统日志记录数量的变化,对未来数据库进程异常检测系统日志产生的日志记录数量进行预测,动态地调整日志的采集间隔时间。
上述技术方案的工作原理和有益效果为:本发明预设相邻数据库进程的间隔时间,并设定日志的采集间隔时间,进行定期采集系统日志;对采集到的日志进行XML格式化,生成新的日志文件;将日志文件发送到服务器;根据系统日志记录数量的变化,对未来数据库进程异常检测系统日志产生的日志记录数量进行预测,动态地调整日志的采集间隔时间,实现了日志产生能够根据数据库进程的间隔进行调整,真正实现了智能化,有利于缩短数据库进程异常处理的时间,提升数据的安全性。
实施例5
在实施例4的基础上,本发明实施例提供的动态地调整日志的采集间隔时间的方法包括:
(1)设定日志的采集间隔时间;
(2)设定日志的采集间隔时间超时,超时则进行(3),不超时则按照(1)设定的日志的采集间隔时间执行;
(3)进行日志采集,统计采集的日志记录数量;
(4)进行日志记录数量偏差幅度判断;偏差幅度大,则进行(5),偏差幅度小,则按照(1)设定的日志的采集间隔时间执行;
(5)判断日志记录数量是否大于理想日志记录数量参考值,若日志记录数量大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间和相邻数据库进程的间隔时间变化步长之和,再进行(6);若日志记录数量不大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间与相邻数据库进程的间隔时间变化步长之差,再进行(7);
(6)判断新的日志的采集间隔时间是否不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,若新的日志的采集间隔时间不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照日志的采集间隔时间的最大值为日志的采集间隔时间;若新的日志的采集间隔时间小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照(1)设定的日志的采集间隔时间执行;
(7)判断新的日志的采集间隔时间是否不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照日志的采集间隔时间的最小值为日志的采集间隔时间;若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照(1)设定的日志的采集间隔时间执行。
上述技术方案的工作原理和有益效果为:本发明通过日志记录数量偏差幅度判断;判断日志记录数量是否大于理想日志记录数量参考值,判断新的日志的采集间隔时间是否不小于数据库进程异常检测系统的日志的采集间隔时间的最大值;判断新的日志的采集间隔时间是否不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,实现了日志的采集间隔时间能能够根据日志记录数量的增加或减少进行适应调整,进一步提升了数据库进程异常处理的效率。
实施例6
在实施例5的基础上,本发明实施例提供的相邻数据库进程的间隔时间的计算方法为:
Figure BDA0003814838910000101
其中,τij表示数据库进程i和数据库进程j之间的时间间隔,数据库进程i和数据库进程j为相邻的两个数据库进程,
Figure BDA0003814838910000102
表示数据库进程i被数据库进程异常检测系统检测完毕后至数据库进程j被数据库进程异常检测系统检测完毕的时间;δij表示日志的采集间隔时间的最小值,vi表示数据库进程i进行数据库进程异常检测速度,/>
Figure BDA0003814838910000103
表示数据库进程j为出现异常的数据库进程异常检测时间,k表示设定日志的采集间隔时间,ti0表示数据库进程i进行数据库进程异常检测时间。
上述技术方案的工作原理和有益效果为:本发明通过公式计算相邻数据库进程的间隔时间,为动态地调整日志的采集间隔时间提供了参考标准,实现了日志的采集间隔时间能能够根据日志记录数量的增加或减少进行适应调整,进一步提升了数据库进程异常处理的效率;实现了数据库进程异常检测并进行了对应的处理,保证了数据库的读数据和写数据的速度,一定程度上保护了数据存储的数据的安全,使其不易丢失。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于用户态文件系统的数据库进程异常处理方法,其特征在于,包括以下步骤:
调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统;
数据库进程异常检测系统检测数据库的进程是否存在异常,存在异常则按照策略处理,无异常则继续数据库的进程检测;
确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理,将处理的结果存储至服务器并进行可视化处理;
日志文件的形成过程为:
预设相邻数据库进程的间隔时间,并设定日志的采集间隔时间,进行定期采集系统日志;
对采集到的日志进行XML格式化,生成新的日志文件;
将日志文件发送到服务器;
根据系统日志记录数量的变化,对未来数据库进程异常检测系统日志产生的日志记录数量进行预测,动态地调整日志的采集间隔时间;
动态地调整日志的采集间隔时间的内容为:日志记录数量偏差幅度;日志记录数量与理想日志记录数量参考值的关系,新的日志的采集间隔时间与数据库进程异常检测系统的日志的采集间隔时间的最大值的关系;新的日志的采集间隔时间与数据库进程异常检测系统的日志的采集间隔时间的最小值的关系;
设定日志的采集间隔时间;
设定日志的采集间隔时间超时,超时则进行日志采集,不超时则按照设定的日志的采集间隔时间执行;
进一步包括:
进行日志采集,统计采集的日志记录数量;
进行日志记录数量偏差幅度判断;偏差幅度大,则进行判断日志记录数量是否大于理想日志记录数量参考值,偏差幅度小,则按照设定的日志的采集间隔时间执行;
判断日志记录数量是否大于理想日志记录数量参考值,若日志记录数量大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间和相邻数据库进程的间隔时间变化步长之和;若日志记录数量不大于理想日志记录数量参考值,则新的日志的采集间隔时间调整为设定日志的采集间隔时间与相邻数据库进程的间隔时间变化步长之差;
新的日志的采集间隔时间调整为设定日志的采集间隔时间和相邻数据库进程的间隔时间变化步长之和后需要:
判断新的日志的采集间隔时间是否不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,若新的日志的采集间隔时间不小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照日志的采集间隔时间的最大值为日志的采集间隔时间;若新的日志的采集间隔时间小于数据库进程异常检测系统的日志的采集间隔时间的最大值,则按照设定的日志的采集间隔时间执行。
2.如权利要求1所述的基于用户态文件系统的数据库进程异常处理方法,其特征在于,数据库进程异常检测系统对数据库的进程进行实时检测,若无异常,则返回调用用户态文件系统,基于用户态文件系统构建数据库进程异常检测系统,继续数据库的进程检测。
3.如权利要求1所述的基于用户态文件系统的数据库进程异常处理方法,其特征在于,数据库进程异常检测系统对数据库的进程进行实时检测,若有异常,则进行确定数据库进程异常的类型,形成日志文件,按照类型调取用户态文件系统存储的对应的策略进行处理。
4.如权利要求1所述的基于用户态文件系统的数据库进程异常处理方法,其特征在于,数据库进程异常检测系统检测的内容为:
数据写进程:负责将更改的数据从数据库缓冲区高速缓存写入数据文件;
监控进程:负责在一个服务器进程失败时清理资源;
归档进程:在每次日志切换时把已满的日志组进行备份或归档;
系统监控:检查数据库的一致性和在数据库打开时启动数据库的恢复;
检查点进程:负责在每当缓冲区高速缓存中的更改永久地记录在数据库中时,更新控制文件和数据文件中的数据库状态信息;
恢复进程:保证分布式事务的一致性,在分布式事务中,同时进行事务提交或回滚;
作业调度器:负责将调度与执行系统中已定义好的计算机操作者,完成预定义的工作;
日志写进程,将重做日志缓冲区中的更改写入在线重做日志文件。
5.如权利要求1所述的基于用户态文件系统的数据库进程异常处理方法,其特征在于,数据库进程异常检测系统对数据库的进程进行实时检测包括:
数据库进程异常检测系统接收到第一数据库进程,确认属于预设数据库进程的内容类型;
待第一数据库进程的内容类型确定后,按照进程的预设数据库进程的功能判定是否执行了具体的功能,若正常进行,则第一数据库进程正常,则进行数据库进程异常检测系统接收到第二数据库进程;若不能正常进行,则第一数据库进程为异常,按照异常的数据库进程处理;
数据库进程异常检测系统接收到第二数据库进程,返回数据库进程异常检测系统接收到第一数据库进程,进行数据库进程的检测。
6.如权利要求1所述的基于用户态文件系统的数据库进程异常处理方法,其特征在于,新的日志的采集间隔时间调整为设定日志的采集间隔时间与相邻数据库进程的间隔时间变化步长之差后需要:
判断新的日志的采集间隔时间是否不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照日志的采集间隔时间的最小值为日志的采集间隔时间;若新的日志的采集间隔时间不大于数据库进程异常检测系统的日志的采集间隔时间的最小值,则按照设定的日志的采集间隔时间执行。
CN202211023203.3A 2022-08-25 2022-08-25 一种基于用户态文件系统的数据库进程异常处理方法 Active CN115437881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023203.3A CN115437881B (zh) 2022-08-25 2022-08-25 一种基于用户态文件系统的数据库进程异常处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023203.3A CN115437881B (zh) 2022-08-25 2022-08-25 一种基于用户态文件系统的数据库进程异常处理方法

Publications (2)

Publication Number Publication Date
CN115437881A CN115437881A (zh) 2022-12-06
CN115437881B true CN115437881B (zh) 2023-03-28

Family

ID=84243751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023203.3A Active CN115437881B (zh) 2022-08-25 2022-08-25 一种基于用户态文件系统的数据库进程异常处理方法

Country Status (1)

Country Link
CN (1) CN115437881B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184679A1 (zh) * 2020-03-16 2021-09-23 上海爱数信息技术股份有限公司 持续数据保护系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858283B2 (en) * 2015-02-19 2018-01-02 International Business Machines Corporation Method for en passant workload shift detection
CN108710544B (zh) * 2018-03-20 2022-02-08 青岛海信网络科技股份有限公司 一种数据库系统的进程监控方法及轨道交通综合监控系统
CN111143161B (zh) * 2019-12-09 2024-04-09 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN112035318B (zh) * 2020-08-28 2022-03-22 北京浪潮数据技术有限公司 一种异常进程的定位方法、系统及相关装置
CN112769652B (zh) * 2021-01-14 2022-12-16 苏州浪潮智能科技有限公司 一种节点服务监控方法、装置、设备及介质
CN112988679B (zh) * 2021-03-18 2024-04-12 北京大米科技有限公司 日志采集控制方法、装置、存储介质及服务器
CN114020712A (zh) * 2021-07-31 2022-02-08 新华三信息安全技术有限公司 一种日志速率调整方法及装置
CN114116274A (zh) * 2021-10-29 2022-03-01 苏州浪潮智能科技有限公司 一种Linux操作系统异常信号检测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184679A1 (zh) * 2020-03-16 2021-09-23 上海爱数信息技术股份有限公司 持续数据保护系统及方法

Also Published As

Publication number Publication date
CN115437881A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109240886B (zh) 异常处理方法、装置、计算机设备以及存储介质
US8516499B2 (en) Assistance in performing action responsive to detected event
US8677191B2 (en) Early detection of failing computers
CN101599027B (zh) 一种线程池管理方法及其系统
US20080127112A1 (en) Software tracing
US20100017583A1 (en) Call Stack Sampling for a Multi-Processor System
CN108319543A (zh) 一种计算机日志数据的异步处理方法及其介质、系统
US11366714B2 (en) Behavior-driven die management on solid-state drives
US20120246518A1 (en) Operating a computer system
CN101334744B (zh) 一种检测多处理器系统故障的方法、系统和装置
CN100435106C (zh) 应用服务器的分级再生方法
CN102833120A (zh) 一种快速自动化测试中处理网管服务器异常的方法及系统
US9910758B2 (en) Computer flight recorder with active error detection
CN116737818B (zh) Druid数据库连接池的连接泄漏检测方法及系统
CN115437881B (zh) 一种基于用户态文件系统的数据库进程异常处理方法
CN109992476A (zh) 一种日志的分析方法、服务器及存储介质
CN111459815B (zh) 一种实时计算引擎测试方法和系统
CN112543127A (zh) 一种微服务架构的监控方法及装置
US20060168479A1 (en) Real time event logging and analysis in a software system
CN113472881B (zh) 在线终端设备的统计方法和装置
CN101369238A (zh) Usb设备中异常监控复位处理方法
CN112035322A (zh) Jvm监控方法及装置
JP3202721B2 (ja) 故障予測システム、故障予測方法および故障予測プログラムを記録した記録媒体
CN112100139B (zh) 基于大数据的数据质量自动检测系统
CN116719648B (zh) 一种用于计算机系统的数据管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant