CN114265637A - 档案管理系统配置方法、系统、电子设备以及存储介质 - Google Patents

档案管理系统配置方法、系统、电子设备以及存储介质 Download PDF

Info

Publication number
CN114265637A
CN114265637A CN202111598971.7A CN202111598971A CN114265637A CN 114265637 A CN114265637 A CN 114265637A CN 202111598971 A CN202111598971 A CN 202111598971A CN 114265637 A CN114265637 A CN 114265637A
Authority
CN
China
Prior art keywords
management system
log
thread
file management
archive management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111598971.7A
Other languages
English (en)
Inventor
要依彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Digital Intelligence Technology Co Ltd
Original Assignee
China Telecom Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Digital Intelligence Technology Co Ltd filed Critical China Telecom Digital Intelligence Technology Co Ltd
Priority to CN202111598971.7A priority Critical patent/CN114265637A/zh
Publication of CN114265637A publication Critical patent/CN114265637A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请提供一种档案管理系统配置方法、系统、电子设备以及存储介质,所述档案管理系统运行于多线程运行模式下,所述方法包括:对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整;调整所述档案管理系统的参数配置,以对线程的创建进行限制;对所述档案管理系统的日志进程进行监控;扩大档案管理系统的日志容量,并对所述日志的写入机制进行调整;以及使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。本申请提供的配置方法可用以解决在复杂软硬件环境下,智能档案管理系统为了适配复杂软硬件环境而需要采取多线程运行,从而使得智能档案管理系统性能降低的技术问题。

Description

档案管理系统配置方法、系统、电子设备以及存储介质
技术领域
本申请涉及档案管理领域,具体而言,涉及一种档案管理系统配置方法、系统、电子设备以及计算机可读存储介质。
背景技术
当前,在x86的CPU架构和Windows操作系统以外,有越来越多种类的CPU架构和操作系统出现在市面上,智能档案管理系统在运行于这些不同种类的CPU架构和操作系统所构成的软硬件环境时,通常会出现适配问题。
在现有的技术方案中,在x86的CPU架构和Windows操作系统构成的软硬件环境以外的其他软硬件环境,为了使得这类软硬件环境与智能档案管理系统适配,通常采取多线程运行的模式,但现有的多线程运行模式下,容易出现数据冗余和内存不足等影响智能档案管理系统性能的问题。
发明内容
本申请实施例的目的在于提供一种档案管理系统配置方法,用以解决现有技术在复杂软硬件环境下,智能档案管理系统为了适配复杂软硬件环境而采取多线程运行,从而使得智能档案管理系统性能降低的技术问题。
为了实现上述目的,本申请实施例所提供的技术方案如下所示:
第一方面,本申请实施例提供一种档案管理系统配置方法。
本申请第一方面的实施例提供一种档案管理系统配置方法,所述档案管理系统运行于多线程运行模式下,所述方法包括:对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整;调整所述档案管理系统的参数配置,以对线程的创建进行限制;对所述档案管理系统的日志进程进行监控;扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整;以及使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
在本实施例中,所述方法对档案管理系统进行配置,档案管理系统是在多线程运行模式下进行运行的,在对档案管理系统进行配置的过程中,首先对档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整,也就是使得系统参数针对性地根据测试结果进行匹配。随后,调整所述档案管理系统的参数配置,以对线程的创建进行限制,对线程的创建进行限制主要是对创建的线程的数量进行限制,不能无序地任意创造线程。对所述档案管理系统的日志进程进行监控则是监控日志在工作中的数据变化,随后则是对档案管理系统的日志容量进行扩大以及对日志的写入机制进行调整,最后再对档案管理系统的查询机制进行调整,一方面是引入慢查询机制进行档案管理系统的日志查询,另一方面,则是对临时保存数据的方法进行调整,使用表变量来保存数据。本技术方案可以实现档案管理系统在多线程运行模式下的适配,使得档案管理系统在多线程运行模式下高性能运行。
进一步的,所述调整所述档案管理系统的参数配置,以对线程的创建进行限制,包括:将所述档案管理系统的最大备用线程数和最大线程数配置为相同。
在本实施例中,为了防止线程的无序创建,需要对线程的创建数量进行限制,通过将最大备用线程数的值和最大线程数的值配置为相同,可以使得线程的创建变得有序。本技术方案可以实现对线程频繁创建和销毁的避免。
进一步的,所述对所述档案管理系统的日志进程进行监控,包括:对所述日志的缓存量进行监控,并判断所述日志的缓存量是否超过阈值;若是,则对所述日志的数据库进行分片操作。
在本实施例中,对日志的进程进行监控,主要是对日志的缓存量进行监控,监控过程中判断日志的缓存量是否超过阈值,当缓存量过大时,则立即对相应的数据库进行分片操作,从而改进日志缓存的性能。本技术方案可以实现对日志无限制加载的限制,使得服务器进程读取日志缓存的等待时间减少,以及放置日志条到日志缓存中所花时间的减少。
进一步的,所述扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整,包括:增加日志缓冲区,扩大所述档案管理系统的日志容量;以及在所述档案管理系统的日志写入中引入锁竞争。
在本实施例中,通过扩大日志缓存区的方式,使得所述档案管理系统的日志容量增加,此外,还引入了锁竞争机制。本技术方案可以实现日志容量的增加,降低因为容量不足而给档案管理系统造成性能问题的可能性,也避免了线程写入时的无序情况发生。
进一步的,所述在所述档案管理系统的日志写入中引入锁竞争,包括:当不同的线程同时需要日志写入时,触发锁竞争;在所述不同的线程中进行判断,确定成功获取锁的线程并锁表,并由所述成功获取锁的线程进行日志写入。
在本实施例中,锁竞争的触发条件是当同一时间发生不同的线程需要进行日志写入,因而需要有的线程先进行写入,有的线程后写入,为了确定线程写入的先后顺序,触发锁竞争机制。锁竞争中,首先对不同的线程进行判断,也就是进行选择,选出一个线程成功获取锁,当有线程获取锁后,就进行锁表,其他线程无法进行日志写入,此时只能由获取锁的那个线程进行日志写入。本技术方案可以实现有序确定优先进行日志写入的线程。
进一步的,所述在所述档案管理系统的日志写入中引入锁竞争,还包括:由所述成功获取锁的线程完成日志写入后释放锁表,并由未成功获取锁的线程进行后续日志写入。
在本实施例中,当获取锁后优先进行日志写入的线程完成日志写入之后,释放锁表,在之前的锁竞争中未成功获取锁的线程,在此时进行日志写入。本技术方案可以实现不同线程在日志的有序写入。
进一步的,所述使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据,包括:通过慢查询方式查询结构化查询语言的语句,并在所述查询结束后才对查询结果进行记录;使用表变量替代数据查询的临时表作为数据查询的中间环节,保存临时数据。
在本实施例中,首先是使用慢查询对档案管理系统的日志进行查询,慢查询在查询结束后才对问题进行记录,而不是一边查询一边记录问题。其次,本实施例还用表变量代替了临时表作为数据查询的中间环节,用以保存临时数据。本技术方案一方面可以实现避免因为一边查询日志一边进行记录,而导致多次查询过度占用空间,使得档案管理系统的性能降低,本技术方案另一方面可以避免生成过多临时表占用空间,使得档案管理系统的性能降低。
第二方面,本申请实施例提供档案管理管理系统配置系统,所述档案管理系统应用于多线程运行模式下的档案管理系统,所述配置系统包括:峰值性能优化模块,用于对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整;线程创建管控模块,用于调整所述档案管理系统的参数配置,以对线程的创建进行限制;日志进程监控模块,用于对所述档案管理系统的日志进程进行监控;日志调整模块,用于扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整;以及查询模块,用于使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
在本实施例中,所述档案管理系统配置系统对档案管理系统进行配置,档案管理系统是在多线程运行模式下进行运行的,在对档案管理系统进行配置的过程中,首先峰值性能优化模块对档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整,也就是使得系统参数针对性地根据测试结果进行匹配。随后,线程创建管控模块调整所述档案管理系统的参数配置,以对线程的创建进行限制,对线程的创建进行限制主要是对创建的线程的数量进行限制,不能无序地任意创造线程。日志进程监控模块对所述档案管理系统的日志进程进行监控则是监控日志在工作中的数据变化,随后则是日志调整模块对档案管理系统的日志容量进行扩大以及对日志的写入机制进行调整,最后查询模块再对档案管理系统的查询机制进行调整,一方面是引入慢查询机制进行档案管理系统的日志查询,另一方面,则是对临时保存数据的方法进行调整,使用表变量来保存数据。本技术方案可以实现档案管理系统在多线程运行模式下的适配,使得档案管理系统在多线程运行模式下高性能运行。
进一步的,线程创建管控模块为了防止线程的无序创建,需要对线程的创建数量进行限制,通过将最大备用线程数的值和最大线程数的值配置为相同,可以使得线程的创建变得有序。本技术方案可以实现对线程频繁创建和销毁的避免。
进一步的,日志进程监控模块对日志的进程进行监控,主要是对日志的缓存量进行监控,监控过程中判断日志的缓存量是否超过阈值,当缓存量过大时,则立即对相应的数据库进行分片操作,从而改进日志缓存的性能。本技术方案可以实现对日志无限制加载的限制,使得服务器进程读取日志缓存的等待时间减少,以及放置日志条到日志缓存中所花时间的减少。
进一步的,日志调整模块通过扩大日志缓存区的方式,使得所述档案管理系统的日志容量增加,此外,还引入了锁竞争机制。本技术方案可以实现日志容量的增加,降低因为容量不足而给档案管理系统造成性能问题的可能性,也避免了线程写入时的无序情况发生。
进一步的,锁竞争的触发条件是当同一时间发生不同的线程需要进行日志写入,因而需要有的线程先进行写入,有的线程后写入,为了确定线程写入的先后顺序,触发锁竞争机制。锁竞争中,首先对不同的线程进行判断,也就是进行选择,选出一个线程成功获取锁,当有线程获取锁后,就进行锁表,其他线程无法进行日志写入,此时只能由获取锁的那个线程进行日志写入。本技术方案可以实现有序确定优先进行日志写入的线程。
进一步的,当获取锁后优先进行日志写入的线程完成日志写入之后,释放锁表,在之前的锁竞争中未成功获取锁的线程,在此时进行日志写入。本技术方案可以实现不同线程在日志的有序写入。
进一步的,查询模块首先是使用慢查询对档案管理系统的日志进行查询,慢查询在查询结束后才对问题进行记录,而不是一边查询一边记录问题。其次,本实施例还用表变量代替了临时表作为数据查询的中间环节,用以保存临时数据。本技术方案一方面可以实现避免因为一边查询日志一边进行记录,而导致多次查询过度占用空间,使得档案管理系统的性能降低,本技术方案另一方面可以避免生成过多临时表占用空间,使得档案管理系统的性能降低。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器和总线;所述处理器和所述存储器通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如第一方面中的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如第一方面中的方法。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举本申请实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的档案管理系统配置方法步骤示意图;
图2为本申请实施例提供的线程锁竞争日志写入步骤示意图;
图3为本申请实施例提供的档案管理系统配置系统整体示意图;以及
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
图1为本申请实施例提供的档案管理系统配置方法步骤示意图。
请参见图1,图1示出了本申请档案管理系统配置方法的具体执行步骤。所述档案管理系统配置方法的执行步骤包括:
步骤101:对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整。
在步骤101中,对档案管理系统的峰值性能进行测试,目的在于进行高压测试,也就是对档案管理系统应对超大数据量时的性能进行测试,调试到档案管理系统最大所能承载的数据量,测试在最大数据量下档案管理系统的性能情况,并根据所反映出的性能情况对系统参数进行调整,使得当在最大数据量下,档案管理系统能够表现出最佳性能,防止因数据量过大使得档案管理系统的性能明显降低。
步骤102:调整所述档案管理系统的参数配置,以对线程的创建进行限制。
在步骤102中,对档案管理系统的参数配置进行调整,对部分属性的值进行设定,从而实现对线程创建的限制。
步骤103:对所述档案管理系统的日志进程进行监控。
在步骤103中,监控日志在工作中的数据变化。
步骤104:扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整。
在步骤104中,对档案管理系统的日志容量进行扩大以及对日志的写入机制进行调整,最后再对档案管理系统的查询机制进行调整。
步骤105:使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
在步骤105中,首先是引入慢查询机制进行档案管理系统的日志查询,其次,则是对临时保存数据的方法进行调整,使用表变量来保存数据。
进一步地,调整档案管理系统的配置参数,主要是调整最大备用线程数和最大线程数,最大备用线程数即maxSpareThreads,一旦创建的线程数超过这个值,就会关闭不需要的线程。最大线程数即maxThreads,是可创建的最大线程数,每一个线程处理一个请求。调整参数配置时,将最大备用线程数和最大线程数设定为一致,使得当创建的线程数达到可创建的最大线程数时,就关闭多余得不需要得线程,使得线程不会频繁地创建和销毁,不会堆积过多的线程造成内存的冗余,从而提升档案管理系统的性能。
进一步地,对所述档案管理系统的日志进程进行监控则是属于对日志缓存调整的一种,为了日志缓存有空间容纳不断加进来的日志数据,改进日志缓存的性能。具体来讲,对档案管理系统的日志进程进行监控,是对日志的缓存量进行监控,一旦日志的缓存量过大,就进行分片处理,数据分片处理就是按照一定的规则,将数据集划分成相互独立、正交的数据子集,然后将数据子集分布到不同的节点上,数据分片需要按照一定的规则,不同的分布式应用有不同的规则,但都遵循同样的原则:按照最主要、最频繁使用的访问方式来分片。通过对日志进程进行监控,并根据监控的日志缓存情况进行及时分片,可以避免缓存过大,日志无限制加载。
进一步地,扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整,具体来讲,增加档案管理系统的日志容量就是通过增加日志缓冲区的方式,增加缓冲区的作用就是减少文件真实写入磁盘的次数,具体来讲,一般将文件写入的方式是每执行一次写入操作就把此次需要写入的数据写入磁盘介质中,当增加缓冲区后,则是把要写入的数据先写入内存中,当缓冲区内存量达到一定程度才写入磁盘,因此,在增加缓冲区后,对文件进行写入操作,写入的信息并不会每次写入都是存储介质中,而是在缓冲区进行暂存,缓冲区的添加使得档案管理系统的性能得到了提升。此外,对所述日志的写入机制进行调整,则是在档案管理系统的日志写入中引入锁竞争。
进一步地,所述档案管理系统的日志写入中引入锁竞争,由于档案管理系统的日志通常会面临高并发的场景,也就是意味着日志写入需要多线程进行,而档案管理系统的资源是有限的,也就意味着,当同时有多个日志线程需要写入时,会由于日志写入的先后顺序问题,导致日志写入无序,从而使得档案管理系统的信息出现错误。因此在此引入锁竞争的机制,当多个日志线程需要写入时,就触发锁竞争机制,锁竞争首先对多个需要写入日志的线程进行判断,确定一个线程成功获取锁,随后进入锁表状态,在锁表状态下,只能由获取锁的线程进行操作,完成日志写入,而未成功获取锁的线程则不能对相应资源进行操作,不能进行日志写入。
进一步地,当成功获取锁的线程完成了日志写入后,就会退出操作,在之前被锁的表将被释放,从而由未成功获取锁的线程占用相应的资源,进行日志的写入。
图2为本申请实施例提供的线程锁竞争日志写入步骤示意图。
请参见图2,步骤201:当不同的线程同时需要日志写入时,触发锁竞争。
步骤202:在所述不同的线程中进行判断,确定成功获取锁的线程并锁表,并由所述成功获取锁的线程进行日志写入。
步骤203:由所述成功获取锁的线程完成日志写入后释放锁表,并由未成功获取锁的线程进行后续日志写入。
在一个优选的实施例中,两个线程分别为线程A和线程B,两个线程都需要完成日志的写入,并且这个日志的写入的需求是同时生成的,线程A和线程B都需要在资源甲和资源乙中写入日志,则此时触发锁竞争,由线程A成功获取资源甲的锁,线程B未能获取资源甲的锁,而线程B成功获取资源乙的锁,线程A未能成功获取资源乙的锁。则此时,资源甲锁表,由线程A进行日志写入,同时,资源乙锁表,由线程B进行日志写入。当线程A完成在资源甲的日志写入后,资源甲释放锁表,当线程B完成在资源乙的日志写入后,资源乙释放锁表,此时,线程B可以使用资源甲,进一步完成日志写入,而线程A则可以使用资源乙,进一步完成日志写入。
进一步的,使用慢查询对所述档案管理系统的日志进行查询。慢查询机制可以去定位执行效率较低的结构化查询语言的语句,记录下查询超过指定时间的语句,可以有效地找出执行效率低的语句,并针对性解决档案管理系统性能因此而降低的问题。由于在查询的过程中,对执行效率较低的语句进行记录,也是需要占用一定内存空间资源的,因此在查询过程中,并不会在查询到相应语句后立即记录,而是在所有查询都结束后,才进行记录,这样可以避免占用过多内存空间资源,进一步提升档案管理系统的性能。此外,在数据处理的过程中,通常会使用临时表来存放数据,临时表是一个临时的表,数据库不会将其序列化到磁盘上,而是存在于数据库服务器的内存中,因此会增加数据库服务器内存的消耗,在使用完之后就会销毁。由于临时表的建立会增加数据库服务器内存的消耗,因此会降低所述档案管理系统的性能。使用表变量,就可以避免大量临时表的建立,从而避免数据库服务器内存的大量消耗。
图3为本申请实施例提供的档案管理系统配置系统整体示意图。
请参见图3,档案管理系统配置系统300包括峰值性能优化模块301、线程创建管控模块302、日志进程监控模块303、日志调整模块304、查询模块305。
峰值性能优化模块301:用于对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整。
在峰值性能优化模块301中,对档案管理系统的峰值性能进行测试,目的在于进行高压测试,也就是对档案管理系统应对超大数据量时的性能进行测试,调试到档案管理系统最大所能承载的数据量,测试在最大数据量下档案管理系统的性能情况,并根据所反映出的性能情况对系统参数进行调整,使得当在最大数据量下,档案管理系统能够表现出最佳性能,防止因数据量过大使得档案管理系统的性能明显降低。
线程创建管控模块302:用于调整所述档案管理系统的参数配置,以对线程的创建进行限制。
在线程创建管控模块302中,对档案管理系统的参数配置进行调整,对部分属性的值进行设定,从而实现对线程创建的限制。
日志进程监控模块303:用于对所述档案管理系统的日志进程进行监控。
在日志进程监控模块303中,监控日志在工作中的数据变化。
日志调整模块304:用于扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整。
在日志调整模块304中,对档案管理系统的日志容量进行扩大以及对日志的写入机制进行调整,最后再对档案管理系统的查询机制进行调整。
查询模块305:用于使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
在查询模块305中,首先是引入慢查询机制进行档案管理系统的日志查询,其次,则是对临时保存数据的方法进行调整,使用表变量来保存数据。
进一步地,线程创建管控模块302调整档案管理系统的配置参数,主要是调整最大备用线程数和最大线程数,最大备用线程数即maxSpareThreads,一旦创建的线程数超过这个值,就会关闭不需要的线程。最大线程数即maxThreads,是可创建的最大线程数,每一个线程处理一个请求。调整餐参数配置时,将最大备用线程数和最大线程数设定为一致,使得当创建的线程数达到可创建的最大线程数时,就关闭多余得不需要得线程,使得线程不会频繁地创建和销毁,不会堆积过多的线程造成内存的冗余,从而提升档案管理系统的性能。
进一步地,日志进程监控模块303对所述档案管理系统的日志进程进行监控则是属于对日志缓存调整的一种,为了日志缓存有空间容纳不断加进来的日志数据,改进日志缓存的性能。具体来讲,对档案管理系统的日志进程进行监控,是对日志的缓存量进行监控,一旦日志的缓存量过大,就进行分片处理,数据分片处理就是按照一定的规则,将数据集划分成相互独立、正交的数据子集,然后将数据子集分布到不同的节点上,数据分片需要按照一定的规则,不同的分布式应用有不同的规则,但都遵循同样的原则:按照最主要、最频繁使用的访问方式来分片。通过对日志进程进行监控,并根据监控的日志缓存情况进行及时分片,可以避免缓存过大,日志无限制加载。
进一步地,日志调整模块304扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整,具体来讲,增加档案管理系统的日志容量就是通过增加日志缓冲区的方式,增加缓冲区的作用就是减少文件真实写入磁盘的次数,具体来讲,一般将文件写入的方式是每执行一次写入操作就把此次需要写入的数据写入磁盘介质中,当增加缓冲区后,则是把要写入的数据先写入内存中,当缓冲区内存量达到一定程度才写入磁盘,因此,在增加缓冲区后,对文件进行写入操作,写入的信息并不会每次写入都是存储介质中,而是在缓冲区进行暂存,缓冲区的添加使得档案管理系统的性能得到了提升。此外,对所述日志的写入机制进行调整,则是在档案管理系统的日志写入中引入锁竞争。
进一步地,所述日志调整模块304在档案管理系统的日志写入中引入锁竞争,由于档案管理系统的日志通常会面临高并发的场景,也就是意味着日志写入需要多线程进行,而档案管理系统的资源是有限的,也就意味着,当同时有多个日志线程需要写入时,会由于日志写入的先后顺序问题,导致日志写入无序,从而使得档案管理系统的信息出现错误。因此在此引入锁竞争的机制,当多个日志线程需要写入时,就触发锁竞争机制,锁竞争首先对多个需要写入日志的线程进行判断,确定一个线程成功获取锁,随后进入锁表状态,在锁表状态下,只能由获取锁的线程进行操作,完成日志写入,而未成功获取锁的线程则不能对相应资源进行操作,不能进行日志写入。
进一步地,当成功获取锁的线程完成了日志写入后,就会退出操作,在之前被锁的表将被释放,从而由未成功获取锁的线程占用相应的资源,进行日志的写入。
进一步的,查询模块305使用慢查询对所述档案管理系统的日志进行查询。慢查询机制可以去定位执行效率较低的结构化查询语言的语句,记录下查询超过指定时间的语句,可以有效地找出执行效率低的语句,并针对性解决档案管理系统性能因此而降低的问题。由于在查询的过程中,对执行效率较低的语句进行记录,也是需要占用一定内存空间资源的,因此在查询过程中,并不会在查询到相应语句后立即记录,而是在所有查询都结束后,才进行记录,这样可以避免占用过多内存空间资源,进一步提升档案管理系统的性能。此外,在数据处理的过程中,通常会使用临时表来存放数据,临时表是一个临时的表,数据库不会将其序列化到磁盘上,而是存在于数据库服务器的内存中,因此会增加数据库服务器内存的消耗,在使用完之后就会销毁。由于临时表的建立会增加数据库服务器内存的消耗,因此会降低所述档案管理系统的性能。使用表变量,就可以避免大量临时表的建立,从而避免数据库服务器内存的大量消耗。
请参见图4,图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400,包括:处理器401和存储器402,存储器402存储有处理器401可执行的机器可读指令,机器可读指令被处理器401执行时执行如上的方法。
例如,本申请实施例的处理器401通过通信总线从存储器402读取计算机程序并执行该计算机程序可以实现如下方法:一种数据管理方法。在一些示例中,处理器401还可以对配置项进行更新,也就是说,可以执行如下步骤:接收输入的日志数据,将所述日志数据存储至高速率存取模块,并在存储所述日志数据时标记存储时间;判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值,若大于,则将所述日志数据迁移存储至普通速率存取模块;以及对已存储的已有日志数据进行查询,其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
处理器401可以是一种集成电路芯片,具有信号处理能力。上述处理器401可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
可以理解,图4所示的结构仅为示意,电子设备400还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中,电子设备400可以是,但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备,还可以是虚拟机等虚拟设备。另外,电子设备400也不一定是单台设备,还可以是多台设备的组合,例如服务器集群,等等。于本申请实施例中,一种拍摄车辆的方法中的服务器可以采用图4示出的电子设备400实现。
本申请实施例还提供一种计算机可读存储介质,包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述实施例中一种数据管理方法的步骤,例如包括:接收输入的日志数据,将所述日志数据存储至高速率存取模块,并在存储所述日志数据时标记存储时间;判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值,若大于,则将所述日志数据迁移存储至普通速率存取模块;以及对已存储的已有日志数据进行查询,其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
在本申请所提供的实施例中,应该理解到,所公开的系统和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种档案管理系统配置方法,其特征在于,所述档案管理系统运行于多线程运行模式下,所述方法包括:
对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整;
调整所述档案管理系统的参数配置,以对线程的创建进行限制;
对所述档案管理系统的日志进程进行监控;
扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整;以及
使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
2.根据权利要求1所述的方法,其特征在于,所述调整所述档案管理系统的参数配置,以对线程的创建进行限制,包括:
将所述档案管理系统的最大备用线程数和最大线程数配置为相同。
3.根据权利要求1所述的方法,其特征在于,所述对所述档案管理系统的日志进程进行监控,包括:
对所述日志的缓存量进行监控,并判断所述日志的缓存量是否超过阈值;若是,则对所述日志的数据库进行分片操作。
4.根据权利要求1所述的方法,其特征在于,所述扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整,包括:
增加日志缓冲区,扩大所述档案管理系统的日志容量;以及
在所述档案管理系统的日志写入中引入锁竞争。
5.根据权利要求4所述的方法,其特征在于,所述在所述档案管理系统的日志写入中引入锁竞争,包括:
当不同的线程同时需要日志写入时,触发锁竞争;
在所述不同的线程中进行判断,确定成功获取锁的线程并锁表,并由所述成功获取锁的线程进行日志写入。
6.根据权利要求5所述的方法,其特征在于,所述在所述档案管理系统的日志写入中引入锁竞争,还包括:
由所述成功获取锁的线程完成日志写入后释放锁表,并由未成功获取锁的线程进行后续日志写入。
7.根据权利要求1所述的方法,其特征在于,所述使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据,包括:
通过慢查询方式查询结构化查询语言的语句,并在所述查询结束后才对查询结果进行记录;
使用表变量替代数据查询的临时表作为数据查询的中间环节,保存临时数据。
8.一种档案管理管理系统配置系统,其特征在于,所述档案管理系统应用于多线程运行模式下的档案管理系统,所述配置系统包括:
峰值性能优化模块,用于对所述档案管理系统的峰值性能进行测试,并根据测试结果对所述档案管理系统的系统参数进行调整;
线程创建管控模块,用于调整所述档案管理系统的参数配置,以对线程的创建进行限制;
日志进程监控模块,用于对所述档案管理系统的日志进程进行监控;
日志调整模块,用于扩大所述档案管理系统的日志容量,并对所述日志的写入机制进行调整;以及
查询模块,用于使用慢查询对所述档案管理系统的日志进行查询,并使用表变量保存临时数据。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线;
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令被计算机运行时,使所述计算机执行如权利要求1-7任一项所述的方法。
CN202111598971.7A 2021-12-24 2021-12-24 档案管理系统配置方法、系统、电子设备以及存储介质 Pending CN114265637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111598971.7A CN114265637A (zh) 2021-12-24 2021-12-24 档案管理系统配置方法、系统、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111598971.7A CN114265637A (zh) 2021-12-24 2021-12-24 档案管理系统配置方法、系统、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114265637A true CN114265637A (zh) 2022-04-01

Family

ID=80829739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111598971.7A Pending CN114265637A (zh) 2021-12-24 2021-12-24 档案管理系统配置方法、系统、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114265637A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383165A (zh) * 2023-06-03 2023-07-04 浙江档安科技有限公司 一种适应性写入的档案保存方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324492B1 (en) * 1998-01-20 2001-11-27 Microsoft Corporation Server stress testing using multiple concurrent client simulation
US20030061394A1 (en) * 2001-09-21 2003-03-27 Buch Deep K. High performance synchronization of accesses by threads to shared resources
US7065676B1 (en) * 2002-12-27 2006-06-20 Unisys Corporation Multi-threaded memory management test system with feedback to adjust input parameters in response to performance
US20070124545A1 (en) * 2005-11-29 2007-05-31 Anton Blanchard Automatic yielding on lock contention for multi-threaded processors
CN101286888A (zh) * 2008-05-21 2008-10-15 天柏宽带网络科技(北京)有限公司 一种日志系统的运行方法
CN103888279A (zh) * 2012-12-20 2014-06-25 阿里巴巴集团控股有限公司 基于反馈控制循环的资源池动态管理的方法和系统
CN109582521A (zh) * 2018-12-10 2019-04-05 浪潮(北京)电子信息产业有限公司 测试存储系统读写性能的方法、装置、设备及介质
CN109684228A (zh) * 2019-01-07 2019-04-26 武汉斗鱼鱼乐网络科技有限公司 一种性能测试方法、装置、系统和存储介质
CN109840142A (zh) * 2018-12-15 2019-06-04 平安科技(深圳)有限公司 基于云监控的线程控制方法、装置、电子设备及存储介质
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置
CN111045782A (zh) * 2019-11-20 2020-04-21 北京奇艺世纪科技有限公司 日志处理方法、装置、电子设备和计算机可读存储介质
CN111143143A (zh) * 2019-12-26 2020-05-12 北京神州绿盟信息安全科技股份有限公司 一种性能测试方法及装置
CN111464331A (zh) * 2020-03-03 2020-07-28 深圳市计通智能技术有限公司 一种线程创建的控制方法、系统及终端设备
CN111522668A (zh) * 2020-04-29 2020-08-11 青岛海尔科技有限公司 用于资源配置的方法和装置及计算机可读存储介质
US20200264897A1 (en) * 2019-02-14 2020-08-20 Charter Communications Operating, Llc Network virtual infrastructure deployment and management

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324492B1 (en) * 1998-01-20 2001-11-27 Microsoft Corporation Server stress testing using multiple concurrent client simulation
US20030061394A1 (en) * 2001-09-21 2003-03-27 Buch Deep K. High performance synchronization of accesses by threads to shared resources
US7065676B1 (en) * 2002-12-27 2006-06-20 Unisys Corporation Multi-threaded memory management test system with feedback to adjust input parameters in response to performance
US20070124545A1 (en) * 2005-11-29 2007-05-31 Anton Blanchard Automatic yielding on lock contention for multi-threaded processors
CN101286888A (zh) * 2008-05-21 2008-10-15 天柏宽带网络科技(北京)有限公司 一种日志系统的运行方法
CN103888279A (zh) * 2012-12-20 2014-06-25 阿里巴巴集团控股有限公司 基于反馈控制循环的资源池动态管理的方法和系统
CN109582521A (zh) * 2018-12-10 2019-04-05 浪潮(北京)电子信息产业有限公司 测试存储系统读写性能的方法、装置、设备及介质
CN109840142A (zh) * 2018-12-15 2019-06-04 平安科技(深圳)有限公司 基于云监控的线程控制方法、装置、电子设备及存储介质
CN109684228A (zh) * 2019-01-07 2019-04-26 武汉斗鱼鱼乐网络科技有限公司 一种性能测试方法、装置、系统和存储介质
US20200264897A1 (en) * 2019-02-14 2020-08-20 Charter Communications Operating, Llc Network virtual infrastructure deployment and management
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置
CN111045782A (zh) * 2019-11-20 2020-04-21 北京奇艺世纪科技有限公司 日志处理方法、装置、电子设备和计算机可读存储介质
CN111143143A (zh) * 2019-12-26 2020-05-12 北京神州绿盟信息安全科技股份有限公司 一种性能测试方法及装置
CN111464331A (zh) * 2020-03-03 2020-07-28 深圳市计通智能技术有限公司 一种线程创建的控制方法、系统及终端设备
CN111522668A (zh) * 2020-04-29 2020-08-11 青岛海尔科技有限公司 用于资源配置的方法和装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383165A (zh) * 2023-06-03 2023-07-04 浙江档安科技有限公司 一种适应性写入的档案保存方法
CN116383165B (zh) * 2023-06-03 2023-08-11 浙江档安科技有限公司 一种适应性写入的档案保存方法

Similar Documents

Publication Publication Date Title
US10474471B2 (en) Methods and systems for performing a replay execution
US8429134B2 (en) Distributed database recovery
US5555392A (en) Method and apparatus for a line based non-blocking data cache
US9274798B2 (en) Multi-threaded logging
US20200349113A1 (en) File storage method, deletion method, server and storage medium
CN108459913B (zh) 数据并行处理方法、装置及服务器
US20210318987A1 (en) Metadata table resizing mechanism for increasing system performance
CN111538463A (zh) 一种实现内存数据库持久化的方法
CN107025130B (zh) 处理节点、计算机系统及事务冲突检测方法
CN111414392A (zh) 高速缓存异步刷新方法、系统及计算机可读存储介质
CN115408411A (zh) 数据写入方法、装置、电子设备及存储介质
US6738796B1 (en) Optimization of memory requirements for multi-threaded operating systems
CN114265637A (zh) 档案管理系统配置方法、系统、电子设备以及存储介质
CN113010533B (zh) 基于加锁限制的数据库访问方法、系统、终端及存储介质
CN111857600B (zh) 一种数据读写方法及装置
US7523088B2 (en) Method for increasing system resource availability in database management systems
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
US11868620B2 (en) Read-write method and apparatus, electronic device, and readable memory medium
WO2020140623A1 (zh) 电子装置、元数据处理方法和计算机可读存储介质
CN115599532A (zh) 一种访问索引的方法以及计算机集群
CN114207602A (zh) 使用概率数据结构减少请求
CN112783835A (zh) 索引管理方法、装置及电子设备
CN108694209B (zh) 基于对象的分布式索引方法和客户端
US7447875B1 (en) Method and system for management of global queues utilizing a locked state
KR20190096837A (ko) 충돌 페이지 리스트를 이용한 병렬 저널링 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination