CN111090627A - 基于池化的日志存储方法、装置、计算机设备及存储介质 - Google Patents

基于池化的日志存储方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111090627A
CN111090627A CN201911274582.1A CN201911274582A CN111090627A CN 111090627 A CN111090627 A CN 111090627A CN 201911274582 A CN201911274582 A CN 201911274582A CN 111090627 A CN111090627 A CN 111090627A
Authority
CN
China
Prior art keywords
preset
memory
storage
storage area
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911274582.1A
Other languages
English (en)
Other versions
CN111090627B (zh
Inventor
孙朝和
申志彬
李如先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN201911274582.1A priority Critical patent/CN111090627B/zh
Publication of CN111090627A publication Critical patent/CN111090627A/zh
Application granted granted Critical
Publication of CN111090627B publication Critical patent/CN111090627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种基于池化的日志存储方法、装置、计算机设备及存储介质。所述方法包括：若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；将所述满载的存储区清空并回收到所述内存池中。

Description

基于池化的日志存储方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于池化的日志存储方法、装置、计算机设备及存储介质。
背景技术
在现有的基于Java开发的任务调度系统中，任务的执行日志管理是重要的模块，任务调度系统一般由以下模块组成：调度模块，用于调度任务，下发任务；执行模块，主要用于执行任务；管理模块，用于提供可视化界面供用户使用；日志模块，用于任务日志收集，提供日志给用户查看。
日志模块负责日志的管理，包括日志的收集、存储以及提供服务日志的接口，现有的日志采集方式是这样的，任务会在每个执行器上运行，执行器会定期将日志数据发送到日志收集服务上，日志收集服务会收集来自各个执行器的日志数据，进行存储，然后提供接口给管理模块去调用查询数据。当执行器数据量比较多，并且执行的任务很多时候，日志收集服务会不停地接收到执行器发送来的数据，为了提高日志数据写入的响应速度，采用先将数据封装好写入内存中，当内存的使用率达到一定程度之后就会将内存中的数据写入到数据库中，这样的方式能够充分利用内存的写入速度的特性来提高系统的响应速度，但是这样的方式存在一个问题，就是当数据写入磁盘或者发送出去之后，内存中用于封装数据的对象就会变成内存垃圾，等到JVM的回收，对象的反复创建和丢弃，会导致JVM会不停进行垃圾回收，垃圾回收会导致系统的停顿，导致系统无法正常地响应请求，造成整个系统的性能问题，需要一种新的机制来解决这个问题。
发明内容
本发明实施例提供了一种基于池化的日志存储方法、装置、计算机设备及存储介质，旨在解决内存中用于封装日志数据的对象变成内存垃圾被JVM回收，导致系统停顿，无法正常地响应请求，影响整个系统的性能的问题。
第一方面，本发明实施例提供了一种基于池化的日志存储方法，其包括：若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；将所述满载的存储区清空并回收到所述内存池中。
第二方面，本发明实施例还提供了一种基于池化的日志存储装置，其包括：第一判断单元，用于若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；第二判断单元，用于若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；第一写入单元，用于若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；第二写入单元，用于若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；回收单元，用于将所述满载的存储区清空并回收到所述内存池中。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种基于池化的日志存储方法、装置、计算机设备及存储介质。其中，所述方法包括：若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；将所述满载的存储区清空并回收到所述内存池中。本发明实施例由于通过在内存中设置内存池，内存池中设立有多个存储区，在内存满足第一预设存储条件的情况下，从内存池中获取满足第二预设存储条件的存储区写入日志数据，在内存不满足第一预设存储条件的情况下，将内存池中满载的存储区写入到数据库中，再清空满载的存储区并回收到内存池中，从而满足日志的存储，可减少JVM的回收次数，以此获得稳定的系统性能。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于池化的日志存储方法的应用场景示意图；
图2为本发明实施例提供的基于池化的日志存储方法的流程示意图；
图3为本发明实施例提供的基于池化的日志存储方法的子流程示意图；
图4为本发明实施例提供的基于池化的日志存储方法的子流程示意图；
图5为本发明另一实施例提供的基于池化的日志存储方法的流程示意图；
图6为本发明另一实施例提供的基于池化的日志存储方法的流程示意图；
图7为本发明实施例提供的基于池化的日志存储装置的示意性框图；
图8为本发明实施例提供的基于池化的日志存储装置的具体单元的示意性框图；
图9为本发明实施例提供的基于池化的日志存储装置的第二判断单元的示意性框图；
图10为本发明另一实施例提供的基于池化的日志存储装置的示意性框图；
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于池化的日志存储方法的应用场景示意图。图2为本发明实施例提供的基于池化的日志存储方法的示意性流程图。该基于池化的日志存储方法应用与终端10中，通过终端10与服务器20之间的交互实现。
图2是本发明实施例提供的基于池化的日志存储方法的流程示意图。如图所示，该方法包括以下步骤S110-S150。
S110、若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据。
在一实施例中，日志模块是任务调度系统中用于处理日志数据的模块。日志模块主要是收集来自各个执行器的日志数据，进行存储，然后提供接口给任务调度系统的管理模块去调用查询数据。当日志模块接收到执行器发送过来的日志时，采用内存的方式进行存储，在存储之前首先判断内存是否满足第一预设存储条件，也即判断目前内存的容量是否足够满足日志的存储，在满足第一预设存储条件的情况下，再利用内存进行存储。
在一实施例中，如图3所示，所述步骤S110可包括步骤S111-S113。
S111、判断内存的已存储量是否超过预设阈值。
S112、若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件。
S113若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
在一实施例中，内存的已存储量指的是整个内存中所有数据的占用内存空间的存储量，通过内存的已存储量与预设阈值进行对比，若内存的已存储量没有超过预设阈值，说明内存还剩余由足够的容量实现日志的存储；若内存的已存储量没有超过预设阈值，说明内存的剩余容量已不能满足日志的存储。其中，预设阈值为100Mb，当然可以理解的是，还可以是其他任意的数值，在此不作限定。
S120、若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区。
在一实施例中，在内存中创建用于管理存储区的内存池，内存池中包含有多个存储区，每个存储区都有对应的容量用于存储日志数据。本实施例中的存储区即DataCache，在内存满足第一预设存储条件的情况下，从内存池获取一存储区进行判断是否满足第二预设存储条件，也即判断该存储区的剩余容量是否满足存储新的日志。
在一实施例中，如图4所示，所述步骤S120可包括步骤S121-S123。
S121、将所述数据长度与预设的内存池中的存储区的剩余容量进行对比。
S122、若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
S123、若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
在一实施例中，日志包括数据长度和日志数据，存储区中会有4个字节的内存空间来存储数据长度，其余用于存储日志数据本身。判断存储区是否满足第二预设存储条件，即判断该存储区的剩余容量是否满足存储新的日志，具体通过日志数据的数据长度与存储区的剩余容量进行比对，如果数据长度大于剩余容量，说明存储区无法存储新的日志，不满足第二预设存储条件；如果数据长度不大于剩余容量，说明存储区可存储新的日志，满足第二预设存储条件。
在一实施例中，如图5所示，所述步骤S123之后还包括步骤S124。
S124、创建新的存储区以满足第二预设存储条件。
在一实施例中，如果内存池中的所有存储区都已经满载，均无法满足第二预设存储条件，那么则在内存池中再创建一个新的存储区，由此，新创建的存储区即可满足第二预设存储条件，用于存储新的日志数据。
S130、若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区。
在一实施例中，在存储区满足第二预设存储条件后，从内存池中获取该存储区，将日志数据写入到该存储区，由此，实现了日志在内存中的存储，减少了对象的创建次数，从而减少JVM回收的次数，以提高系统的性能。
S140、若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中。
在一实施例中，在判断得出内存不满足第一预设存储条件时，也即内存的剩余容量不够存储新的日志时，将内存池中的满载的存储区中的日志数据写入到数据库中，以为内存腾出更多的存储空间，实现日志在内存中的存储。其中，满载的存储区指的是存储区的容量已经使用完，无法再存储新的日志数据。由此，在内存用尽的情况下，释放存储区写入数据库，从而满足第一预设存储条件，以进行日志在内存中的存储。
S150、将所述满载的存储区清空并回收到所述内存池中。
在一实施例中，JVM(JavaVirtual Machine)是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。垃圾回收(Garbage Collection，GC)，是JVM中的一种机制，其用于释放垃圾占用的空间，防止内存泄露。有效的使用可以使用的内存，对内存堆中已经死亡的或者长时间没有使用的对象进行清除和回收。为了避免垃圾回收机制由于对象的反复创建和丢弃，导致不停进行垃圾回收，满载的存储区中的数据在写入数据库后，清空该满载的存储区，再将清空后的存储区回收到内存池中，由此存储区不会被垃圾回收机制清理掉，减少垃圾回收的次数，提高系统的性能。
在一实施例中，如图6所示，所述步骤S110之前还包括步骤S101-S103。
S101、判断所述日志存储请求的优先级，其中，所述优先级包括高级和低级。
S102、若所述日志存储请求的优先级为高级，则执行所述判断内存是否满足第一预设存储条件的步骤。
S103、若所述日志存储请求的优先级为低级，直接将所述日志写入到数据库中。
在一实施例中，不同的应用场景，有不同的数据需求，例如，在实时场景中，日志的存储和查询需求大，而非实时场景中则相反。为了提高系统的响应速度，以及减少资源的损耗，可利用日志存储的优先级来进行改进。其中，优先级包括高级和低级，高级适用于实时场景，低级适用于非实时场景。具体地，在日志存储请求为高级时，将日志数据写入到内存中；在日志存储请求为低级时，将日志数据直接写入到数据库。减少内存的消耗空间，提高内存的使用效率。
图7是本发明实施例提供的一种基于池化的日志存储装置200的示意性框图。如图7所示，对应于以上基于池化的日志存储方法，本发明还提供一种基于池化的日志存储装置200。该基于池化的日志存储装置200包括用于执行上述基于池化的日志存储方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图7，该基于池化的日志存储装置200包括第一判断单元210、第二判断单元220、第一写入单元230、第二写入单元240以及回收单元250。
第一判断单元210，用于若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据。
在一实施例中，如图8所示，所述第一判断单元210包括第一判断子单元211、第一判定子单元212以及第二判定子单元213。
第一判断子单元211，用于判断内存的已存储量是否超过预设阈值。
第一判定子单元212，用于若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件。
第二判定子单元213，用于若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
第二判断单元220，用于若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区。
在一实施例中，如图8所示，所述第二判断单元220包括对比单元221、第三判定子单元222以及第四判定子单元223。
对比单元221，用于将所述数据长度与预设的内存池中的存储区的剩余容量进行对比。
第三判定子单元222，用于若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
第四判定子单元223，用于若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
在一实施例中，如图9所示，所述第二判断单元220还包括创建单元224。
创建单元224，用于创建新的存储区以满足第二预设存储条件。
第一写入单元230，用于若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区。
第二写入单元240，用于若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中。
回收单元250，用于将所述满载的存储区清空并回收到所述内存池中。
在一实施例中，如图10所示，所述基于池化的日志存储装置还包括第三判断单元201、执行单元202以及第三写入单元203。
第三判断单元201，用于判断所述日志存储请求的优先级，其中，所述优先级包括高级和低级。
执行单元202，用于若所述日志存储请求的优先级为高级，则执行所述判断内存是否满足第一预设存储条件的步骤。
第三写入单元203，用于若所述日志存储请求的优先级为低级，直接将所述日志写入到数据库中。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于池化的日志存储装置200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于池化的日志存储装置可以实现为一种计算机程序的形式，该计算机程序可以在如图11所示的计算机设备上运行。
请参阅图11，图11是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。
参阅图11，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于池化的日志存储方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于池化的日志存储方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；将所述满载的存储区清空并回收到所述内存池中。
在一实施例中，处理器502在实现所述判断内存是否满足第一预设存储条件步骤时，具体实现如下步骤：判断内存的已存储量是否超过预设阈值；若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件；若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
在一实施例中，处理器502在实现所述判断预设的内存池中的存储区是否满足第二预设存储条件步骤时，具体实现如下步骤：将所述数据长度与预设的内存池中的存储区的剩余容量进行对比；若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件；若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
在一实施例中，处理器502在实现所述判定所述存储区不满足第二预设存储条件步骤之后，还实现如下步骤：创建新的存储区以满足第二预设存储条件。
在一实施例中，处理器502在实现所述判断内存是否满足第一预设存储条件步骤之前，还实现如下步骤：判断所述日志存储请求的优先级，其中，所述优先级包括高级和低级；若所述日志存储请求的优先级为高级，则执行所述判断内存是否满足第一预设存储条件的步骤；若所述日志存储请求的优先级为低级，直接将所述日志写入到数据库中。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；将所述满载的存储区清空并回收到所述内存池中。
在一实施例中，所述处理器在执行所述程序指令而实现所述判断内存是否满足第一预设存储条件步骤时，具体实现如下步骤：判断内存的已存储量是否超过预设阈值；若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件；若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
在一实施例中，所述处理器在执行所述程序指令而实现所述判断预设的内存池中的存储区是否满足第二预设存储条件步骤时，具体实现如下步骤：将所述数据长度与预设的内存池中的存储区的剩余容量进行对比；若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件；若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
在一实施例中，所述处理器在执行所述程序指令而实现所述判定所述存储区不满足第二预设存储条件步骤之后，还实现如下步骤：创建新的存储区以满足第二预设存储条件。
在一实施例中，所述处理器在执行所述程序指令而实现所述判断内存是否满足第一预设存储条件步骤之前，还实现如下步骤：判断所述日志存储请求的优先级，其中，所述优先级包括高级和低级；若所述日志存储请求的优先级为高级，则执行所述判断内存是否满足第一预设存储条件的步骤；若所述日志存储请求的优先级为低级，直接将所述日志写入到数据库中。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于池化的日志存储方法，其特征在于，包括：
若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；
若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；
若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；
若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；
将所述满载的存储区清空并回收到所述内存池中。
2.根据权利要求1所述的基于池化的日志存储方法，其特征在于，所述判断内存是否满足第一预设存储条件，包括：
判断内存的已存储量是否超过预设阈值；
若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件；
若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
3.根据权利要求1所述的基于池化的日志存储方法，其特征在于，所述判断预设的内存池中的存储区是否满足第二预设存储条件，包括：
将所述数据长度与预设的内存池中的存储区的剩余容量进行对比；
若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件；
若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
4.根据权利要求3所述的基于池化的日志存储方法，其特征在于，所述判定所述存储区不满足第二预设存储条件之后，还包括：
创建新的存储区以满足第二预设存储条件。
5.根据权利要求1所述的基于池化的日志存储方法，其特征在于，所述判断内存是否满足第一预设存储条件之前，还包括：
判断所述日志存储请求的优先级，其中，所述优先级包括高级和低级；
若所述日志存储请求的优先级为高级，则执行所述判断内存是否满足第一预设存储条件的步骤；
若所述日志存储请求的优先级为低级，直接将所述日志写入到数据库中。
6.一种基于池化的日志存储装置，其特征在于，包括：
第一判断单元，用于若接收到日志存储请求，则判断内存是否满足第一预设存储条件，其中，所述日志包括数据长度和日志数据；
第二判断单元，用于若所述内存满足第一预设存储条件，判断预设的内存池中的存储区是否满足第二预设存储条件，其中，所述内存池包括多个存储区；
第一写入单元，用于若预设的内存池中的存储区满足第二预设存储条件，则从所述内存池中获取满足所述第二预设存储条件的所述存储区，将所述日志数据写入所述满足所述第二预设存储条件的所述存储区；
第二写入单元，用于若所述内存不满足第一预设存储条件，则将预设的内存池中满载的存储区写入到数据库中；
回收单元，用于将所述满载的存储区清空并回收到所述内存池中。
7.根据权利要求6所述的基于池化的日志存储装置，其特征在于，所述第一判断单元包括：
第一判断子单元，用于判断内存的已存储量是否超过预设阈值；
第一判定子单元，用于若所述内存的已存储量未超过预设阈值，则判定所述内存满足第一预设存储条件；
第二判定子单元，用于若所述内存的已存储量超过预设阈值，则判定所述内存不满足第一预设存储条件。
8.根据权利要求6所述的基于池化的日志存储装置，其特征在于，所述第二判断单元包括：
对比单元，用于将所述数据长度与预设的内存池中的存储区的剩余容量进行对比；
第三判定子单元，用于若所述数据长度大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件；
第四判定子单元，用于若所述数据长度不大于预设的内存池中的存储区的剩余容量，则判定所述存储区不满足第二预设存储条件。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-5中任一项所述的方法。
CN201911274582.1A 2019-12-12 2019-12-12 基于池化的日志存储方法、装置、计算机设备及存储介质 Active CN111090627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911274582.1A CN111090627B (zh) 2019-12-12 2019-12-12 基于池化的日志存储方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911274582.1A CN111090627B (zh) 2019-12-12 2019-12-12 基于池化的日志存储方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111090627A true CN111090627A (zh) 2020-05-01
CN111090627B CN111090627B (zh) 2024-01-30

Family

ID=70396239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274582.1A Active CN111090627B (zh) 2019-12-12 2019-12-12 基于池化的日志存储方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111090627B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611285A (zh) * 2020-06-08 2020-09-01 杭州复杂美科技有限公司 交易缓存方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320348A (zh) * 2008-06-25 2008-12-10 中兴通讯股份有限公司 一种嵌入式系统的日志功能实现方法
CN103176888A (zh) * 2011-12-22 2013-06-26 阿里巴巴集团控股有限公司 一种日志记录的方法和系统
CN103309767A (zh) * 2012-03-08 2013-09-18 阿里巴巴集团控股有限公司 一种客户端日志处理方法和装置
CN110442530A (zh) * 2019-07-11 2019-11-12 福建天泉教育科技有限公司 优化内存数据处理的方法、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320348A (zh) * 2008-06-25 2008-12-10 中兴通讯股份有限公司 一种嵌入式系统的日志功能实现方法
CN103176888A (zh) * 2011-12-22 2013-06-26 阿里巴巴集团控股有限公司 一种日志记录的方法和系统
CN103309767A (zh) * 2012-03-08 2013-09-18 阿里巴巴集团控股有限公司 一种客户端日志处理方法和装置
CN110442530A (zh) * 2019-07-11 2019-11-12 福建天泉教育科技有限公司 优化内存数据处理的方法、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611285A (zh) * 2020-06-08 2020-09-01 杭州复杂美科技有限公司 交易缓存方法、设备和存储介质
CN111611285B (zh) * 2020-06-08 2023-04-07 杭州复杂美科技有限公司 交易缓存方法、设备和存储介质

Also Published As

Publication number Publication date
CN111090627B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US11106579B2 (en) System and method to manage and share managed runtime memory for java virtual machine
KR101955737B1 (ko) 강화된 어플리케이션 메타데이터를 갖는 메모리 매니저
US9946641B2 (en) Memory management model and interface for new applications
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
US7930507B2 (en) Method of providing to a processor an estimated completion time of a storage operation
KR101976221B1 (ko) 수정되지 않은 애플리케이션을 위한 메모리 관리 모델 및 인터페이스
CN110764906B (zh) 内存回收处理方法、装置、电子设备以及存储介质
US10884667B2 (en) Storage controller and IO request processing method
CN110471769B (zh) 一种虚拟机的资源管理方法及装置
US10552318B2 (en) Working set adjustment in a managed environment
CN111090627B (zh) 基于池化的日志存储方法、装置、计算机设备及存储介质
CN109426563B (zh) 一种进程管理方法及装置
CN111176848B (zh) 集群任务的处理方法、装置、设备和存储介质
CN112817692A (zh) 资源回收方法、装置、设备、介质和程序产品
CN114443276A (zh) 本地存储引擎io聚合方法、装置及存储介质
CN117492966A (zh) 基于安卓应用生命周期的资源调度动态管理方法及装置
CN117081908A (zh) 目标节点选择方法、装置、计算机设备及介质
CN111930735A (zh) 一种数据清理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant