CN116662269A - 监控数据的存储方法、装置、设备及存储介质 - Google Patents

监控数据的存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116662269A
CN116662269A CN202310718108.3A CN202310718108A CN116662269A CN 116662269 A CN116662269 A CN 116662269A CN 202310718108 A CN202310718108 A CN 202310718108A CN 116662269 A CN116662269 A CN 116662269A
Authority
CN
China
Prior art keywords
index
block
data
target
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310718108.3A
Other languages
English (en)
Inventor
武岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202310718108.3A priority Critical patent/CN116662269A/zh
Publication of CN116662269A publication Critical patent/CN116662269A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种监控数据的存储方法、装置、设备及存储介质，可用于金融领域或其他领域。该方法包括：获取对监控数据进行存储的时间维度；时间维度为小于预设时长的任一时间维度，确定与时间维度对应的数据块，以及，与数据块对应的索引块，数据块为待监控接口所对应业务的执行信息，索引块存储有用于对所述监控数据进行检索的信息，将数据块存储到环形数据库的数据文件，将索引块存储到所述环形数据库的索引文件，将存储有所述预设时长监控数据的环形数据库存档。本申请的方法通过将监控数据按照时间维度切分，并按照预设时长将环形数据库归档，可以限制环形数据库的容量上限，相比于容量没有上限的关系型数据库，可以提高检索效率。

Description

监控数据的存储方法、装置、设备及存储介质
技术领域
本申请涉及金融领域或其他领域，尤其涉及一种监控数据的存储方法、装置、设备及存储介质。
背景技术
在银行系统中存在多种应用系统，为了保障应用系统的安全运行，需要有完善的监控机制。
当前应用系统存在多种维度的监控平台，每天会产生海量的监控数据，如何高效、可靠地存储这些数据，是迫切需要解决的问题。现有的监控数据大多是存储在传统的关系型数据库中，当关系型数据库达到一定规模时，存储的内容逐渐增多，针对数据的检索效率较低。
如何对监控数据进行存储以实现较高的检索效率，为亟待解决的问题。
发明内容
本申请提供一种监控数据的存储方法、装置、设备及存储介质，用以解决采用关系型数据库对监控数据进行存储时，存在的检索效率较低的问题。
第一方面，本申请提供一种监控数据的存储方法，所述方法包括：
获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度；
确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息；
将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件；
将存储有所述预设时长监控数据的环形数据库存档。
可选的，将所述索引块存储到所述环形数据库的索引文件，包括：
获取所述索引文件的当前索引位置，将所述当前索引位置加1得到目标索引位置；
根据所述目标索引位置将所述索引块存储到所述索引文件。
可选的，将存储有所述预设时长监控数据的环形数据库存档之后，还包括：
获取检索条件；所述检索条件包括第一检索条件和第二检索条件；所述预设时长为一天；所述第一检索条件为目标日期；
基于所述目标日期确定目标环形数据库，基于所述第二检索条件确定所述目标环形数据库中的目标数据块；
获取所述目标数据块中的执行信息。
可选的，基于所述第二检索条件确定所述目标环形数据库中的目标数据块，包括：
针对每一所述索引位置对应的索引块，确定所述索引块是否为满足所述第二检索条件的目标索引块；
若是，则根据所述目标索引块确定所述目标数据块。
可选的，所述索引块包括时间戳；所述第二检索条件包括时间范围；所述目标索引块为时间戳满足所述时间范围的索引块。
可选的，当所述业务的类型为账务时，所述索引块包括账务金额；所述第二检索条件包括账务金额范围；所述目标索引块为所述账务金额满足所述账务金额范围的索引块。
可选的，所述索引块包括数据块偏移量和数据块长度；根据所述目标索引块确定所述目标数据块，包括：
获取所述目标索引块中的数据块偏移量和数据块长度；
根据所述数据块偏移量和所述数据块长度确定所述目标数据块。
第二方面，本申请提供一种监控数据的存储装置，所述装置包括：
获取模块，用于获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度；
第一确定模块，用于确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息；
存储模块，用于将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件；
存档模块，用于将存储有所述预设时长监控数据的环形数据库存档。
第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面的方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面的方法。
第五方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法。
本申请提供的监控数据的存储方法、装置、设备及存储介质，通过获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度，确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块，所述数据块为待监控接口所对应业务的执行信息，所述索引块存储有用于对所述监控数据进行检索的信息，将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件，将存储有所述预设时长监控数据的环形数据库存档，通过将监控数据按照时间维度切分，并按照预设时长将环形数据库归档，可以限制环形数据库的容量上限，相比于容量没有上限的关系型数据库，可以提高检索效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本发明实施例提供的一种监控数据的存储方法的应用场景图；
图2为本发明实施例提供的一种监控数据的存储方法的流程示意图；
图3为本发明实施例提供的一种对监控数据进行检索的流程示意图；
图4为本发明实施例提供的一种监控数据的存储装置的结构示意图；
图5为本发明实施例提供的一种电子设备的硬件结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，本申请的监控数据的存储方法可用于金融领域，也可用于金融领域之外的任意领域，本申请对监控数据的存储方法和装置的应用领域不做限定。
当通过监控机制对银行系统中的应用系统监控时，可以产生大量的监控数据，现有技术中通常都是基于关系型数据库对监控数据进行存储。而关系型数据库存在一定的限制，例如，需要将监控数据以BLOB类型存储，或者，直接存储原始数据，且当关系型数据库达到一定规模时，存储的内容较多，使得检索效率较低。
图1为本发明实施例提供的一种监控数据的存储方法的应用场景图，如图1所示，从监控数据的特点出发，使用环形数据库来存储监控数据。具体的，由于监控数据是在系统运行时连续产生的，因此，可以考虑基于一定的时间维度将监控数据进行切分得到一个个的数据块，所基于的时间维度可以根据用户的需求进行设置，由于将监控数据划分为数据块，且存储在环形数据库中，将预设时长的监控数据对应的环形数据库存档，可以实现存储的每一环形数据库的容量存在一个容量上限，从而可以提高检索效率。
本申请提供的监控数据的存储方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本发明实施例提供的一种监控数据的存储方法的流程示意图，所述方法包括：
步骤S201、获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度。
时间维度可以根据用户的需求进行设置，示例性的，当用户需要细粒度的获取监控数据时，则时间维度可以为1秒、1分钟等；当用户不需要细粒度的监控数据时，则时间维度可以为10分钟、1小时等。
预设时长可以为环形数据库存档的时长。示例性的，预设时长为1天，则将一天对应的监控数据存储在环形数据库后，将该环形数据库存档。其中，时间维度可以小于预设时长，如预设时长为一天，则时间维度可以为秒级、分钟级、小时级等维度。
步骤S202、确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息。
由于监控数据在系统运行期间连续产生，因此可以基于时间维度将监控数据进行切分，从而得到一个个的数据块。示例性的，针对一天的监控数据，当时间维度为1秒钟时，则可以得到86400个数据块，当时间维度为1分钟时，则可以得到1440个数据块。
当在确定数据块并确定数据块在环形数据库中的存储位置时，可以确定索引块，其中，索引块中用于存储与数据块相关的信息，如数据块在环形数据库中的存储位置信息，以及，数据块的某些特征信息，以基于上述信息检索数据块。
其中，索引块所占内存较小，可以实现较高的检索效率。示例性的，索引块大小约为40字节，当索引块为86400个时，则所有的索引块大小为3.5M，检索效率较高。
步骤S203、将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件。
当在获取数据块和索引块时，则可以将数据块存储在环形数据库的数据文件，具体的，可以按顺序在数据文件中依次存储各个数据块。并将索引块存储在环形数据库的索引文件，通过将索引块和数据块分开存储，可以在检索时，先基于索引文件获取目标索引块，再基于目标索引块获取目标数据块。避免在整个环形数据库中获取目标索引块，再在整个环形数据库中获取目标数据块，可以提高对数据块的检索效率。
可选的，将所述索引块存储到所述环形数据库的索引文件，包括：
获取所述索引文件的当前索引位置，将所述当前索引位置加1得到目标索引位置；
根据所述目标索引位置将所述索引块存储到所述索引文件。
当在将索引块进行存储时，可以先确定每一索引块对应的索引位置，具体的，可以获取当前索引位置，当前索引位置表示为上一索引块的存储位置，将当前索引位置加1即为下一索引块对应的索引位置，也就是目标索引位置，从而可以将下一索引块存储在索引文件中的目标索引位置。
示例性的，当索引文件中存储有3个索引块后，当需要存储第四个索引块时，可以确定当前索引位置为3，将当前索引位置加1即为第四个索引块的索引位置，可以实现对第四个索引块的存储。
通过确定索引位置可以实现将索引块有顺序的存储在索引文件中，避免出现索引块的存储位置混乱，可以提高后续对索引块的检索效率。
步骤S204、将存储有所述预设时长监控数据的环形数据库存档。
当在将预设时长的监控数据存储到环形数据库时，可以将环形数据库存档。当预设时长为一天时，则将一天的监控数据对应的环形数据库存档，当需要存储第二天的监控数据时，可以基于新的环形数据库来存储第二天监控数据，从而可以实现每一环形数据库的容量存在上限，如时间维度为秒时，则容量最大，为86400个数据块，即环形数据库的容量上限为该数值。
本申请提供的监控数据的存储方法、装置、设备及存储介质，通过获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度，确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块，所述数据块为待监控接口所对应业务的执行信息，所述索引块存储有用于对所述监控数据进行检索的信息，将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件，将存储有所述预设时长监控数据的环形数据库存档，通过将监控数据按照时间维度切分，并按照预设时长将环形数据库归档，可以限制环形数据库的容量上限，从而可以提高检索效率。
图3为本发明实施例提供的一种对监控数据进行检索的流程示意图，如图3所示，所述方法包括：
步骤S301、获取检索条件；所述检索条件包括第一检索条件和第二检索条件；所述预设时长为一天；所述第一检索条件为目标日期。
步骤S302、基于所述目标日期确定目标环形数据库，基于所述第二检索条件确定所述目标环形数据库中的目标数据块。
步骤S303、获取所述目标数据块中的执行信息。
当需要检索数据时，可以基于检索条件进行检索。若环形数据库在归档时是按天归档，则可以在归档时为每一环形数据库设置标签，标签可以为日期。当在检索时，可以先基于第一检索条件，也就是目标日期先筛选出目标环形数据库，当不设置第一检索条件时，可以对所有的环形数据库进行检索。
示例性的，若环形数据库是按天存储时，当用户的需求为：获取每天某一时段的监控数据，则可以不设置第一检索条件，即可获取所有的环形数据库中满足时段要求的数据。当用户的需求为：获取某一日期某一时段的监控数据，则需要设置第一检索条件，第一检索条件为目标日期，既可以获取该目标日期对应的环形数据库中满足时段要求的数据。
当基于第一检索条件确定目标环形数据库后，可以继续基于第二检索条件确定该目标环形数据库中的目标数据块，从而获取该目标数据块中的执行信息即可。
通过设置第一检索条件可以对环形数据库进行筛选，以满足用户不同的检索需求，提高用户的使用体验。
可选的，基于所述第二检索条件确定所述目标环形数据库中的目标数据块，包括：
针对每一所述索引位置对应的索引块，确定所述索引块是否为满足所述第二检索条件的目标索引块；
若是，则根据所述目标索引块确定所述目标数据块。
当在确定目标环形数据库后，可以基于第二检索条件获取目标数据块。具体的，可以先查询索引文件，索引文件中存储有每一数据块对应的索引块，索引块中存储有相应数据块的基本信息，基于该基本信息可以确定该数据块是否为满足第二检索条件的数据块。
其中，可以对索引块进行遍历，确定满足第二检索条件的目标索引块。具体的，可以对索引文件中的索引位置依次遍历，获取每一索引位置上的索引块，判断该索引位置上的索引块是否满足第二检索条件。具体的，可以判断索引块中的预设信息是否满足第二检索条件，当满足时，则表示该索引块为目标索引块。
当确定目标索引块后，可以基于索引块中的信息确定对应的目标数据块。
通过对索引文件中的索引块进行筛选，以得到满足第二检索条件的索引块，可以准确获取目标数据块。
可选的，所述索引块包括数据块偏移量和数据块长度；根据所述目标索引块确定所述目标数据块，包括：
获取所述目标索引块中的数据块偏移量和数据块长度；根据所述数据块偏移量和所述数据块长度确定所述目标数据块。
当在获取目标数据块时，可以基于目标索引块中的信息来确定。其中，在索引块中可以存储数据块偏移量和数据块长度，数据块偏移量表示该目标数据块在该环形数据库中的起始位置信息，数据块长度表示该目标数据块所占用的位置大小。基于数据块偏移量和数据块长度可以定位到目标数据块。
示例性的，在环形数据库中存储有数据块1、数据块2和数据块3，每一数据块都对应一个数据块偏移量和数据块长度，且每一数据块对应的数据块长度可以相同或不相同，具体取决于该数据块中数据的大小。
当监控数据按照十分钟级的维度划分数据块时，则每十分钟可以确定一个数据块，如数据块中存储有该时间段内业务的执行信息，如业务的调用次数。例如，针对9:00至9:10的时间段，调用次数为30，则将30作为该数据块中存储的执行信息；针对9:10至9:20的时间段，调用次数为100，则将100作为该数据块中存储的执行信息，由于调用次数不同，当在存储这两个数据块时，数据块长度有所不同。
通过索引块中存储的数据块偏移量和数据块长度，可以准确获取目标数据块，提高获取的目标数据块的准确度。
可选的，所述索引块包括时间戳；所述第二检索条件包括时间范围；所述目标索引块为时间戳满足所述时间范围的索引块。
其中，可以根据检索条件来确定采用的索引块中的哪一信息来确定目标索引块。当第二检索条件为时间范围时，则索引块中包含时间戳，时间戳是指该索引块对应的数据块中的执行信息对应的时间。示例性的，针对9:00至9:10的时间段对应的数据块，则索引块中的时间戳为9:00至9:10。当第二检索条件的时间范围也为9:00至9:10时，则确定该索引块即为目标索引块。
可选的，当所述业务的类型为账务时，所述索引块包括账务金额；所述第二检索条件包括账务金额范围；所述目标索引块为所述账务金额满足所述账务金额范围的索引块。
当待监控接口对应的业务类型为账务时，用户可能会基于金额信息来检索目标数据库。此时，当在确定目标索引块时，可以基于账务金额范围来确定。示例性的，针对转账业务，第二检索条件可以为账务金额范围，如大于1000元，当索引块中存储的账务金额为2000时，则表示该索引块为目标索引块。
通过在索引块中设置时间戳或账务金额，可以满足用户不同场景下不同的检索需求，以准确筛选出满足条件的目标数据块。
图4为本发明实施例提供的一种监控数据的存储装置40的结构示意图，所述装置40包括：
获取模块401，用于获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度；
第一确定模块402，用于确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息；
存储模块403，用于将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件；
存档模块404，用于将存储有所述预设时长监控数据的环形数据库存档。
可选的，所述存储模块403在将所述索引块存储到所述环形数据库的索引文件时，具体用于：
获取所述索引文件的当前索引位置，将所述当前索引位置加1得到目标索引位置；
根据所述目标索引位置将所述索引块存储到所述索引文件。
可选的，所述装置还包括：
获取模块，用于获取检索条件；所述检索条件包括第一检索条件和第二检索条件；所述预设时长为一天；所述第一检索条件为目标日期；
第二确定模块，用于基于所述目标日期确定目标环形数据库，基于所述第二检索条件确定所述目标环形数据库中的目标数据块；
执行信息获取模块，用于获取所述目标数据块中的执行信息。
可选的，所述第二确定模块在基于所述第二检索条件确定所述目标环形数据库中的目标数据块时，具体用于：
针对每一所述索引位置对应的索引块，确定所述索引块是否为满足所述第二检索条件的目标索引块；
若是，则根据所述目标索引块确定所述目标数据块。
可选的，所述索引块包括时间戳；所述第二检索条件包括时间范围；所述目标索引块为时间戳满足所述时间范围的索引块。
可选的，当所述业务的类型为账务时，所述索引块包括账务金额；所述第二检索条件包括账务金额范围；所述目标索引块为所述账务金额满足所述账务金额范围的索引块。
可选的，所述索引块包括数据块偏移量和数据块长度；所述第二确定模块在根据所述目标索引块确定所述目标数据块时，具体用于：
获取所述目标索引块中的数据块偏移量和数据块长度；
根据所述数据块偏移量和所述数据块长度确定所述目标数据块。
本发明实施例提供的监控数据的存储装置，可以实现上述如图2和图3所示的实施例的监控数据的存储方法，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例提供的一种电子设备的硬件结构示意图。如图5所示，本实施例提供的电子设备包括：至少一个处理器501和存储器502。其中，处理器501、存储器502通过总线503连接。
在具体实现过程中，至少一个处理器501执行存储器502存储的计算机执行指令，使得至少一个处理器501执行上述方法实施例中的方法。
处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现上述方法实施例的方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本申请还提供一种程序产品，该程序产品包括可执行指令，该可执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得监控数据的存储装置实施上述各种实施方式提供的监控数据的存储方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种监控数据的存储方法，其特征在于，所述方法包括：
获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度；
确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息；
将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件；
将存储有所述预设时长监控数据的环形数据库存档。
2.根据权利要求1所述的方法，其特征在于，将所述索引块存储到所述环形数据库的索引文件，包括：
获取所述索引文件的当前索引位置，将所述当前索引位置加1得到目标索引位置；
根据所述目标索引位置将所述索引块存储到所述索引文件。
3.根据权利要求2所述的方法，其特征在于，将存储有所述预设时长监控数据的环形数据库存档之后，还包括：
获取检索条件；所述检索条件包括第一检索条件和第二检索条件；所述预设时长为一天；所述第一检索条件为目标日期；
基于所述目标日期确定目标环形数据库，基于所述第二检索条件确定所述目标环形数据库中的目标数据块；
获取所述目标数据块中的执行信息。
4.根据权利要求3所述的方法，其特征在于，基于所述第二检索条件确定所述目标环形数据库中的目标数据块，包括：
针对每一所述索引位置对应的索引块，确定所述索引块是否为满足所述第二检索条件的目标索引块；
若是，则根据所述目标索引块确定所述目标数据块。
5.根据权利要求4所述的方法，其特征在于，所述索引块包括时间戳；所述第二检索条件包括时间范围；所述目标索引块为时间戳满足所述时间范围的索引块。
6.根据权利要求4所述的方法，其特征在于，当所述业务的类型为账务时，所述索引块包括账务金额；所述第二检索条件包括账务金额范围；所述目标索引块为所述账务金额满足所述账务金额范围的索引块。
7.根据权利要求4所述的方法，其特征在于，所述索引块包括数据块偏移量和数据块长度；根据所述目标索引块确定所述目标数据块，包括：
获取所述目标索引块中的数据块偏移量和数据块长度；
根据所述数据块偏移量和所述数据块长度确定所述目标数据块。
8.一种监控数据的存储装置，其特征在于，所述装置包括：
获取模块，用于获取对监控数据进行存储的时间维度；所述时间维度为小于预设时长的任一时间维度；
第一确定模块，用于确定与所述时间维度对应的数据块，以及，与所述数据块对应的索引块；所述数据块为待监控接口所对应业务的执行信息；所述索引块存储有用于对所述监控数据进行检索的信息；
存储模块，用于将所述数据块存储到环形数据库的数据文件，将所述索引块存储到所述环形数据库的索引文件；
存档模块，用于将存储有所述预设时长监控数据的环形数据库存档。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
CN202310718108.3A 2023-06-16 2023-06-16 监控数据的存储方法、装置、设备及存储介质 Pending CN116662269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310718108.3A CN116662269A (zh) 2023-06-16 2023-06-16 监控数据的存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310718108.3A CN116662269A (zh) 2023-06-16 2023-06-16 监控数据的存储方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116662269A true CN116662269A (zh) 2023-08-29

Family

ID=87718880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310718108.3A Pending CN116662269A (zh) 2023-06-16 2023-06-16 监控数据的存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116662269A (zh)

Similar Documents

Publication Publication Date Title
CN109344153B (zh) 业务数据的处理方法及终端设备
CN110535944B (zh) 用户活跃数据处理的方法及装置
US10776345B2 (en) Efficiently updating a secondary index associated with a log-structured merge-tree database
CN107179930B (zh) 一种应用卸载推荐方法及装置
CN111932394B (zh) 一种基于关联规则挖掘的不良根因路径分析方法及系统
CN113064930B (zh) 数据仓库的冷热数据识别方法、装置及电子设备
CN115617255A (zh) 缓存文件的管理方法和管理装置
CN115391609A (zh) 一种数据处理方法、装置、存储介质及电子设备
CN112925783A (zh) 业务数据处理方法和装置、电子设备和存储介质
CN113177045A (zh) 数据提取方法、装置、可计算存储设备及数据请求设备
CN112182010A (zh) 脏页刷新方法和装置、存储介质和电子设备
CN114662772A (zh) 交通噪音预警方法、模型训练方法、装置、设备及介质
CN116662269A (zh) 监控数据的存储方法、装置、设备及存储介质
CN112394876B (zh) 大文件存储/读取方法、存储/读取装置和计算机设备
CN115268794A (zh) 数据存储方法及相关装置
CN115168621A (zh) 数据反馈方法、装置、电子设备和存储介质
CN114020688A (zh) 一种时序数据库快照数据归档方法及系统
CN104951869A (zh) 一种基于工作流的舆情监控方法及装置
CN114547144B (zh) 时序数据范围查询方法、装置及设备
US10037148B2 (en) Facilitating reverse reading of sequentially stored, variable-length data
CN111242195A (zh) 模型、保险风控模型训练方法、装置及电子设备
CN112612415B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112818004B (zh) 数据存储方法、查询方法及电子设备
CN116820876A (zh) 触发式告警方法、装置、服务器及存储介质
CN108769443B (zh) 防止无效服务扣费方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination