CN111475105A - 监控数据存储方法、设备、服务器及存储介质 - Google Patents

监控数据存储方法、设备、服务器及存储介质 Download PDF

Info

Publication number
CN111475105A
CN111475105A CN202010165126.XA CN202010165126A CN111475105A CN 111475105 A CN111475105 A CN 111475105A CN 202010165126 A CN202010165126 A CN 202010165126A CN 111475105 A CN111475105 A CN 111475105A
Authority
CN
China
Prior art keywords
performance information
monitoring performance
preset
monitoring
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010165126.XA
Other languages
English (en)
Inventor
林水明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010165126.XA priority Critical patent/CN111475105A/zh
Priority to PCT/CN2020/099395 priority patent/WO2021179488A1/zh
Publication of CN111475105A publication Critical patent/CN111475105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Abstract

本申请适用于计算机技术领域，提出一种监控数据存储方法，包括：获取待监控设备的监控项在预设时长内对应的监控数据；基于时间戳信息将监控性能信息进行划分，得到多个目标监控性能信息集合；利用预设的一致性算法，分别确定每个目标监控性能信息集合对应的预设存储节点；将每个目标监控性能信息集合对应的时间戳信息和监控性能信息，关联存储至每个目标监控性能信息集合各自对应的预设存储节点。通过预设的一致性算法，确定每个目标监控性能信息集合对应的预设存储节点，将每个目标监控性能信息集合对应的时间戳信息和监控性能信息，关联存储至对应的预设存储节点，能够避免针对海量监控数据进行存储时，不断进行磁盘写入操作的问题。

Description

监控数据存储方法、设备、服务器及存储介质
技术领域
本申请属于计算机技术领域，尤其涉及一种监控数据存储方法、设备、服务器及存储介质。
背景技术
监控系统对数据的查询时效性要求较高，且需要频繁进行读写操作，因此在对监控数据存储时，需要考虑查询的时效性以及读写操作的方便性。
目前，针对海量监控数据的存储方案，需要不断进行磁盘写入操作，导致在查询时无法方便读写，且在查询量较大的场景下，无法保证查询的时效性。
发明内容
有鉴于此，本申请实施例提供了监控数据存储方法、服务器、计算设备及存储介质，能够避免针对海量监控数据进行存储时，不断进行磁盘写入操作的问题。
本申请实施例的第一方面提供了一种监控数据存储方法，包括：
获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
在一种可选的实现方式中，在所述将每个所述目标监控性能信息集合对应的时间戳信息和包括的所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点之后，还包括：
基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作。
在一种可选的实现方式中，所述基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，包括：
将具有相同时间戳信息的所述监控性能信息划分为同一目标监控性能信息，得到多个所述目标监控性能信息集合。
在一种可选的实现方式中，所述利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点，包括：
利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
在一种可选的实现方式中，所述利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点，包括：
利用预设的哈希算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，以及每个所述预设存储节点对应的第二哈希值；
根据预设的映射规则分别将所述第一哈希值和所述第二哈希值，映射在具有预设个数字空间的哈希圆环上，得到所述第一哈希值和所述第二哈希值之间的第一映射关系；
根据所述第一映射关系，分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
在一种可选的实现方式中，在所述将每个所述目标性能信息集合对应的时间戳信息和包括的所述性能信息，分别关联存储至每个所述目标性能信息集合各自对应的所述预设存储节点之后，包括：
分别建立每个所述目标性能信息集合对应的索引信息；
生成所述索引信息与所述预设存储节点之间的第二映射关系。
在一种可选的实现方式中，在所述生成所述索引信息与所述预设存储节点之间的第二映射关系之后，包括：
当检测到查询请求信息时，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。
本申请实施例的第二方面提供了一种监控数据存储设备，包括：
获取模块，用于获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
划分模块，用于基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
确定模块，用于利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
存储模块，用于将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
在一种可选的实现方式中，还包括：
读写模块，用于基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作。
在一种可选的实现方式中，所述划分模块具体用于：
将具有相同时间戳信息的所述监控性能信息划分为同一目标监控性能信息，得到多个所述目标监控性能信息集合。
在一种可选的实现方式中，所述确定模块具体用于：
利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
在一种可选的实现方式中，所述确定模块，包括：
计算单元，用于利用预设的哈希算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，以及每个所述预设存储节点对应的第二哈希值；
映射单元，用于根据预设的映射规则分别将所述第一哈希值和所述第二哈希值，映射在具有预设个数字空间的哈希圆环上，得到所述第一哈希值和所述第二哈希值之间的第一映射关系；
确定单元，用于根据所述第一映射关系，分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
在一种可选的实现方式中，还包括：
建立模块，用于分别建立每个所述目标性能信息集合对应的索引信息；
生成模块，用于生成所述索引信息与所述预设存储节点之间的第二映射关系。
在一种可选的实现方式中，还包括：
查询模块，用于在当检测到查询请求信息时，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。
本申请实施例的第三方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上第一方面所述的监控数据存储方法的步骤。
申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上第一方面所述的监控数据存储方法的步骤。
本申请实施例第一方面提供的监控数据存储方法，包括：获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。与现有技术相比，通过基于时间戳信息将监控性能信息进行划分，得到多个目标监控性能信息集合；并利用预设的一致性算法，分别确定每个目标监控性能信息集合对应的预设存储节点，将每个所述目标监控性能信息集合对应的时间戳信息和监控性能信息，关联存储至对应的预设存储节点，能够避免针对海量监控数据进行存储时，不断进行磁盘写入操作的问题。
本申请第二实施例至第四实施例提供的技术方案与现有技术相比，存在的有益效果与本申请第一实施例提供的技术方案与现有技术相比相同，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的监控数据存储方法的实现流程图；
图2是图1中S103的具体实现流程图；
图3是将所述第一哈希值和所述第二哈希值分别映射在哈希圆环上的结构示意图；
图4是申请第二实施例提供的监控数据存储方法的实现流程图；
图5是本申请第三实施例提供的监控数据存储方法的实现流程图；
图6是本申请第四实施例提供的监控数据存储方法的实现流程图；
图7是本申请实施例提供的监控数据存储设备的结构示意图；
图8是本申请实施例提供的服务器的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。如图1所示，是本申请第一实施例提供的监控数据存储方法的实现流程图，本实施例可以监控数据存储设备的硬件或软件实现，所述监控数据存储设备可以是服务器。具体地，详述如下：
S101，获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息。
可以理解地，所述待监控设备通常包括多个监控项，每个所述监控项均对应有预设性能信息，可以理解地，所述监控项可以根据监控策略确定，不同的监控策略对应不同的监控项，在此不做具体限定。
在所述待监控设备运行过程中，为了保证所述待监控设备的正常运行以及发生故障时，方便准确地进行故障定位，需要对每个监控项进行监控，得到与预设性能信息对应的监控性能信息。
其中，在本实施例中，所述监控数据包括监控性能信息和时间戳信息，具体地，时间戳(timestamp)，表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，通常是一个字符序列，用于唯一地标识某一刻的时间。
可以理解地，由于监控数据与监控时间密切相关，因此，在分析监控数据时，需要预设时长，随着所述预设时长的增加，所述监控数据也会增加，当所述监控数据的数量增加到一定程度时，对所述监控数据进行存储，需要考虑读写操作的方便，以及查询的时效性。
S102，基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息。
可以理解地，所述监控性能信息为连续信息，同一时间戳信息通常对应有多个连续的所述监控性能信息，可以基于时间戳信息将所述监控性能信息进行划分，例如，在一种可选的实现方式中，所述基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，包括：将具有相同时间戳信息的所述监控性能信息划分为同一目标监控性能信息，得到多个所述目标监控性能信息集合。可以理解地，每个所述目标监控性能信息集合包括多个联系的所述监控性能信息。
S103，利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
在一种可选的实现方式中，所述一致性算法为一致性哈希算法，所述利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点，包括：
利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
具体地，如图2所示，是图1中S103的具体实现流程图。由图2可知，S103包括：
S1031，利用预设的哈希算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，以及每个所述预设存储节点对应的第二哈希值。
其中，预设的哈希算法包括MD5算法，散列算法等，在本实施例中，假设预设的哈希算法为MD5算法，利用MD5算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，例如，所述第一哈希值分别表示为：key1、key2，…，key(n-1)，其中，n为整数。
利用MD5算法分别计算每个所述预设存储节点对应的第二哈希值，例如，所述第二哈希值分别表示为：KEY1、KEY2，…，KEY(n-k)，其中，k≤n。
S1032，根据预设的映射规则分别将所述第一哈希值和所述第二哈希值，映射在具有预设个数字空间的哈希圆环上，得到所述第一哈希值和所述第二哈希值之间的第一映射关系。
其中，预设的映射规则为确定映射的起始位置，然后从所述起始位置开始顺时针查找所述哈希圆环对应的预设数字空间，例如，在本实例中，所述哈希圆环具有2n个数字空间，将所述第一哈希值和所述第二哈希值分别映射在对应的数字空间，得到所述第一哈希值和所述第二哈希值之间的第一映射关系。
具体地，如图3所示，是将所述第一哈希值和所述第二哈希值分别映射在哈希圆环上的结构示意图。图3中，0为映射的起始位置，对应为第一个数字空间；2n为映射的结束位置，对应为第2n个的数字空间。图3中，为了方便观察，在2n位置处没有映射所述第一哈希值和所述第二哈希值。
由图3可知，第一哈希值和第二哈希值之间具有一一映射的关系。可以理解地，当所述目标监控性能信息集合的数量超过了所述哈希圆环预设的数字空间的个数，则从所述起始位置开始，重新按照顺时针查找所述哈希圆环对应的预设数字空间，将多余的所述目标监控性能信息集合对应的所述第一哈希值重新映射在所述哈希圆环上，覆盖之前的所述第一哈希值。
S1033，根据所述第一映射关系，分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
可以理解地，由于每个所述目标监控性能信息集合对应有唯一的第一哈希值，每个所述预设存储节点也对应有唯一的第二哈希值，因此，根据所述第一映射关系，可以分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
S104，将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
由前面分析可知，本申请实施例提供的监控数据存储方法，通过基于时间戳信息将监控性能信息进行划分，得到多个目标监控性能信息集合；并利用预设的一致性算法，分别确定每个目标监控性能信息集合对应的预设存储节点，将每个所述目标监控性能信息集合对应的时间戳信息和监控性能信息，关联存储至对应的预设存储节点，能够避免针对海量监控数据进行存储时，不断进行磁盘写入操作的问题。
如图4所示，是申请第二实施例提供的监控数据存储方法的实现流程图。由图4可知，本实施例与图1所示实施例相比，S401～S404的具体实施过程与S101～S104的具体实施过程相同，不同之处在于，在S404之后还包括S405，S404与S405为顺序执行关系，具体地，对S405的详述过程如下：
S405，基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作。
可以理解地，每个所述预设存储节点存储的所述监控性能信息为同一目标监控性能信息集合包含的所述监控性能性息，同一目标监控性能信息集合对应同一时间戳信息，因此，可以直接基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作以提高读写操作的方便性。
如图5所示，是本申请第三实施例提供的监控数据存储方法的实现流程图。由图5可知，本实施例与图1所示实施例相比，S501～S504的具体实现过程与S101～S104的具体实现过程相同，不同之处在于，在S504之后，还包括S505～S506，其中，S505与S504为顺序执行关系。具体地，S505～S506的具体实现过程如下：
S505，分别建立每个所述目标性能信息集合对应的索引信息。
其中，每个所述目标性能信息集合对应的所述索引信息具有唯一性，在本实例中，每个所述目标性能信息集合对应的所述索引信息可以是每个所述目标性能信息集合各自对应的所述时间戳信息、或者所述第一哈希值、或者可以用预设的索引词进行标识，在此不做具体限制。
S506，生成所述索引信息与所述预设存储节点之间的第二映射关系。
由于所述预设存储节点与所述目标性能信息集合之间具有第一映射关系，在建立每个所述目标性能信息集合对应的索引信息之后，可以根据所述第一映射关系以及每个所述目标性能信息集合对应的索引信息，生成所述索引信息与所述预设存储节点之间的第二映射关系。
由上述分析可知，本实施例在图1所示实施例的基础上，通过建立每个所述目标性能性集合对应的索引信息，并生成所述索引信息与所述预设存储节点之间的第二映射关系。可以在查询过程中，基于所述第二映射关系从预设存储节点中查询对应的所述目标监控性能信息集合，提高查询的时效性。
具体地，如图6所示，是本申请第四实施例提供的监控数据存储方法的实现流程图。由图6可知，本实施例与图5所示实施例相比，S601～S606的具体实施过程与S501～S506的具体实施过程相同，不同之处在于，在S606之后还包括S607，S607与S606为顺序执行关系，详述如下：
S607，当检测到查询请求信息时，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。
由上述分析可知，本申请实施例在图5所示实施例的基础上，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。提高对监控数据查询的时效性。
图7是本申请实施例提供的监控数据存储设备的结构示意图。由图7可知，本申请实施例提供的监控数据存储设备7包括：
获取模块701，用于获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
划分模块702，用于基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
确定模块703，用于利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
存储模块704，用于将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
在一种可选的实现方式中，还包括：
读写模块，用于基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作。
在一种可选的实现方式中，所述划分模块具体用于：
将具有相同时间戳信息的所述监控性能信息划分为同一目标监控性能信息，得到多个所述目标监控性能信息集合。
在一种可选的实现方式中，所述确定模块具体用于：
利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
在一种可选的实现方式中，所述确定模块，包括：
计算单元，用于利用预设的哈希算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，以及每个所述预设存储节点对应的第二哈希值；
映射单元，用于根据预设的映射规则分别将所述第一哈希值和所述第二哈希值，映射在具有预设个数字空间的哈希圆环上，得到所述第一哈希值和所述第二哈希值之间的第一映射关系；
确定单元，用于根据所述第一映射关系，分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
在一种可选的实现方式中，还包括：
建立模块，用于分别建立每个所述目标性能信息集合对应的索引信息；
生成模块，用于生成所述索引信息与所述预设存储节点之间的第二映射关系。
在一种可选的实现方式中，还包括：
查询模块，用于在当检测到查询请求信息时，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。
图8是本申请实施例提供的服务器的结构示意图。如图8所示，该实施例的服务器8包括：处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82，例如监控数据存储程序。处理器80执行计算机程序82时实现上述各个监控数据存储方法实施例中的步骤，例如图1所示的步骤101至104。
示例性的，计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器81中，并由处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序82在所述服务器8中的执行过程。例如，计算机程序82可以被分割成获取模块、划分模块、确定模块以及存储模块(虚拟装置中的模块)，各模块具体功能如下：
获取模块，用于获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
划分模块，用于基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
确定模块，用于利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
存储模块，用于将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个通信单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种监控数据存储方法，其特征在于，包括：
获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
2.如权利要求1所述的监控数据存储方法，其特征在于，在所述将每个所述目标监控性能信息集合对应的时间戳信息和包括的所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点之后，还包括：
基于所述时间戳信息对所述预设存储节点存储的所述监控性能信息进行读写操作。
3.如权利要求2所述的监控数据存储方法，其特征在于，所述基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，包括：
将具有相同时间戳信息的所述监控性能信息划分为同一目标监控性能信息，得到多个所述目标监控性能信息集合。
4.如权利要求1至3任一所述的监控数据存储方法，其特征在于，所述利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点，包括：
利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点。
5.如权利要求4所述的监控数据存储方法，其特征在于，所述利用一致性哈希算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点，包括：
利用预设的哈希算法分别计算每个所述目标监控性能信息集合对应的第一哈希值，以及每个所述预设存储节点对应的第二哈希值；
根据预设的映射规则分别将所述第一哈希值和所述第二哈希值，映射在具有预设个数字空间的哈希圆环上，得到所述第一哈希值和所述第二哈希值之间的第一映射关系；
根据所述第一映射关系，分别确定每个所述目标监控性能信息集合对应的所述预设存储节点。
6.如权利要求5所述的监控数据存储方法，其特征在于，在所述将每个所述目标性能信息集合对应的时间戳信息和包括的所述性能信息，分别关联存储至每个所述目标性能信息集合各自对应的所述预设存储节点之后，包括：
分别建立每个所述目标性能信息集合对应的索引信息；
生成所述索引信息与所述预设存储节点之间的第二映射关系。
7.如权利要求6所述的监控数据存储方法，其特征在于，在所述生成所述索引信息与所述预设存储节点之间的第二映射关系之后，还包括：
当检测到查询请求信息时，基于所述第二映射关系从所述预设存储节点中，查询与所述查询请求信息中的索引信息对应的所述目标监控性能信息集合。
8.一种监控数据存储设备，其特征在于，包括：
获取模块，用于获取待监控设备的至少一个监控项在预设时长内对应的监控数据，所述监控数据包括监控性能信息和时间戳信息；
划分模块，用于基于所述时间戳信息将所述监控性能信息进行划分，得到多个目标监控性能信息集合，每个所述目标监控性能信息集合包括多个连续的所述监控性能信息；
确定模块，用于利用预设的一致性算法，分别确定每个所述目标监控性能信息集合对应的预设存储节点；
存储模块，用于将每个所述目标监控性能信息集合对应的时间戳信息和所述监控性能信息，分别关联存储至每个所述目标监控性能信息集合各自对应的所述预设存储节点。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的监控数据存储方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的监控数据存储方法的步骤。
CN202010165126.XA 2020-03-11 2020-03-11 监控数据存储方法、设备、服务器及存储介质 Pending CN111475105A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010165126.XA CN111475105A (zh) 2020-03-11 2020-03-11 监控数据存储方法、设备、服务器及存储介质
PCT/CN2020/099395 WO2021179488A1 (zh) 2020-03-11 2020-06-30 监控数据存储方法、设备、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165126.XA CN111475105A (zh) 2020-03-11 2020-03-11 监控数据存储方法、设备、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN111475105A true CN111475105A (zh) 2020-07-31

Family

ID=71747278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165126.XA Pending CN111475105A (zh) 2020-03-11 2020-03-11 监控数据存储方法、设备、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN111475105A (zh)
WO (1) WO2021179488A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190623A (zh) * 2021-05-14 2021-07-30 京东数科海益信息科技有限公司 数据处理方法、装置、服务器和存储介质
CN113282693A (zh) * 2021-05-25 2021-08-20 江苏星月测绘科技股份有限公司 一种基于3dgis的全息数据管理方法及系统
CN113593074A (zh) * 2021-07-15 2021-11-02 盛景智能科技(嘉兴)有限公司 监控视频生成方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114629824B (zh) * 2022-03-24 2024-03-19 阿里巴巴（中国）有限公司 丢包定位方法、装置、计算设备及介质
CN116069788B (zh) * 2023-03-24 2023-06-20 杭州趣链科技有限公司 数据处理方法、数据库系统、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303456A (zh) * 2015-10-16 2016-02-03 国家电网公司 电力传输设备监控数据处理方法
CN107515807A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 一种存储监控数据的方法及装置
CN108256076A (zh) * 2018-01-18 2018-07-06 广州大学 分布式海量数据处理方法及装置
CN109117087A (zh) * 2018-07-19 2019-01-01 北京蜂盒科技有限公司 采集监控数据的方法、装置、存储介质及电子设备
CN109799948A (zh) * 2017-11-17 2019-05-24 航天信息股份有限公司 一种数据存储方法及装置
US10346360B1 (en) * 2015-09-30 2019-07-09 EMP IP Holding Company LLC Managing prefetching of data in storage systems
CN110336891A (zh) * 2019-07-24 2019-10-15 中南民族大学 缓存数据分布方法、设备、存储介质及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087688A (ko) * 2016-01-21 2017-07-31 한국전자통신연구원 시계열 분석을 지원하는 파일 시스템 및 이의 동작방법
CN106161120B (zh) * 2016-10-08 2019-04-09 电子科技大学 动态均衡负载的分布式元数据管理方法
CN110633053B (zh) * 2019-09-16 2020-07-10 北京马赫谷科技有限公司 存储容量均衡方法、对象存储方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346360B1 (en) * 2015-09-30 2019-07-09 EMP IP Holding Company LLC Managing prefetching of data in storage systems
CN105303456A (zh) * 2015-10-16 2016-02-03 国家电网公司 电力传输设备监控数据处理方法
CN107515807A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 一种存储监控数据的方法及装置
CN109799948A (zh) * 2017-11-17 2019-05-24 航天信息股份有限公司 一种数据存储方法及装置
CN108256076A (zh) * 2018-01-18 2018-07-06 广州大学 分布式海量数据处理方法及装置
CN109117087A (zh) * 2018-07-19 2019-01-01 北京蜂盒科技有限公司 采集监控数据的方法、装置、存储介质及电子设备
CN110336891A (zh) * 2019-07-24 2019-10-15 中南民族大学 缓存数据分布方法、设备、存储介质及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190623A (zh) * 2021-05-14 2021-07-30 京东数科海益信息科技有限公司 数据处理方法、装置、服务器和存储介质
CN113282693A (zh) * 2021-05-25 2021-08-20 江苏星月测绘科技股份有限公司 一种基于3dgis的全息数据管理方法及系统
CN113282693B (zh) * 2021-05-25 2021-12-28 江苏星月测绘科技股份有限公司 一种基于3dgis的全息数据管理方法及系统
CN113593074A (zh) * 2021-07-15 2021-11-02 盛景智能科技(嘉兴)有限公司 监控视频生成方法及装置
CN113593074B (zh) * 2021-07-15 2023-09-22 盛景智能科技(嘉兴)有限公司 监控视频生成方法及装置

Also Published As

Publication number Publication date
WO2021179488A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111475105A (zh) 监控数据存储方法、设备、服务器及存储介质
CN108205577B (zh) 一种数组构建、数组查询的方法、装置及电子设备
US20200042507A1 (en) Information Processing Method and Apparatus
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN107704202B (zh) 一种数据快速读写的方法和装置
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
EP3767483A1 (en) Method, device, system, and server for image retrieval, and storage medium
US11934371B2 (en) Data processing method and apparatus, and computer-readable storage medium
WO2018095299A1 (zh) 一种时序数据管理方法、设备和装置
CN109976669B (zh) 一种边缘存储方法、装置和存储介质
CN108027713A (zh) 用于固态驱动器控制器的重复数据删除
CN110851474A (zh) 数据查询方法、数据库中间件、数据查询设备及存储介质
CN110569218B (zh) 一种ext文件系统离线修改方法、装置及存储介质
CN114721594A (zh) 一种分布式存储方法、装置、设备及机器可读存储介质
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN111143006B (zh) 命令帮助信息的获取方法及装置
CN112783971B (zh) 交易记录方法、交易查询方法、电子设备及存储介质
CN114840487A (zh) 分布式文件系统的元数据管理方法和装置
CN114398373A (zh) 应用于数据库存储的文件数据存储读取方法及装置
CN108984615B (zh) 一种数据查询方法和系统、存储介质
CN112948389A (zh) 基于md5的数据库表数据比对方法及设备
CN112015672A (zh) 一种存储系统中数据处理方法、装置、设备及存储介质
CN111782661A (zh) 一种数据存储方法、数据查询方法和装置
CN110275863A (zh) 文件移动方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032741

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination