CN115017136B - 一种基于大数据应用的监控数据分析存储管理系统 - Google Patents

Abstract

本发明涉及一种基于大数据应用的监控数据分析存储管理系统，包括，数据库、监控模块、分析模块、储存模块。本发明通过在监控模块中设置预设监控信息对数据库中的数据进行监控标记，通过在分析模块内设置来源信息对已标记的数据进行筛选，形成筛选数据组，实现了多级的信息筛选，通过分析模块根据筛选数据组种各数据的字符量对各数据进行排序，形成排序数据组，使数据顺序提取，储存模块根据预计占存空间并与标准储存空间范围对排序数据组顺序调整，储存模块通过数据缺失值确定各数据的保留或删除，通过各数据的删除量对排序数据组顺序调整，减少了数据储存时出现缺失的现象，实现数据的智能选取储存，提高了数据储存效率。

Description

一种基于大数据应用的监控数据分析存储管理系统

技术领域

本发明涉及数据储存技术领域，尤其涉及一种基于大数据应用的监控数据分析存储管理系统。

背景技术

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上，数据存储要命名，这种命名要反映信息特征的组成含义，数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。

在现有的数据储存管理系统中，往往使用手动选取命名储存的方法，不能够做到自动的分析选取储存，而且在储存过程中，也存在由于对储存空间的控制不足，数据储存顺序不调整，导致重要数据缺失，储存设备超流通储存而使用寿命降低的现象。

发明内容

为此，本发明提供一种基于大数据应用的监控数据分析存储管理系统，用以克服现有技术中缺乏智能选取储存、储存数据出现缺失的问题。

为实现上述目的，本发明提供一种基于大数据应用的监控数据分析存储管理系统，包括，

数据库，其内部设有企业运行数据；

监控模块，其与所述数据库相连，所述监控模块内设有预设监控信息A，监控模块能够根据预设监控信息A在数据库中对相关数据进行标记；所述监控模块还能够对所述数据库中的数据进行提取；

分析模块，其与所述监控模块、所述数据库分别相连，所述分析模块能够根据各已标记的数据的来源信息B对已标记的数据进行筛选，并形成筛选数据组；所述分析模块能够根据筛选数据组中各数据的字符量对各数据进行排序，并将各数据进行编号，形成排序数据组；

储存模块，其与所述监控模块、所述分析模块分别相连，所述储存模块能够接收监控模块提取的各数据，并对各数据进行储存；所述储存模块内设有标准储存空间，储存模块能够计算各数据的预计占存空间，储存模块能够根据各数据的预计占存空间与标准储存空间对排序数据组进行调整；所述储存模块能根据排序数据组中各数据的字符量与各数据的实际占存空间计算各数据的数据缺失值，储存模块内设有标准数据缺失范围，储存模块能够根据各数据的数据缺失值与标准数据确实范围判定对各数据的保留或删除；所述储存模块还能够根据各数据的删除量对排序数据组进行调整，完成数据的监控储存。

进一步地，所述监控模块内设有预设监控信息A，监控模块将所述外部数据库中对带有预设监控信息A的数据标记为一级数据，所述分析模块内设有来源信息B，分析模块获取各所述一级数据的来源信息Ba，分析模块将设置的来源信息B与各所述一级数据的来源信息Ba进行对比，并选择各所述一级数据中来源信息Ba为设定的来源信息B的数据做为筛选数据组。

进一步地，所述分析模块获取所述筛选数据组中各数据的字节量，分析模块将筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，并根据各数据的排序顺序对各数据进行编号；

在所述分析模块对各数据进行排序时，分析模块获取字节量相同的各数据与预设监控信息A的相关度，分析模块按照相关度的由高到低对字节量相同的各数据进行排序也编号，形成排序数据组。

进一步地，所述储存模块内设有标准储存空间Gb与标准储存空间差ΔGb，当所述储存模块准备接收所述监控模块提取的各数据时，储存模块计算所述排序数据组中各数据的总预计占存空间Gy，储存模块计算总预计占存空间差ΔGy，ΔGy=|Gb-Gy|，储存模块将总预计占存空间差ΔGy与标准储存空间差ΔGb进行对比，

当ΔGy≤ΔGb时，所述储存模块判定总预计占存空间在标准储存空间范围内，储存模块能够对所述排序数据组内的各数据进行储存；

当ΔGy＞ΔGb时，所述储存模块判定总预计占存空间不在标准储存空间范围内，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，以确定对所述排序数据组内的各数据的储存。

进一步地，当所述储存模块判定总预计占存空间不在标准储存空间范围内时，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，

当Gy＞Gb时，所述储存模块判定总预计占存空间高于标准储存空间，所述分析模块将对所述排序数据组进行重新排序，以对排序数据组的各数据进行储存；

当Gy＜Gb时，所述储存模块判定总预计占存空间低于标准储存空间，储存模块将按照所述排序数据组内各数据的排序对各数据进行接收储存。

进一步地，当所述储存模块判定总预计占存空间高于标准储存空间时，储存模块将标准储存空间Gb与总预计占存空间差ΔGy进行对比，

当ΔGy≤Gb时，所述储存模块判定总预计占存空间差未超过标准储存空间，储存模块将对所述排序数据组按照编号顺序拆分为两组，其中，整体编号小的数据组为第一数据组，整体编号大的数据组为第二数据组；所述储存模块将对所述第一数据组内的各数据进行接收储存；所述分析模块将计算所述第二数据组内的各数据的价值评价，分析模块将按照价值评价值的从大到小对第二数据组内的各数据进行排序；在所述储存模块完成对所述第一数据组的接收储存后，储存模块将按照按照所述第二数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存；

当ΔGy＞Gb时，所述储存模块判定总预计占存空间差超过标准储存空间，储存模块将按照按照所述排序数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存。

进一步地，当所述储存模块在对各数据进行接收储存时，储存模块检测各已接收储存的各数据的实际占存空间，储存模块根据已接收储存各数据的字节量计算各数据的预计占存空间，储存模块将任一数据的实际占存空间Gs与该数据的预计占存空间Gj进行对比，

当Gs=Gj时，所述储存模块判定该数据的实际占存空间等于预计占存空间，完成该数据的储存；

当Gs＜Gj时，所述储存模块判定该数据的实际占存空间小于预计占存空间，储存模块将根据该数据的实际占存空间Gs与预计占存空间Gj的差值对该数据进行缺失判定，以确定该数据是否保留。

进一步地，所述储存模块内设有最大缺失值Gz，当储存模块判定该数据的实际占存空间小于预计占存空间时，储存模块将计算该数据的缺失值Gq，Gq=Gj-Gs，储存模块将该数据的缺失值Gq与最大缺失值Gz进行对比，

当Gq≥Gz时，所述储存模块判断该数据的缺失值达到最大缺失值标准，储存模块将删除该数据，储存模块将对剩余总预计占存空间的判断，以对剩余数据进行储存；

当Gq＜Gz时，所述储存模块判断该数据的缺失值未达到最大缺失值标准，储存模块将保留该数据，完成对该数据的储存。

进一步地，当所述储存模块判断有数据的缺失值达到最大缺失值标准时，储存模块将删除缺失值达到最大缺失值标准的数据，储存模块将计算储存模块内部的实际储存空间Gk，储存模块将标准储存空间调整为Gb’，Gb’=Gb-Gk，储存模块计算剩余数据的总预计占存空间Gu，储存模块重复上述根据总预计占存空间与标准占存空间的判断调节操作，对剩余数据进行接收储存或重新排序。

进一步地，所述储存模块能够记录删除数据的编号与未接受储存数据的编号，在所述分析模块对数据进行重新排序时，各数据保存原有编号。

与现有技术相比，本发明的有益效果在于，通过在监控模块中设置预设监控信息对数据库中的数据进行监控标记，通过在分析模块内设置来源信息对已标记的数据进行筛选，形成筛选数据组，实现了多条件的信息筛选，同时通过分析模块根据筛选数据组种各数据的字符量对各数据进行排序，形成排序数据组，实现了数据的顺序提取，储存模块计算各数据的预计占存空间并与内部设定的标准储存空间范围进行对比，并根据对比结果对排序数据组的顺序进行调整，储存模块通过计算各数据的数据缺失值确定各数据的保留或删除，储存模块通过各数据的删除量对排序数据组进行调整，使储存模块对实时储存的数据进行内存管理，顺序接收储存，减少了数据储存时出现缺失的现象，同时使该储存管理系统实现数据的智能选取储存，提高了数据储存效率。

进一步地，通过在所述监控模块内设置预设监控信息，利用监控模块对数据的监控，在数据中对数据进行标记，提高了数据标记的效率，同时在所述分析模块中设置来源信息，对已标记的数据进行筛选，提高了数据选取的准确性，采用多级的多模块的筛选条件，既能够提高数据筛选的效率，又进一步提高数据筛选的精度。

尤其，所述分析模块根据筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，由于随着储存运行时间的增加，数据缺失的现象也随着增加，同时，字节量较多数据的数据缺失率也高于字节量较少数据的数据缺失率，将筛选数据组中各数据按照字节量从大到小的顺序进行排序，可以在数据提取储存过程中极大程度的减少数据的缺失，同时对各数据进行编号，方便了数据的记录，进一步减少了数据的缺失。

尤其，在所述储存模块内设置标准储存空间与标准储存空间差，并对所述排序数据组中各数据的总预计占存空间进行计算，根据总预计占存空间与标准储存空间、标准储存空间差对数据的储存方式进行确定，当总预计占存空间在标准的储存空间范围内时，储存模块直接对排序数据组内的数据按照顺序储存，当总预计占存空间不在标准的储存空间范围内时，储存模块将根据预计值与标准值的具体差值对储存方式进一步判断，保障了数据的有效储存，减少了数据储存过程中的数据缺失。

进一步地，在所述储存模块判断总预计占存空间不在标准的储存空间范围内时，储存 模块将总预计占存空间与标准储存空间进行对比，当总预计占存空间高于标准储存空间时，储存模块判断待储存的数据占存超标，所述分析模块将对所述排序数据组进行重新排序，将容易缺失数据进行优先储存，提高了储存效率，也减少了储存数据的缺失，当总预计占存空间低于标准储存空间时，储存模块判断待储存的数据在储存空间范围内，将按照所述排序数据组内各数据的排序对各数据进行直接的接收储存，保障了系统的正常运行。

进一步地，在所述储存模块判断待储存的数据占存超标时，储存模块将标准储存空间与总预计占存空间差进行对比，判定超出储存空间部分的量，在超出部分的预计占存空间未超过标准储存空间时，将排序数据组进行拆分，使易缺失的数据优先进行储存的同时对第二数据组的各数据进行价值评价，使价值评价值高的数据进行优先储存，在超出部分的预计占存空间超过标准储存空间时，表示待储存的数据量较大，储存模块只对易缺失数据进行优先储存，减少了储存过程中数据的缺失，也保障了所述储存管理系统的正常运行。

尤其，在所述储存模块进行各数据的接收储存时，采用各数据逐个储存的方式，同时对每个数据储存完成后，根据所述分析模块获取的数据的字节量试算预设占存空间，并检测该数据的实际占存空间，以判定该数据是否缺失，由于所述分析模块获取的字节量信息为准确信息，因此对数据缺失的判定更为精准，也保障了所述储存管理系统的正常运行。

进一步地，在所述储存模块储存的数据中出现数据缺失的数据时，将数据缺失的具体值与储存模块内设置的最大缺失值进行比较，当数据缺失值到达最大缺失值时，所述储存模块将删除该数据，并重新计算总预计占存空间，并对标准储存空间进行调整，当数据缺失值小于最大缺失值时，储存模块判定数据缺失可调，将直接完成对该数据的储存，将缺失值过大的数据进行删除，一方面保障了储存模块内储存的数据的有效性，另一方面能够较少储存模块内无效数据占用空间，提高了有效数据的储存容量。

进一步地，当所述储存模块对数据进行了删除时，储存模块将对标准储存空间进行调整，并计算剩余数据的总预计占存空间，并通过重复判定重新对剩余数据进行判定，进一步提高了易缺失优先储存数据的量，同时保障了所述储存管理系统的正常运行。

进一步地，所述储存模块对删除数据的编号与未接受储存数据的编号进行记录，保障了所述监控模块与所述分析模块筛选数据的无遗漏，同时在分析模块对数据进行重新排序时，保存各数据原有的编号，避免数据混乱，也进一步减少了筛选数据遗漏。

附图说明

图1为本发明所述基于大数据应用的监控数据分析存储管理系统的结构示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明所述基于大数据应用的监控数据分析存储管理系统的结构示意图，本发明提供一种基于大数据应用的监控数据分析存储管理系统，包括，

数据库，其内部设有设有企业运行数据；

监控模块，其与所述数据库相连，所述监控模块内设有预设监控信息A，监控模块能够根据预设监控信息A在数据库中对相关数据进行标记；所述监控模块还能够对所述数据库中的数据进行提取；

分析模块，其与所述监控模块、所述数据库分别相连，所述分析模块能够根据各已标记的数据的来源信息B对已标记的数据进行筛选，并形成筛选数据组；所述分析模块能够根据筛选数据组中各数据的字符量对各数据进行排序，并将各数据进行编号，形成排序数据组；

储存模块，其与所述监控模块、所述分析模块分别相连，所述储存模块能够接收监控模块提取的各数据，并对各数据进行储存；所述储存模块内设有标准储存空间，储存模块能够计算各数据的预计占存空间，储存模块能够根据各数据的预计占存空间与标准储存空间对排序数据组进行调整；所述储存模块能根据排序数据组中各数据的字符量与各数据的实际占存空间计算各数据的数据缺失值，储存模块内设有标准数据缺失范围，储存模块能够根据各数据的数据缺失值与标准数据确实范围判定对各数据的保留或删除；所述储存模块还能够根据各数据的删除量对排序数据组进行调整，完成数据的监控储存。

通过在监控模块中设置预设监控信息对数据库中的数据进行监控标记，通过在分析模块内设置来源信息对已标记的数据进行筛选，形成筛选数据组，实现了多条件的信息筛选，同时通过分析模块根据筛选数据组种各数据的字符量对各数据进行排序，形成排序数据组，实现了数据的顺序提取，储存模块计算各数据的预计占存空间并与内部设定的标准储存空间范围进行对比，并根据对比结果对排序数据组的顺序进行调整，储存模块通过计算各数据的数据缺失值确定各数据的保留或删除，储存模块通过各数据的删除量对排序数据组进行调整，使储存模块对实时储存的数据进行内存管理，顺序接收储存，减少了数据储存时出现缺失的现象，同时使该储存管理系统实现数据的智能选取储存，提高了数据储存效率。

具体而言，所述监控模块内设有预设监控信息A，监控模块将所述外部数据库中对带有预设监控信息A的数据标记为一级数据，所述分析模块内设有来源信息B，分析模块获取各所述一级数据的来源信息Ba，分析模块将设置的来源信息B与各所述一级数据的来源信息Ba进行对比，并选择各所述一级数据中来源信息Ba为设定的来源信息B的数据做为筛选数据组。

通过在所述监控模块内设置预设监控信息，利用监控模块对数据的监控，在数据中对数据进行标记，提高了数据标记的效率，同时在所述分析模块中设置来源信息，对已标记的数据进行筛选，提高了数据选取的准确性，采用多级的多模块的筛选条件，既能够提高数据筛选的效率，又进一步提高数据筛选的精度。

具体而言，所述分析模块获取所述筛选数据组中各数据的字节量，分析模块将筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，并根据各数据的排序顺序对各数据进行编号；

在所述分析模块对各数据进行排序时，分析模块获取字节量相同的各数据与预设监控信息A的相关度，分析模块按照相关度的由高到低对字节量相同的各数据进行排序也编号，形成排序数据组。

所述分析模块根据筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，由于随着储存运行时间的增加，数据缺失的现象也随着增加，同时，字节量较多数据的数据缺失率也高于字节量较少数据的数据缺失率，将筛选数据组中各数据按照字节量从大到小的顺序进行排序，可以在数据提取储存过程中极大程度的减少数据的缺失，同时对各数据进行编号，方便了数据的记录，进一步减少了数据的缺失。

具体而言，所述储存模块内设有标准储存空间Gb与标准储存空间差ΔGb，当所述储存模块准备接收所述监控模块提取的各数据时，储存模块计算所述排序数据组中各数据的总预计占存空间Gy，储存模块计算总预计占存空间差ΔGy，ΔGy=|Gb-Gy|，储存模块将总预计占存空间差ΔGy与标准储存空间差ΔGb进行对比，

当ΔGy≤ΔGb时，所述储存模块判定总预计占存空间在标准储存空间范围内，储存模块能够对所述排序数据组内的各数据进行储存；

当ΔGy＞ΔGb时，所述储存模块判定总预计占存空间不在标准储存空间范围内，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，以确定对所述排序数据组内的各数据的储存。

在所述储存模块内设置标准储存空间与标准储存空间差，并对所述排序数据组中各数据的总预计占存空间进行计算，根据总预计占存空间与标准储存空间、标准储存空间差对数据的储存方式进行确定，当总预计占存空间在标准的储存空间范围内时，储存模块直接对排序数据组内的数据按照顺序储存，当总预计占存空间不在标准的储存空间范围内时，储存模块将根据预计值与标准值的具体差值对储存方式进一步判断，保障了数据的有效储存，减少了数据储存过程中的数据缺失。

具体而言，当所述储存模块判定总预计占存空间不在标准储存空间范围内时，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，

当Gy＞Gb时，所述储存模块判定总预计占存空间高于标准储存空间，所述分析模块将对所述排序数据组进行重新排序，以对排序数据组的各数据进行储存；

当Gy＜Gb时，所述储存模块判定总预计占存空间低于标准储存空间，储存模块将按照所述排序数据组内各数据的排序对各数据进行接收储存。

在所述储存模块判断总预计占存空间不在标准的储存空间范围内时，储存 模块将总预计占存空间与标准储存空间进行对比，当总预计占存空间高于标准储存空间时，储存模块判断待储存的数据占存超标，所述分析模块将对所述排序数据组进行重新排序，将容易缺失数据进行优先储存，提高了储存效率，也减少了储存数据的缺失，当总预计占存空间低于标准储存空间时，储存模块判断待储存的数据在储存空间范围内，将按照所述排序数据组内各数据的排序对各数据进行直接的接收储存，保障了系统的正常运行。

具体而言，当所述储存模块判定总预计占存空间高于标准储存空间时，储存模块将标准储存空间Gb与总预计占存空间差ΔGy进行对比，

当ΔGy≤Gb时，所述储存模块判定总预计占存空间差未超过标准储存空间，储存模块将对所述排序数据组按照编号顺序拆分为两组，其中，整体编号小的数据组为第一数据组，整体编号大的数据组为第二数据组；所述储存模块将对所述第一数据组内的各数据进行接收储存；所述分析模块将计算所述第二数据组内的各数据的价值评价，分析模块将按照价值评价值的从大到小对第二数据组内的各数据进行排序；在所述储存模块完成对所述第一数据组的接收储存后，储存模块将按照按照所述第二数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存；

当ΔGy＞Gb时，所述储存模块判定总预计占存空间差超过标准储存空间，储存模块将按照按照所述排序数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存。

在所述储存模块判断待储存的数据占存超标时，储存模块将标准储存空间与总预计占存空间差进行对比，判定超出储存空间部分的量，在超出部分的预计占存空间未超过标准储存空间时，将排序数据组进行拆分，使易缺失的数据优先进行储存的同时对第二数据组的各数据进行价值评价，使价值评价值高的数据进行优先储存，在超出部分的预计占存空间超过标准储存空间时，表示待储存的数据量较大，储存模块只对易缺失数据进行优先储存，减少了储存过程中数据的缺失，也保障了所述储存管理系统的正常运行。

具体而言，当所述储存模块在对各数据进行接收储存时，储存模块检测各已接收储存的各数据的实际占存空间，储存模块根据已接收储存各数据的字节量计算各数据的预计占存空间，储存模块将任一数据的实际占存空间Gs与该数据的预计占存空间Gj进行对比，

当Gs=Gj时，所述储存模块判定该数据的实际占存空间等于预计占存空间，完成该数据的储存；

当Gs＜Gj时，所述储存模块判定该数据的实际占存空间小于预计占存空间，储存模块将根据该数据的实际占存空间Gs与预计占存空间Gj的差值对该数据进行缺失判定，以确定该数据是否保留。

在所述储存模块进行各数据的接收储存时，采用各数据逐个储存的方式，同时对每个数据储存完成后，根据所述分析模块获取的数据的字节量试算预设占存空间，并检测该数据的实际占存空间，以判定该数据是否缺失，由于所述分析模块获取的字节量信息为准确信息，因此对数据缺失的判定更为精准，也保障了所述储存管理系统的正常运行。

具体而言，所述储存模块内设有最大缺失值Gz，当储存模块判定该数据的实际占存空间小于预计占存空间时，储存模块将计算该数据的缺失值Gq，Gq=Gj-Gs，储存模块将该数据的缺失值Gq与最大缺失值Gz进行对比，

当Gq≥Gz时，所述储存模块判断该数据的缺失值达到最大缺失值标准，储存模块将删除该数据，储存模块将对剩余总预计占存空间的判断，以对剩余数据进行储存；

当Gq＜Gz时，所述储存模块判断该数据的缺失值未达到最大缺失值标准，储存模块将保留该数据，完成对该数据的储存。

在所述储存模块储存的数据中出现数据缺失的数据时，将数据缺失的具体值与储存模块内设置的最大缺失值进行比较，当数据缺失值到达最大缺失值时，所述储存模块将删除该数据，并重新计算总预计占存空间，并对标准储存空间进行调整，当数据缺失值小于最大缺失值时，储存模块判定数据缺失可调，将直接完成对该数据的储存，将缺失值过大的数据进行删除，一方面保障了储存模块内储存的数据的有效性，另一方面能够较少储存模块内无效数据占用空间，提高了有效数据的储存容量。

具体而言，当所述储存模块判断有数据的缺失值达到最大缺失值标准时，储存模块将删除缺失值达到最大缺失值标准的数据，储存模块将计算储存模块内部的实际储存空间Gk，储存模块将标准储存空间调整为Gb’，Gb’=Gb-Gk，储存模块计算剩余数据的总预计占存空间Gu，储存模块重复上述根据总预计占存空间与标准占存空间的判断调节操作，对剩余数据进行接收储存或重新排序。

当所述储存模块对数据进行了删除时，储存模块将对标准储存空间进行调整，并计算剩余数据的总预计占存空间，并通过重复判定重新对剩余数据进行判定，进一步提高了易缺失优先储存数据的量，同时保障了所述储存管理系统的正常运行。

具体而言，所述储存模块能够记录删除数据的编号与未接受储存数据的编号，在所述分析模块对数据进行重新排序时，各数据保存原有编号。

所述储存模块对删除数据的编号与未接受储存数据的编号进行记录，保障了所述监控模块与所述分析模块筛选数据的无遗漏，同时在分析模块对数据进行重新排序时，保存各数据原有的编号，避免数据混乱，也进一步减少了筛选数据遗漏。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于大数据应用的监控数据分析存储管理系统，其特征在于，包括，

数据库，其内部设有企业运行数据；

监控模块，其与所述数据库相连，所述监控模块内设有预设监控信息A，监控模块能够根据预设监控信息A在数据库中对相关数据进行标记；所述监控模块还能够对所述数据库中的数据进行提取；

分析模块，其与所述监控模块、所述数据库分别相连，所述分析模块能够根据各已标记的数据的来源信息B对已标记的数据进行筛选，并形成筛选数据组；所述分析模块能够根据筛选数据组中各数据的字符量对各数据进行排序，并将各数据进行编号，形成排序数据组；

储存模块，其与所述监控模块、所述分析模块分别相连，所述储存模块能够接收监控模块提取的各数据，并对各数据进行储存；所述储存模块内设有标准储存空间，储存模块能够计算各数据的预计占存空间，储存模块能够根据各数据的预计占存空间与标准储存空间对排序数据组进行调整；所述储存模块能根据排序数据组中各数据的字符量与各数据的实际占存空间计算各数据的数据缺失值，储存模块内设有标准数据缺失范围，储存模块能够根据各数据的数据缺失值与标准数据缺失范围判定对各数据的保留或删除；所述储存模块还能够根据各数据的删除量对排序数据组进行调整，完成数据的监控储存；

所述监控模块内设有预设监控信息A，监控模块将所述数据库中对带有预设监控信息A的数据标记为一级数据，所述分析模块内设有来源信息B，分析模块获取各所述一级数据的来源信息Ba，分析模块将设置的来源信息B与各所述一级数据的来源信息Ba进行对比，并选择各所述一级数据中来源信息Ba为设定的来源信息B的数作为筛选数据组；

所述分析模块获取所述筛选数据组中各数据的字节量，分析模块将筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，并根据各数据的排序顺序对各数据进行编号；

在所述分析模块对各数据进行排序时，分析模块获取字节量相同的各数据与预设监控信息A的相关度，分析模块按照相关度的由高到低对字节量相同的各数据进行排序编号，形成排序数据组；

所述储存模块内设有标准储存空间Gb与标准储存空间差ΔGb，当所述储存模块准备接收所述监控模块提取的各数据时，储存模块计算所述排序数据组中各数据的预计占存空间Gy，储存模块计算预计占存空间差ΔGy，ΔGy=|Gb-Gy|，储存模块将预计占存空间差ΔGy与标准储存空间差ΔGb进行对比，

当ΔGy≤ΔGb时，所述储存模块判定总预计占存空间在标准储存空间范围内，储存模块能够对所述排序数据组内的各数据进行储存；

当ΔGy＞ΔGb时，所述储存模块判定总预计占存空间不在标准储存空间范围内，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，以确定对所述排序数据组内的各数据的储存；

当所述储存模块判定总预计占存空间不在标准储存空间范围内时，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，

当Gy＞Gb时，所述储存模块判定总预计占存空间高于标准储存空间，所述分析模块将对所述排序数据组进行重新排序，以对排序数据组的各数据进行储存；

当Gy＜Gb时，所述储存模块判定总预计占存空间低于标准储存空间，储存模块将按照所述排序数据组内各数据的排序对各数据进行接收储存；

当所述储存模块判定总预计占存空间高于标准储存空间时，储存模块将标准储存空间Gb与总预计占存空间差ΔGy进行对比，

当ΔGy≤Gb时，所述储存模块判定总预计占存空间差未超过标准储存空间，储存模块将对所述排序数据组按照编号顺序拆分为两组，其中，整体编号小的数据组为第一数据组，整体编号大的数据组为第二数据组；所述储存模块将对所述第一数据组内的各数据进行接收储存；所述分析模块将计算所述第二数据组内的各数据的价值评价，分析模块将按照价值评价值的从大到小对第二数据组内的各数据进行排序；在所述储存模块完成对所述第一数据组的接收储存后，储存模块将按照所述第二数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存；

当ΔGy＞Gb时，所述储存模块判定总预计占存空间差超过标准储存空间，储存模块将按照所述排序数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存；

当所述储存模块在对各数据进行接收储存时，储存模块检测各已接收储存的各数据的实际占存空间，储存模块根据已接收储存各数据的字节量计算各数据的预计占存空间，储存模块将任一数据的实际占存空间Gs与该数据的预计占存空间Gj进行对比，

当Gs=Gj时，所述储存模块判定该数据的实际占存空间等于预计占存空间，完成该数据的储存；

当Gs＜Gj时，所述储存模块判定该数据的实际占存空间小于预计占存空间，储存模块将根据该数据的实际占存空间Gs与预计占存空间Gj的差值对该数据进行缺失判定，以确定该数据是否保留；

所述储存模块内设有最大缺失值Gz，当储存模块判定该数据的实际占存空间小于预计占存空间时，储存模块将计算该数据的缺失值Gq，Gq=Gj-Gs，储存模块将该数据的缺失值Gq与最大缺失值Gz进行对比，

当Gq≥Gz时，所述储存模块判断该数据的缺失值达到最大缺失值标准，储存模块将删除该数据，储存模块计算剩余数据的总预计占存空间Gu，以对剩余数据进行储存；

当Gq＜Gz时，所述储存模块判断该数据的缺失值未达到最大缺失值标准，储存模块将保留该数据，完成对该数据的储存。

2.根据权利要求1所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，当所述储存模块判断有数据的缺失值达到最大缺失值标准时，储存模块将删除缺失值达到最大缺失值标准的数据，储存模块将计算储存模块内部的实际储存空间Gk，储存模块将标准储存空间调整为Gb’，Gb’=Gb-Gk，储存模块计算剩余数据的总预计占存空间Gu，储存模块重复根据剩余数据的总预计占存空间Gu与标准储存空间进行的判断调节操作，对剩余数据进行接收储存或重新排序。

3.根据权利要求2所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，所述储存模块能够记录删除数据的编号与未接受储存数据的编号，在所述分析模块对数据进行重新排序时，各数据保存原有编号。