CN117494231A - 一种基于大数据的分布式数据管理监测系统 - Google Patents

Abstract

本发明公开了一种基于大数据的分布式数据管理监测系统，涉及分布式管理领域，包括监测模块、管理模块、分析模块、防护模块与存储模块；所述监测模块用于对大数据获取时的状况进行监测，并且所述检测模块的输出端与所述管理模块的输入端连接，所述管理模块用于对各个模块之间的数据进行交互，通过所述分析模块对大数据进行深入了解，同时对其进行挖掘，提供实时的见解和预测；该基于大数据的分布式数据管理监测系统，通过监测模块对传输数据进行检测，防止异常数据进入，并且在存储模块内部设置防护模块，使其实时对存储模块内部进行监测，防止存储的数据产生损坏，同时在产生异常数据时，可快速找到异常点，从而提高数据管理效率。

Description

一种基于大数据的分布式数据管理监测系统

技术领域

本发明涉及分布式管理技术，具体涉及一种基于大数据的分布式数据管理监测系统。

背景技术

随着分布式系统的增长和资源从曾经集中的域中分散出来，管理硬件、软件、用户、更新、配置和安全性的问题也多样化了。而且另外与内部独立系统改变有关的还有一个同步问题。操作系统、硬件或协议的差异使这更加复杂。分布式网络管理系统可以利用网络平台的优点将管理功能分散到网络上，而不是将它们集中于单一的数据中心。管理员仍可以从一个位置运行管理系统，而由分布于网络上的管理机构收集信息并应答给管理系统。过去由于时间和传输限制而无法获取的信息现在可被管理者使用了。容错管理和预防性维护也大大简化了。对即将产生的问题也可提出警告。

现有的设备接入管理监测平台只需要发送连接请求，管理平台并不会对非运行状态的设备进行筛选，数据管理是对设备发送的数据进行接收后进行处理，但设备进行数据发送往往会出现重复数据或异常数据，从而导致管理平台对重复数据或异常数据无法进行处理，会导致重复无效数据越来越多，进而使得存储空间逐渐减小，并且存储的数据安全性大大降低，从而开发了一种基于大数据的分布式数据管理监测系统。

发明内容

本发明的目的是提供一种基于大数据的分布式数据管理监测系统，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：一种基于大数据的分布式数据管理监测系统，包括监测模块、管理模块、分析模块、防护模块与存储模块；

所述监测模块用于对大数据获取时的状况进行监测，并且所述监测模块的输出端与所述管理模块的输入端连接，所述管理模块用于对各个模块之间的数据进行交互，通过所述分析模块对大数据进行深入了解，同时对其进行挖掘，提供实时的见解和预测；

所述存储模块用于对收集的数据进行存储，并且由所述防护模块对存储的数据进行检测。

作为本发明的进一步优化方案，所述管理模块在运行的过程中，控制端会发挥出相应的控制信号，在接收到操作人员的检索请求，并对系统的所有状态展开实时的监控，将系统中存在的异常数据及时的处理，并将检索的数据展示出来。

作为本发明的进一步优化方案，所述监测模块对运行或存储的数据进行检测，同时可以在发现异常情况和问题时，快速采取相应的措施加以解决。

作为本发明的进一步优化方案，所述分析模块通过运用机器学习、数据挖掘和统计分析，所述管理模块能够发现数据中的隐藏模式和关联规律，提供实时的见解和预测。

作为本发明的进一步优化方案，所述防护模块采用各种数据安全措施，通过数据加密、访问控制和数据脱敏来保护数据的机密性和完整性。

作为本发明的进一步优化方案，所述存储模块通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储设备，并将数据分散在各处对比集中存储。

与现有技术相比，本发明提供的一种基于大数据的分布式数据管理监测系统，避免出现外部设备连接管理平台时，将与管理平台内部存储数据相似的数据输出至存储模块内部，进而降低存储模块存储的压力，并且在外部设备传输数据时，通过监测模块对传输数据进行检测，防止异常数据进入，并且在存储模块内部设置防护模块，使其实时对存储模块内部进行监测，防止存储的数据产生损坏，同时在产生异常数据时，可快速找到异常点，从而提高数据管理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的原理图。

附图标记说明：

1、监测模块；2、管理模块；3、分析模块；4、防护模块；5、存储模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”“上”“下”“左”“右”“竖直”“水平”“内”“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，此外，除非另有明确的规定和限定，术语“安装”“相连”“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例：

请参阅图1，一种基于大数据的分布式数据管理监测系统，包括监测模块1、管理模块2、分析模块3、防护模块4与存储模块5；

监测模块1用于对大数据获取时的状况进行监测，并且监测模块1的输出端与管理模块2的输入端连接，管理模块2用于对各个模块之间的数据进行交互，通过分析模块3对大数据进行深入了解，同时对其进行挖掘，提供实时的见解和预测；

存储模块5用于对收集的数据进行存储，并且由防护模块4对存储的数据进行检测。

本方案中，当外部设备与管理平台连接时，通过监测模块1对外部设备传送的数据进行监测，对传输过程中数据产生重复、相似或异常数据进行标记，并在出现异常数据进行报警，同时将其传送至管理模块2内部，将其进行清除；

具体的，在外部设备传输数据后，通过分析模块3对传输的数据进行分析，并对数据进一步的了解，挖掘出与其相关的内容，在分析完成后，将其保存至存储模块5内部，由防护模块4对存储的数据进行防护，避免其发生遗失或损坏。

进一步地，管理模块2在运行的过程中，控制端会发出相应的控制信号，在接收到操作人员的检索请求，并对系统的所有状态展开实时的监控，将系统中存在的异常数据及时的处理，并将检索的数据展示出来。

具体的，管理模块2用于协调监测模块1、分析模块3、防护模块4与存储模块5，其所运行的过程均反馈至管理模块2中，当需要对存储的数据进行查询时，通过管理模块2对无效数据以及补缺数值进行标记，并由用户进行重新补充或填写，并确保数据的一致性和准确性。

进一步地，监测模块1对运行或存储的数据进行检测，同时可以在发现异常情况和问题时，快速采取相应的措施加以解决。

本实施例中，监测模块1在大数据清洗中，为去除相似信息，常采用相似连接技术，当前的相似连接算法主要有单机算法和并行算法；基于内容的相似匹配是从一个已知的文本集中找出与给定查询集中匹配度达到要求的所有文本，匹配度定义如下：

1、给定两个文本s和d，称s为查询串，d为文本串，两串间的q元匹配度定义为：

式(1)中，sim_q(s，d)为两串间的q元匹配度，|s|为串长，[s]_q为文本s拆分得到的连续且重叠q-1个字符的q-gram的总数目(q-gram是一个长度为q的子串)，即[s]_q＝|s|-q+1，S_q(s，d)为文本s拆分得到的[s]_q个q-gram在文本d中出现的个数，C_q(s，d)为s的[s]_q个q-gram构成的子串在d中匹配到的最长子串长度；当q＝1时为字符级别的匹配度，当q>1时为多元匹配度；在该匹配度公式中，前半部分描述的是q-gram的覆盖情况，后半部分描述的是q-gram的连续情况；

在内容信息安全监测系统中，给定一个查询集和一个大文本集，系统要在大文本集中快速发现与查询集中匹配度达到要求的文本，这里查询集通常是一个由关键词(词或句子)构成的集合；设某个查询总共有N个关键词，则此时公式(1)中

2、基于内容的相似匹配问题：给定查询集Q、大文本集D和q元匹配度参数τ，基于内容的相似匹配问题是在Q和D间找出所有满足sim_q(s_i，d_j)≥τ，s_i∈Q，d_j∈D的所有匹配对；

如给定查询集Q和文本集D在每个集合中“#”号前面的是查询编号或文本编号，后面的是内容；如τ＝0.9，q＝2，则sim₂(s₁，d₁)＝1≥0.9是一个匹配对；而sim₂(s₂，d₂)＝0.85<0.9，则不是匹配对；

因给定的大文本集D中含有大量的文本串，查询集Q中也有一定数量的查询串，因此潜在串对是海量的。而计算所有可能串对的匹配度需要花费大量的时间，因此本文拟采用过滤器先过滤掉那些不满足要求的串对，然后再对通过过滤的候选对进行计算；

定理；给定查询串s、文本串d和q元匹配度参数τ；设串s中共有N个关键词，把每个关键词s_i都分割成|s_i|-q+1个连续且重叠的长度为q的q-gram，设文本d中含有这[s]_q个q-gram中的S_q(s，d)个。此时如/>则一定有sim_q(s，d)<τ，即(s，d)一定不是匹配对。

设因N≥1，q-1≥0则

因文本d共享了S_q(s，d)个q-gram，则能构成的最长匹配子串长度和不超过S_q(s，d)+N(q-1)，即C_q(s，d)≤S_q(s，d)+N(q-1)， 即/>

因且N≥1，q-1≥0和则则有/>定理成立。

从而可快速过滤其他数据，直接显示出所需要查询的内容，同时当出现异常数据时，可更具标记的直接显示出异常数据存在的位置，进而方便操作人员进行处理。

进一步地，分析模块3通过运用机器学习、数据挖掘和统计分析，管理模块2能够发现数据中的隐藏模式和关联规律，提供实时的见解和预测。

具体的，通过在存储模块5中获取的大数据进行分析，以作出预测并提高效率，同时将分析得到的信息传送至管理模块2中，由管理人员对分析的数据进行处理。

进一步地，防护模块4采用各种数据安全措施，通过数据加密、访问控制和数据脱敏来保护数据的机密性和完整性。

具体的，通过防护模块4实时对传输的数据进行监测，一旦出现异常情况，即发出警报，并对其进行标记，同时将异常数据的内容传输至关门模块2中，由管理人员对异常数据进行清除。

进一步地，存储模块5通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储设备，并将数据分散在各处对比集中存储。

本实施例中，通过存储模块5将接收或写入的信息进行保存，同时可采用Preadolescences存储数据、文件存储数据、SQLite微数据库存储数据、ContentProvider存储微数据与网络存储数据等任意一种方式进行存储。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (6)

1.一种基于大数据的分布式数据管理监测系统，其特征在于，包括监测模块(1)、管理模块(2)、分析模块(3)、防护模块(4)与存储模块(5)；

所述监测模块(1)用于对大数据获取时的状况进行监测，并且所述监测模块(1)的输出端与所述管理模块(2)的输入端连接，所述管理模块(2)用于对各个模块之间的数据进行交互，通过所述分析模块(3)对大数据进行深入了解，同时对其进行挖掘，提供实时的见解和预测；

所述存储模块(5)用于对收集的数据进行存储，并且由所述防护模块(4)对存储的数据进行检测。

2.根据权利要求1所述的一种基于大数据的分布式数据管理监测系统，其特征在于，所述管理模块(2)在运行的过程中，控制端会发出相应的控制信号，在接收到操作人员的检索请求，并对系统的所有状态展开实时的监控，将系统中存在的异常数据及时的处理，并将检索的数据展示出来。

3.根据权利要求1所述的一种基于大数据的分布式数据管理监测系统，其特征在于，所述监测模块(1)对运行或存储的数据进行检测，同时可以在发现异常情况和问题时，快速采取相应的措施加以解决。

4.根据权利要求1所述的一种基于大数据的分布式数据管理监测系统，其特征在于，所述分析模块(3)通过运用机器学习、数据挖掘和统计分析，所述管理模块(2)能够发现数据中的隐藏模式和关联规律，提供实时的见解和预测。

5.根据权利要求1所述的一种基于大数据的分布式数据管理监测系统，其特征在于，所述防护模块(4)采用各种数据安全措施，通过数据加密、访问控制和数据脱敏来保护数据的机密性和完整性。

6.根据权利要求1所述的一种基于大数据的分布式数据管理监测系统，其特征在于，所述存储模块(5)通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储设备，并将数据分散在各处对比集中存储。