CN116795900A - 一种基于大数据的数据监测系统及方法 - Google Patents

一种基于大数据的数据监测系统及方法 Download PDF

Info

Publication number
CN116795900A
CN116795900A CN202310711425.2A CN202310711425A CN116795900A CN 116795900 A CN116795900 A CN 116795900A CN 202310711425 A CN202310711425 A CN 202310711425A CN 116795900 A CN116795900 A CN 116795900A
Authority
CN
China
Prior art keywords
data
monitoring
abnormal
historical
numerical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310711425.2A
Other languages
English (en)
Inventor
铁龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vector Intelligence Technology Harbin Co ltd
Original Assignee
Vector Intelligence Technology Harbin Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vector Intelligence Technology Harbin Co ltd filed Critical Vector Intelligence Technology Harbin Co ltd
Priority to CN202310711425.2A priority Critical patent/CN116795900A/zh
Publication of CN116795900A publication Critical patent/CN116795900A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于大数据的数据监测系统及方法，属于数据监测技术领域。本发明提供了一种数据监测方法，包括以下步骤：S1、采集监测数据，判断数据异常；S2、将监测数据进行加密传输；S3、将监测数据进行数据解密；S4、将监测数据进行持久化存储；本发明还提供了一种数据监测系统，包括用于获取所述监测数据的采集模块、用于传输所述监测数据的传输模块和用于存储所述监测数据的存储模块，所述采集模块的输出端与所述传输模块的输入端相连接；所述传输模块的输入端与所述存储模块的输入端相连接；本发明能够提高数据采集的准确性，保证数据传输的安全。

Description

一种基于大数据的数据监测系统及方法
技术领域
本发明涉及数据监测技术领域，具体为一种基于大数据的数据监测系统及方法。
背景技术
随着科技的不断发展，数据量也在不断的增多，越来越多的人们开始逐渐注意到大量数据背后蕴藏的价值，期望能通过监测数据、分析数据，获得数据背后隐藏的价值，提供更高的效益。
采集的数据量多且复杂，采集的数据中也存在错误数据，传输错误数据会造成资源的浪费，错误数据留到后期，也会对数据分析造成不良影响；另外，数据传输的过程中，也存在数据泄露的风险，竞争对手很容易通过泄露的数据进行商业攻击。
发明内容
本发明的目的在于提供一种基于大数据的数据监测系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的数据监测方法，该方法包括以下步骤：
S1-1、采集节点获取监测数据，判断所述监测数据是否存在异常，输出初始数据；
采集节点为数据采集设备，可以采集各种物理量，并通过传感器转变成对应的信号。
S1-2、发送节点通过密钥，对所述初始数据进行加密传输，输出加密数据；
密钥包含对称密钥和非对称密钥，可以将明文数据加密成密文，也可以逆向将密文解密成明文。
S1-3、接收节点通过所述密钥，将所述加密数据进行解密，输出解密数据；
S1-4、存储节点接收所述解密数据，将所述解密数据持久化存储。
持久化存储就是将顺势数据转换成持久数据，一般会选用数据库对数据进行持久化存储，数据库包括关系型数据库和非关系型数据库吗，一般选用关系型数据库对数据进行长久保存。
在步骤S1-1中，输出初始数据包括：
S2-1、判断所述监测数据是否超出数值阈值区间，超出数值阈值区间的所述监测数据记为数值异常数据；
S2-2、判断所述数值异常数据的持续时间是否超出时间阈值，超出所述时间阈值记为异常数据；
S2-3、存在所述异常数据时，所述采集节点重新采集所述监测数据；
S2-4、重复所述步骤S2-1至所述步骤S2-3，至所述异常数据不存在后，输出所述初始数据。
在步骤S2-1中，判断所述监测数据是否超出数值阈值区间包括：
S3-1、采集所述监测数据d1，d2，……，dl，将所述监测数据，整理为原始数据集合D＝[d1，d2，……，dl]；
S3-2、获取未出现故障情况下的历史数据h1，h2，……，hm，计算所述历史数据平均值m为所述历史数据的个数；
S3-3、获取出现故障情况下的历史异常数据e1，e2，……，en，计算所述历史异常数据平均值n为所述历史异常数据的个数；
S3-4、根据所述历史数据平均值havg和所述历史异常数据平均值eavg，计算数据偏差
S3-5、根据所述数据偏差，计算数据最低阈值dmin＝havg-dbias，数据最高阈值dmax＝havg+dbias，所述数值阈值区间为d∈[dmin，dmax]；
S3-6、将所述原始数据集合D中的数据，依次与所述数值阈值区间进行比对，将超出所述数值阈值区间的数据记为所述数值异常数据dr-1，dr2-，……，dr-n，将所述数值异常数据整理至数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]。
在步骤S2-2中，判断所述数值异常数据的持续时间是否处于时间阈值内包括：
S4-1、获取所述历史异常数据e1，e2，……，en对应的异常持续时间te-1，te-2，……，te-n，生成异常时间集合Te＝[te-1，te-2，……，te-n]；
S4-2、将所述异常时间集合中，根据所述异常持续时间的大小，升序排列，得到升序异常时间集合Tasc＝[te-min，te-min，……，te-max]，将所述异常持续最短时间te-min作为所述时间阈值；
S4-3、获取所述数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]对应的实际持续时间Drangetime＝[drt-1，drt-2，……，drt-n]，筛选出到达所述时间阈值的实际持续时间和对应的数值异常数据作为所述异常数据。
在步骤S1-2中，所述密钥包括：
S5-1、获取所述采集节点的节点名称，所述节点名称为所述密钥的第一组成部分；
S5-2、获取所述采集节点监测的采集数据类型，所述采集数据类型为所述密钥的第二组成部分；
S5-3、获取所述初始数据到达所述发送节点的到达时间，所述到达时间为所述密钥的第三组成部分。
在步骤S1-2中，对所述初始数据进行加密传输包括：
S6-1、获取历史发送节点至历史接收节点之间的历史距离l1，l2，……，ln和对应的历史加密等级S1，S2，……，Sn；
S6-3、构建线性回归模型计算得出历史距离权重w和历史距离偏差b；
S6-4、获取所述发送节点至所述接收节点的总距离L，计算加密等级S＝w×L+b；
S6-5、分别计算所述加密等级与所述历史加密等级的相似度：将所述相似度加入相似度集合Simi＝[cos(θ1)，cos(θ2)，……，cos(θn)]；
S6-6、将所述相似度集合Simi升序排列，获得最小相似度，将所述最小相似度对应的历史加密等级作为所述总距离L的当前加密等级；
S6-7、根据所述当前加密等级，结合所述密钥，对所述初始数据进行加密。
一种基于大数据的数据监测系统，该系统包括监测模块、传输模块和存储模块；
所述监测模块用于采集所述监测数据，判断所述监测数据是否存在异常，输出所述初始数据，所述监测模块的输出端与所述传输模块的输入端相连接；
当所述监测模块发现数据异常时，重新采集数据，至没有异常数据后，再将所述初始数据进行输出，保证监测数据的准确性。
所述传输模块用于接收所述初始数据，所述发送节点对所述初始数据进行加密传输，输出所述加密数据；所述接收节点对所述加密数据进行解密，输出所述解密数据，所述传输模块的输出端与所述存储模块的输入端相连接；
通过对所述初始数据的加密传输，保证了数据在传输过程中的安全性，随所述发送时间变化的密钥也不容易被破解，能有效的防止数据泄露。
所述存储模块用于接收所述解密数据，将所述解密数据持久化存储。
所述监测模块包含数据采集单元和数据分析单元；
所述数据采集单元用于采集并输出所述监测数据，所述数据采集单元的输出端与所述数据分析单元的输入端相连接；
所述数据分析单元用于接收所述监测数据，分析所述监测数据是否存在异常，输出所述初始数据，所述数据分析单元的输出端与所述数据传输模块的输入端相连接。
所述传输模块包含加密单元、传输单元和解密单元；
所述加密单元用于接收所述初始数据，通过所述密钥进行加密传输，输出所述加密数据，所述加密单元的输出端与所述传输单元的输入端相连接；
所述传输单元用于接收所述加密数据，传输所述加密数据，所述传输单元的输出端与所述解密单元的输入端相连接；
所述解密单元用于接收所述加密数据，通过所述密钥进行解密，输出解密数据。
与现有技术相比，本发明所达到的有益效果是：
1.提前监测数据的异常判断，保证采集数据的准确性；
2.通过随时间变化的密钥对数据进行加密，提升了数据传输过程中的安全性，保证了数据安全。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的数据监测方法的流程示意图；
图2是本发明一种基于大数据的数据监测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种基于大数据的数据监测方法，该方法包括以下步骤：
S1-1、采集节点获取监测数据，判断监测数据是否存在异常，输出初始数据；
S1-2、发送节点通过密钥，对初始数据进行加密传输，输出加密数据；
S1-3、接收节点通过密钥，将加密数据进行解密，输出解密数据；
S1-4、存储节点接收解密数据，将解密数据持久化存储。
在步骤S1-1中，输出初始数据包括：
S2-1、判断监测数据是否超出数值阈值区间，超出数值阈值区间的监测数据记为数值异常数据；
S2-2、判断数值异常数据的持续时间是否超出时间阈值，超出时间阈值记为异常数据；
S2-3、存在异常数据时，采集节点重新采集监测数据；
S2-4、重复所述步骤S2-1至所述步骤S2-3，至所述异常数据不存在后，输出所述初始数据。
在步骤S2-1中，判断监测数据是否超出数值阈值区间包括：
S3-1、采集监测数据d1，d2，……，dl，将监测数据，整理为原始数据集合D＝[d1，d2，……，dl]；
S3-2、获取未出现故障情况下的历史数据h1，h2，……，hm，计算历史数据平均值m为历史数据的个数；
S3-3、获取出现故障情况下的历史异常数据e1，e2，……，en，计算历史异常数据平均值n为历史异常数据的个数；
S3-4、根据历史数据平均值havg和历史异常数据平均值eavg，计算数据偏差
S3-5、根据数据偏差，计算数据最低阈值dmin＝havg-dbias，数据最高阈值dmax＝havg+dbias，数值阈值区间为d∈[dmin，dmax]；
S3-6、将原始数据集合D中的数据，依次与数值阈值区间进行比对，将超出数值阈值区间的数据记为数值异常数据dr-1，dr2-，……，dr-n，将数值异常数据整理至数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]。
在步骤S2-2中，判断数值异常数据的持续时间是否处于时间阈值内包括：
S4-1、获取历史异常数据e1，e2，……，en对应的异常持续时间te-1，te-2，……，te-n，生成异常时间集合Te＝[te-1，te-2，……，te-n]；
S4-2、将异常时间集合中，根据异常持续时间的大小，升序排列，得到升序异常时间集合Tasc＝[te-min，te-min+1，……，te-max]，将异常持续最短时间te-min作为时间阈值；
S4-3、获取数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]对应的实际持续时间Drangetime＝[drt-1，drt-2，……，drt-n]，筛选出到达时间阈值的实际持续时间和对应的数值异常数据作为异常数据。
在步骤S1-2中，密钥包括：
S5-1、获取采集节点的节点名称，节点名称为密钥的第一组成部分；
S5-2、获取采集节点监测的采集数据类型，采集数据类型为密钥的第二组成部分；
S5-3、获取初始数据到达发送节点的到达时间，到达时间为密钥的第三组成部分。
在步骤S1-2中，对初始数据进行加密传输包括：
S6-1、获取历史发送节点至历史接收节点之间的历史距离l1，l2，……，ln和对应的历史加密等级S1，S2，……，Sn；
S6-3、构建线性回归模型计算得出历史距离权重w和历史距离偏差b；
S6-4、获取发送节点至接收节点的总距离L，计算加密等级S＝w×L+b；
S6-5、分别计算加密等级与历史加密等级的相似度： 将相似度加入相似度集合Simi＝[cos(θ1)，cos(θ2)，……，cos(θn)]；
S6-6、将相似度集合Simi升序排列，获得最小相似度，将最小相似度对应的历史加密等级作为总距离L的当前加密等级；
S6-7、根据当前加密等级，结合密钥，对初始数据进行加密。
一种基于大数据的数据监测系统，该系统包括监测模块、传输模块和存储模块；
监测模块用于采集监测数据，判断监测数据是否存在异常，输出初始数据，监测模块的输出端与传输模块的输入端相连接；
传输模块用于接收初始数据，发送节点对初始数据进行加密传输，输出加密数据；接收节点对加密数据进行解密，输出解密数据，传输模块的输出端与存储模块的输入端相连接；
存储模块用于接收解密数据，将解密数据持久化存储。
监测模块包含数据采集单元和数据分析单元；
数据采集单元用于采集并输出监测数据，数据采集单元的输出端与数据分析单元的输入端相连接；
数据分析单元用于接收监测数据，分析监测数据是否存在异常，输出初始数据，数据分析单元的输出端与数据传输模块的输入端相连接。
传输模块包含加密单元、传输单元和解密单元；
加密单元用于接收初始数据，通过密钥进行加密传输，输出加密数据，加密单元的输出端与传输单元的输入端相连接；
传输单元用于接收加密数据，传输加密数据，传输单元的输出端与解密单元的输入端相连接；
解密单元用于接收加密数据，通过密钥进行解密，输出解密数据。
在本实施例中：
监测某网络系统运行时的内存数据8，4，16,18，34，单位：G，将内存数据整理为原始数据集合D＝[8，4，16,18，34]；
获取未出现故障情况下的历史内存数据4，6，8，17，24,单位：G，计算历史内存数据平均值
获取出现故障情况下的历史内存异常数据26,25,30，32,31,单位：G，计算历史内存异常数据平均值
根据历史内存数据平均值havg和历史内存异常数据平均值eavg，计算数据偏差
根据数据偏差，计算数据最低阈值dmin＝havg-dbias，数据最高阈值dmax＝havg+dbias，数值阈值区间为d∈[dmin，dmax]；
将原始数据集合D中的内存数据，依次与数值阈值区间进行比对，将超出数值阈值区间的数据记为数值异常数据dr-1，dr2-，……，dr-n，将数值异常数据整理至数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]。
获取历史内存异常数据26，25，30，32，31对应的异常持续时间6，5，5，8，9，10，单位：秒，生成异常时间集合Te＝[6，5，5，8，9，10]；
将异常时间集合中，根据异常持续时间的大小，升序排列，得到升序异常时间集合Tasc＝[5，5，6，8，9，10]，将异常持续最短时间5作为时间阈值；
获取数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]对应的实际持续时间Drangetime＝[drt-1，drt-2，……，drt-n]，筛选出到达时间阈值的实际持续时间和对应的数值异常数据作为异常数据。
获取历史发送节点至历史接收节点之间的历史距离5，12，16，24，单位：千米，和对应的历史加密等级1，2，2，3；
构建线性回归模型计算得出历史距离权重w和历史距离偏差b；
获取发送节点至接收节点的总距离35千米，计算加密等级S＝w×35+b；
分别计算加密等级与历史加密等级的相似度： 将相似度加入相似度集合Simi＝[cos(θ1)，cos(θ2)，cos(θ3)，cos(θ4)]；
将相似度集合Simi升序排列，获得最小相似度，将最小相似度对应的历史加密等级作为总距离35千米的当前加密等级；
根据当前加密等级，结合密钥，对初始数据进行加密传输。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于大数据的数据监测方法，其特征在于：该方法包括以下步骤：
S1-1、采集节点获取监测数据，判断所述监测数据是否存在异常，输出初始数据；
S1-2、发送节点通过密钥，对所述初始数据进行加密传输，输出加密数据；
S1-3、接收节点通过所述密钥，将所述加密数据进行解密，输出解密数据；
S1-4、存储节点接收所述解密数据，将所述解密数据持久化存储。
2.根据权利要求1所述的一种基于大数据的数据监测方法，其特征在于：在步骤S1-1中，输出初始数据包括：
S2-1、判断所述监测数据是否超出数值阈值区间，超出数值阈值区间的所述监测数据记为数值异常数据；
S2-2、判断所述数值异常数据的持续时间是否超出时间阈值，超出所述时间阈值记为异常数据；
S2-3、存在所述异常数据时，所述采集节点重新采集所述监测数据；
S2-4、重复所述步骤S2-1至所述步骤S2-3，至所述异常数据不存在后，输出所述初始数据。
3.根据权利要求2所述的一种基于大数据的数据监测方法，其特征在于：在步骤S2-1中，判断所述监测数据是否超出数值阈值区间包括：
S3-1、采集所述监测数据d1，d2，……，dl，l为所述监测数据的个数，将所述监测数据，整理为原始数据集合D＝[d1，d2，……，dl]；
S3-2、获取未出现故障情况下的历史数据h1，h2，……，hm，计算所述历史数据平均值m为所述历史数据的个数；
S3-3、获取出现故障情况下的历史异常数据e1，e2，……，en，计算所述历史异常数据平均值n为所述历史异常数据的个数；
S3-4、根据所述历史数据平均值havg和所述历史异常数据平均值eavg，计算数据偏差
S3-5、根据所述数据偏差，计算数据最低阈值dmin＝havg-dbias，数据最高阈值dmax＝havg+dbias，所述数值阈值区间为d∈[dmin，dmax]；
S3-6、将所述原始数据集合D中的数据，依次与所述数值阈值区间进行比对，将超出所述数值阈值区间的数据记为所述数值异常数据dr-1，dr2-，……，dr-n，将所述数值异常数据整理至数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]。
4.根据权利要求3所述的一种基于大数据的数据监测方法，其特征在于：在步骤S2-2中，判断所述数值异常数据的持续时间是否处于时间阈值内包括：
S4-1、获取所述历史异常数据e1，e2，……，en对应的异常持续时间te-1，te-2，……，te-n，生成异常时间集合Te＝[te-1，te-2，……，te-n]；
S4-2、将所述异常时间集合中，根据所述异常持续时间的大小，升序排列，得到升序异常时间集合Tasc＝[te-min，te-min，……，te-max]，将所述异常持续最短时间te-min作为所述时间阈值；
S4-3、获取所述数值异常数据集合Drange＝[dr-1，dr-2，……，dr-n]对应的实际持续时间Drangetime＝[drt-1，drt-2，……，drt-n]，筛选出到达所述时间阈值的实际持续时间和对应的数值异常数据作为所述异常数据。
5.根据权利要求4所述的一种基于大数据的数据监测方法，其特征在于：在步骤S1-2中，所述密钥包括：
S5-1、获取所述采集节点的节点名称，所述节点名称为所述密钥的第一组成部分；
S5-2、获取所述采集节点监测的采集数据类型，所述采集数据类型为所述密钥的第二组成部分；
S5-3、获取所述初始数据到达所述发送节点的到达时间，所述到达时间为所述密钥的第三组成部分。
6.根据权利要求5所述的一种基于大数据的数据监测方法，在步骤S1-2中，对所述初始数据进行加密传输包括：
S6-1、获取历史发送节点至历史接收节点之间的历史距离l1，l2，……，kn和对应的历史加密等级S1，S2，……，Sn；
S6-3、构建线性回归模型计算得出历史距离权重w和历史距离偏差b；
S6-4、获取所述发送节点至所述接收节点的总距离L，计算加密等级S＝w×L+b；
S6-5、分别计算所述加密等级与所述历史加密等级的相似度：将所述相似度加入相似度集合Simi＝[cos(θ1)，cos(θ2)，……，cos(θn)]；
S6-6、将所述相似度集合Simi升序排列，获得最小相似度，将所述最小相似度对应的历史加密等级作为所述总距离L的当前加密等级；
S6-7、根据所述当前加密等级，结合所述密钥，对所述初始数据进行加密。
7.一种基于大数据的数据监测系统，其特征在于：该系统包括监测模块、传输模块和存储模块；
所述监测模块用于采集所述监测数据，判断所述监测数据是否存在异常，输出所述初始数据，所述监测模块的输出端与所述传输模块的输入端相连接；
所述传输模块用于接收所述初始数据，所述发送节点对所述初始数据进行加密传输，输出所述加密数据；所述接收节点对所述加密数据进行解密，输出所述解密数据，所述传输模块的输出端与所述存储模块的输入端相连接；
所述存储模块用于接收所述解密数据，将所述解密数据持久化存储。
8.根据权利要求7所述的一种基于大数据的数据监测系统，其特征在于：所述监测模块包含数据采集单元和数据分析单元；
所述数据采集单元用于采集并输出所述监测数据，所述数据采集单元的输出端与所述数据分析单元的输入端相连接；
所述数据分析单元用于接收所述监测数据，分析所述监测数据是否存在异常，输出所述初始数据，所述数据分析单元的输出端与所述数据传输模块的输入端相连接。
9.根据权利要求8所述的一种基于大数据的数据监测系统，其特征在于：所述传输模块包含加密单元、传输单元和解密单元；
所述加密单元用于接收所述初始数据，通过所述密钥进行加密传输，输出所述加密数据，所述加密单元的输出端与所述传输单元的输入端相连接；
所述传输单元用于接收所述加密数据，传输所述加密数据，所述传输单元的输出端与所述解密单元的输入端相连接；
所述解密单元用于接收所述加密数据，通过所述密钥进行解密，输出解密数据。
CN202310711425.2A 2023-06-15 2023-06-15 一种基于大数据的数据监测系统及方法 Withdrawn CN116795900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310711425.2A CN116795900A (zh) 2023-06-15 2023-06-15 一种基于大数据的数据监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310711425.2A CN116795900A (zh) 2023-06-15 2023-06-15 一种基于大数据的数据监测系统及方法

Publications (1)

Publication Number Publication Date
CN116795900A true CN116795900A (zh) 2023-09-22

Family

ID=88047492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310711425.2A Withdrawn CN116795900A (zh) 2023-06-15 2023-06-15 一种基于大数据的数据监测系统及方法

Country Status (1)

Country Link
CN (1) CN116795900A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117812012A (zh) * 2024-03-01 2024-04-02 天津市天益达科技发展有限公司 一种数据传输方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117812012A (zh) * 2024-03-01 2024-04-02 天津市天益达科技发展有限公司 一种数据传输方法及系统

Similar Documents

Publication Publication Date Title
CN103036884B (zh) 一种基于同态加密的数据保护方法和系统
CN116795900A (zh) 一种基于大数据的数据监测系统及方法
Beaver et al. Key management for SCADA
CN103560911A (zh) 一种金融自助设备主动预防维修维护的方法及系统
CN116861697A (zh) 一种基于大数据的电力数据处理系统及处理方法
CN103617402B (zh) 一种多媒体电子数据取证报告及其生成、展示方法和系统
CN115766263B (zh) 基于云雾计算的多维电力数据隐私保护聚合方法及系统
CN113411328B (zh) 一种基于数据预辨识敏感数据高效传输系统
CN113783683B (zh) 基于传感器网络的云平台隐私保护可验证数据聚合方法
CN110929277B (zh) 一种数据集中器、电能计量数据的处理方法及系统
CN113254947A (zh) 一种车辆数据保护方法、系统、设备和存储介质
CN109617900A (zh) 基于物联网与区块链技术结合的信息数据加密的方法
CN116663047A (zh) 一种患者健康记录隐私保护的细粒度安全数据分享方法
CN112383504A (zh) 一种电力物联网区块链数据管理系统
CN117640150A (zh) 终端认证方法、碳排放监管一体化平台和终端认证装置
CN116743341A (zh) 一种基于同态加密的量测数据安全共享方法
CN114584374B (zh) 一种基于区块链的大数据隐私共享安全保护系统及方法
CN112507355B (zh) 一种基于区块链的个人健康数据存储系统
CN115600189A (zh) 一种商用密码应用安全性评估系统
CN110912915B (zh) 一种基于数据采集的通信安全预警系统
CN113365269A (zh) 一种基于物联网的配电5g通信加密系统及通信加密方法
US20210097195A1 (en) Privacy-Preserving Log Analysis
CN117768245B (zh) 一种全链路数据安全保护方法及系统
CN204614051U (zh) 多车辆即时信息管理及处理系统
CN110445255B (zh) 一种基于批签密的智能电网系统及其构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230922