CN116545782B - 一种超融合云计算系统的数据监测方法及装置 - Google Patents
一种超融合云计算系统的数据监测方法及装置 Download PDFInfo
- Publication number
- CN116545782B CN116545782B CN202310825636.9A CN202310825636A CN116545782B CN 116545782 B CN116545782 B CN 116545782B CN 202310825636 A CN202310825636 A CN 202310825636A CN 116545782 B CN116545782 B CN 116545782B
- Authority
- CN
- China
- Prior art keywords
- data
- edge end
- edge
- authority
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 230000005856 abnormality Effects 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000007547 defect Effects 0.000 claims description 55
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/105—Multiple levels of security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明实施例提供了一种超融合云计算系统的数据监测方法及装置，方法包括：构建超融合云计算系统；确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，对边缘端的原始业务数据进行第一次验证；对不存在异常的边缘端的原始业务数据进行分割，获得块数据；计算块数据的数据偏移量和边缘端与公共节点之间的第一距离，用于二次验证并将验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。实施本申请实施例，通过权限数据库进行一次验证，并在分割处理后基于数据偏移量和第一距离进行二次验证，采用双重验证的方式可以对数据进行筛选并确保业务数据的安全性，简化数据监测系统内部结构。
Description
技术领域
本发明涉及数据监测领域，尤其涉及一种超融合云计算系统的数据监测方法及装置。
背景技术
超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”）将具有本地存储资源的x86标准服务器硬件设备和虚拟化管理软件、分布式存储软件相结合，以创建灵活的IaaS基础架构，从而取代由单独服务器、存储网络和存储阵列构成的传统基础架构。这种架构可以视为在同一套单元设备中具备计算、网络、存储和服务器虚拟化等资源和技术，同时还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素。这种技术已被逐渐应用到业务系统中。
业务系统存在着数据监测的需求，通常，数据监测的目的主要在于确定业务数据是否存在异常，这种异常可能是数据的完整性上的欠缺，抑或是业务数据遭到篡改等。现有的在线监测系统，通常是针对每一种数据类型分别建立一个数据表，然后针对数据表相应地开发上层可视化软件，实现数据的监测。但是，随着兼容的数据监测类型越来越多，在线数据监测系统内部的设计会越来越复杂，影响到程序效率，并且数据的安全性难以得到保证。
发明内容
本发明提供了一种超融合云计算系统的数据监测方法及装置，通过二次验证，以解决如何提高业务数据的安全性的技术问题。
为了解决上述技术问题，本发明实施例提供了一种超融合云计算系统的数据监测方法，包括：
以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；
通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；
确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；
对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。
作为优选方案，所述基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：
所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征；
获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；
提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷。
作为优选方案，所述通过计算得到的相似值，确定各边缘端是否存在数据缺陷，具体为：
当所述相似值大于0.8时，确定该边缘端存在数据缺陷；
当所述相似值小于等于0.8时，确定该边缘端不存在数据缺陷。
作为优选方案，所述对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；
计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离；
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应；
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
作为优选方案，所述权限级别通过边缘端与公共节点之间的第一距离进行划分；
所述第一距离通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值。
作为优选方案，所述通过所述超融合云计算系统，获取各边缘端的原始业务数据，具体为：
通过所述超融合云计算系统，记录各边缘端的编号和设备ID；
在接收到数据获取请求时，基于所述边缘端的编号和设备ID访问对应的边缘端，获取业务变量数据；其中，所述数据获取请求每隔第一预设时间段从用户端进行接收；所述业务变量数据包括第二预设时间段内累积得到的用于表征业务对象的特征的数据。
作为优选方案，所述计算各块数据的数据偏移量，具体为：
在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之前，对边缘端对应原始业务中的块信息进行标识，并将其序号设定为1；其中，所述块信息与原始业务数据的数据类型对应，并利用人工智能算法进行标识；
在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之后，根据各块数据之间的第二距离从小到大进行排序，并将各块数据的序号从2开始依据排序结果进行编号；
将各块数据对应的序号与所述块信息之间的序号差作为所述数据偏移量。
相应的，本发明实施例还提供了一种超融合云计算系统的数据监测装置，包括云计算系统构建模块、业务数据获取模块、第一验证模块和监测模块；其中，
所述云计算系统构建模块，用于以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；
所述业务数据获取模块，用于通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；
所述第一验证模块，用于确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；
所述监测模块，用于对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。
作为优选方案，所述第一验证模块基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：
所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征；
所述第一验证模块获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；
提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷。
作为优选方案，所述第一验证模块通过计算得到的相似值，确定各边缘端是否存在数据缺陷，具体为：
当所述相似值大于0.8时，所述第一验证模块确定该边缘端存在数据缺陷；
当所述相似值小于等于0.8时，所述第一验证模块确定该边缘端不存在数据缺陷。
作为优选方案，所述监测模块对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；
所述监测模块计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离；
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应；
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
作为优选方案，所述权限级别通过边缘端与公共节点之间的第一距离进行划分；
所述第一距离通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值。
作为优选方案，所述业务数据获取模块通过所述超融合云计算系统，获取各边缘端的原始业务数据，具体为：
所述业务数据获取模块通过所述超融合云计算系统，记录各边缘端的编号和设备ID；
在接收到数据获取请求时，基于所述边缘端的编号和设备ID访问对应的边缘端，获取业务变量数据；其中，所述数据获取请求每隔第一预设时间段从用户端进行接收；所述业务变量数据包括第二预设时间段内累积得到的用于表征业务对象的特征的数据。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种超融合云计算系统的数据监测方法及装置，所述数据监测方法包括：以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。实施本申请实施例，根据各业务功能的划分分别构建相应的虚拟机，从而基于虚拟机所组成的集群获得超融合云计算系统，可以通过边缘端传递原始业务数据至超融合云计算系统，使得对业务数据的监测可以实现在业务功能划分前提下的毫秒级实时运算的需求，提高在线数据监测系统的容错能力；通过权限数据库进行一次验证，并在分割处理后基于数据偏移量和第一距离进行二次验证，采用双重验证的方式可以对数据进行筛选并确保业务数据的安全性，相比于现有技术可以达到简化了数据监测系统内部结构的目的，同时减少业务数据的冗余度，提高程序效率。
附图说明
图1：为本发明提供的超融合云计算系统的数据监测方法的一种实施例的流程示意图。
图2：为本发明提供的超融合云计算系统的数据监测装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，请参照图1，为本发明实施例提供的一种超融合云计算系统的数据监测方法，包括步骤S1至步骤S4；其中，
步骤S1，以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应。
在本实施例中，考虑到超融合基础架构以硬件服务器为基础，可以最大限度实现数据中心的容量扩展性和数据的可用性，并且其可以有效提升集群的运算效能和存储空间。本实施例采用超融合基础架构为集群架构，构建超融合云计算系统，可以为在线的业务数据监测提升整体的工作效率，同时针对海量数据，可以在进行业务功能划分的情况下，实现批量处理，有效减少计算资源的消耗，提升数据处理效率。
需要说明的是，业务功能指的是其记录了操作本身，记录的包括操作对象、操作执行的内容（例如可以包括增删改查，但是增删改查不一定是业务功能）、操作执行的时间等；同时，在某些应用场景中，其可能还会记录包括但不限于相关责任人、业务发生的地点等。对虚拟机以业务功能划分，可以使虚拟机分别处理对应的功能的数据，增加数据处理的有序性和数据本身的有效性。
步骤S2，通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能。
在本实施例中，通过所述超融合云计算系统，记录各边缘端的编号和设备ID；
在接收到数据获取请求或者指令时，基于所述边缘端的编号和设备ID访问对应的边缘端，获取业务变量数据；其中，所述数据获取请求每隔第一预设时间段从用户端进行接收，超融合云计算系统接收的时间取决于用户端发送的时间，用户端可以定时进行发送，也可以在边缘端的业务数据得到更新时进行发送；所述业务变量数据包括第二预设时间段（例如，优选为0.5s）内累积得到的用于表征业务对象的特征的数据。
步骤S3，确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常。
在本实施例中，所述权限级别通过边缘端与公共节点之间的第一距离进行划分。例如，权限级别可以按照重要性从A至E进行排列，在边缘端与公共节点相距五百米以内时（第一距离在五百米以内），可以将边缘端的权限级别定为E，在其相距五百米至一千米范围内时，可以定为D，如此类推，不再赘述（可以人为预先设定每一权限级别与第一距离之间的关系）。同时需要说明，在本实施例的数据监测方法中，公共节点有不少于一个，每一公共节点对应不少于2个边缘端。例如，公共节点有N个，可以以a、b、c、d…、N进行编号，而公共节点a对应的边缘端则为a1、a2、a3、…、ai，如此类推。实施本申请实施例，基于超融合云计算系统、公共节点和边缘端的数据监测技术架构，可以对数据进行分类处理，进一步提高数据处理和监测过程的有序性，同时有效降低超融合云计算系统的负荷。
优选地，所述第一距离可以通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值。
进一步地，上述基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：
所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征；
获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；
提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷。在本实施例中，可以通过如神经网络等技术提取设备信息特征以及设备电数据特征，并通过现有的相似值计算方法，计算特征之间的相似度，从而确定原始业务数据的设备信息特征的完整，进而确定其是否存在缺陷。
进一步地，当所述相似值大于0.8时，确定该边缘端存在数据缺陷；当所述相似值小于等于0.8时，确定该边缘端不存在数据缺陷。该相似值阈值可以根据实际的应用场景或业务需要确定。
步骤S4，对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。
作为一种优选实施方式，所述对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；其中，每一个权限级别对应一个分割模型。
计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离。例如，接入信息可以包括其接入方式，通过接入方式结合设备的类型可以推导得出边缘端的数据传输速率等，从而基于数据传输的速率以及边缘端所属的权限级别（需要强调的是，权限级别根据第一距离进行划分，所以实际上蕴含了一定的距离信息），进而可以确定需要分割的块数以及第二距离。
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应。由上述，确定合理的分割块数以及第二距离并作为模型参数对分割模型进行优化，可以提高分割模型的性能，针对每一个不存在异常的边缘端的原始业务数据进行针对性划分，以获取合理的块数据。需要说明的是，优化前的分割模型与权限级别对应，例如本实施例有A至E共计五个权限级别，则初始的分割模型或者说基础分割模型有五种，在经过各边缘终端分别对应的分割块数和相邻块数据之间的第二距离优化后，得到的分割模型有i个，与边缘端a1、a2、a3、…、ai分别一一对应。
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。这样，相关的技术人员可以通过用户端访问目标边缘端，获取其对应的数据监测结果，对边缘端的业务数据进行实时掌握。
在本实施例中，块数据可以为块文件，数据偏移量可以根据块文件位置和分割前的预设位置信息计算得到，通过数据偏移量以及第一距离，可以进一步确定边缘端的业务数据的传输过程是否存在异常。
作为进一步优选实施方式，所述计算各块数据的数据偏移量，具体为：
在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之前，对边缘端对应原始业务中的块信息进行标识，并将其序号设定为1；其中，所述块信息与原始业务数据的数据类型对应，并利用人工智能算法进行标识；在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之后，根据各块数据之间的第二距离从小到大进行排序，并将各块数据的序号从2开始依据排序结果进行编号；将各块数据对应的序号与所述块信息之间的序号差作为所述数据偏移量。实施本申请实施例，各块数据预设有对应的数据偏移标准范围（可以从预设数据库进行查询），通过将各序号的块数据与预设的数据偏移标准范围进行比较，可以判断块数据的偏移是否异常。例如，对于序号从1至K共计K个块数据，序号为1的块数据的数据偏移范围可以为[5,8]，而当其对应的数据偏移量为9时，可以确定序号为1的块数据存在异常。由此，可以对各块数据依次进行验证，并相应生成各块数据对应的验证信息，结合边缘端对应的第一距离生成所述二次验证信息，辅助相关技术人员对各边缘端对应数据进行监测，并在一定程度上获悉各边缘端的运行状态。
相应的，参照图2，本发明实施例还提供了一种超融合云计算系统的数据监测装置，包括云计算系统构建模块101、业务数据获取模块102、第一验证模块103和监测模块104；其中，
所述云计算系统构建模块101，用于以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；
所述业务数据获取模块102，用于通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；
所述第一验证模块103，用于确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；
所述监测模块104，用于对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。
作为优选方案，所述第一验证模块103基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：
所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征；
所述第一验证模块103获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；
提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷。
作为优选方案，所述第一验证模块103通过计算得到的相似值，确定各边缘端是否存在数据缺陷，具体为：
当所述相似值大于0.8时，所述第一验证模块103确定该边缘端存在数据缺陷；
当所述相似值小于等于0.8时，所述第一验证模块103确定该边缘端不存在数据缺陷。
作为优选方案，所述监测模块104对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；
所述监测模块104计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离；
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应；
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
作为优选方案，所述权限级别通过边缘端与公共节点之间的第一距离进行划分；
所述第一距离通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值。
作为优选方案，所述业务数据获取模块102通过所述超融合云计算系统，获取各边缘端的原始业务数据，具体为：
所述业务数据获取模块102通过所述超融合云计算系统，记录各边缘端的编号和设备ID；
在接收到数据获取请求时，基于所述边缘端的编号和设备ID访问对应的边缘端，获取业务变量数据；其中，所述数据获取请求每隔第一预设时间段从用户端进行接收；所述业务变量数据包括第二预设时间段内累积得到的用于表征业务对象的特征的数据。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种超融合云计算系统的数据监测方法及装置，所述数据监测方法包括：以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端。实施本申请实施例，根据各业务功能的划分分别构建相应的虚拟机，从而基于虚拟机所组成的集群获得超融合云计算系统，可以通过边缘端传递原始业务数据至超融合云计算系统，使得对业务数据的监测可以实现在业务功能划分前提下的毫秒级实时运算的需求，提高在线数据监测系统的容错能力；通过权限数据库进行一次验证，并在分割处理后基于数据偏移量和第一距离进行二次验证，采用双重验证的方式可以对数据进行筛选并确保业务数据的安全性，相比于现有技术可以达到简化了数据监测系统内部结构的目的，同时减少业务数据的冗余度，提高程序效率。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种超融合云计算系统的数据监测方法，其特征在于，包括：
以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；
通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；
确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；
对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端；
所述基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征； 获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷；
其中，所述权限级别通过边缘端与公共节点之间的第一距离进行划分；所述第一距离通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值；
所述计算各块数据的数据偏移量，具体为：在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之前，对边缘端对应原始业务中的块信息进行标识，并将其序号设定为1；其中，所述块信息与原始业务数据的数据类型对应，并利用人工智能算法进行标识；在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之后，根据各块数据之间的第二距离从小到大进行排序，并将各块数据的序号从2开始依据排序结果进行编号；将各块数据对应的序号与所述块信息之间的序号差作为所述数据偏移量；
其中，各块数据预设有对应的数据偏移标准范围，通过将各序号的块数据与预设的数据偏移标准范围进行比较，判断块数据的偏移是否异常；由此，对各块数据依次进行验证，并相应生成各块数据对应的验证信息，结合边缘端对应的第一距离生成所述二次验证信息。
2.如权利要求1所述的一种超融合云计算系统的数据监测方法，其特征在于，所述通过计算得到的相似值，确定各边缘端是否存在数据缺陷，具体为：
当所述相似值大于0.8时，确定该边缘端存在数据缺陷；
当所述相似值小于等于0.8时，确定该边缘端不存在数据缺陷。
3.如权利要求1所述的一种超融合云计算系统的数据监测方法，其特征在于，所述对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；
计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离；
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应；
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
4.一种超融合云计算系统的数据监测装置，其特征在于，包括云计算系统构建模块、业务数据获取模块、第一验证模块和监测模块；其中，
所述云计算系统构建模块，用于以超融合架构为集群架构，通过若干虚拟机构成集群从而获得所述超融合云计算系统；所述虚拟机根据业务功能进行划分，并与各业务功能分别一一对应；
所述业务数据获取模块，用于通过所述超融合云计算系统，获取各边缘端的原始业务数据；其中，每一边缘端对应一种或多业务功能；
所述第一验证模块，用于确定各边缘端对应的权限级别，分别查询各权限级别对应的权限数据库，并基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷；当原始业务数据未接入或者存在数据缺陷时，则确定对应的边缘端存在异常；当原始业务数据接入并且不存在数据缺陷时，则确定对应的边缘端不存在异常；
所述监测模块，用于对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据；计算各块数据的数据偏移量和对应边缘端与预设公共节点之间的第一距离，并基于所述数据偏移量和第一距离生成二次验证信息作为各边缘端对应的数据监测结果，将所述数据监测结果分别分发至对应的各边缘端；
所述第一验证模块基于所述权限数据库对原始业务数据进行验证，以确定各边缘端是否接入或存在数据缺陷，具体为：所述权限数据库中存储有各权限级别对应的权限信息；其中，所述权限信息包括权限级别对应的设备类型及其接入信息，以及设备电数据特征；所述第一验证模块获取各边缘端的设备ID和接入数据，基于设备ID查询预设的设备信息表，以确定各边缘端的设备类型，将各边缘端匹配至所述权限信息中包含的设备类型，并通过所述权限信息中设备类型对应的接入信息对边缘端的接入信息进行验证，确定边缘端在对应的权限级别层面是否接入；提取所述原始业务数据的设备信息特征；通过所述设备电数据特征验证所述设备信息特征的完整性并计算得到对应的相似值，并通过计算得到的相似值，确定各边缘端是否存在数据缺陷；
其中，所述权限级别通过边缘端与公共节点之间的第一距离进行划分；所述第一距离通过访问用户端进行获取；或者，基于边缘端获取的GPS数据和公共节点的位置信息获取；其中，所述公共节点的位置信息为预设值；
所述计算各块数据的数据偏移量，具体为：在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之前，对边缘端对应原始业务中的块信息进行标识，并将其序号设定为1；其中，所述块信息与原始业务数据的数据类型对应，并利用人工智能算法进行标识；在所述对不存在异常的边缘端对应的原始业务数据进行分割处理之后，根据各块数据之间的第二距离从小到大进行排序，并将各块数据的序号从2开始依据排序结果进行编号；将各块数据对应的序号与所述块信息之间的序号差作为所述数据偏移量；
其中，各块数据预设有对应的数据偏移标准范围，通过将各序号的块数据与预设的数据偏移标准范围进行比较，判断块数据的偏移是否异常；由此，对各块数据依次进行验证，并相应生成各块数据对应的验证信息，结合边缘端对应的第一距离生成所述二次验证信息。
5.如权利要求4所述的一种超融合云计算系统的数据监测装置，其特征在于，所述第一验证模块通过计算得到的相似值，确定各边缘端是否存在数据缺陷，具体为：
当所述相似值大于0.8时，所述第一验证模块确定该边缘端存在数据缺陷；
当所述相似值小于等于0.8时，所述第一验证模块确定该边缘端不存在数据缺陷。
6.如权利要求4所述的一种超融合云计算系统的数据监测装置，其特征在于，所述监测模块对不存在异常的边缘端对应的原始业务数据进行分割处理，获得若干块数据，具体为：
所述权限信息还包括权限级别对应的分割模型；
所述监测模块计算各边缘端对应原始业务数据的大小，结合边缘端的设备类型、权限级别和接入信息，确定各边缘端分别对应的分割块数和相邻块数据之间的第二距离；
将所述分割块数和所述第二距离作为模型参数，对所述分割模型进行优化；其中，经过优化的分割模型分别与各边缘端一一对应；
通过优化后的分割模型，将对应的边缘端的原始业务数据进行分割处理，获得若干块数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825636.9A CN116545782B (zh) | 2023-07-07 | 2023-07-07 | 一种超融合云计算系统的数据监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825636.9A CN116545782B (zh) | 2023-07-07 | 2023-07-07 | 一种超融合云计算系统的数据监测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116545782A CN116545782A (zh) | 2023-08-04 |
| CN116545782B true CN116545782B (zh) | 2023-09-19 |
Family
ID=87456424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310825636.9A Active CN116545782B (zh) | 2023-07-07 | 2023-07-07 | 一种超融合云计算系统的数据监测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116545782B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683382A (zh) * | 2013-11-27 | 2015-06-03 | 上海墨芋电子科技有限公司 | 新型创新算法云计算平台数据库基准测试系统 |
| CN106603696A (zh) * | 2016-12-28 | 2017-04-26 | 华南理工大学 | 一种基于超融合基础框架的高可用系统 |
| CN107105003A (zh) * | 2017-02-14 | 2017-08-29 | 广州云晫信息科技有限公司 | 一种超融合微云数据中心自动融云系统 |
| CN109976875A (zh) * | 2019-03-01 | 2019-07-05 | 厦门市世纪网通网络服务有限公司 | 一种超融合云计算系统的数据监测方法和装置 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
| CN211742098U (zh) * | 2020-05-06 | 2020-10-23 | 广州鹏捷科技股份有限公司 | 一种超融合云计算系统的数据监测装置 |
| CN112165495A (zh) * | 2020-10-13 | 2021-01-01 | 北京计算机技术及应用研究所 | 一种基于超融合架构防DDoS攻击方法、装置及超融合集群 |
| CN115296889A (zh) * | 2022-08-02 | 2022-11-04 | 国家能源集团广东电力有限公司 | 一种云边协同的大屏可视化方法及系统 |
| US11503031B1 (en) * | 2015-05-29 | 2022-11-15 | Pure Storage, Inc. | Storage array access control from cloud-based user authorization and authentication |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170214701A1 (en) * | 2016-01-24 | 2017-07-27 | Syed Kamran Hasan | Computer security based on artificial intelligence |
| US10419394B2 (en) * | 2016-10-24 | 2019-09-17 | Nubeva, Inc. | Providing scalable cloud-based security services |
| US11271905B2 (en) * | 2018-09-21 | 2022-03-08 | Google Llc | Network architecture for cloud computing environments |
| US20220006839A1 (en) * | 2020-07-02 | 2022-01-06 | Sentara Healthcare | Robust and secure cloud-based platform for data processing and management |
| CN112637290B (zh) * | 2020-12-14 | 2024-03-19 | 厦门宏泰科技研究院有限公司 | 一种基于微基站及边缘计算的全球通信网络系统 |
-
2023
- 2023-07-07 CN CN202310825636.9A patent/CN116545782B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683382A (zh) * | 2013-11-27 | 2015-06-03 | 上海墨芋电子科技有限公司 | 新型创新算法云计算平台数据库基准测试系统 |
| US11503031B1 (en) * | 2015-05-29 | 2022-11-15 | Pure Storage, Inc. | Storage array access control from cloud-based user authorization and authentication |
| CN106603696A (zh) * | 2016-12-28 | 2017-04-26 | 华南理工大学 | 一种基于超融合基础框架的高可用系统 |
| CN107105003A (zh) * | 2017-02-14 | 2017-08-29 | 广州云晫信息科技有限公司 | 一种超融合微云数据中心自动融云系统 |
| CN109976875A (zh) * | 2019-03-01 | 2019-07-05 | 厦门市世纪网通网络服务有限公司 | 一种超融合云计算系统的数据监测方法和装置 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
| CN211742098U (zh) * | 2020-05-06 | 2020-10-23 | 广州鹏捷科技股份有限公司 | 一种超融合云计算系统的数据监测装置 |
| CN112165495A (zh) * | 2020-10-13 | 2021-01-01 | 北京计算机技术及应用研究所 | 一种基于超融合架构防DDoS攻击方法、装置及超融合集群 |
| CN115296889A (zh) * | 2022-08-02 | 2022-11-04 | 国家能源集团广东电力有限公司 | 一种云边协同的大屏可视化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116545782A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241161B (zh) | 一种气象数据管理方法 | |
| CN111459698A (zh) | 一种数据库集群故障自愈方法及装置 | |
| CN113312005B (zh) | 基于区块链的物联网数据扩容存储方法、系统及计算设备 | |
| CN110088744B (zh) | 一种数据库维护方法及其系统 | |
| CN111931220B (zh) | 区块链网络的共识处理方法、装置、介质及电子设备 | |
| CN112737800A (zh) | 服务节点故障定位方法、调用链生成方法及服务器 | |
| CN113242157B (zh) | 一种分布式处理环境下的集中式数据质量监测方法 | |
| CN109308290B (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN114372296A (zh) | 一种基于区块链的用户行为数据审计方法及系统 | |
| CN115022352B (zh) | 基于端边云融合的分片侧链数据采集与存储系统 | |
| CN116545782B (zh) | 一种超融合云计算系统的数据监测方法及装置 | |
| CN117370286A (zh) | 一种基于云平台的数据存储方法、系统及设备 | |
| CN115396231A (zh) | 一种网络安全设备测试系统 | |
| CN113328920B (zh) | 一种对设备数据的采集与存储方法 | |
| KR102093764B1 (ko) | 서버 및 스토리지 관리 서버 | |
| CN113268206A (zh) | 一种网络靶场资源热插拔实现方法与系统 | |
| CN112988736B (zh) | 一种海量数据质量检核方法及其系统 | |
| CN117149915B (zh) | 用于云端数据库迁移到开源数据库的方法 | |
| CN111753411B (zh) | 一种考虑边云协同的云应用可靠性评估方法 | |
| CN117714453B (zh) | 一种基于物联网卡的智能设备管理方法及系统 | |
| CN117857212B (zh) | 一种云端信息访问安全监测方法、系统、电子设备和计算机可读存储介质 | |
| Li | Dynamic Load Balancing Method for Urban Surveillance Video Big Data Storage Based on HDFS | |
| CN114385748A (zh) | 电能量数据处理方法、装置、服务器及存储介质 | |
| CN117827890A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN118264535A (zh) | 一种基于哈希算法的分布式缓存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |