CN116150191A - 一种用于云端数据架构的数据运算加速方法及系统 - Google Patents

一种用于云端数据架构的数据运算加速方法及系统 Download PDF

Info

Publication number
CN116150191A
CN116150191A CN202310153838.3A CN202310153838A CN116150191A CN 116150191 A CN116150191 A CN 116150191A CN 202310153838 A CN202310153838 A CN 202310153838A CN 116150191 A CN116150191 A CN 116150191A
Authority
CN
China
Prior art keywords
data
cloud
cloud data
receiving terminal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310153838.3A
Other languages
English (en)
Inventor
吴佳
李礼
吴叶楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai V&g Information Technology Co ltd
Original Assignee
Shanghai V&g Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai V&g Information Technology Co ltd filed Critical Shanghai V&g Information Technology Co ltd
Priority to CN202310153838.3A priority Critical patent/CN116150191A/zh
Publication of CN116150191A publication Critical patent/CN116150191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种用于云端数据架构的数据运算加速方法及系统，涉及云端数据技术领域，本用于云端数据架构的数据运算加速方法及系统，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数，可以大大提高数据的安全性，根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率，可以大大提高数据在传输时的效率和稳定性，根据梯度递减公式，逐层的向前反馈，形成反向传播机制，可以优化参数，粗砂通过正向传播训练和反向传播训练后，可以对云端数据进行数据优化，提高数据运算的准确度。

Description

一种用于云端数据架构的数据运算加速方法及系统
技术领域
本发明涉及云端数据技术领域，具体为一种用于云端数据架构的数据运算加速方法及系统。
背景技术
云端数据是指在运用网络沟通多台计算机数据的存储工作。
公开号为CN110825544A的中国专利公开了一种计算节点及其失效检测方法与云端数据处理系统，主要根据各计算节点自我检查所提供服务的运作状态及资源使用状态，并将检查结果回报管理节点；计算节点根据检查结果动态调整下次回报的间隔时间，并将间隔时间告知管理节点；以及管理节点根据间隔时间检视检查结果的回报状况，以判断计算节点是否失效，上述专利虽然解决了云端数据的检测问题，但是在实际操作中还存在以下问题：
1.在对云端数据进行采集时，由于数据的流量无法进行有效的管控，从而使数据在进行检索时，数据的检索时间过长，导致云端数据的安全性与稳定性降低。
2.云端数据进行运算时，没有根据数据中的参数最为基准进行运算，从而使数据运算的准确度欠佳，后期无法正常进行运算加速。
3.只是将云端数据在运算的过程中进行优化加速，并没有对加速后的数据进行有效的存储，从而使运算完成的数据都存储在一个存储器中，导致存储容量过大，导致前期运算过程变缓。
发明内容
本发明的目的在于提供一种用于云端数据架构的数据运算加速方法及系统，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数，可以大大提高数据的安全性，根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率，可以大大提高数据在传输时的效率和稳定性，根据梯度递减公式，逐层的向前反馈，形成反向传播机制，可以优化参数，粗砂通过正向传播训练和反向传播训练后，可以对云端数据进行数据优化，提高数据运算的准确度，实时确定目标缓存空间的剩余可用空间容量，并通过预设游标指向进行指示，保障了对数据集中数据的缓存效果，也提高了短信数据信息的安全系数，可以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
一种用于云端数据架构的数据运算加速方法，包括如下步骤：
S1：云端数据采集：用于对数据库中的数据进行检索，检索后对相应的数据进行数据采集；
其中，数据库中的数据根据前缀代码进行标签分类储存，映射到一个固定维度的向量空间中；
S2:数据采集监控：用于根据数据库中的数据，将数据进行采集时，对数据采集通道进行数量流量监控；
S3:云端数据运算：用于通过神经网络运算，将云端数据中的多个层级进行训练运算，并根据运算结果，建立动态神经网络模型，并对模型参数进行分析；
S4:运算数据整合：用于根据神经网络运算的数据结果，对神经网络运算网关的计算规则，确定所述边缘计算网关对数据进行计算的标准数据格式，并按照所述标准数据格式，对所述监测数据、坐标数据与时间数据进行数据标准化，得到标准监测数据、标准坐标数据与标准时间数据；
S5:运算整合数据缓存加密：用于根据运算数据中的数据关键信息片段，对运算数据进行提取，提取后根据运算数据类型对数据进行缓存，并且将缓存后的运算数据进行数据加密。
本发明还公开一种用于云端数据架构的数据运算加速系统，应用云端数据架构的数据运算加速方法中，其特征在于：云端数据架构的数据运算加速系统包括：
云端数据管控单元，用于：获取每个云端数据接收终端的网络层在传输数据时的流量变动情况；
根据每个数据接收终端的网络层在传输数据时的流量变动情况评估出每个网络层的重要度；
将每个云端数据接收终端重要度大于等于预设阈值的目标网络层进行统计；
获取每个云端数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数；
根据每个云端数据接收终端的目标网络层的工作强度和该云端数据接收终端的威胁风险指数和漏洞风险指数利用预设风险评估体系计算出该云端数据接收终端的安全性指数。
优选的，所述云端数据管控单元，还用于：
根据每个云端数据接收终端的安全性指数筛选出安全云端数据接收终端和风险云端数据接收终端；
接收安全云端数据接收终端发送的第一数据；
获取风险云端数据接收终端的配置信息和网络信息；
根据网络信息构建风险云端数据接收终端的共享数据传输通道；
获取共享数据传输通道中的多个汇聚节点，确定每个汇聚节点的单次最大汇集数据量；
确定风险云端数据接收终端的第二数据中数据量最大的目标第二数据；
根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率：
设置共享数据传输通道的数据传输效率为所述目标数据传输效率，设置完毕后，利用共享数据传输通道接收风险云端数据接收终端发送的第二数据。
优选的，还包括：
云端数据运算单元，用于根据神经网络运算对云端数据进行计算，根据云端数据的运算结果对结果进行选定，获取选定结果后根据数据分组列表对结果进行查看；
其中，云端数据运算单元，包括：
运算设置模块，用于获取云端数据后通过神经网络运算为云端数据提供参数，其中，如果运算失败，神经网络参数需要调整，一般只调整节点数和隐层数量；
运算数据输出模块，用于获取云端数据之前，将神经网络运算的方案进行方案决策设定；
运算数据导出模块，用于将方案样本数据和该样本对应的神经网络运算数据进行导出，导出后将两者进行对比。
优选的，所述神经网络运算的运算流程，包括：
先将参数数据进行正向传播；
其中，参数数据是由低层次向高层次进行传播，当传播得出的数据结果与预期不相符时进行反向传播；
其中，反向传播是将误差从高层次向底层次进行传播训练；
其中，传播训练的过程为：先将参数的权值进行初始化设置，设置完成后，参数数据经过卷积层、下采样层和全连接层的正向传播得到输出值；当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层和卷积层的误差；其中各层的误差为网络的总误差；当误差等于或小于期望值时，则训练完成。
优选的，还包括：
运算数据整合单元，用于获取运算数据中的监测数据、坐标数据与时间数据，并对监测数据、坐标数据与时间数据进行数据标准化，标准化后到标准监测数据、标准坐标数据与标准时间数据；
其中，提取标准监测数据的重要字段，并对重要数据字段进行数据关联分析，确定出存在异常的目标重要数据字段，并从标准监测数据中提取目标重要数据字段对应的异常监测数据进行剔除；
并获取标准坐标数据的坐标特征和时间数据的时间特征，并基于坐标特征和时间特征分别确定标准坐标数据和标准时间数据的坐标规律和时间规律，从标准坐标数据提取不满足坐标规律的异常坐标数据进行剔除，从标准时间数据提取不满足书简规律的异常时间数据进行剔除；
将监测数据标记分布图多次不同的数据整合规则，并基于不同的数据整合规则建立动态数据整合指令，动态数据整合指令对确认后的标准监测数据、标准坐标数据与标准时间数据进行动态整合，得到多组整合数据，基于多组整合数据生成数据集。
优选的，还包括：
运算数据缓存加密单元，用于根据生成的数据集，将数据集进行单独存储，存储后根据数据中的数据的类型对数据进行缓存并加密。
优选的，所述运算数据缓存加密单元，包括：
数据集调取模块，用于获取独立存储的运算数据集的数据信息，并提取数据集中数据的关键信息片段，且基于关键信息片段的数据代码前缀确定数据集中数据信息的数据类型；
空间确定模块，用于基于数据类型确定数据集中数据对应的目标缓存空间，并提取目标缓存空间的容量信息，且基于容量信息确定目标缓存空间的第一剩余可用空间容量；
所述空间确定模块，用于获取数据集中数据的数据长度，且当第一剩余可用空间容量大于数据长度时，对数据集中的数据进行聚类，得到数据集中数据对应的子数据类型集合，并对每一子数据类型设定类型标识；
空间划分模块，用于基于类型标识将目标缓存空间进行第一区块划分，并对划分后的子目标缓存空间添加块标识，同时，将每一子目标缓存空间进行第二划分，得到每一子目标缓存空间对应的第一存储条目和第二存储条目，其中，块标识与类型标识相对应；
数据缓存模块，用于基于类型标识分别提取每一子数据类型对应的数据集中数据的目标内容，并将类型标识以及目标内容分别缓存至第一存储条目和第二存储条目；
数据更新模块，用于实时监测数据集中运算数据的读取操作，并当检测到对运算数据进行读取时，基于读取进程确定对运算数据实时读取量，且基于读取量确定目标缓存空间中剩余数据集中运算数据的数据尾部；
空间更新模块，用于将预设游标指向移动至目标缓存空间中的数据集中数据的尾部，并基于移动结果确定目标缓存空间的第二剩余可用空间容量，且基于预设游标指向对目标缓存空间的第二剩余可用空间容量进行指示；
空间容量加密模块，用于将第一可用空间容量和第二可用空间容量中已缓存的数据集中的运算数据，将每个运算数据剖分为多个数据节点；
根据多个剖分的数据节点，对数据集进行加密。
与现有技术相比，本发明的有益效果如下：
1.本发明提供的一种用于云端数据架构的数据运算加速方法及系统，数据进行采集之前，先对数据库中的数据进行检测，对数据库中的数据的前缀代码进行标签分类储存，映射到一个固定维度的向量空间中，通过高效的向量计算，完成大量数据的准确、快速分类及标签化储存，依托标签快速定位数据位置，降低系统检索时间，获取每个云端数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数，可以大大提高数据的安全性，根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率，可以大大提高数据在传输时的效率和稳定性。
2.本发明提供的一种用于云端数据架构的数据运算加速方法及系统，通过运算设置模块进行神经网络设置，参数数据设置完成后，先将参数的权值进出初始化设置，此方法可以使运算结果的准确度更高，先将参数的权值进出初始化设置，此方法可以使运算结果的准确度更高，之后参数数据经过卷积层、下采样层和全连接层的正向传播得到输出值，正向传播是将参数数据是由低层次向高层次进行正传播，当传播得出的数据结果与预期不相符时进行反向传播，反向传播是将误差从高层次向底层次进行传播训练，训练完成后当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层和卷积层的误差，当误差等于或小于期望值时，则训练完成，参数数据通过正向传播训练时，可以使经过各个隐藏层，在经过隐藏层时得出最终损失的数据，参数数据通过反向传播时，根据梯度递减公式，逐层的向前反馈，形成反向传播机制，可以优化参数，粗砂通过正向传播训练和反向传播训练后，可以对云端数据进行数据优化，提高数据运算的准确度。
3.本发明提供的一种用于云端数据架构的数据运算加速方法及系统，通过对运算数据集的数据信息进行分析，实现对运算数据集的数据信息类型进行准确有效的确认，从而便于确定对运算数据集的数据信息进行缓存的目标缓存空间，其次，通过对运算数据集的数据信息进行聚类，并根据聚类结果实现对运算数据集的数据信息包含的不同的数据类型进行归类，且根据归类结果实现对目标缓存空间进行划分，便于将不同类型的数据在相应的存储区域进行存储，同时，将每一子目标存储空间再次进行划分，保障了对每一类型的数据内容以及类型标识的缓存效果以及缓存准确率，最终，将不同类型的数据在对应的子目标缓存空间进行缓存，且实时监测数据集中运算数据的读取操作，且在存在读取操作后，实时确定目标缓存空间的剩余可用空间容量，并通过预设游标指向进行指示，保障了对数据集中数据的缓存效果，也提高了短信数据信息的安全系数，同时多个空间容量可以时数据在存储时容量更大，反射在前期的运算步骤中，使运算的过程更加的快速。
附图说明
图1为本发明的云端数据架构的数据运算加速方法流程示意图；
图2为本发明的云端数据架构的数据运算加速系统模块示意图；
图3为本发明的云端数据运算单元模块示意图；
图4为本发明的运算数据缓存加密单元模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，在对云端数据进行采集时，由于数据的流量无法进行有效的管控，从而使数据在进行检索时，数据的检索时间过长，导致云端数据的安全性与稳定性降低的问题，请参阅图1和图2，本实施例提供以下技术方案：
一种用于云端数据架构的数据运算加速方法，包括如下步骤：
S1：云端数据采集：用于对数据库中的数据进行检索，检索后对相应的数据进行数据采集；
其中，数据库中的数据根据前缀代码进行标签分类储存，映射到一个固定维度的向量空间中；
S2:数据采集监控：用于根据数据库中的数据，将数据进行采集时，对数据采集通道进行数量流量监控；
S3:云端数据运算：用于通过神经网络运算，将云端数据中的多个层级进行训练运算，并根据运算结果，建立动态神经网络模型，并对模型参数进行分析；
S4:运算数据整合：用于根据神经网络运算的数据结果，对神经网络运算网关的计算规则，确定所述边缘计算网关对数据进行计算的标准数据格式，并按照所述标准数据格式，对所述监测数据、坐标数据与时间数据进行数据标准化，得到标准监测数据、标准坐标数据与标准时间数据；
S5:运算整合数据缓存加密：用于根据运算数据中的数据关键信息片段，对运算数据进行提取，提取后根据运算数据类型对数据进行缓存，并且将缓存后的运算数据进行数据加密。
一种用于云端数据架构的数据运算加速系统，包括：
云端数据管控单元，用于：获取每个云端数据接收终端的网络层在传输数据时的流量变动情况；根据每个数据接收终端的网络层在传输数据时的流量变动情况评估出每个网络层的重要度；将每个云端数据接收终端重要度大于等于预设阈值的目标网络层进行统计；获取每个云端数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数；根据每个云端数据接收终端的目标网络层的工作强度和该云端数据接收终端的威胁风险指数和漏洞风险指数利用预设风险评估体系计算出该云端数据接收终端的安全性指数，所述云端数据管控单元，还用于：根据每个云端数据接收终端的安全性指数筛选出安全云端数据接收终端和风险云端数据接收终端；接收安全云端数据接收终端发送的第一数据；获取风险云端数据接收终端的配置信息和网络信息；根据网络信息构建风险云端数据接收终端的共享数据传输通道；获取共享数据传输通道中的多个汇聚节点，确定每个汇聚节点的单次最大汇集数据量；确定风险云端数据接收终端的第二数据中数据量最大的目标第二数据；根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率：设置共享数据传输通道的数据传输效率为所述目标数据传输效率，设置完毕后，利用共享数据传输通道接收风险云端数据接收终端发送的第二数据。
具体的，在对数据进行采集之前，先对数据库中的数据进行检测，对数据库中的数据的前缀代码进行标签分类储存，映射到一个固定维度的向量空间中，通过高效的向量计算，完成大量数据的准确、快速分类及标签化储存，依托标签快速定位数据位置，降低系统检索时间，检索完成后对数据进行采集，采集时通过云端数据管控单元对数据采集通道的流量进行管控，获取每个云端数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数，可以大大提高数据的安全性，同时获取共享数据传输通道中的多个汇聚节点，确定每个汇聚节点的单次最大汇集数据量，确定风险云端数据接收终端的第二数据中数据量最大的目标第二数据，根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率，可以大大提高数据在传输时的效率和稳定性。
为了解决现有技术中，在对云端数据进行运算时，没有根据数据中的参数最为基准进行运算，从而使数据运算的准确度欠佳，后期无法正常进行运算加速的问题，请参阅图3，本实施例提供以下技术方案：
还包括：云端数据运算单元，用于根据神经网络运算对云端数据进行计算，根据云端数据的运算结果对结果进行选定，获取选定结果后根据数据分组列表对结果进行查看；其中，云端数据运算单元，包括：运算设置模块，用于获取云端数据后通过神经网络运算为云端数据提供参数，其中，如果运算失败，神经网络参数需要调整，一般只调整节点数和隐层数量；运算数据输出模块，用于获取云端数据之前，将神经网络运算的方案进行方案决策设定；运算数据导出模块，用于将方案样本数据和该样本对应的神经网络运算数据进行导出，导出后将两者进行对比。
所述神经网络运算的运算流程，包括：先将参数数据进行正向传播；其中，参数数据是由低层次向高层次进行传播，当传播得出的数据结果与预期不相符时进行反向传播；其中，反向传播是将误差从高层次向底层次进行传播训练；其中，传播训练的过程为：先将参数的权值进行初始化设置，设置完成后，参数数据经过卷积层、下采样层和全连接层的正向传播得到输出值；当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层和卷积层的误差；其中各层的误差为网络的总误差；当误差等于或小于期望值时，则训练完成。
具体的，先将采集完成的云端数据通过运算设置模块进行神经网络设置，参数数据设置完成后，先将参数的权值进出初始化设置，此方法可以使运算结果的准确度更高，之后参数数据经过卷积层、下采样层和全连接层的正向传播得到输出值，正向传播是将参数数据是由低层次向高层次进行正传播，当传播得出的数据结果与预期不相符时进行反向传播，反向传播是将误差从高层次向底层次进行传播训练，训练完成后当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层和卷积层的误差，当误差等于或小于期望值时，则训练完成，参数数据通过正向传播训练时，可以使经过各个隐藏层，在经过隐藏层时得出最终损失的数据，参数数据通过反向传播时，根据梯度递减公式，逐层的向前反馈，形成反向传播机制，可以优化参数，粗砂通过正向传播训练和反向传播训练后，可以对云端数据进行数据优化，提高数据运算的准确度。
为了解决现有技术中，云端数据进行运算后，由于数据的多样性会导致数据进行运算加速时，运算过程变缓的问题，请参阅图2，本实施例提供以下技术方案：
还包括：运算数据整合单元，用于获取运算数据中的监测数据、坐标数据与时间数据，并对监测数据、坐标数据与时间数据进行数据标准化，标准化后到标准监测数据、标准坐标数据与标准时间数据；其中，提取标准监测数据的重要字段，并对重要数据字段进行数据关联分析，确定出存在异常的目标重要数据字段，并从标准监测数据中提取目标重要数据字段对应的异常监测数据进行剔除；并获取标准坐标数据的坐标特征和时间数据的时间特征，并基于坐标特征和时间特征分别确定标准坐标数据和标准时间数据的坐标规律和时间规律，从标准坐标数据提取不满足坐标规律的异常坐标数据进行剔除，从标准时间数据提取不满足书简规律的异常时间数据进行剔除；将监测数据标记分布图多次不同的数据整合规则，并基于不同的数据整合规则建立动态数据整合指令，动态数据整合指令对确认后的标准监测数据、标准坐标数据与标准时间数据进行动态整合，得到多组整合数据，基于多组整合数据生成数据集。
具体的，获取运算数据中的监测数据、坐标数据与时间数据，并对监测数据、坐标数据与时间数据进行数据标准化，标准化后到标准监测数据、标准坐标数据与标准时间数据，在根据标准监测数据、标准坐标数据与标准时间数据分别进行异常数据的剔除，并建立动态数据整合指令，动态数据整合指令对确认后的标准监测数据、标准坐标数据与标准时间数据进行动态整合，得到多组整合数据，并将多组整合数据生成数据集，将多样的运算数据整合为数据集，更加便于后期缓存。
为了解决现有技术中，只是将云端数据在运算的过程中进行优化加速，并没有对加速后的数据进行有效的存储，从而使运算完成的数据都存储在一个存储器中，导致存储容量过大，导致前期运算过程变缓的问题，请参阅图4，本实施例提供以下技术方案：
还包括：运算数据缓存加密单元，用于根据生成的数据集，将数据集进行单独存储，存储后根据数据中的数据的类型对数据进行缓存并加密，所述运算数据缓存加密单元，包括：数据集调取模块，用于获取独立存储的运算数据集的数据信息，并提取数据集中数据的关键信息片段，且基于关键信息片段的数据代码前缀确定数据集中数据信息的数据类型；空间确定模块，用于基于数据类型确定数据集中数据对应的目标缓存空间，并提取目标缓存空间的容量信息，且基于容量信息确定目标缓存空间的第一剩余可用空间容量；所述空间确定模块，用于获取数据集中数据的数据长度，且当第一剩余可用空间容量大于数据长度时，对数据集中的数据进行聚类，得到数据集中数据对应的子数据类型集合，并对每一子数据类型设定类型标识；空间划分模块，用于基于类型标识将目标缓存空间进行第一区块划分，并对划分后的子目标缓存空间添加块标识，同时，将每一子目标缓存空间进行第二划分，得到每一子目标缓存空间对应的第一存储条目和第二存储条目，其中，块标识与类型标识相对应；数据缓存模块，用于基于类型标识分别提取每一子数据类型对应的数据集中数据的目标内容，并将类型标识以及目标内容分别缓存至第一存储条目和第二存储条目；数据更新模块，用于实时监测数据集中运算数据的读取操作，并当检测到对运算数据进行读取时，基于读取进程确定对运算数据实时读取量，且基于读取量确定目标缓存空间中剩余数据集中运算数据的数据尾部；空间更新模块，用于将预设游标指向移动至目标缓存空间中的数据集中数据的尾部，并基于移动结果确定目标缓存空间的第二剩余可用空间容量，且基于预设游标指向对目标缓存空间的第二剩余可用空间容量进行指示；空间容量加密模块，用于将第一可用空间容量和第二可用空间容量中已缓存的数据集中的运算数据，将每个运算数据剖分为多个数据节点；根据多个剖分的数据节点，对数据集进行加密。
具体的，通过对运算数据集的数据信息进行分析，实现对运算数据集的数据信息类型进行准确有效的确认，从而便于确定对运算数据集的数据信息进行缓存的目标缓存空间，其次，通过对运算数据集的数据信息进行聚类，并根据聚类结果实现对运算数据集的数据信息包含的不同的数据类型进行归类，且根据归类结果实现对目标缓存空间进行划分，便于将不同类型的数据在相应的存储区域进行存储，同时，将每一子目标存储空间再次进行划分，保障了对每一类型的数据内容以及类型标识的缓存效果以及缓存准确率，最终，将不同类型的数据在对应的子目标缓存空间进行缓存，且实时监测数据集中运算数据的读取操作，且在存在读取操作后，实时确定目标缓存空间的剩余可用空间容量，并通过预设游标指向进行指示，保障了对数据集中数据的缓存效果，也提高了短信数据信息的安全系数，同时多个空间容量可以时数据在存储时容量更大，反射在前期的运算步骤中，使运算的过程更加的快速。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种用于云端数据架构的数据运算加速方法，其特征在于：包括如下步骤：
S1：云端数据采集：用于对数据库中的数据进行检索，检索后对相应的数据进行数据采集；
其中，数据库中的数据根据前缀代码进行标签分类储存，映射到一个固定维度的向量空间中；
S2:数据采集监控：用于根据数据库中的数据，将数据进行采集时，对数据采集通道进行数量流量监控；
S3:云端数据运算：用于通过神经网络运算，将云端数据中的多个层级进行训练运算，并根据运算结果，建立动态神经网络模型，并对模型参数进行分析；
S4:运算数据整合：用于根据神经网络运算的数据结果，对神经网络运算网关的计算规则，确定所述边缘计算网关对数据进行计算的标准数据格式，并按照所述标准数据格式，对所述监测数据、坐标数据与时间数据进行数据标准化，得到标准监测数据、标准坐标数据与标准时间数据；
S5:运算整合数据缓存加密：用于根据运算数据中的数据关键信息片段，对运算数据进行提取，提取后根据运算数据类型对数据进行缓存，并且将缓存后的运算数据进行数据加密。
2.一种用于云端数据架构的数据运算加速系统，应用在权利要求1所述的云端数据架构的数据运算加速方法中，其特征在于：云端数据架构的数据运算加速系统包括：
云端数据管控单元，用于：获取每个云端数据接收终端的网络层在传输数据时的流量变动情况；
根据每个数据接收终端的网络层在传输数据时的流量变动情况评估出每个网络层的重要度；
将每个云端数据接收终端重要度大于等于预设阈值的目标网络层进行统计；
获取每个云端数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据数据的完整性和安全性评估出云端数据接收终端的威胁风险指数和漏洞风险指数；
根据每个云端数据接收终端的目标网络层的工作强度和该云端数据接收终端的威胁风险指数和漏洞风险指数利用预设风险评估体系计算出该云端数据接收终端的安全性指数。
3.根据权利要求2所述的一种用于云端数据架构的数据运算加速系统，其特征在于：所述云端数据管控单元，还用于：
根据每个云端数据接收终端的安全性指数筛选出安全云端数据接收终端和风险云端数据接收终端；
接收安全云端数据接收终端发送的第一数据；
获取风险云端数据接收终端的配置信息和网络信息；
根据网络信息构建风险云端数据接收终端的共享数据传输通道；
获取共享数据传输通道中的多个汇聚节点，确定每个汇聚节点的单次最大汇集数据量；
确定风险云端数据接收终端的第二数据中数据量最大的目标第二数据；
根据目标第二数据和共享数据传输通道中每个汇聚节点的单词最大汇集数据量计算出共享数据传输通道的目标数据传输效率：
设置共享数据传输通道的数据传输效率为所述目标数据传输效率，设置完毕后，利用共享数据传输通道接收风险云端数据接收终端发送的第二数据。
4.根据权利要求2所述的一种用于云端数据架构的数据运算加速系统，其特征在于：还包括：
云端数据运算单元，用于根据神经网络运算对云端数据进行计算，根据云端数据的运算结果对结果进行选定，获取选定结果后根据数据分组列表对结果进行查看；
其中，云端数据运算单元，包括：
运算设置模块，用于获取云端数据后通过神经网络运算为云端数据提供参数，其中，如果运算失败，神经网络参数需要调整，一般只调整节点数和隐层数量；
运算数据输出模块，用于获取云端数据之前，将神经网络运算的方案进行方案决策设定；
运算数据导出模块，用于将方案样本数据和该样本对应的神经网络运算数据进行导出，导出后将两者进行对比。
5.根据权利要求4所述的一种用于云端数据架构的数据运算加速系统，其特征在于：所述神经网络运算的运算流程，包括：
先将参数数据进行正向传播；
其中，参数数据是由低层次向高层次进行传播，当传播得出的数据结果与预期不相符时进行反向传播；
其中，反向传播是将误差从高层次向底层次进行传播训练；
其中，传播训练的过程为：先将参数的权值进行初始化设置，设置完成后，参数数据经过卷积层、下采样层和全连接层的正向传播得到输出值；当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层和卷积层的误差；其中各层的误差为网络的总误差；当误差等于或小于期望值时，则训练完成。
6.根据权利要求2所述的一种用于云端数据架构的数据运算加速系统，其特征在于：还包括：
运算数据整合单元，用于获取运算数据中的监测数据、坐标数据与时间数据，并对监测数据、坐标数据与时间数据进行数据标准化，标准化后到标准监测数据、标准坐标数据与标准时间数据；
其中，提取标准监测数据的重要字段，并对重要数据字段进行数据关联分析，确定出存在异常的目标重要数据字段，并从标准监测数据中提取目标重要数据字段对应的异常监测数据进行剔除；
并获取标准坐标数据的坐标特征和时间数据的时间特征，并基于坐标特征和时间特征分别确定标准坐标数据和标准时间数据的坐标规律和时间规律，从标准坐标数据提取不满足坐标规律的异常坐标数据进行剔除，从标准时间数据提取不满足书简规律的异常时间数据进行剔除；
将监测数据标记分布图多次不同的数据整合规则，并基于不同的数据整合规则建立动态数据整合指令，动态数据整合指令对确认后的标准监测数据、标准坐标数据与标准时间数据进行动态整合，得到多组整合数据，基于多组整合数据生成数据集。
7.根据权利要求2所述的一种用于云端数据架构的数据运算加速系统，其特征在于：还包括：
运算数据缓存加密单元，用于根据生成的数据集，将数据集进行单独存储，存储后根据数据中的数据的类型对数据进行缓存并加密。
8.根据权利要求7所述的一种用于云端数据架构的数据运算加速系统，其特征在于：所述运算数据缓存加密单元，包括：
数据集调取模块，用于获取独立存储的运算数据集的数据信息，并提取数据集中数据的关键信息片段，且基于关键信息片段的数据代码前缀确定数据集中数据信息的数据类型；
空间确定模块，用于基于数据类型确定数据集中数据对应的目标缓存空间，并提取目标缓存空间的容量信息，且基于容量信息确定目标缓存空间的第一剩余可用空间容量。
9.根据权利要求8所述的一种用于云端数据架构的数据运算加速系统，其特征在于：所述空间确定模块，还用于
获取数据集中数据的数据长度，且当第一剩余可用空间容量大于数据长度时，对数据集中的数据进行聚类，得到数据集中数据对应的子数据类型集合，并对每一子数据类型设定类型标识。
10.根据权利要求8所述的一种用于云端数据架构的数据运算加速系统，其特征在于：所述运算数据缓存加密单元，还包括：
空间划分模块，用于基于类型标识将目标缓存空间进行第一区块划分，并对划分后的子目标缓存空间添加块标识，同时，将每一子目标缓存空间进行第二划分，得到每一子目标缓存空间对应的第一存储条目和第二存储条目，其中，块标识与类型标识相对应；
数据缓存模块，用于基于类型标识分别提取每一子数据类型对应的数据集中数据的目标内容，并将类型标识以及目标内容分别缓存至第一存储条目和第二存储条目；
数据更新模块，用于实时监测数据集中运算数据的读取操作，并当检测到对运算数据进行读取时，基于读取进程确定对运算数据实时读取量，且基于读取量确定目标缓存空间中剩余数据集中运算数据的数据尾部；
空间更新模块，用于将预设游标指向移动至目标缓存空间中的数据集中数据的尾部，并基于移动结果确定目标缓存空间的第二剩余可用空间容量，且基于预设游标指向对目标缓存空间的第二剩余可用空间容量进行指示；
空间容量加密模块，用于将第一可用空间容量和第二可用空间容量中已缓存的数据集中的运算数据，将每个运算数据剖分为多个数据节点；
根据多个剖分的数据节点，对数据集进行加密。
CN202310153838.3A 2023-02-22 2023-02-22 一种用于云端数据架构的数据运算加速方法及系统 Pending CN116150191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310153838.3A CN116150191A (zh) 2023-02-22 2023-02-22 一种用于云端数据架构的数据运算加速方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310153838.3A CN116150191A (zh) 2023-02-22 2023-02-22 一种用于云端数据架构的数据运算加速方法及系统

Publications (1)

Publication Number Publication Date
CN116150191A true CN116150191A (zh) 2023-05-23

Family

ID=86361609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310153838.3A Pending CN116150191A (zh) 2023-02-22 2023-02-22 一种用于云端数据架构的数据运算加速方法及系统

Country Status (1)

Country Link
CN (1) CN116150191A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451757A (zh) * 2023-06-19 2023-07-18 山东浪潮科学研究院有限公司 一种神经网络模型的异构加速方法、装置、设备及介质
CN117149746A (zh) * 2023-10-30 2023-12-01 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451757A (zh) * 2023-06-19 2023-07-18 山东浪潮科学研究院有限公司 一种神经网络模型的异构加速方法、装置、设备及介质
CN116451757B (zh) * 2023-06-19 2023-09-08 山东浪潮科学研究院有限公司 一种神经网络模型的异构加速方法、装置、设备及介质
CN117149746A (zh) * 2023-10-30 2023-12-01 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统
CN117149746B (zh) * 2023-10-30 2024-02-02 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统

Similar Documents

Publication Publication Date Title
CN111782472B (zh) 系统异常检测方法、装置、设备及存储介质
CN116150191A (zh) 一种用于云端数据架构的数据运算加速方法及系统
CN111882446B (zh) 一种基于图卷积网络的异常账户检测方法
CN110874744B (zh) 一种数据异常检测方法及装置
CN112910859A (zh) 基于c5.0决策树和时序分析的物联网设备监测预警方法
CN103995828B (zh) 一种云存储日志数据分析方法
CN112329874A (zh) 数据业务的决策方法、装置、电子设备和存储介质
CN109634820A (zh) 一种云端移动端协同的故障预警方法、相关设备及系统
CN114187036B (zh) 一种基于行为特征识别的互联网广告智能推荐管理系统
US20170337249A1 (en) Database and method for evaluating data therefrom
CN110175100A (zh) 一种存储盘故障预测方法及预测系统
CN114372093A (zh) 一种变压器dga在线监测数据的处理方法
CN113822336A (zh) 一种云硬盘故障预测方法、装置、系统及可读存储介质
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
CN116451081A (zh) 数据漂移的检测方法、装置、终端及存储介质
CN115834156A (zh) 一种基于web访问日志的异常行为检测方法
CN115941807A (zh) 一种园区安防系统数据高效压缩方法
CN115641088A (zh) 一种融合量子计算的审批策略组合获取方法、设备、介质
CN111654853B (zh) 一种基于用户信息的数据分析方法
CN112333155B (zh) 一种异常流量的检测方法、系统、电子设备及存储介质
CN115981911A (zh) 内存故障的预测方法、电子设备和计算机可读存储介质
CN111209158B (zh) 服务器集群的挖矿监控方法及集群监控系统
CN113657726A (zh) 基于随机森林的人员的危险性分析方法
Yazdi et al. An optimization model for designing acceptance sampling plan based on cumulative count of conforming run length using minimum angle method
Erokhin et al. The Dataset Features Selection for Detecting and Classifying Network Attacks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination