CN116701962A - 边缘数据处理方法、装置、计算设备及存储介质 - Google Patents
边缘数据处理方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN116701962A CN116701962A CN202310988180.8A CN202310988180A CN116701962A CN 116701962 A CN116701962 A CN 116701962A CN 202310988180 A CN202310988180 A CN 202310988180A CN 116701962 A CN116701962 A CN 116701962A
- Authority
- CN
- China
- Prior art keywords
- edge data
- edge
- matching
- correlation
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000010219 correlation analysis Methods 0.000 claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000007621 cluster analysis Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 52
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006798 recombination Effects 0.000 description 7
- 238000005215 recombination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100039010 Caenorhabditis elegans dis-3 gene Proteins 0.000 description 1
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种边缘数据处理方法、装置、计算设备及存储介质,属于数据处理技术领域,该边缘数据处理方法包括:获取不同类别的多个边缘数据组;确定不同类别的任意两个边缘数据组在不同维度下的相关距离;根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,且不同级匹配数据集合包括的边缘数据之间的相关性级别不同,相关性级别用于表征任意两个边缘数据组的相关程度;根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。如此从不同维度对不同类别的边缘数据进行处理,提高了边缘数据处理的准确性和兼容性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种边缘数据处理方法、装置、计算设备及存储介质。
背景技术
随着工业物联网的迅速发展,终端设备的数量与其产生的数据量迅速增加,以云计算为核心的数据处理模型已经难以高效处理边缘层的海量边缘数据。
现有的边缘数据处理包括数据收集、数据分类和数据分析。数据收集是对现有工业现场的各方面数据进行收集,将车间内部不同类型和不同来源的数据进行统一综合,并且进行上传实现收集数据的效果。数据分类是对工业现场和车间收集的数据进行分类,通常可以分为静态数据、设备实时数据和流数据,并将各类数据进行综合集中。静态数据通常包含在工业现场和车间中的设备台账以及人工数据,该类数据在正常运行的状态下不会出现较大的变化,可以统一综合静态数据进行分析;设备实时数据即为不同设备在运转过程中产生的综合数据变化,包括设备运行的具体状态以及车间设备的具体运转效率和功耗,可以统一综合设备实时数据进行分析;流数据即为工业现场及车间内部的音频、图像以及视频记录和播放产生的数据,该类数据通常处于时刻变化的状态,可以统一综合流数据进行分析。
但上述方法对不同种类的数据分别采用不同的处理方式进行处理,即现有的边缘数据处理方法无法兼容多种数据类别,兼容性较差,并且数据处理结果仅针对同一类别的数据,准确性较差。
发明内容
为此,本发明提出了一种边缘数据处理方法,还提出了一种边缘数据处理装置、一种计算设备和一种计算机可读存储介质,旨在至少在一定程度上解决相关技术中边缘数据处理的准确性和兼容性较差的技术问题。
为达到上述目的,本发明第一方面实施例提出了一种边缘数据处理方法,包括:
获取不同类别的多个边缘数据组;
确定不同类别的任意两个边缘数据组在不同维度下的相关距离;
根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,相关性级别用于表征任意两个边缘数据组的相关程度;
根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
根据本发明的一个实施例,不同维度包括至少三个维度,根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,包括:
将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;
提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;
对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合,包括:
根据候选匹配集合的数量,确定分级匹配的分级数量;
根据预设对应关系确定每级匹配对应的匹配策略;
根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,每级匹配对应的匹配策略是取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,其中,M是大于0的正整数,且M与每级匹配的相关性级别相同。
根据本发明的一个实施例,根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合,包括:
对至少三个候选匹配集合包括的多个边缘数据组取并集,得到一级匹配数据集合;
取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,得到M级匹配数据集合。
根据本发明的一个实施例,确定不同类别的任意两个边缘数据组在不同维度下的相关距离,包括:
提取每个边缘数据组的特征向量;
根据预设规则为每个边缘数据组设置权重标签坐标;
根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
根据本发明的一个实施例,不同类别包括至少三个类别,不同维度包括至少三个维度,权重标签坐标包括至少三个权重标签值;根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离,包括:
根据第一类别下第一个边缘数据组的特征向量和第一个边缘数据组在第一维度的权重标签值、以及第二类别下第二个边缘数据组的特征向量和第二个边缘数据组在第一维度的权重标签值,确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离,其中,第一类别和第二类别是至少三个类别中不同的任意两个,第一个边缘数据组是第一类别下任一个边缘数据组,第二个边缘数据组是第二类别下任一个边缘数据组,第一维度是至少三个维度中任意一个。
根据本发明的一个实施例,根据以下公式确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离:
其中,表示第a个边缘数据组与第b个边缘数据组在第一维度的第一相关距离,/>表示第a个边缘数据组的权重标签坐标,/>表示第b个边缘数据组的权重标签坐标,/>表示第a个边缘数据组的特征向量,表示第b个边缘数据组的特征向量,/>和/>表示第a个边缘数据组在第一维度的两个权重标签值,/>和/>表示第b个边缘数据组在第一维度的两个权重标签值,/>表示求取范数。
根据本发明的一个实施例,根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果,包括:
将多级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合,其中,每级匹配数据集合的权重根据每级匹配数据集合的相关性级别确定;
将加权后的多级匹配数据集合输入相关性分析模型的分段分类层进行分类,得到不同类别的匹配数据集合;
将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果。
根据本发明的一个实施例,相关性分析层包括聚类层、综合边缘层和输出层,将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果,包括:
将不同类别的匹配数据集合输入聚类层进行聚类分析,得到多个重组数据集合,并根据每个重组数据集合中多个边缘数据组之间的相关性,对每个重组数据集合中多个边缘数据组进行聚类,得到多个聚类结果;
将多个聚类结果输入综合边缘层,根据预先配置的相关性资料对多个聚类结果进行修正,得到相关性分析结果;
将相关性分析结果通过输出层输出。
根据本发明的一个实施例,在将相关性分析结果通过输出层输出之前,还包括:
确定每个聚类结果包括的多个边缘数据组之间的相关性取值;
相应地,将相关性分析结果通过输出层输出,包括:
将相关性分析结果和每个聚类结果包括的多个边缘数据组之间的相关性取值通过输出层输出。
根据本发明的一个实施例,获取不同类别的多个边缘数据组,包括:
获取多个边缘数据;
根据数据类别对多个边缘数据进行分类;
根据每种类别下各边缘数据的数据属性,对每种类别的多个边缘数据进行分组,得到每种类别的多个边缘数据组。
根据本发明的一个实施例,获取多个边缘数据,包括:
接收多个加密边缘数据,加密边缘数据通过对边缘数据进行安全域转换得到;
通过安全域逆转换将多个加密边缘数据转换为边缘数据。
根据本发明的一个实施例,通过安全域逆转换将多个加密边缘数据转换为边缘数据通过如下公式实现:
其中,表示第j个边缘数据,/>表示第j个加密边缘数据,N表示安全域转换的转换点数。
为达到上述目的,本发明第二方面实施例提出了一种边缘数据处理装置,包括:
获取模块,被配置为获取不同类别的多个边缘数据组;
确定模块,被配置为确定不同类别的任意两个边缘数据组在不同维度下的相关距离;
分级匹配模块,被配置为根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,相关性级别用于表征任意两个边缘数据组的相关程度;
相关性分析模块,被配置为根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
根据本发明的一个实施例,不同维度包括至少三个维度,分级匹配模块,进一步被配置为:
将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;
提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;
对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,分级匹配模块,进一步被配置为:
根据候选匹配集合的数量,确定分级匹配的分级数量;
根据预设对应关系确定每级匹配对应的匹配策略;
根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,分级匹配模块,进一步被配置为:
对至少三个候选匹配集合包括的多个边缘数据组取并集,得到一级匹配数据集合;
取每M个候选匹配集合包括的多个边缘数据组的交集,则对至少两个交集取并集,得到M级匹配数据集合。
根据本发明的一个实施例,确定模块,进一步被配置为:
提取每个边缘数据组的特征向量;
根据预设规则为每个边缘数据组设置权重标签坐标;
根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
根据本发明的一个实施例,不同类别包括至少三个类别,不同维度包括至少三个维度,权重标签坐标包括至少三个权重标签值;
确定模块,进一步被配置为:
根据第一类别下第一个边缘数据组的特征向量和第一个边缘数据组在第一维度的权重标签值、以及第二类别下第二个边缘数据组的特征向量和第二个边缘数据组在第一维度的权重标签值,确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离,其中,第一类别和第二类别是至少三个类别中不同的任意两个,第一个边缘数据组是第一类别下任一个边缘数据组,第二个边缘数据组是第二类别下任一个边缘数据组,第一维度是至少三个维度中任意一个。
根据本发明的一个实施例,相关性分析模块,进一步被配置为:
将多级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合,其中,每级匹配数据集合的权重根据每级匹配数据集合的相关性级别确定;
将加权后的多级匹配数据集合输入相关性分析模型的分段分类层进行分类,得到不同类别的匹配数据集合;
将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果。
为达到上述目的,本发明第三方面实施例提出的一种计算设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时,实现第一方面所述的边缘数据处理方法。
为达到上述目的,本发明第四方面实施例提出的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的边缘数据处理方法。
本发明实施例提供的边缘数据处理方法,获取不同类别的多个边缘数据组;确定不同类别的任意两个边缘数据组在不同维度下的相关距离;根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,且不同级匹配数据集合包括的边缘数据之间的相关性级别不同,所述相关性级别用于表征任意两个边缘数据组的相关程度;根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。上述方法从不同维度对不同类别的边缘数据进行处理,并对边缘数据进行分级匹配,能够挖掘边缘数据之间的相关性,并根据相关程度不同,进一步对边缘数据进行相关性分析,能够进一步从不同角度挖掘不同类别的边缘数据之间的相关性和潜在规律,为数据分析提供依据,最终实现对边缘数据的数据处理,提高了边缘数据处理的准确性和兼容性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是根据本发明实施例提供的一种边缘数据处理方法的流程图;
图2是根据本发明实施例提供的一种应用于计量实验室的边缘数据处理流程示意图;
图3是根据本发明实施例提供的一种边缘数据处理装置的结构示意图;
图4是根据本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例提供的边缘数据处理方法、装置、计算设备及存储介质。
图1是根据本发明实施例提供的一种边缘数据处理方法的流程图,该方法可以包括如下步骤:
步骤101:获取不同类别的多个边缘数据组。
在本发明实施例中,边缘数据是边缘设备的数据,该边缘数据可以是边缘设备产生或接收的数据,也可以称为边缘智能数据。并且,本发明的边缘数据在数据处理中心进行处理,因此,需要先从边缘设备获取不同类别的多个边缘数据组。
在具体实现中,数据处理中心可以与边缘设备建立通信连接,在数据处理中心需要对边缘数据做处理的情况下,向边缘设备发送数据获取请求,边缘设备响应于该数据获取请求向数据处理中心发送边缘数据,则数据处理中心可以接收到来自边缘设备的边缘数据,且每个边缘数据携带数据类别和数据属性,根据边缘数据的数据类别和数据属性对边缘数据进行分类分组,得到不同类别的多个边缘数据组。
根据本发明的一个实施例,获取不同类别的多个边缘数据组的具体实现可以包括:获取多个边缘数据;根据数据类别对多个边缘数据进行分类;根据每种类别下各边缘数据的数据属性,对每种类别的多个边缘数据进行分组,得到每种类别的多个边缘数据组。
其中,数据类别用于表征与边缘数据相关的类别。数据属性用于表征边缘数据在所属类别的具体属性。例如,数据类别包括个人、业务和边缘设备。数据属性包括具体人员、具体业务和具体边缘设备。
在具体实现中,先接收到各边缘设备发送的多个边缘数据,再根据数据类别对多个边缘数据进行分类,根据数据属性对每种类别的多个边缘数据进行分组,则每种类别的边缘数据会被分为多组,得到每种类别的多个边缘数据组。
作为一种示例,对多个边缘数据进行分类处理,可以按照数据类别分为个人边缘数据Data1、业务边缘数据Data2和多云边缘数据Data3。并且,该个人边缘数据表示与人员相关的边缘数据、业务边缘数据表示与业务相关的边缘数据、多云边缘数据表示边缘设备自身产生的数据。例如,多云边缘数据可以是边缘设备自身的设备属性数据。
在一些实施例中,由于边缘数据中可能会存在一些无用数据,因此,可以先对分类处理后的边缘数据进行预处理,该预处理包括降噪、去冗余等相关处理,然后再对预处理后的边缘数据进行分组处理。并且,对于每种类别的边缘数据,可以采用该种类别的边缘数据的数据属性进行分组,即不同类别的边缘数据的分组依据是不同的。
作为一种示例,对于个人边缘数据,可以根据具体人员进行分组,得到个人类别的多个个人边缘数据组;对于业务边缘数据,可以根据具体业务进行分组,得到业务类别的多个业务边缘数据组;对于多云边缘数据,可以根据具体边缘设备进行分组,得到边缘设备类别的多个多云边缘数据组。
例如,假设个人边缘数据A与开发人员相关、个人边缘数据B与测试人员相关、个人边缘数据C与开发人员相关,则可以将个人边缘数据A和C划分在一组,将个人边缘数据B单独划分为一组;假设业务边缘数据D是业务1的数据、业务边缘数据E是业务2的数据、业务边缘数据F是业务2的数据,则可以将业务边缘数据E和F划分在一组,将业务边缘数据D单独划分为一组;假设多云边缘数据X是边缘设备1的设备属性数据、多云边缘数据Y是边缘设备1的设备属性数据、多云边缘数据Z是边缘设备2的设备属性数据,则可以将多云边缘数据X和Y划分在一组,将多云边缘数据Z单独划分为一组。
在本发明实施例中,对获取到的边缘数据进行分类分组和预处理,便于后续数据处理时能够提取不同类别的边缘数据之间的关系,提高数据处理的效率。
进一步地,由于边缘数据从其他设备发送至数据处理中心的,则在数据传输的过程存在泄密的可能性,因此,为了避免数据泄密,本发明实施例可以将边缘数据加密后再传输至数据处理中心,数据处理中心接收到加密后的边缘数据后先解密再处理。
也即是,获取多个边缘数据的具体实现可以包括:接收多个加密边缘数据,加密边缘数据通过对边缘数据进行安全域转换得到;通过安全域逆转换将多个加密边缘数据转换为边缘数据。
在本发明的一些实施例中,将边缘数据进行安全域转换得到加密边缘数据可以通过如下公式(1)实现:
(1)
其中,表示第j个加密边缘数据,/>表示第j个边缘数据,N表示安全域转换的转换点数。并且,该N可以根据实际需求进行设置,或者也可以由数据处理中心默认设置,还可以根据边缘数据的采样频率确定,本发明实施例对此不做限定。例如,N可以取大于2倍的采样频率。
也就是说,在获取边缘数据后,可以对边缘数据进行排序,然后根据每个边缘数据和前一个边缘数据,通过上述公式(1)对该边缘数据进行安全域转换,得到加密边缘数据。并且,对于排序第一的边缘数据,可以直接将该边缘数据确定为加密边缘数据。
作为一种示例,可以根据数据获取时间或者数据生成时间或者数据类型对边缘数据进行排序,还可以随意对边缘数据进行排序,本发明实施例对此不做限定。
在本发明的一些实施例,通过安全域逆转换将多个加密边缘数据转换为边缘数据通过如下公式(2)实现:
(2)
需要说明的是,该公式(2)中各参数的意义与公式(1)中相同参数的意义相同。
本发明通过对获取到的边缘数据进行安全域转换,在进行转换后将边缘数据传送至数据处理中心,以保证边缘数据在传输过程的安全性,进一步得到准确的边缘数据,提高边缘数据处理的准确性。并且,对边缘数据进行分类,以从不同角度对边缘数据进行预处理,进一步提高了后续处理的边缘数据的准确性。
步骤102:确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
在本发明实施例中,可以提取每个边缘数据组的特征向量,根据特征向量确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
作为一种示例,可以根据每个边缘数据组的特征向量确定不同类别的任一两个边缘数据组的相似值,针对任一个边缘数据组,根据该个边缘数据组与其他个边缘数据组的相似值为该个边缘数据组配置权重坐标,且该权重坐标包括的权重值的数量与边缘数据的类别数量相同,再根据不同类别的任意两个边缘数据组的权重坐标,确定该两个边缘数据组在不同维度下的相关距离。在该种情况下,不同维度是指使用不同的权重值进行计算。
根据本发明的一个实施例中,确定不同类别的任意两个边缘数据组在不同维度下的相关距离的具体实现可以包括:提取每个边缘数据组的特征向量;根据预设规则为每个边缘数据组设置权重标签坐标;根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
具体实现中,可以采用任意特征提取算法提取每个边缘数据组的特征向量,则每个边缘数据组对应一个特征向量,再根据预设规则中不同类别的边缘数据之间的关系,为每个边缘数据组设置权重标签坐标,且每个边缘数据组的权重标签坐标表示该个边缘数据组与同类别的其他边缘数据之间的相关性、以及与其他类别的边缘数据组之间的相关性。
作为一种示例,权重标签坐标包括至少三个权重标签值,其中有一个权重标签值表征该边缘数据组与同类别的其他边缘数据之间的相关性,其他权重标签值表征该边缘数据组与其他类别的边缘数据组之间的相关性。并且,预设规则可以包括边缘数据的数据属性之间的关系,以此可以确定边缘数据组之间的关系,即哪个边缘数据组与哪个边缘数据组之间存在关系。
例如,假设预设规则包括开发人员负责业务1和2,且业务1和2的执行需要用到边缘设备1,则可以确定与开发人员相关的个人边缘数据组与业务1的业务边缘数据组相关,也与业务2的业务边缘数据组相关,还与边缘设备1的多云边缘数据组相关。
在本发明实施例中,每个边缘数据组的权重标签坐标包括至少三个权重标签值,不同维度是指采用的权重标签值不同。例如,假设权重标签坐标为(a,b,c),使用(a,b)计算相关距离是第一维度,使用(a,c)计算相关距离是第二维度,使用(b,c)计算相关距离是第三维度。
示例性地,假设有2组个人边缘数据分别为个人边缘数据组A和B,且个人边缘数据组A与开发人员相关,个人边缘数据组B与测试人员相关,2组业务边缘数据分别为业务边缘数据组E和F,且业务边缘数据组E与业务1相关,业务边缘数据组F与业务2相关,2组多云边缘数据X分别为多云边缘数据组X和Y,且多云边缘数据组X与边缘设备1相关,多云边缘数据组Y与边缘设备2相关。并且,假设预设规则包括开发人员负责业务E和F,还管理边缘设备1,测试人员负责业务E,还管理边缘设备1和2。因此,可以为个人边缘数据组A配置权重标签坐标为(0,2,1),0表示个人边缘数据组A与其他个人边缘数据组无关,2表示个人边缘数据组A与两个业务边缘数据组相关,1表示个人边缘数据组A与一个多云边缘数据组相关;同理,可以为个人边缘数据组B配置权重标签为(0,1,2),0表示个人边缘数据组B与其他个人边缘数据组无关,1表示个人边缘数据组B与一个业务边缘数据组相关,2表示个人边缘数据组B与两个多云边缘数据组相关。
在本发明实施例中,可以根据预设的不同个边缘数据组之间的相关关系为每个边缘数据组设置权重标签坐标,并采用特征提取算法提取每个边缘数据组的特征向量,再根据特征向量和权重标签坐标确定不同类别的任意两个边缘数据组在不同维度下的相关距离,能够从不同维度挖掘不同类别的边缘数据之间的相关性,提高相关性确定的准确性以及边缘数据处理的兼容性。
根据本发明的一个实施例,不同类别可以包括至少三个类别,不同维度可以包括至少三个维度,权重标签坐标可以包括至少三个权重标签值。在该种情况下,根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离的具体实现可以包括:根据第一类别下第一个边缘数据组的特征向量和第一个边缘数据组在第一维度的权重标签值、以及第二类别下第二个边缘数据组的特征向量和第二个边缘数据组在第一维度的权重标签值,确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离。
其中,第一类别和第二类别是至少三个类别中不同的任意两个,第一个边缘数据组是第一类别下任一个边缘数据组,第二个边缘数据组是第二类别下任一个边缘数据组,第一维度是至少三个维度中任意一个。
也就是说,对于不同类别的任意两个边缘数据组,可以根据不同的权重标签值,确定二者在不同维度下的相关距离。并且,每个维度的权重标签值的数量是两个。
在一些实施例中,可以确定第一个边缘数据组的特征向量和第二个边缘数据组的特征向量的向量相似值,根据第一个边缘数据组在第一维度的权重标签值和第二个边缘数据组在第一维度的权重标签值,确定第一个边缘数据组和第二个边缘数据组在第一维度的初始相关距离,根据该向量相似值和在第一维度的初始相关距离,确定第一个边缘数据组和第二个边缘数据组在第一维度的第一相关距离。
作为一种示例,可以通过计算第一个边缘数据组的特征向量和第二个边缘数据组的特征向量之间的欧氏距离、余弦距离、曼哈顿距离等确定向量相似值。通过坐标点距离公式,根据第一个边缘数据组在第一维度的权重标签值和第二个边缘数据组在第一维度的权重标签值,确定在第一维度的初始相关距离。再将向量相似值和在第一维度的初始相关距离的乘积作为在第一维度的第一相关距离。
在另一些实施例中,可以根据以下公式(3)确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离:
(3)
其中,表示第a个边缘数据组与第b个边缘数据组在第一维度的第一相关距离,/>表示第a个边缘数据组的权重标签坐标,/>表示第b个边缘数据组的权重标签坐标,/>表示第a个边缘数据组的特征向量,/>表示第b个边缘数据组的特征向量,/>和/>表示第a个边缘数据组在第一维度的两个权重标签值,/>和/>表示第b个边缘数据组在第一维度的两个权重标签值,/>表示求取范数。
同理,根据下述公式(4)确定不同类别的任意两个边缘数据组在第二维度的第二相关距离,根据下述公式(5)确定不同类别的任意两个边缘数据组在第三维度的第三相关距离:
(4)
其中,和/>表示第a个边缘数据组在第二维度的两个权重标签值,/>和/>表示第b个边缘数据组在第二维度的两个权重标签值。
(5)
其中,和/>表示第a个边缘数据组在第三维度的两个权重标签值,/>和/>表示第b个边缘数据组在第三维度的两个权重标签值。
通过上述公式(3)-(5)的计算,可以得到多个第一相关距离、多个第二相关距离和多个第三相关距离。
本发明实施例中,提取每个边缘数据组的特征向量,并根据边缘数据组之间的预设关系为每个边缘数据组配置权重标签坐标,再根据特征向量和权重标签坐标确定不同类别的任意两个边缘数据组在不同维度的相关距离,能够从不同角度挖掘边缘数据之间的相关性,提高了边缘数据处理的兼容性。
步骤103:根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,相关性级别用于表征任意两个边缘数据组的相关程度。
在本发明实施例中,可以根据不同维度下的相关距离,确定不同类别的任意两个边缘数据组之间的相关程度,并将相关程度相同的边缘数据组聚合在一起,得到匹配数据集合,如此能够得到多个匹配数据集合,还可以根据相关程度不同将匹配数据集合划分为多级匹配数据集合,每级匹配数据集合有对应的相关性级别。
作为一种示例,若任意两个边缘数据组在三个维度下的相关距离都满足距离阈值,说明该两个边缘数据组的相关性级别较高,若任意两个边缘数据组在两个维度下的相关距离满足距离阈值,说明该两个边缘数据组的相关性级别中等,若任意两个边缘数据组只在一个维度下的相关距离满足距离阈值,说明该两个边缘数据组的相关性级别较低。
根据本发明的一个实施例,不同维度包括至少三个维度,根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合的具体实现可以包括:将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
具体实现中,通过上述步骤计算相关距离后,对于不同类别的任意两个边缘数据组,可以得到至少三个维度下的相关距离,将相同维度下的相关距离聚合在一起,可以得到至少三个相关距离集合,且每个相关距离集合中包括多个相关距离,每个相关距离对应两个边缘数据组。然后可以提取每个相关距离对应的两个边缘数据组的分组标识,则可以得到每个相关距离集合对应的多个分组标识,将分组标识组成的集合称为候选匹配集合,如此能够得到至少三个候选匹配集合。再对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,得到多级匹配数据集合。
在一些实施例中,在确定不同类别的任意两个边缘数据组在不同维度的相关距离后,先根据距离阈值对相关距离进行筛选,然后将筛选后的相关距离按照维度聚合在一起,得到至少三个相关距离集合。
需要说明的,对于不同维度的相关距离,可以设置相同或不同的距离阈值,且距离阈值可以根据实际需求进行设置或修改,本发明实施例对此不做限定。
作为一种示例,假设不同类别的任意两个边缘数据组在不同维度下的相关距离包括第一相关距离、第二相关距离和第三相关距离,根据第一距离阈值、第二距离阈值和第三距离阈值,分别对第一相关距离、第二相关距离和第三相关距离进行筛选,将筛选后的第一相关距离组合在一起,得到第一相关距离集合,同理得到第二相关距离集合和第三相关距离集合。然后提取第一相关距离集合包括的每个相关距离对应的两个边缘数据组的分组标识,得到第一候选匹配集合,同理可以得到第二候选匹配集合和第三候选匹配集合。
根据本发明的一个实施例,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合的具体实现可以包括:根据候选匹配集合的数量,确定分级匹配的分级数量;根据预设对应关系确定每级匹配对应的匹配策略;根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
具体实现中,可以预先设置每级匹配对应的匹配策略,根据候选匹配集合的数量进行排列组合,确定分级数量,进而确定每级匹配对应的匹配策略,根据每级匹配对应的匹配策略对至少三个候选匹配集合包括的多个边缘数据组进行处理,得到每级匹配对应的匹配数据集合,且每级匹配对应的匹配数据集合有对应的相关性级别。
在一些实施例中,从候选匹配集合的数量中取出指定数量个元素进行排序,最终得到的排序数量是分级数量。并且,每级匹配对应的匹配策略是取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,其中,M是大于1的正整数,且M与每级匹配的相关性级别相同。
示例性地,指定数量可以是2,假设候选匹配集合的数量是3,可以确定分级数量是。
根据本发明的一个实施例,根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合的具体实现可以包括:对至少三个候选匹配集合包括的多个边缘数据组取并集,得到一级匹配数据集合;取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,得到M级匹配数据集合。
作为一种示例,假设候选匹配集合的数量是三个,一级匹配对应的匹配策略是取三个候选匹配集合包括的所有边缘数据组的并集;二级匹配对应的匹配策略是取每2个候选匹配集合包括的所有边缘数据组的交集,得到三个交集,再取三个交集的并集;三级匹配对应的匹配策略是取3个候选匹配集合包括的所有边缘数据组的交集。
示例性地,假设候选匹配集合的数量是三个,第一候选匹配集合包括A1B1、A1B2、B1C1和B2C1,第二候选匹配集合包括A1B1、A2C1、A2C2;第三候选匹配集合包括A1B1、A2C2、B1C1和B2C1。则可以取三个候选匹配集合的并集,得到一级匹配数据集合包括A1B1、A1B2、A2C1、A2C2、B1C1和B2C1;取第一候选匹配集合和第二候选匹配集合的交集包括A1B1,取第一候选匹配集合和第三候选匹配集合的交集包括A1B1、B1C1和B2C1,取第二候选匹配集合和第三候选匹配集合的交集包括A1B1和A2CA,再取三个交集的并集,得到二级匹配数据集合包括A1B1、A2CA、B1C1和B2C1;取第一候选匹配集合、第二候选匹配集合和第三候选匹配集合的交集,得到三级匹配数据集合包括A1B1。
在本发明实施例中,根据不同类别的任一两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,如此,能够从不同维度不同角度提取不同边缘数据组之间的相关性和潜在关系,提高相关性分析的准确性,且本方案能够处理不同类别的边缘数据组,兼容性较强。
步骤104:根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
在本发明实施例中,可以将多级匹配数据集合输入相关性分析模型进行深度学习,并根据相关性级别对各级匹配数据集合进行加权处理,再根据甲醛处理后的各级匹配数据集合挖掘边缘数据组之间的相关性以及潜在规律,得到相关性分析结果。
其中,相关性分析模型可以是深度学习神经网络模型。
根据本发明的一个实施例,根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果的具体实现可以包括:
将多级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合,其中,每级匹配数据集合的权重根据每级匹配数据集合的相关性级别确定;将加权后的多级匹配数据集合输入相关性分析模型的分段分类层进行分类,得到不同类别的匹配数据集合;将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果。
具体实现中,可以为每个相关性级别设置对应的权重系数,根据权重系数对每个相关性级别对应的匹配数据集合进行加权处理,得到加权处理后的多级匹配数据集合。将加权后的多级匹配数据集合输入分段分类层,在分段分类层根据数据类别对多级匹配数据集合包括的多组边缘数据进行分类,得到不同类别的匹配数据集合,将不同类别的匹配数据集合输入相关性分析层,提取不同类别的匹配数据集合中边缘数据组之间的相关性,得到相关性分析结果。
在一些实施例中,在分段分类层对加权后的多级匹配数据集合进行分类时,还可以按照相关性级别对匹配数据集合中的边缘数据组进行排序。
作为一种示例,可以将三级匹配数据集合中的边缘数据组在每种类别中排序比较靠前,将二级匹配数据集合中的边缘数据组在每种类别中排序相对靠后,将一级匹配数据集合中的边缘数据组在每种类别中排序最后。并且,若在同级匹配数据集合中,同种类别有多个边缘数据组,且该多个边缘数据组在更高一级匹配数据集合中不存在,可以根据该多个边缘数据组在该级匹配数据集合中的相关性,对该多个边缘数据组进行排序。
示例性地,假设一级匹配集合包括A1B1、A2B2、A2C2和B2C1,二级匹配数据集合包括A1B2、A3C1、B3C2和B3C1,三级匹配数据集合包括A1B1,对这三个匹配数据集合包括的边缘数据组进行分类,可以得到第一类别的匹配数据集合包括A1、A2、A3,第二类别的匹配数据集合包括B1、B2,第三类别的匹配数据集合包括C1、C2。并且,对于第一类别的匹配数据集合来说,由于三级匹配数据集合包括A1B1,则A1在第一类别的匹配数据集合中排序第一,二级匹配数据集合中包括A1和A3,则A3在第一类别的匹配数据集合中排序第二,三级匹配数据集合中包括A1和A2,则A2在第一类别的匹配数据集合中排序第三,即第一类别的匹配数据集合中边缘数据组的排序是A1、A3、A2。对于第二类别的匹配数据集合来说,由于三级匹配数据集合包括A1B1,则B1在第二类别的匹配数据集合中排序第一,二级匹配数据集合中包括B2和B3,假设A1B2的相关性小于B3C2的相关性,也小于B3C1的相关性,则B3在第二类别的匹配数据集合中排序第二,一级匹配数据集合中包括B1和B2,则B2在第二类别的匹配数据集合中排序第三,即第二类别的匹配数据集合中边缘数据组的排序是B1、B3、B2。对于第三类别的匹配数据集合来说,二级匹配数据集合包括C1和C2,假设B3C2的相关性大于A3C1的相关性,也大于B3C1的相关性,则C2在第三类别的匹配数据集合中排序第一,一级匹配数据集合中包括C1和C2,则C1在第三类别的匹配数据集合中排序第二,即第三类别的匹配数据集合中边缘数据组的排序是C2、C1。
作为另一种示例,还可以按照边缘数据组的排列下标进行排序。假设一级匹配数据集合包括A1B1、A1B2、A2C1、A2C2、B1C1和B2C1,二级匹配数据集合包括A1B1、A2CA、B1C1和B2C1,三级匹配数据集合包括A1B1,对这三个匹配数据集合包括的边缘数据组进行分类,可以得到第一类别的匹配数据集合包括A1、A2,第二类别的匹配数据集合包括B1、B2,第三类别的匹配数据集合包括C1、C2。
在本发明实施例中,第一类别的匹配数据集合可以是个人边缘匹配数据集合,其中包括个人边缘数据组;第二类别的匹配数据集合可以是业务边缘匹配数据集合,其中包括业务边缘数据组;第三类别的匹配数据集合可以是多云边缘匹配数据集合,其中包括多云边缘数据组。
根据本发明的一个实施例,相关性分析层包括聚类层、综合边缘层和输出层,将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果的具体实现可以包括:
将不同类别的匹配数据集合输入聚类层进行聚类分析,得到多个重组数据集合,并根据每个重组数据集合中多个边缘数据组之间的相关性,对每个重组数据集合中多个边缘数据组进行聚类,得到多个聚类结果;将多个聚类结果输入综合边缘层,根据预先配置的相关性资料对多个聚类结果进行修正,得到相关性分析结果;将相关性分析结果通过输出层输出。
具体实现中,将不同类别的匹配数据集合输入聚类层,先将不同类别的每两个匹配数据集合组合,得到多个重组数据集合,再提取每个重组数据集合中不同类别的多个边缘数据组之间的相关性,对每个重组数据集合中不同类别的多个边缘数据组进行聚类,得到多个聚类结果。该聚类结果包括边缘数据组之间的相关关系,如边缘数据组A1与边缘数据组B1相关。综合边缘层可以预先配置有相关性资料,该相关性资料中记录了个人、业务与边缘设备的关系,如开发人员负责业务B。如此,可以根据相关资料对多个聚类结果进行查漏补缺,补充未提取出的相关关系或者修改提取错误的相关关系,得到最终的相关性分析结果,将相关性分析结果通过输出层整理成文档输出。
在本发明实施例中,通过构建深度学习神经网络模型对边缘数据组进行深度学习,从多角度挖掘不同类别的边缘数据组之间的相关性和潜在规律,能够提取边缘数据组之间准确的相关关系,提高边缘数据处理的准确性。
进一步地,在将相关性分析结果通过输出层输出之前,还包括:确定每个聚类结果包括的多个边缘数据组之间的相关性取值。相应地,将相关性分析结果通过输出层输出的具体实现可以包括:将相关性分析结果和每个聚类结果包括的多个边缘数据组之间的相关性取值通过输出层输出。
具体实现中,可以在聚类层确定每个重组数据集合中多个边缘数据组之间的相关性取值,将相关性取值和相关性分析结果一起通过输出层输出。如此,能够更直观得表示不同类别的边缘数据组之间的相关关系。
本发明实施例通过对获取的边缘数据进行安全域转换,得到加密边缘数据传送至数据处理中心,以保证数据在传输过程的安全性,进一步得到准确的边缘数据,提高数据处理的准确性;数据处理中心接收到加密边缘数据后进行逆转换得到边缘数据,对边缘数据进行分类分组,从不同维度对不同类别的边缘数据进行处理,并对边缘数据进行分级匹配,能够挖掘边缘数据之间的相关性,并根据相关程度不同,进一步对边缘数据进行相关性分析,能够进一步从不同角度挖掘不同类别的边缘数据之间的相关性和潜在规律,为数据分析提供依据,最终实现对边缘数据的数据处理,提高了边缘数据处理的准确性和兼容性。
图2是根据本发明实施例提供的一种应用于计量实验室的边缘数据处理流程示意图。
互联互通是运营商的网络与不在该网络中的设备或设施之间的物理链路。为响应国网号召,开展计量量传和质检业务数字化转型研究及应用建设,在计量标准业务中,标准设备的互联互通、数据的自动上传时实现计量量传和质检业务数据化转型研究及应用建设的重要基础,也是推进标准量传体系在线管控平台建设及试点应用抓手和落脚点,然而在互联互通终端的边缘设备所产生的边缘数据的处理成为首要解决任务。
步骤201:接收多个加密的互联互通终端边缘智能数据,该加密的互联互通终端边缘智能数据通过对互联互通终端边缘智能数据进行安全域转换得到。
在本实施例中,在互联互通终端的边缘设备所产生的边缘数据可以称为互联互通终端边缘智能数据。
步骤202:通过安全域逆转换将多个加密的互联互通终端边缘智能数据转换为互联互通终端边缘智能数据。
步骤203:根据数据类别对多个互联互通终端边缘智能数据进行分类,分为互联互通终端个人边缘智能数据Data1、互联互通终端业务边缘智能数据Data2以及互联互通终端多云边缘智能数据Data3。
步骤204:对分类后的互联互通终端边缘智能数据进行降噪和去冗余的预处理,并将预处理后的互联互通终端边缘智能数据进行分组处理,得到多个互联互通终端个人边缘智能数据组、多个互联互通终端业务边缘智能数据组以及多个互联互通终端多云边缘智能数据组。
步骤205:对每个互联互通终端边缘智能数据组进行特征提取,得到每个互联互通终端个人边缘智能数据组的特征向量、每个互联互通终端业务边缘智能数据组的特征向量、以及每个互联互通终端多云边缘智能数据组的特征向量。
作为一种示例,可以得到互联互通终端个人边缘智能数据的特征向量集合TData1、互联互通终端业务边缘智能数据的特征向量集合TData2、以及互联互通终端多云边缘智能数据的特征向量集合TData3,得到互联互通终端边缘智能数据的特征向量集合TZData。
步骤206:为每个互联互通终端边缘智能数据组设置权重标签坐标,该权重标签坐标为(x,y,z)。
作为一种示例,针对互联互通终端个人边缘智能数据组,x表示任意一个互联互通终端个人边缘智能数据的权重标签值,y表示任意一个互联互通终端个人边缘智能数据组与任意一个互联互通终端业务边缘智能数据组的相关权重标签值,z表示任意一个互联互通终端个人边缘智能数据组与任意一个互联互通终端多云边缘智能数据组的相关权重标签值;针对互联互通终端业务边缘智能分组数据,x表示任意一个互联互通终端个人边缘智能数据组与任意一个互联互通终端业务边缘智能数据组的相关权重标签值,y表示任意一个互联互通终端业务边缘智能数据组的权重标签值,z表示任意一个互联互通终端业务边缘智能数据组与任意一个互联互通终端多云边缘智能数据组的相关权重标签值;针对互联互通终端多云边缘智能分组数据,x表示任意一个互联互通终端个人边缘智能数据组与任意一个互联互通终端多云边缘智能数据组的相关权重标签值的相关权重标签值,y表示任意一个互联互通终端业务边缘智能数据组与任意一个互联互通终端多云边缘智能数据组的相关权重标签值,z表示任意一个互联互通终端多云边缘智能数据组的权重标签值。
步骤207:根据每个互联互通终端边缘智能数据组的特征向量和权重标签坐标,确定不同类别的任意两个互联互通终端边缘智能数据组的第一相关距离、第二相关距离和第三相关距离,最终得到第一相关距离集合Dis1、第二相关距离集合Dis2和第三相关距离集合Dis3。
步骤208:设置第一距离阈值、第二距离阈值、第三距离阈值分别对第一相关距离集合、第二相关距离集合、第三相关距离集合进行筛选。
其中,第一距离阈值可以是,第二距离阈值可以是/>,第三距离阈值可以是/>。
步骤209:提取筛选后的第一相关距离集合包括的每个相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,得到第一候选匹配集合,同理得到第二候选匹配集合和第三候选匹配集合。
步骤210:取第一候选匹配集合包括的多个边缘数据组、第二候选匹配集合包括的多个边缘数据组和第三候选匹配集合包括的多个边缘数据组的并集,得到一级匹配数据集合PData1。
步骤211:取第一候选匹配集合包括的多个边缘数据组和第二候选匹配集合包括的多个边缘数据组的交集,取第一候选匹配集合包括的多个边缘数据组和第三候选匹配集合包括的多个边缘数据组的交集,取第二候选匹配集合包括的多个边缘数据组和第三候选匹配集合包括的多个边缘数据组的交集,取三个交集的并集,得到二级匹配数据集合PData2。
步骤212:取第一候选匹配集合包括的多个边缘数据组、第二候选匹配集合包括的多个边缘数据组和第三候选匹配集合包括的多个边缘数据组的交集,得到三级匹配数据集合PData3。
步骤213:将一级匹配数据集合、二级匹配数据集合和三级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合QData。
步骤214:将加权后的多级匹配数据集合QData输入分段分类层,按照相关性级别和数据类别,得到个人边缘匹配数据集合、业务边缘匹配数据集合和多云边缘匹配数据集合。
步骤215:将个人边缘匹配数据集合、业务边缘匹配数据集合和多云边缘匹配数据集合输入聚类层,将个人边缘匹配数据集合与业务边缘匹配数据集合组合得到第一重组数据集合,个人边缘匹配数据集合与多云边缘匹配数据集合组合得到第二重组数据集合,业务边缘匹配数据集合与多云边缘匹配数据集合组合得到第三重组数据集合。
步骤216:提取第一重组数据集合中个人边缘智能数据组与业务边缘智能数据组的相关性取值,并将第一重组数据集合中个人边缘智能数据组与业务边缘智能数据组重新聚类。
步骤217:提取第二重组数据集合中个人边缘智能数据组与多云边缘智能数据组的相关性取值,并将第二重组数据集合中个人边缘智能数据组与多云边缘智能数据组重新聚类。
步骤218:提取第三重组数据集合中业务边缘智能数据组与多云边缘智能数据组的相关性取值,并将第三重组数据集合中业务边缘智能数据组与多云边缘智能数据组重新聚类。
步骤219:将多个聚类结果输入综合边缘层,根据预先配置的相关资料对多个聚类结果进行修正,得到相关性分析结果。
步骤220:将相关性分析结果作为输出层的输入,并将相关性分析结果整理成文档,作为输出层的输出。
在本发明实施例中,对边缘数据处理后,将相关性分析结果用于计量实验室中电能的分析。
本发明实施例提供的边缘数据处理方法,通过对获取的边缘数据进行安全域转换,得到加密边缘数据传送至数据处理中心,以保证数据在传输过程的安全性,进一步得到准确的边缘数据,提高数据处理的准确性;数据处理中心接收到加密边缘数据后进行逆转换得到边缘数据,对边缘数据进行分类分组,从不同维度对不同类别的边缘数据进行处理,并对边缘数据进行分级匹配,能够挖掘边缘数据之间的相关性,并根据相关程度不同,进一步对边缘数据进行相关性分析,能够进一步从不同角度挖掘不同类别的边缘数据之间的相关性和潜在规律,为数据分析提供依据,最终实现对边缘数据的数据处理,提高了边缘数据处理的准确性和兼容性。
图3是根据本发明实施例提供的一种边缘数据处理装置的结构示意图,该边缘数据处理装置包括:
获取模块301,被配置为获取不同类别的多个边缘数据组;
确定模块302,被配置为确定不同类别的任意两个边缘数据组在不同维度下的相关距离;
分级匹配模块303,被配置为根据不同类别的任意两个边缘数据组在不同维度下的相关距离,对多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,相关性级别用于表征任意两个边缘数据组的相关程度;
相关性分析模块304,被配置为根据各级匹配数据集合对应的相关性级别,对多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
根据本发明的一个实施例,不同维度包括至少三个维度,分级匹配模块303,进一步被配置为:
将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;
提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;
对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,分级匹配模块303,进一步被配置为:
根据候选匹配集合的数量,确定分级匹配的分级数量;
根据预设对应关系确定每级匹配对应的匹配策略;
根据每级匹配对应的匹配策略,对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
根据本发明的一个实施例,每级匹配对应的匹配策略是取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,其中,M是大于0的正整数,且M与每级匹配的相关性级别相同。
根据本发明的一个实施例,分级匹配模块303,进一步被配置为:
对至少三个候选匹配集合包括的多个边缘数据组取并集,得到一级匹配数据集合;
取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,得到M级匹配数据集合。
根据本发明的一个实施例,确定模块302,进一步被配置为:
提取每个边缘数据组的特征向量;
根据预设规则为每个边缘数据组设置权重标签坐标;
根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
根据本发明的一个实施例,不同类别包括至少三个类别,不同维度包括至少三个维度,权重标签坐标包括至少三个权重标签值;
确定模块302,进一步被配置为:
根据第一类别下第一个边缘数据组的特征向量和第一个边缘数据组在第一维度的权重标签值、以及第二类别下第二个边缘数据组的特征向量和第二个边缘数据组在第一维度的权重标签值,确定第一个边缘数据组与第二个边缘数据组在第一维度的第一相关距离,其中,第一类别和第二类别是至少三个类别中不同的任意两个,第一个边缘数据组是第一类别下任一个边缘数据组,第二个边缘数据组是第二类别下任一个边缘数据组,第一维度是至少三个维度中任意一个。
根据本发明的一个实施例,确定模块302,进一步被配置为:
其中,表示第a个边缘数据组与第b个边缘数据组在第一维度的第一相关距离,/>表示第a个边缘数据组的权重标签坐标,/>表示第b个边缘数据组的权重标签坐标,/>表示第a个边缘数据组的特征向量,表示第b个边缘数据组的特征向量,/>和/>表示第a个边缘数据组在第一维度的两个权重标签值,/>和/>表示第b个边缘数据组在第一维度的两个权重标签值,/>表示求取范数。
根据本发明的一个实施例,相关性分析模块304,进一步被配置为:
将多级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合,其中,每级匹配数据集合的权重根据每级匹配数据集合的相关性级别确定;
将加权后的多级匹配数据集合输入相关性分析模型的分段分类层进行分类,得到不同类别的匹配数据集合;
将不同类别的匹配数据集合输入相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果。
根据本发明的一个实施例,相关性分析层包括聚类层、综合边缘层和输出层,相关性分析模块304,进一步被配置为:
将不同类别的匹配数据集合输入聚类层进行聚类分析,得到多个重组数据集合,并根据每个重组数据集合中多个边缘数据组之间的相关性,对每个重组数据集合中多个边缘数据组进行聚类,得到多个聚类结果;
将多个聚类结果输入综合边缘层,根据预先配置的相关性资料对多个聚类结果进行修正,得到相关性分析结果;
将相关性分析结果通过输出层输出。
根据本发明的一个实施例,相关性分析模块304,进一步被配置为:
确定每个聚类结果包括的多个边缘数据组之间的相关性取值;
将相关性分析结果和每个聚类结果包括的多个边缘数据组之间的相关性取值通过输出层输出。
根据本发明的一个实施例,获取模块301,进一步被配置为:
获取多个边缘数据;
根据数据类别对多个边缘数据进行分类;
根据每种类别下各边缘数据的数据属性,对每种类别的多个边缘数据进行分组,得到每种类别的多个边缘数据组。
根据本发明的一个实施例,获取模块301,进一步被配置为:
接收多个加密边缘数据,加密边缘数据通过对边缘数据进行安全域转换得到;
通过安全域逆转换将多个加密边缘数据转换为边缘数据。
根据本发明的一个实施例,获取模块301,进一步被配置为:
其中,表示第j个边缘数据,/>表示第j个加密边缘数据,N表示安全域转换的转换点数。
应用本发明实施例提供的边缘数据处理方法,通过对获取的边缘数据进行安全域转换,得到加密边缘数据传送至数据处理中心,以保证数据在传输过程的安全性,进一步得到准确的边缘数据,提高数据处理的准确性;数据处理中心接收到加密边缘数据后进行逆转换得到边缘数据,对边缘数据进行分类分组,从不同维度对不同类别的边缘数据进行处理,并对边缘数据进行分级匹配,能够挖掘边缘数据之间的相关性,并根据相关程度不同,进一步对边缘数据进行相关性分析,能够进一步从不同角度挖掘不同类别的边缘数据之间的相关性和潜在规律,为数据分析提供依据,最终实现对边缘数据的数据处理,提高了边缘数据处理的准确性和兼容性。
上述为本发明实施例的一种边缘数据处理装置的示意性方案。需要说明的是,该边缘数据处理装置的技术方案与上述边缘数据处理方法的技术方案属于同一构思,边缘数据处理装置的技术方案未详细描述的细节内容,均可以参见上述边缘数据处理方法的技术方案的描述。
图4是根据本发明实施例提供的一种计算设备的结构示意图。该计算设备400包括:存储器401、处理器402及存储在存储器401上并可在处理器上运行的计算机程序,所述处理器402执行所述计算机程序时,实现如上述任一实施例提出的一种边缘数据处理方法。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述任一实施例提出的一种边缘数据处理方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM,Random Access Memory),只读存储器(ROM,Read-Only Memory),可擦除可编辑只读存储器(EPROM,Erasable Programmable Read-Only Memory或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM,Compact Disk Read Only Memory)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA,Programmable Gate Array),现场可编程门阵列(FPGA,Field Programmable Gate Array)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (19)
1.一种边缘数据处理方法,其特征在于,所述方法包括:
获取不同类别的多个边缘数据组;
确定不同类别的任意两个边缘数据组在不同维度下的相关距离;
根据所述不同类别的任意两个边缘数据组在不同维度下的相关距离,对所述多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,所述相关性级别用于表征任意两个边缘数据组的相关程度;
根据各级匹配数据集合对应的相关性级别,对所述多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
2.根据权利要求1所述的方法,其特征在于,所述不同维度包括至少三个维度,所述根据所述不同类别的任意两个边缘数据组在不同维度下的相关距离,对所述多个边缘数据组进行分级匹配,得到多级匹配数据集合,包括:
将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;
提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;
对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
3.根据权利要求2所述的方法,其特征在于,所述对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合,包括:
根据所述候选匹配集合的数量,确定所述分级匹配的分级数量;
根据预设对应关系确定每级匹配对应的匹配策略;
根据每级匹配对应的匹配策略,对所述至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
4.根据权利要求2或3所述的方法,其特征在于,每级匹配对应的匹配策略是取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对至少两个交集取并集,其中,所述M是大于0的正整数,且所述M与每级匹配的相关性级别相同。
5.根据权利要求4所述的方法,其特征在于,所述根据每级匹配对应的匹配策略,对所述至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合,包括:
对所述至少三个候选匹配集合包括的多个边缘数据组取并集,得到一级匹配数据集合;
取每M个候选匹配集合包括的多个边缘数据组的交集,若交集的数量是至少两个,则对所述至少两个交集取并集,得到M级匹配数据集合。
6.根据权利要求1所述的方法,其特征在于,所述确定不同类别的任意两个边缘数据组在不同维度下的相关距离,包括:
提取每个边缘数据组的特征向量;
根据预设规则为每个边缘数据组设置权重标签坐标;
根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
7.根据权利要求6所述的方法,其特征在于,所述不同类别包括至少三个类别,所述不同维度包括至少三个维度,所述权重标签坐标包括至少三个权重标签值;所述根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离,包括:
根据第一类别下第一个边缘数据组的特征向量和所述第一个边缘数据组在第一维度的权重标签值、以及第二类别下第二个边缘数据组的特征向量和所述第二个边缘数据组在所述第一维度的权重标签值,确定所述第一个边缘数据组与所述第二个边缘数据组在所述第一维度的第一相关距离,其中,所述第一类别和第二类别是所述至少三个类别中不同的任意两个,所述第一个边缘数据组是所述第一类别下任一个边缘数据组,所述第二个边缘数据组是所述第二类别下任一个边缘数据组,所述第一维度是所述至少三个维度中任意一个。
8.根据权利要求7所述的方法,其特征在于,根据以下公式确定所述第一个边缘数据组与所述第二个边缘数据组在所述第一维度的第一相关距离:
其中,表示第a个边缘数据组与第b个边缘数据组在第一维度的第一相关距离,/>表示第a个边缘数据组的权重标签坐标,/>表示第b个边缘数据组的权重标签坐标,/>表示第a个边缘数据组的特征向量,/>表示第b个边缘数据组的特征向量,/>和/>表示第a个边缘数据组在第一维度的两个权重标签值,/>和/>表示第b个边缘数据组在第一维度的两个权重标签值,/>表示求取范数。
9.根据权利要求1、2或6所述的方法,其特征在于,所述根据各级匹配数据集合对应的相关性级别,对所述多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果,包括:
将所述多级匹配数据集合输入相关性分析模型的输入层进行加权处理,得到加权后的多级匹配数据集合,其中,每级匹配数据集合的权重根据每级匹配数据集合的相关性级别确定;
将所述加权后的多级匹配数据集合输入所述相关性分析模型的分段分类层进行分类,得到不同类别的匹配数据集合;
将所述不同类别的匹配数据集合输入所述相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果。
10.根据权利要求9所述的方法,其特征在于,所述相关性分析层包括聚类层、综合边缘层和输出层,所述将所述不同类别的匹配数据集合输入所述相关性分析模型的相关性分析层进行相关性分析,得到相关性分析结果,包括:
将所述不同类别的匹配数据集合输入所述聚类层进行聚类分析,得到多个重组数据集合,并根据每个重组数据集合中多个边缘数据组之间的相关性,对每个重组数据集合中多个边缘数据组进行聚类,得到多个聚类结果;
将所述多个聚类结果输入综合边缘层,根据预先配置的相关性资料对所述多个聚类结果进行修正,得到相关性分析结果;
将所述相关性分析结果通过所述输出层输出。
11.根据权利要求10所述的方法,其特征在于,在将所述相关性分析结果通过所述输出层输出之前,还包括:
确定每个聚类结果包括的多个边缘数据组之间的相关性取值;
相应地,将所述相关性分析结果通过所述输出层输出,包括:
将所述相关性分析结果和每个聚类结果包括的多个边缘数据组之间的相关性取值通过所述输出层输出。
12.根据权利要求1、2或6所述的方法,其特征在于,所述获取不同类别的多个边缘数据组,包括:
获取多个边缘数据;
根据数据类别对所述多个边缘数据进行分类;
根据每种类别下各边缘数据的数据属性,对每种类别的多个边缘数据进行分组,得到每种类别的多个边缘数据组。
13.根据权利要求12所述的方法,其特征在于,所述获取多个边缘数据,包括:
接收多个加密边缘数据,所述加密边缘数据通过对边缘数据进行安全域转换得到;
通过安全域逆转换将所述多个加密边缘数据转换为边缘数据。
14.根据权利要求13所述的方法,其特征在于,所述通过安全域逆转换将所述多个加密边缘数据转换为边缘数据通过如下公式实现:
其中,表示第j个边缘数据,/>表示第j个加密边缘数据,N表示安全域转换的转换点数。
15.一种边缘数据处理装置,其特征在于,所述装置包括:
获取模块,被配置为获取不同类别的多个边缘数据组;
确定模块,被配置为确定不同类别的任意两个边缘数据组在不同维度下的相关距离;
分级匹配模块,被配置为根据所述不同类别的任意两个边缘数据组在不同维度下的相关距离,对所述多个边缘数据组进行分级匹配,得到多级匹配数据集合,其中,不同级匹配数据集合包括的边缘数据之间的相关性级别不同,所述相关性级别用于表征任意两个边缘数据组的相关程度;
相关性分析模块,被配置为根据各级匹配数据集合对应的相关性级别,对所述多级匹配数据集合包括的多个边缘数据组进行相关性分析,得到相关性分析结果。
16.根据权利要求15所述的装置,其特征在于,所述不同维度包括至少三个维度,所述分级匹配模块,进一步被配置为:
将相同维度下的相关距离进行聚合,得到至少三个相关距离集合;
提取各相关距离对应的两个边缘数据组中每个边缘数据组的分组标识,将同一相关距离集合对应的分组标识聚合,得到每个相关距离集合对应的候选匹配集合;
对至少三个候选匹配集合包括的多个边缘数据组进行分级匹配,生成多级匹配数据集合。
17.根据权利要求15所述的装置,其特征在于,所述确定模块,进一步被配置为:
提取每个边缘数据组的特征向量;
根据预设规则为每个边缘数据组设置权重标签坐标;
根据每个边缘数据组的特征向量和权重标签坐标,确定不同类别的任意两个边缘数据组在不同维度下的相关距离。
18.一种计算设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-14任一项所述的边缘数据处理方法。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-14任一项所述的边缘数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310988180.8A CN116701962B (zh) | 2023-08-07 | 2023-08-07 | 边缘数据处理方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310988180.8A CN116701962B (zh) | 2023-08-07 | 2023-08-07 | 边缘数据处理方法、装置、计算设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116701962A true CN116701962A (zh) | 2023-09-05 |
CN116701962B CN116701962B (zh) | 2023-10-27 |
Family
ID=87834305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310988180.8A Active CN116701962B (zh) | 2023-08-07 | 2023-08-07 | 边缘数据处理方法、装置、计算设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116701962B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130662A1 (en) * | 2008-04-22 | 2009-10-29 | Tubitak-Turkiye Bilimsel Ve Teknolojik Arastirma Kurumu | Reduction of the time period necessary for comparison in criminal databases by using a universal set formation method where the universal set is subject to time-varying subset formation |
CN109212542A (zh) * | 2017-07-06 | 2019-01-15 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的校准方法 |
CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
CN113676357A (zh) * | 2021-08-30 | 2021-11-19 | 华北电力大学 | 面向电力物联网中边缘数据处理的决策方法及其应用 |
US20220210142A1 (en) * | 2020-12-31 | 2022-06-30 | EMC IP Holding Company LLC | Method for protecting edge device trust score |
CN114880415A (zh) * | 2022-04-08 | 2022-08-09 | 刘译郎 | 一种基于物联网的农区自定义化监管方法及系统 |
CN115374106A (zh) * | 2022-07-15 | 2022-11-22 | 北京三维天地科技股份有限公司 | 一种基于知识图谱技术的数据智能分级方法 |
CN116048799A (zh) * | 2023-01-10 | 2023-05-02 | 重庆工业大数据创新中心有限公司 | 一种基于联邦学习的工业互联网多模态边缘数据处理方法 |
-
2023
- 2023-08-07 CN CN202310988180.8A patent/CN116701962B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130662A1 (en) * | 2008-04-22 | 2009-10-29 | Tubitak-Turkiye Bilimsel Ve Teknolojik Arastirma Kurumu | Reduction of the time period necessary for comparison in criminal databases by using a universal set formation method where the universal set is subject to time-varying subset formation |
CN109212542A (zh) * | 2017-07-06 | 2019-01-15 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的校准方法 |
US20220210142A1 (en) * | 2020-12-31 | 2022-06-30 | EMC IP Holding Company LLC | Method for protecting edge device trust score |
CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
CN113676357A (zh) * | 2021-08-30 | 2021-11-19 | 华北电力大学 | 面向电力物联网中边缘数据处理的决策方法及其应用 |
CN114880415A (zh) * | 2022-04-08 | 2022-08-09 | 刘译郎 | 一种基于物联网的农区自定义化监管方法及系统 |
CN115374106A (zh) * | 2022-07-15 | 2022-11-22 | 北京三维天地科技股份有限公司 | 一种基于知识图谱技术的数据智能分级方法 |
CN116048799A (zh) * | 2023-01-10 | 2023-05-02 | 重庆工业大数据创新中心有限公司 | 一种基于联邦学习的工业互联网多模态边缘数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116701962B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111324642A (zh) | 一种面向电网大数据分析的模型算法选型与评价方法 | |
CN113222149B (zh) | 模型训练方法、装置、设备和存储介质 | |
CN114372532B (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
CN116958622A (zh) | 数据的分类方法、装置、设备、介质及程序产品 | |
CN118468061B (zh) | 一种算法自动匹配及参数优化方法及系统 | |
Ali et al. | Fake accounts detection on social media using stack ensemble system | |
CN117349786B (zh) | 基于数据均衡的证据融合变压器故障诊断方法 | |
CN118094354A (zh) | 一种分层级联电力敏感数据分类模型构建方法及装置 | |
Dong | Application of Big Data Mining Technology in Blockchain Computing | |
CN113726558A (zh) | 基于随机森林算法的网络设备流量预测系统 | |
CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
CN112258235A (zh) | 一种电力营销稽核新业务发现方法及系统 | |
CN116701962B (zh) | 边缘数据处理方法、装置、计算设备及存储介质 | |
CN116975711A (zh) | 多视图数据分类方法以及相关设备 | |
CN111581439A (zh) | 一种用于机器学习分析的大数据信息处理方法及系统 | |
CN113705920B (zh) | 火电厂用水数据样本集的生成方法和终端设备 | |
CN116958020A (zh) | 异常图像检测方法、模型训练方法、装置、设备和介质 | |
CN114330720A (zh) | 用于云计算的知识图谱构建方法、设备及存储介质 | |
CN116842936A (zh) | 关键词识别方法、装置、电子设备和计算机可读存储介质 | |
CN116861226A (zh) | 一种数据处理的方法以及相关装置 | |
WO2022009013A1 (en) | Automated data linkages across datasets | |
CN113888265A (zh) | 产品推荐方法、装置、设备及计算机可读存储介质 | |
CN115831339B (zh) | 基于深度学习的医疗系统风险管控事前预测方法、系统 | |
Raj | Clustering and Classification of Digital Forensic Data Using Machine Learning and Data Mining Approaches | |
CN113723835B (zh) | 火电厂用水评估方法和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |