CN117151229B - 一种基于云边端架构的云端推理方法及系统 - Google Patents
一种基于云边端架构的云端推理方法及系统 Download PDFInfo
- Publication number
- CN117151229B CN117151229B CN202311433770.0A CN202311433770A CN117151229B CN 117151229 B CN117151229 B CN 117151229B CN 202311433770 A CN202311433770 A CN 202311433770A CN 117151229 B CN117151229 B CN 117151229B
- Authority
- CN
- China
- Prior art keywords
- dimension
- clustering
- node
- data
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 225
- 239000013598 vector Substances 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 7
- 238000012502 risk assessment Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及风险预测数据处理技术领域，具体涉及一种基于云边端架构的云端推理方法及系统。该方法通过对工艺的传感器数据高维向量中的维度信息进行分析计算，构建出数据图结构。通过数据图结构和每个一因子图聚类过程中节点类别的变化，得到每个一因子图与数据图结构的匹配度，筛选出相似数据子图，实现对数据图结构中的边关系的简化，达到在降维的同时将不同维度间的相互影响关系保留的目的。最后将相似数据子图输入训练好的图卷积网络中，得到预测风险值，提高了对风险评估的准确性。
Description
技术领域
本发明涉及风险预测数据处理技术领域，具体涉及一种基于云边端架构的云端推理方法及系统。
背景技术
在智能制造行业，智能推理被广泛应用于对生产数据进行大规模的批量化处理和分析。例如，某石化公司拥有多个生产装置，每个装置都配备了传感器来监测各种工艺参数和产品指标。这些传感器每秒生成大量的数据，包括温度、压力、流量和质量等信息，需要通过云端推理对这些参数进行调控，需要首先将所有装置上配备的传感器所采集到的传感器数据上传到云端存储，然后使用大数据处理技术进行批量化处理和分析。
目前常见的方法为将数据信息上传到神经网络，使得神经网络输出风险评估值。但由于需要上传的数据量太大，为了节省带宽，往往通过在边缘端进行数据预处理，来减少需要上传到云端的数据信息量，即通过选择特征维度数据的方式来减少数据信息量，但这种方法会导致原始数据信息丢失，尽量有的维度可能对神经网络输出结果的影响从表面上看不是很大，但可能会对其它对输出结果影响较大的维度的影响较大，导致推理结果可能存在较大偏差。
发明内容
为了解决将部分特征维度数据输入神经网络进行风险评估会存在推理结果偏差较大的技术问题，本发明的目的在于提供一种基于云边端架构的云端推理方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于云边端架构的云端推理方法，该方法包括以下步骤：
获取工艺的传感器数据高维向量；
根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别；以传感器数据高维向量中的任意维度信息作为目标维度信息，根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别；对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性；
根据每个工艺和其他工艺的除目标维度信息外的其他维度信息的相似程度对工艺进行聚类，得到每个工艺的非维度聚类类别；对标准聚类类别和非维度聚类类别进行一致性分析，得到每个工艺的非维度聚类一致性；
基于维度聚类一致性和非维度聚类一致性构建边值，以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构；获取数据图结构对应的不同的一因子图；
分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度；基于匹配度从一因子图中筛选出相似数据子图，将相似数据子图输入训练好的图卷积网络中，得到预测风险值。
优选的，所述对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性，包括：
将每个工艺的标准聚类类别和维度聚类类别进行匹配，得到每个工艺的维度匹配类别对，每个维度匹配类别对中包括一个标准聚类类别和一个维度聚类类别；每个维度匹配类别对的边值为对应标准聚类类别和维度聚类类别中工艺的交并比；将所有维度匹配类别对的边值之和，作为初始维度一致性；
将标准聚类类别的数量和维度聚类类别的数量中最小值和最大值的比值作为调节权重；将调节权重和初始维度一致性的乘积作为每个工艺的维度聚类一致性。
优选的，所述基于维度聚类一致性和非维度聚类一致性构建边值，包括：
对于工艺的目标维度信息，将对应的维度聚类一致性和非维度聚类一致性中最小值和最大值的比值作为目标维度信息的节点权值；
将工艺的传感器数据高维向量中的两个维度信息的节点权值的均值作为两个维度信息对应的边值。
优选的，所述以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构，包括：
以工艺的传感器数据高维向量中的维度信息为节点，以两个维度信息对应的边值，作为两个维度信息对应节点之间的边值，构建数据图结构。
优选的，所述分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度，包括：
通过格里纽曼算法逐渐去除最大介数边的方法，对于数据图结构将每次去除最大介数边后得到的多个节点类别作为第一介数集合，得到数据图结构的第一介数集合，每个第一介数集合包括多个节点类别；通过格里纽曼算法逐渐去除最大介数边的方法，对于一因子图将每次去除最大介数边后得到的多个节点类别作为第二介数集合，得到一因子图的第二介数集合，每个第二介数集合包括多个节点类别；
将同一去除次数下，第一介数集合和第二介数集合中的节点类别进行KM匹配，将节点类别的交并比作为边权值，得到节点类别对；将节点类别对所对应的所有边权值的和值作为匹配度。
优选的，所述根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别，包括：
计算每个工艺和其他工艺的传感器数据高维向量的余弦相似度；通过传感器数据高维向量的余弦相似度，对工艺进行密度聚类得到多个标准聚类类别。
优选的，所述根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别，包括：
对于每个工艺和任意其他工艺，计算两个工艺的目标维度信息的差值绝对值与两个目标维度信息中最大值的比值，作为工艺差异，对工艺差异进行负相关映射，得到维度相似度；通过维度相似度，对工艺进行密度聚类得到每个工艺的目标维度信息的维度聚类类别。
优选的，所述获取数据图结构对应的不同的一因子图，包括：
将数据图结构作为输入，通过最大匹配算法，得到每个数据图结构对应的多个一因子图。
优选的，所述图卷积网络的损失函数为交叉熵损失函数。
第二方面，本发明一个实施例提供了一种基于云边端架构的云端推理系统，执行上述一种基于云边端架构的云端推理方法。
本发明实施例至少具有如下有益效果：
本发明通过根据不同维度信息对工艺进行聚类，得到标准聚类类别、维度聚类类别和非维度聚类一致性；对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性，对标准聚类类别和非维度聚类类别进行一致性分析，得到每个工艺的非维度聚类一致性，通过两个聚类一致性的联系构建数据图结构，将不同维度数据对推测结果的影响联系表示出来，便于后续计算；通过数据图结构和每个一因子图聚类过程中节点类别的变化，得到每个一因子图与数据图结构的匹配度，筛选出相似数据子图，实现对数据图结构中的边关系的简化，达到在降维的同时将不同维度间的相互影响关系保留的目的。最后将相似数据子图输入训练好的图卷积网络中，得到预测风险值。相对于直接将部分特征维度数据输入神经网络进行风险评估会存在预测结果偏差较大的问题，本发明在降维的同时将不同维度间的相互影响关系保留，将相似数据子图输入训练好的图卷积网络中，得到预测风险值，提高了对风险评估的准确性，并减少了输入神经网络时的数据信息量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于云边端架构的云端推理方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于云边端架构的云端推理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种基于云边端架构的云端推理方法及系统的具体实施方法，该方法适用于云端推理场景。为了解决将部分特征维度数据输入神经网络进行风险评估会存在预测结果偏差较大的技术问题，本发明通过对工艺的传感器数据高维向量中的维度信息进行分析计算，构建出数据图结构。通过数据图结构和每个一因子图聚类过程中节点类别的变化，得到每个一因子图与数据图结构的匹配度，筛选出相似数据子图，实现对数据图结构中的边关系的简化，达到在降维的同时将不同维度间的相互影响关系保留的目的。最后将相似数据子图输入训练好的图卷积网络中，得到预测风险值。
下面结合附图具体的说明本发明所提供的一种基于云边端架构的云端推理方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于云边端架构的云端推理方法的步骤流程图，该方法包括以下步骤：
步骤S100，获取工艺的传感器数据高维向量。
对每个时刻的工艺的生产数据进行变换，变换到另一个向量空间，达到在降维的同时将不同维度间的相互影响关系保留，因此首先要得到每个时刻的工艺生产时的传感器数据高维向量。需要说明的是，工艺生产时采集到的传感器数据即为工艺的生产数据。
将每个时刻的生产数据作为原始的输入向量，记为传感器数据高维向量，在本发明实施例中每个工艺的传感器数据高维向量为：将每个时刻工艺的温度、压力、流量，作为传感器数据高维向量中的元素，得到每个时刻不同工艺的传感器数据高维向量。
步骤S200，根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别；以传感器数据高维向量中的任意维度信息作为目标维度信息，根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别；对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性。
在本发明实施例中，在后续分析中均是将同一时刻的不同工艺的传感器数据高维向量进行分析，所以可以将同一时刻的不同工艺的传感器数据高维向量直接记为工艺对应的传感器数据高维向量，在其他实施例中也可以对不同时刻的不同工艺的传感器数据高维向量进行分析。
所有维度相似性均较大的两个工艺的传感器数据高维向量的预测结果往往相近，其中，例如温度是一个维度信的信息，也即温度是一个维度信息，压力也是一个维度信息。为了便于后续降维，本实施例中将所有维度下工艺的相似性聚类结果作为标准聚类结果，即标准聚类结果中每个类别内工艺的预测结果相近，对于单个维度来说，如果该维度的聚类结果与所有维度的聚类结果的聚类情况越相近，则该维度可以为最终的预测提供越多信息。
故根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别，具体的：计算每个工艺和其他工艺的传感器数据高维向量的余弦相似度；通过传感器数据高维向量的余弦相似度，对工艺进行密度聚类得到多个标准聚类类别。
对单个维度信息进行分析时，可以传感器数据高维向量中的任意维度信息作为目标维度信息，根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别，具体的：对于每个工艺和任意其他工艺，计算两个工艺的目标维度信息的差值绝对值与两个目标维度信息中最大值的比值，作为工艺差异，对工艺差异进行负相关映射，得到维度相似度；通过维度相似度，对工艺进行密度聚类得到每个工艺的目标维度信息的维度聚类类别。在本发明实施例中通过计算预设阈值和工艺差异的差值，将该差值作为维度相似度，以实现对工艺差异的负相关映射。在本发明实施例中预设阈值的取值为1，在其他实施例中由实施者根据实际情况调整该取值。
KM匹配算法是一种二分图计算最佳整体匹配的方法，通过左侧与右侧节点的匹配来计算最优匹配。在本发明实施例中将标准聚类类别作为左侧节点，将维度聚类类别作为右侧节点，左侧每个节点与右侧所有节点有边，边值为两个类别中工艺的交并比，也即为标准聚类类别和维度聚类类别中工艺的交并比，通过KM匹配算法的计算，将左侧节点与右侧节点进行一对一匹配，也即将标准聚类类别和维度聚类类别进行一对一匹配，得到对应的维度匹配类别对。
具体的：对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性，更具体的：利用KM匹配算法，将每个工艺的标准聚类类别和维度聚类类别进行匹配，得到每个工艺的维度匹配类别对，每个维度匹配类别对中包括一个标准聚类类别和一个维度聚类类别；每个维度匹配类别对的边值为对应标准聚类类别和维度聚类类别中工艺的交并比；将所有维度匹配类别对的边值之和，作为初始维度一致性。
将标准聚类类别的数量和维度聚类类别的数量中最小值和最大值的比值作为调节权重；将调节权重和初始维度一致性的乘积作为每个工艺的维度聚类一致性。
步骤S300，根据每个工艺和其他工艺的除目标维度信息外的其他维度信息的相似程度对工艺进行聚类，得到每个工艺的非维度聚类类别；对标准聚类类别和非维度聚类类别进行一致性分析，得到每个工艺的非维度聚类一致性。
当从所有的维度中去掉目标维度信息后进行聚类，聚类结果与聚类一致性表示的是所有非目标维度信息外的维度信息对预测结果的影响，如果所有非目标维度信息的聚类结果与标准聚类结果得到的非维度聚类一致性、目标维度信息与标准聚类结果的维度聚类一致性相近，说明目标维度信息和所有非目标维度信息对预测结果的影响相近。
根据每个工艺和其他工艺的除目标维度信息外的其他维度信息的相似程度对工艺进行聚类，得到每个工艺的非维度聚类类别，具体的：从工艺的传感器数据高维向量中把目标维度信息删除，得到更新信息向量；计算每个工艺和其他工艺的更新信息向量的余弦相似度；通过更新信息向量的余弦相似度对工艺进行密度聚类，得到每个工艺的非维度聚类类别。
对标准聚类类别和非维度聚类类别进行一致性分析，得到每个工艺的非维度聚类一致性，具体的：
将每个工艺的标准聚类类别和非维度聚类类别进行匹配，得到每个工艺的非维度匹配类别对，每个非维度匹配类别对中包括一个标准聚类类别和一个非维度聚类类别；每个非维度匹配类别对的边值为对应标准聚类类别和非维度聚类类别中工艺的交并比；将所有非维度匹配类别对的边值之和，作为初始非维度一致性；
将标准聚类类别的数量和非维度聚类类别的数量中最小值和最大值的比值作为调整权重；将调整权重和初始非维度一致性的乘积作为每个工艺的非维度聚类一致性。
即为在本发明实施例中将标准聚类类别作为左侧节点，将非维度聚类类别作为右侧节点，左侧每个节点与右侧所有节点有边，边值为两个类别中工艺的交并比，也即为标准聚类类别和非维度聚类类别中工艺的交并比，通过KM匹配算法的计算，将左侧节点与右侧节点进行一对一匹配，也即将标准聚类类别和非维度聚类类别进行一对一匹配，得到对应的非维度匹配类别对。
步骤S400，基于维度聚类一致性和非维度聚类一致性构建边值，以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构；获取数据图结构对应的不同的一因子图。
不同维度的关联信息可以通过图结构来建模表示，图结构中的子图是原始图结构的一部分边关系的表示，但每个子图的边关系都可以连接所有节点，通过对边关系进行有选择性的保留，然后通过降维的方法达到在降维的同时将不同维度间的相互影响关系保留的目的。
基于维度聚类一致性和非维度聚类一致性构建边值，具体的：对于工艺的目标维度信息，将对应的维度聚类一致性和非维度聚类一致性中最小值和最大值的比值作为目标维度信息的节点权值；将工艺的传感器数据高维向量中的两个维度信息的节点权值的均值作为两个维度信息对应的边值。以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构，具体的：以工艺的传感器数据高维向量中的维度信息为节点，以两个维度信息对应的边值，作为两个维度信息对应节点之间的边值，构建数据图结构。
以任意一个工艺A为例，将工艺A对应的传感器数据高维向量中每个属性作为节点，节点只有属性值，如：温度、压力和流量，没有具体信息，任意两个节点之间存在边，边值为：以工艺A的温度作为其中一个节点为例，该节点的节点权值为：当温度为第i个维度信息时，目标维度信息的维度聚类类别与标准聚类类别得到的维度聚类一致性与非目标维度信息的非维度聚类类别与标准聚类类别的非维度聚类一致性中小值与大值的比值，以压力作为另一个节点，可以得到压力对应节点的节点权值，每条边对应两个节点，也就对应两个节点权值，将两个节点权值的均值记为两个维度信息对应的边值，作为这两个维度信息对应的两个节点的边值，进而以工艺的传感器数据高维向量中的维度信息为节点，以两个维度信息对应的边值，作为两个维度信息对应节点之间的边值，构建工艺A的数据图结构。
进一步的，获取数据图结构对应的不同的一因子图，具体的：将数据图结构作为输入，通过最大匹配算法，得到每个数据图结构对应的多个一因子图，也即所有的完全匹配，每个完全匹配包含了数据图结构中所有的节点，只是连接边不同。
步骤S500，分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度；基于匹配度从一因子图中筛选出相似数据子图，将相似数据子图输入训练好的图卷积网络中，得到预测风险值。
每个一因子图都是图结构的一种简化，哪种简化可以最多保留原图上的信息，则将数据图结构用哪种一因子图来表示，可以最大程度降维的同时，保留越多的原图信息。
边关系在聚类过程中可以较大程度体现，每次聚类过程中聚类一致性越大，边关系的一致性越大，因此本实施例通过数据图结构和每个一因子图聚类过程中节点类别的变化，得到因子图与原始图结构的相似性。
首先，分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度。具体的：
通过格里纽曼算法逐渐去除最大介数边的方法，来实现图节点的聚类，对于数据图结构将每次去除最大介数边后得到的多个节点类别作为第一介数集合，得到数据图结构的第一介数集合，每个第一介数集合包括多个节点类别。需要说明的是，每个数据图结构均有多个第一介数集合。
通过格里纽曼算法逐渐去除最大介数边的方法，对于一因子图将每次去除最大介数边后得到的多个节点类别作为第二介数集合，得到一因子图的第二介数集合，每个第二介数集合包括多个节点类别。需要说明的是，每个一因子图均有多个第二介数集合。
将同一去除次数下，也即同一次去除最大介数边下，第一介数集合和第二介数集合中的节点类别进行KM匹配，将节点类别的交并比作为边权值，得到节点类别对。例如对于第i次去除最大介数边下的第i个第一介数集合和第i个第二介数集合进行分析，将第i个第一介数集合和第i个第二介数集合中的节点类别进行KM匹配，将节点类别的交并比作为边权值，得到节点类别对。将节点类别对所对应的所有边权值的和值作为匹配度。
更具体的：本发明实施例中同一去除次数下，将数据图结构的第一介数集合中的节点类别作为左侧节点，将一因子图的第二介数集合中的节点类别作为右侧节点，将左侧节点表示的节点类别与右侧节点表示的节点类别中的节点交并比作为边权值，通过KM匹配，得到左侧与右侧节点的一对一关系，记为节点类别对，将所有节点类别对的所有边权值的和值记为KM匹配值，即匹配度。
基于匹配度从一因子图中筛选出相似数据子图，具体的：将最大匹配度对应的一因子图，作为数据图结构的相似数据子图，将相似数据子图输入训练好的图卷积网络（Spectral GCN）中，得到预测风险值。其中，将相似数据子图作为图卷积网络的训练集，训练集中的相似数据子图都有人为打上的违约风险值标签，图卷积网络的损失函数为交叉熵损失函数，其图卷积网络的训练过程为本领域技术人员的公知技术，在此不再进行赘述。
综上所述，本发明涉及风险预测数据处理技术领域。首先通过对工艺的传感器数据高维向量中的维度信息进行分析计算，构建出数据图结构。通过数据图结构和每个一因子图聚类过程中节点类别的变化，得到每个一因子图与数据图结构的匹配度，筛选出相似数据子图，实现对数据图结构中的边关系的简化，达到在降维的同时将不同维度间的相互影响关系保留的目的。最后将相似数据子图输入训练好的图卷积网络中，得到预测风险值，提高了对风险评估的准确性。
本发明实施例还提出了一种基于云边端架构的云端推理系统，执行上述方法的步骤。由于一种基于云边端架构的云端推理方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (9)
1.一种基于云边端架构的云端推理方法，其特征在于，该方法包括以下步骤：
获取工艺的传感器数据高维向量；
根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别；以传感器数据高维向量中的任意维度信息作为目标维度信息，根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别；对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性；
根据每个工艺和其他工艺的除目标维度信息外的其他维度信息的相似程度对工艺进行聚类，得到每个工艺的非维度聚类类别；对标准聚类类别和非维度聚类类别进行一致性分析，得到每个工艺的非维度聚类一致性；
基于维度聚类一致性和非维度聚类一致性构建边值，以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构；获取数据图结构对应的不同的一因子图；
分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度；基于匹配度从一因子图中筛选出相似数据，将相似数据输入训练好的图卷积网络中，得到预测风险值；
其中，所述对标准聚类类别和维度聚类类别进行一致性分析，得到每个工艺的维度聚类一致性，包括：
将每个工艺的标准聚类类别和维度聚类类别进行匹配，得到每个工艺的维度匹配类别对，每个维度匹配类别对中包括一个标准聚类类别和一个维度聚类类别；每个维度匹配类别对的边值为对应标准聚类类别和维度聚类类别中工艺的交并比；将所有维度匹配类别对的边值之和，作为初始维度一致性；
将标准聚类类别的数量和维度聚类类别的数量中最小值和最大值的比值作为调节权重；将调节权重和初始维度一致性的乘积作为每个工艺的维度聚类一致性。
2.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述基于维度聚类一致性和非维度聚类一致性构建边值，包括：
对于工艺的目标维度信息，将对应的维度聚类一致性和非维度聚类一致性中最小值和最大值的比值作为目标维度信息的节点权值；
将工艺的传感器数据高维向量中的两个维度信息的节点权值的均值作为两个维度信息对应的边值。
3.根据权利要求2所述的基于云边端架构的云端推理方法，其特征在于，所述以工艺的传感器数据高维向量中的维度信息为节点，构建数据图结构，包括：
以工艺的传感器数据高维向量中的维度信息为节点，以两个维度信息对应的边值，作为两个维度信息对应节点之间的边值，构建数据图结构。
4.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述分别对数据图结构和一因子图进行节点类别划分，匹配数据图结构和一因子图的节点类别，得到匹配度，包括：
通过格里纽曼算法逐渐去除最大介数边的方法，对于数据图结构将每次去除最大介数边后得到的多个节点类别作为第一介数集合，得到数据图结构的第一介数集合，每个第一介数集合包括多个节点类别；通过格里纽曼算法逐渐去除最大介数边的方法，对于一因子图将每次去除最大介数边后得到的多个节点类别作为第二介数集合，得到一因子图的第二介数集合，每个第二介数集合包括多个节点类别；
将同一去除次数下，第一介数集合和第二介数集合中的节点类别进行KM匹配，将节点类别的交并比作为边权值，得到节点类别对；将节点类别对所对应的所有边权值的和值作为匹配度。
5.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述根据每个工艺和其他工艺的传感器数据高维向量的相似程度对工艺进行聚类，得到每个工艺的标准聚类类别，包括：
计算每个工艺和其他工艺的传感器数据高维向量的余弦相似度；通过传感器数据高维向量的余弦相似度，对工艺进行密度聚类得到多个标准聚类类别。
6.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述根据每个工艺和其他工艺的目标维度信息的相似程度对工艺进行聚类，得到每个工艺的维度聚类类别，包括：
对于每个工艺和任意其他工艺，计算两个工艺的目标维度信息的差值绝对值与两个目标维度信息中最大值的比值，作为工艺差异，对工艺差异进行负相关映射，得到维度相似度；通过维度相似度，对工艺进行密度聚类得到每个工艺的目标维度信息的维度聚类类别。
7.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述获取数据图结构对应的不同的一因子图，包括：
将数据图结构作为输入，通过最大匹配算法，得到每个数据图结构对应的多个一因子图。
8.根据权利要求1所述的基于云边端架构的云端推理方法，其特征在于，所述图卷积网络的损失函数为交叉熵损失函数。
9.一种基于云边端架构的云端推理系统，其特征在于，执行如权利要求1~8任意一项所述一种基于云边端架构的云端推理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433770.0A CN117151229B (zh) | 2023-11-01 | 2023-11-01 | 一种基于云边端架构的云端推理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433770.0A CN117151229B (zh) | 2023-11-01 | 2023-11-01 | 一种基于云边端架构的云端推理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117151229A CN117151229A (zh) | 2023-12-01 |
| CN117151229B true CN117151229B (zh) | 2024-01-26 |
Family
ID=88901234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311433770.0A Active CN117151229B (zh) | 2023-11-01 | 2023-11-01 | 一种基于云边端架构的云端推理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117151229B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583488A (zh) * | 2018-11-20 | 2019-04-05 | 中国科学技术大学 | 分布式k均值数据聚类方法 |
| CN114270168A (zh) * | 2019-08-23 | 2022-04-01 | 索尼集团公司 | 信息处理设备、信息处理方法、程序和信息处理系统 |
| CN115689069A (zh) * | 2023-01-03 | 2023-02-03 | 东北电力大学 | 基于人工智能的电网调度控制方法及系统 |
| CN116448419A (zh) * | 2023-03-14 | 2023-07-18 | 太原科技大学 | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 |
| CN116701725A (zh) * | 2023-08-09 | 2023-09-05 | 匠达(苏州)科技有限公司 | 基于深度学习的工程师人员数据画像处理方法 |
| US20230316345A1 (en) * | 2022-03-30 | 2023-10-05 | Optum, Inc. | Machine learning techniques for integrating distinct clustering schemes given temporal variations |
-
2023
- 2023-11-01 CN CN202311433770.0A patent/CN117151229B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583488A (zh) * | 2018-11-20 | 2019-04-05 | 中国科学技术大学 | 分布式k均值数据聚类方法 |
| CN114270168A (zh) * | 2019-08-23 | 2022-04-01 | 索尼集团公司 | 信息处理设备、信息处理方法、程序和信息处理系统 |
| US20230316345A1 (en) * | 2022-03-30 | 2023-10-05 | Optum, Inc. | Machine learning techniques for integrating distinct clustering schemes given temporal variations |
| CN115689069A (zh) * | 2023-01-03 | 2023-02-03 | 东北电力大学 | 基于人工智能的电网调度控制方法及系统 |
| CN116448419A (zh) * | 2023-03-14 | 2023-07-18 | 太原科技大学 | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 |
| CN116701725A (zh) * | 2023-08-09 | 2023-09-05 | 匠达(苏州)科技有限公司 | 基于深度学习的工程师人员数据画像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Consistency-Based Multimodal Graph Embedding Method for Dimensionality Reduction;Ilias Kalamaras et al.;2017 IEEE International Conference on Data Science and Advanced Analytics (DSAA);第351-360页 * |
| CMDC：一种差异互补的迭代式多维度文本聚类算法;黄瑞章 等;通信学报;第41卷(第8期);第155-164页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117151229A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929029A (zh) | 一种基于图卷积神经网络的文本分类方法及系统 | |
| CN110782015A (zh) | 神经网络的网络结构优化器的训练方法、装置及存储介质 | |
| CN107609588B (zh) | 一种基于语音信号的帕金森患者updrs得分预测方法 | |
| CN111524140B (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| CN114998695A (zh) | 一种提高图像识别速度的方法及系统 | |
| CN109840518B (zh) | 一种结合分类与域适应的视觉追踪方法 | |
| CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
| CN109344898A (zh) | 基于稀疏编码预训练的卷积神经网络图像分类方法 | |
| US20180137409A1 (en) | Method of constructing an artifical intelligence super deep layer learning model, device, mobile terminal, and software program of the same | |
| CN113642674A (zh) | 一种基于图卷积神经网络的多轮对话分类方法 | |
| CN114500335B (zh) | 基于模糊c均值和混合核最小二乘支持向量机的sdn网络流程控制方法 | |
| CN110458690A (zh) | 一种信用评分模型的建立方法及装置 | |
| CN117151229B (zh) | 一种基于云边端架构的云端推理方法及系统 | |
| CN112711912A (zh) | 基于云计算和机器学习算法的空气质量监测与告警方法、系统、装置和介质 | |
| CN113420733B (zh) | 一种高效分布式大数据数据采集实现方法及系统 | |
| CN113554010B (zh) | 一种电网线路故障识别模型训练方法 | |
| CN109934281A (zh) | 一种二分类网络的非监督训练方法 | |
| CN112465054B (zh) | 一种基于fcn的多变量时间序列数据分类方法 | |
| CN116012903A (zh) | 一种人脸表情自动标注的方法及系统 | |
| CN111882441A (zh) | 一种基于理财产品推荐场景的用户预测解释Treeshap方法 | |
| CN111368686B (zh) | 一种基于深度学习的脑电图情感分类方法 | |
| CN115392102A (zh) | 能耗预测模型的建立方法及装置、能耗预测方法及系统 | |
| CN112015894A (zh) | 一种基于深度学习的文本单类分类方法及系统 | |
| CN117370870B (zh) | 知识和数据复合驱动的装备多工况识别与性能预测方法 | |
| Ibrahim et al. | A preliminary lightweight random forest approach-based image classification for plant disease detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |