CN116048799A - 一种基于联邦学习的工业互联网多模态边缘数据处理方法 - Google Patents

一种基于联邦学习的工业互联网多模态边缘数据处理方法 Download PDF

Info

Publication number
CN116048799A
CN116048799A CN202310031387.6A CN202310031387A CN116048799A CN 116048799 A CN116048799 A CN 116048799A CN 202310031387 A CN202310031387 A CN 202310031387A CN 116048799 A CN116048799 A CN 116048799A
Authority
CN
China
Prior art keywords
data
edge
processing method
data processing
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310031387.6A
Other languages
English (en)
Inventor
李兵
郑屹
陈姣玉
黄江
范丹丹
陈晓梅
曾立君
程路熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Industrial Big Data Innovation Center Co ltd
Original Assignee
Chongqing Industrial Big Data Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Industrial Big Data Innovation Center Co ltd filed Critical Chongqing Industrial Big Data Innovation Center Co ltd
Priority to CN202310031387.6A priority Critical patent/CN116048799A/zh
Publication of CN116048799A publication Critical patent/CN116048799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于联邦学习的工业互联网多模态边缘数据处理方法，包括：数据收集、数据分类、数据分析、提出处理方法；所述数据收集通过对现有的工业现场的各方面数据信息进行收集，对于车间内部的不同类型和不同来源的数据信息进行统一的综合并且进行上传实现收集数据的效果。本发明通过提出了一种基于联邦学习的工业互联网多模态边缘数据处理方法，提出了一种多模态边缘数据分类方法，用于将车间内产生的各种不同类型、不同来源的数据按照模态进行分类，并计算不同模态数据的数据量占比，实时动态的分配边缘存储和计算资源，解决数据分布不均导致边缘计算效率低的问题。

Description

一种基于联邦学习的工业互联网多模态边缘数据处理方法
技术领域
本发明涉及工业互联网技术领域，具体为一种基于联邦学习的工业互联网多模态边缘数据处理方法。
背景技术
随着工业互联网在深入推动工业设备上云平台过程中，面对工业现场设备实时数据、人工数据、音频、图像等种不同类型的异构数据量不均衡，海量边缘数据上传到云平台进行数据集中化处理带来数据处理效率低、网络延迟、数据泄密等问题，因此，迫切需要提高边缘数据处理效率。
现有技术中一种基于联邦学习的工业互联网多模态边缘数据处理方法的缺陷是：
1、在推动工业设备上云平台过程中，工业现场不同模态的数据量不均衡、海量边缘数据上传到云平台进行数据集中化处理带来数据处理效率低、数据泄密等问题。
发明内容
本发明的目的在于提供一种基于联邦学习的工业互联网多模态边缘数据处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于联邦学习的工业互联网多模态边缘数据处理方法，包括：数据收集、数据分类、数据分析、提出处理方法；
所述数据收集通过对现有的工业现场的各方面数据信息进行收集，对于车间内部的不同类型和不同来源的数据信息进行统一的综合并且进行上传实现收集数据的效果。
优选的，所述数据分类，通过工业现场和车间收集的数据信息进行种类分析，通常能够分为静态数据、设备实时数据和流数据，通过对于该类相同的数据进行综合集中。
优选的，所述静态设备通常包含在工业现场和车间中的设备台账以及人工数据，该类数据在正常运行的状态下不会出现较大的变化，可以统一综合静态数据进行分析。
优选的，所述设备实时数据即为不同的设备在运转的过程中产生所产生的综合数据变化，设备运行的具体状态以及车间设备的具体运转效率和功耗，可以统一综合设备实时数据进行分析。
优选的，所述流数据即为工业现场及车间内部的音频、图像以及视频记录和播放产生的数据，该类数据通常处于时刻变化的状态，可以统一综合流数据进行分析。
优选的，所述数据分析通过将收集记录的静态数据、设备实时数据以及流数据进行综合统一的分析，并且计算出边缘段X的数据占比所有端数据量总数的权重值P：其中，nx表示边缘端x的数据量，N表示所有边缘端的数据量，边缘端的计算资源根据Px的大小进行实时动态的分配，解决数据分布不均导致边缘计算效率低的问题。
优选的，所述提出处理方法通过基于联邦学习的数据处理方法，依次为采集数据样本、下载全局模型训练基于联邦学习的数据处理模型和上传边缘模型到云端进行聚合全局模型。
优选的，所述采集数据样品通过在设备端采集车间各类数据，并且按照不同的模态进行存储新增原始数据样本。
优选的，所述下载全局模型训练基于联邦学习的数据处理模型通过在边缘计算节点下载最新的联邦学习模型，并根据所述数据分析中权重值Px进行等比例分配边缘计算资源；在边缘端存储不同模态新增数据样本，并分别采用不同基于联邦学习的数据处理模型进行训练，即计算边缘端设备数据权重值和模型影响度、加权聚合边缘模型并更新边缘全局模型，修改聚合策略；同时，只将模型数据上传到云端，确保数据不出车间。
优选的，所述上传边缘数据处理模型到云端进行聚合全局模型为中心服务器部署在云端，作用是存储和下发最新联邦学习模型、加权聚合边缘全局模型并更新联邦学习模型。
与现有技术相比，本发明的有益效果如下：
1、本发明通过提出了一种基于联邦学习的工业互联网多模态边缘数据处理方法，提出了一种多模态边缘数据分类方法，用于将车间内产生的各种不同类型、不同来源的数据按照模态进行分类，并计算不同模态数据的数据量占比，实时动态的分配边缘存储和计算资源，解决数据分布不均导致边缘计算效率低的问题。
2、本发明提出了一种基于联邦学习的边缘数据处理方法，该方法针对不同模态数据采用不同算法模型进行数据处理，使用边缘计算缓解中心服务器的压力，减少参与设备端与中心服务器之间的交互次数，提高边缘数据处理效率，同时及保障数据不出车间，确保数据安全。
附图说明
图1为本发明的流程示意图；
图2为本发明的处理方法示意图；
图3为本发明的数据分类示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应作广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体的连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1、图2和图3，本发明提供的一种实施例，一种基于联邦学习的工业互联网多模态边缘数据处理方法：
包括：数据收集、数据分类、数据分析、提出处理方法，数据收集通过对现有的工业现场的各方面数据信息进行收集，对于车间内部的不同类型和不同来源的数据信息进行统一的综合并且进行上传实现收集数据的效果，数据分类，通过工业现场和车间收集的数据信息进行种类分析，通常能够分为静态数据、设备实时数据和流数据，通过对于该类相同的数据进行综合集中，静态设备通常包含在工业现场和车间中的设备台账以及人工数据，该类数据在正常运行的状态下不会出现较大的变化，可以统一综合静态数据进行分析，设备实时数据即为不同的设备在运转的过程中产生所产生的综合数据变化，设备运行的具体状态以及车间设备的具体运转效率和功耗，可以统一综合设备实时数据进行分析，流数据即为工业现场及车间内部的音频、图像以及视频记录和播放产生的数据，该类数据通常处于时刻变化的状态，可以统一综合流数据进行分析。
请参阅图3，本发明提供的一种实施例，一种基于联邦学习的工业互联网多模态边缘数据处理方法：
包括数据分析通过将收集记录的静态数据、设备实时数据以及流数据进行综合统一的分析，并且计算出边缘段X的数据占比所有端数据量总数的权重值Px：其中，nx表示边缘端x的数据量，N表示所有边缘端的数据量，边缘端的计算资源根据Px的大小进行实时动态的分配，解决数据分布不均导致边缘计算效率低的问题。
请参阅图1和图2，本发明提供的一种实施例，一种基于联邦学习的工业互联网多模态边缘数据处理方法：提出处理方法通过基于联邦学习的数据处理方法，依次为采集数据样本、下载全局模型训练基于联邦学习的数据处理模型和上传边缘模型到云端进行聚合全局模型，采集数据样品通过在设备端采集车间各类数据，并且按照不同的模态进行存储新增原始数据样本，下载全局模型训练基于联邦学习的数据处理模型通过在边缘计算节点下载最新的联邦学习模型，并根据所述数据分析中权重值Px进行等比例分配边缘计算资源；在边缘端存储不同模态新增数据样本，并分别采用不同基于联邦学习的数据处理模型进行训练，即计算边缘端设备数据权重值和模型影响度、加权聚合边缘模型并更新边缘全局模型，修改聚合策略，同时，只将模型数据上传到云端，确保数据不出车间，上传边缘数据处理模型到云端进行聚合全局模型为中心服务器部署在云端，作用是存储和下发最新联邦学习模型、加权聚合边缘全局模型并更新联邦学习模型。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：包括：数据收集、数据分类、数据分析、提出处理方法；
所述数据收集通过对现有的工业现场的各方面数据信息进行收集，对于车间内部的不同类型和不同来源的数据信息进行统一的综合并且进行上传实现收集数据的效果。
2.根据权利要求1所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述数据分类，通过工业现场和车间收集的数据信息进行种类分析，通常能够分为静态数据、设备实时数据和流数据，通过对于该类相同的数据进行综合集中。
3.根据权利要求2所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述静态设备通常包含在工业现场和车间中的设备台账以及人工数据，该类数据在正常运行的状态下不会出现较大的变化，可以统一综合静态数据进行分析。
4.根据权利要求2所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述设备实时数据即为不同的设备在运转的过程中产生所产生的综合数据变化，设备运行的具体状态以及车间设备的具体运转效率和功耗，可以统一综合设备实时数据进行分析。
5.根据权利要求2所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述流数据即为工业现场及车间内部的音频、图像以及视频记录和播放产生的数据，该类数据通常处于时刻变化的状态，可以统一综合流数据进行分析。
6.根据权利要求1所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述数据分析通过将收集记录的静态数据、设备实时数据以及流数据进行综合统一的分析，并且计算出边缘段X的数据占比所有端数据量总数的权重值Px：
Figure FDA0004047195430000021
其中，nx表示边缘端x的数据量，N表示所有边缘端的数据量，边缘端的计算资源根据Px的大小进行实时动态的分配，解决数据分布不均导致边缘计算效率低的问题。
7.根据权利要求1所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述提出处理方法通过基于联邦学习的数据处理方法，依次为采集数据样本、下载全局模型训练基于联邦学习的数据处理模型和上传边缘模型到云端进行聚合全局模型。
8.根据权利要求7所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述采集数据样品通过在设备端采集车间各类数据，并且按照不同的模态进行存储新增原始数据样本。
9.根据权利要求7所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述下载全局模型训练基于联邦学习的数据处理模型通过在边缘计算节点下载最新的联邦学习模型，并根据所述数据分析中权重值Px进行等比例分配边缘计算资源；在边缘端存储不同模态新增数据样本，并分别采用不同基于联邦学习的数据处理模型进行训练，即计算边缘端设备数据权重值和模型影响度、加权聚合边缘模型并更新边缘全局模型，修改聚合策略；同时，只将模型数据上传到云端，确保数据不出车间。
10.根据权利要求7所述的一种基于联邦学习的工业互联网多模态边缘数据处理方法，其特征在于：所述上传边缘数据处理模型到云端进行聚合全局模型为中心服务器部署在云端，作用是存储和下发最新联邦学习模型、加权聚合边缘全局模型并更新联邦学习模型。
CN202310031387.6A 2023-01-10 2023-01-10 一种基于联邦学习的工业互联网多模态边缘数据处理方法 Pending CN116048799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031387.6A CN116048799A (zh) 2023-01-10 2023-01-10 一种基于联邦学习的工业互联网多模态边缘数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031387.6A CN116048799A (zh) 2023-01-10 2023-01-10 一种基于联邦学习的工业互联网多模态边缘数据处理方法

Publications (1)

Publication Number Publication Date
CN116048799A true CN116048799A (zh) 2023-05-02

Family

ID=86112892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031387.6A Pending CN116048799A (zh) 2023-01-10 2023-01-10 一种基于联邦学习的工业互联网多模态边缘数据处理方法

Country Status (1)

Country Link
CN (1) CN116048799A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701962A (zh) * 2023-08-07 2023-09-05 北京电科智芯科技有限公司 边缘数据处理方法、装置、计算设备及存储介质
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701962A (zh) * 2023-08-07 2023-09-05 北京电科智芯科技有限公司 边缘数据处理方法、装置、计算设备及存储介质
CN116701962B (zh) * 2023-08-07 2023-10-27 北京电科智芯科技有限公司 边缘数据处理方法、装置、计算设备及存储介质
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统
CN117714475B (zh) * 2023-12-08 2024-05-14 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN116048799A (zh) 一种基于联邦学习的工业互联网多模态边缘数据处理方法
Armstrong et al. Confidence intervals to bound the value of time
CN106685716A (zh) 网络拓扑自适应的数据可视化方法及装置
CN103365886B (zh) 车联网中的空间事件的查询方法和优化查询器
CN109768888B (zh) 一种网络服务质量评价方法、装置、设备及可读存储介质
CN106611291A (zh) 信息推送方法和装置
CN106777093A (zh) 基于空间时序数据流应用的Skyline查询系统
CN112382121A (zh) 一种基于滑动平均算法的车辆轨迹优化方法
CN104468257B (zh) 基于移动用户时空行为的云应用可用性预测方法与系统
CN109359686A (zh) 一种基于校园网流量的用户画像方法及系统
CN110262919A (zh) 异常数据分析方法、装置、设备与计算机可读存储介质
Jiang et al. Exploring human mobility patterns based on location information of US flights
CN112181782A (zh) 基于ab测试的自适应灰度功能发布方法和装置
CN113335131A (zh) 一种车辆续航里程预测方法、装置、设备和存储介质
CN113984062A (zh) 一种基于机动性评估的地面车辆路径规划方法
Fridelin et al. Implementation of microservice architectures on SEMAR extension for air quality monitoring
CN104112003B (zh) 对游戏终端的性能进行检测的方法及系统
CN114297563A (zh) 一种城市道路分级的速度特征云图生成方法
CN101986608B (zh) 一种异构覆盖网络负载均衡程度的评价方法
CN113505980A (zh) 智能交通管理系统可靠性评价方法、装置及系统
CN103885994B (zh) 一种产品对比方法和装置
CN107403344A (zh) 一种互联网活动效果的分析方法及装置
CN104392101B (zh) 数据共享方法及装置
CN116361883A (zh) 一种基于bim的多要素开放场景声景观分析设计方法
CN106408407A (zh) 一种综合账务管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination