CN116431622A - 一种基于边缘计算的工业数据管理系统及方法 - Google Patents
一种基于边缘计算的工业数据管理系统及方法 Download PDFInfo
- Publication number
- CN116431622A CN116431622A CN202310390561.6A CN202310390561A CN116431622A CN 116431622 A CN116431622 A CN 116431622A CN 202310390561 A CN202310390561 A CN 202310390561A CN 116431622 A CN116431622 A CN 116431622A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- industrial
- module
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 45
- 238000004364 calculation method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 30
- 238000004140 cleaning Methods 0.000 claims abstract description 35
- 238000007405 data analysis Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000004519 manufacturing process Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000007726 management method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 239000012535 impurity Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000005265 energy consumption Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 4
- 238000007418 data mining Methods 0.000 description 2
- 238000013068 supply chain management Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明设计工业数据管理领域，具体为一种基于边缘计算的工业数据管理系统，包括数据采集模块、数据分析模块、数据管理模块和数据反馈模块；数据采集模块的输出端连接分析模块的输入端，数据分析模块的输出端连接数据管理模块的输入端，数据管理模块的输出端连接数据反馈模块的输入端；通过数据采集模块对工业数据进行采集并获得一级、二级、三级数据；通过数据分析模块对数据采集模块采集的信息进行分类、规范和清洗，并将数据进行存储；通过数据管理模块将数据进行比对和去重，并将数据存储进实时数据库；通过数据反馈单元对数据进行接收，并将数据分级上传至云平台。
Description
技术领域
本发明涉及工业数据管理技术领域，具体为一种基于边缘计算的工业数据管理系统及方法。
背景技术
企业信息系统、装备物联网和企业外部互联网是工业大数据的三大来源。企业信息系统存储了高价值密度的核心业务数据。上世纪60年代以来信息技术加速应用于工业领域，形成了产品生命周期管理(PLM)、企业资源规划(ERP)、供应链管理(SCM)和客户关系管理(CRM)等企业信息系统。这些系统中积累的产品研发数据、生产制造数据、物流供应数据以及客户服务数据，存在于企业或产业链内部，是工业领域传统数据资产。近年来物联网技术快速发展，装备物联网成为工业大数据新的、增长最快的来源，它实时自动采集了生产设备和交付产品的状态与工况数据。一方面，机床等生产设备物联网数据为智能工厂生产调度、质量控制和绩效管理提供了实时数据基础；另一方面，2012年美国通用电气公司提出的工业大数据(狭义的)，专指装备使用过程中由传感器采集的大规模时间序列数据，包括装备状态参数、工况负载和作业环境等信息，可以帮助用户提高装备运行效率，拓展制造服务。当前互联网与工业深度融合，企业外部互联网已成为工业大数据不可忽视的来源。本世纪初，日本企业就开始利用互联网数据分析获取用户的产品评价，时至今日，小米手机利用社交媒体数据成功实现产品创新研发。此外，外部互联网还存在着海量的“跨界”数据，比如影响装备作业的气象数据、影响产品市场预测的宏观经济数据、影响企业生产成本的环境法规数据。
工业大数据面临的挑战有以下几点，第一是数据搜集，要对来自网络包括物联网和机构信息系统的数据附上时空标签，去伪存真，尽可能收集异源甚至是异构的数据，还可与历史数据对照，多角度检验数据的全面性和可信性。第二是数据存储，要达到低成本、低能耗、高可靠性目标，要用到冗余配置，分布和云计算技术，存储时对数据进行分类，并加入便于检索的标签。第三是数据处理，这也是一个国际上比较热门的一个领域。第四是可视化呈现，目前计算机智能化有了很大的进步和发展，但是谈不到深层次数据挖掘，现有数据挖掘算法在行业中难以应用，就是我们谈到的智能之路进步很大，但还很遥远。
所以，人们需要一种基于边缘计算的工业数据管理系统及方法来解决上述问题。
发明内容
本发明在于提供一种基于边缘计算的工业数据管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于边缘计算的工业数据管理系统，所述系统包括数据采集模块、数据分析模块、数据管理模块和数据反馈模块；
所述数据采集模块的输出端连接所述分析模块的输入端，所述数据分析模块的输出端连接数据管理模块的输入端，所述数据管理模块的输出端连接数据反馈模块的输入端；
通过所述数据采集模块对工业数据进行采集并获得一级、二级、三级数据；
通过所述数据分析模块对所述数据采集模块采集的信息进行分类、规范和清洗，并将数据进行存储；
通过所述数据管理模块将数据进行比对和去重，并将数据存储进实时数据库；
通过所述数据反馈单元对数据进行接收，并将数据分级上传至云平台。
通过上述技术方案，可以为工业数据提供实时、动态、和智能管理，通过对工业数据附上时空标签，去伪存真，多角度检验数据的全面性和可信性，利用边缘计算、云原生和微服务架构，从工业现场进行数据采集，并上传至云平台，实现了对工业数据的系统化管理。
进一步的，所述数据采集模块包括一级数据采集单元、二级数据采集单元和三级数据采集单元；
通过一级数据采集单元、二级数据采集单元和三级数据采集单元对工业数据进行分等级采集。
通过一级数据采集单元采集对工业控制系统及设备、工业互联网平台的正常生产运行影响较小、给企业造成负面影响较小、直接经济损失较小、受影响的用户和企业数量较少、生产生活区域范围较小、持续时间较短、恢复工业数据或消除负面影响所需付出的代价较小的数据，通过二级数据采集单元采集引发较大或重大生产安全事和突发环境事件、给企业造成较大负面影响、直接经济损失较大、引发的级联效应明显、影响范围涉及多个行业和区域、行业内多个企业、影响持续时间长、可导致大量供应商、客户资源被非法获取、大量个人信息泄露、恢复工业数据、消除负面影响所需付出的代价较大的数据，通过三级采集单元采集易引发特别重大生产安全事故和突发环境事件，造成直接经济损失特别巨大、对国民经济、行业发展、公众利益、社会秩序乃至国家安全造成严重影响的数据，用于对工业数据的分等级采集，实现对工业数据的系统化管理。
进一步的，所述数据分析模块包括数据分类单元、数据规范单元、数据清洗单元和数据存储单元；
所述数据单元用于对所述数据采集单元采集的数据进行分类，所述数据规范单元用于将所采集的数据进行规范，所述数据清洗单元用于将采集的数据清洗，所述数据存储单元用于将分类、规范和清洗后的数据记性存储；
通过所述数据分类单元将采集的数据进行机器设备数据、工业信息化数据和产业链相关数据进行的分类；
通过所述数据规范模块对采集的各类数据进行规范化处理；
通过所述数据清洗单元对采集的缺失数据和大量的无用数据进行清洗；
进一步的，所述数据管理模块包括传感器单元、RFID单元和实时数据库；
所述传感器单元的输出端连接实时数据库的输入端，所述RFID单元的输出端连接实时数据库的输入端；
通过所述传感器单元将检测到的数据按一定规律转变为电信号的形势的数据输出，通过所述RFID单元同时识别多个标签达到识别目的和交换数据，并将数据进行存储。
进一步的，所述数据反馈模块包括数据接收单元、数据分级上传单元和云平台；
所述数据接收单元的输出端连接数据分级上传单元的输入端，所述数据分级上传单元的输出端连接云平台的输入端；
通过所述数据接收单元对数据进行接收，通过所述数据分级上传单元将数据上传至云平台。
一种基于边缘计算的工业数据管理方法，其特征在于：包括以下步骤：
S1：利用数据采集模块对工业数据进行分等级采集并进行边缘计算；
S2：利用数据分析模块对采集的工业数据进行分类、规范、清洗和存储；
S3：利用数据管理模块对工业数据进行系统化管理；
S4：利用数据反馈模块将工业数据进行分级上传至云平台。
进一步的，在步骤S1中，所述数据采集模块对工业数据进行分等级采集的具体等级为：
所述一级数据采集单元用于采集对工业控制系统及设备、工业互联网平台的正常生产运行影响较小、给企业造成负面影响较小、直接经济损失较小、受影响的用户和企业数量较少、生产生活区域范围较小、持续时间较短、恢复工业数据或消除负面影响所需付出的代价较小的数据；
所述二级数据采集单元用于采集引发较大或重大生产安全事和突发环境事件、给企业造成较大负面影响、直接经济损失较大、引发的级联效应明显、影响范围涉及多个行业和区域、行业内多个企业、影响持续时间长、可导致大量供应商、客户资源被非法获取、大量个人信息泄露、恢复工业数据、消除负面影响所需付出的代价较大的数据；
所述三级数据采集单元用于采集易引发特别重大生产安全事故和突发环境事件，造成直接经济损失特别巨大、对国民经济、行业发展、公众利益、社会秩序乃至国家安全造成严重影响的数据；
所述边缘计算具体算法为：
计算任务采用的三参数模型描述每个计算任务:输入数据大小、计算强度和完成期限，将γm∈[0，λmax]表示为需要卸载的任务m的输入数据大小，其中λmaxx是最大可能的输入数据大小，设γm∈[0，γmax]表示最大值γmax的任务m的计算强度，以每比特CPU周期为单位，表示计算一比特输入数据需要多少个CPU周期，此外，将Dmax表示为任务m的完成截止时间，以秒为单位；
总任务数为m，总基站数为n，每个任务在每个基站需要的计算时间，如下
用户数据从设备通过无线电传输到基站，信道建模如下：
r(m,n)代表任务为m到基站n的最大上行传输速率；
Ptx代表使用者传输能量；
Hm,n,代表通道增益；
W代表通道带宽；
Im,n代表基站间的干扰；
那么任务大小为λ0的任务所需的传输时间为：
对应所需要消耗的能量为：
将一个任务分解成若干个子任务，每个子任务都可以在不同的基站独立卸载；
am＝(a1m,a2m,a3m,a4m...,akm)，aim表示任务m的第i个子任务卸载的基站，k代表任务m的子任务数，
Cm表示一次切换是需要的时间；
计算卸载过程总时延D＝任务传输时延+任务计算时延；
其中，d代表传输时延，h表示切换时延；
其中，dc代表计算时延，dt代表传输时延。
进一步的，在步骤S2中，利用数据分析模块对数据采集模块采集的信息进行标记分类，对标记的数据进行进行处理使其规范化，对标记的数据中同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值导致的无用数据进行清洗，具体清洗方法如下：
S201：系统根据预设规则自动对待处理数据进行清洗，根据预设算法自动去除杂质数据；
S202：清洗掉格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱的多方面杂质；
S203：二次清洗，根据预设规则自动清洗字段；
S204:对判断有异议的数据提示人工介入判断。
通过上述技术方案，可以减少工业数据中的无用信息，减轻服务器的压力，提高数据处理效率、节约资源消耗，以实现对工业数据的系统化管理。
进一步的，在步骤S3中，所述利用数据管理模块对工业数据进行系统化管理，具体管理方式为：
S301：通过分布于生产车间的传感器节点，按一定规律将信息数据转换为电信号和其他形势的信息，并对数据进行实时检测，当发现异常时可迅速反馈至上位机，以满足数据的传输、存储、显示、记录和控制要求；
S302：通过RFID读写器通过天线发送一定频率的脉冲信号，当RFID标签进入磁场时，凭借感应电流所获得的能量发送出存储在芯片中的产品信息，主动发送某一频率的信号，阅读器对接收的信号进行解调和解码后送到后台主系统进行相关处理，主系统根据逻辑运算判断该卡的合法性，针对不同的设定做出相应的处理。
进一步的，在步骤S4中，所述数据反馈模块中的数据接收单元接收实时数据库输出的数据，并将数据通过数据分级上传单元上传至云平台。
与现有技术相比，本发明所达到的有益效果是：
1.本发明通过边缘计算为工业数据提供了以网络、计算、存储和应用核心为一体的平台；
2.本发明通过实时数据库进行数据持久化处理，为工业数据提供了一种可靠的处理方法；
3.本发明通过对数据的规范和清洗，有效的解决了因格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱等多方面杂质导致的数据处理困难的问题；
4.本发明通过传感器装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求；
5.本发明通过RFID技术对工业数据进行采集和处理，该技术具有适用性、高效性、独一性、简易性的特点，还具有更新资料快、存储信息量大、使用寿命长、工作效率高、安全性强的特点，有效解决了工业数据中数据量过大的问题；
6.本发明通过云原生和微服务架构即云平台管理，实现了对为业数据提供了实时、动态和智能的服务计算。
附图说明
图1是本发明一种基于边缘计算的工业数据管理系统及方法的结构示意图；
图2是本发明一种基于边缘计算的工业数据管理系统及方法的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种基于边缘计算的工业数据管理系统，所述系统包括数据采集模块、数据分析模块、数据管理模块和数据反馈模块；
所述数据采集模块的输出端连接所述分析模块的输入端，所述数据分析模块的输出端连接数据管理模块的输入端，所述数据管理模块的输出端连接数据反馈模块的输入端；
通过所述数据采集模块对工业数据进行采集并获得一级、二级、三级数据；
通过所述数据分析模块对所述数据采集模块采集的信息进行分类、规范和清洗，并将数据进行存储；
通过所述数据管理模块将数据进行比对和去重，并将数据存储进实时数据库；
通过所述数据反馈单元对数据进行接收，并将数据分级上传至云平台。
通过上述技术方案，可以为工业数据提供实时、动态、和智能管理，通过对工业数据附上时空标签，去伪存真，多角度检验数据的全面性和可信性，利用边缘计算、云原生和微服务架构，从工业现场进行数据采集，并上传至云平台，实现了对工业数据的系统化管理。
进一步的，所述数据采集模块包括一级数据采集单元、二级数据采集单元和三级数据采集单元；
通过一级数据采集单元、二级数据采集单元和三级数据采集单元对工业数据进行分等级采集。
通过一级数据采集单元采集对工业控制系统及设备、工业互联网平台的正常生产运行影响较小、给企业造成负面影响较小、直接经济损失较小、受影响的用户和企业数量较少、生产生活区域范围较小、持续时间较短、恢复工业数据或消除负面影响所需付出的代价较小的数据，通过二级数据采集单元采集引发较大或重大生产安全事和突发环境事件、给企业造成较大负面影响、直接经济损失较大、引发的级联效应明显、影响范围涉及多个行业和区域、行业内多个企业、影响持续时间长、可导致大量供应商、客户资源被非法获取、大量个人信息泄露、恢复工业数据、消除负面影响所需付出的代价较大的数据，通过三级采集单元采集易引发特别重大生产安全事故和突发环境事件，造成直接经济损失特别巨大、对国民经济、行业发展、公众利益、社会秩序乃至国家安全造成严重影响的数据，用于对工业数据的分等级采集，实现对工业数据的系统化管理。
进一步的，所述数据分析模块包括数据分类单元、数据规范单元、数据清洗单元和数据存储单元；
所述数据单元用于对所述数据采集单元采集的数据进行分类，所述数据规范单元用于将所采集的数据进行规范，所述数据清洗单元用于将采集的数据清洗，所述数据存储单元用于将分类、规范和清洗后的数据记性存储；
通过所述数据分类单元将采集的数据进行机器设备数据、工业信息化数据和产业链相关数据进行的分类；
通过所述数据规范模块对采集的各类数据进行规范化处理；
通过所述数据清洗单元对采集的缺失数据和大量的无用数据进行清洗；
进一步的，所述数据管理模块包括传感器单元、RFID单元和实时数据库；
所述传感器单元的输出端连接实时数据库的输入端，所述RFID单元的输出端连接实时数据库的输入端；
通过所述传感器单元将检测到的数据按一定规律转变为电信号的形势的数据输出，通过所述RFID单元同时识别多个标签达到识别目的和交换数据，并将数据进行存储。
进一步的，所述数据反馈模块包括数据接收单元、数据分级上传单元和云平台；
所述数据接收单元的输出端连接数据分级上传单元的输入端，所述数据分级上传单元的输出端连接云平台的输入端；
通过所述数据接收单元对数据进行接收，通过所述数据分级上传单元将数据上传至云平台。
一种基于边缘计算的工业数据管理方法，其特征在于：包括以下步骤：
S1：利用数据采集模块对工业数据进行分等级采集并进行边缘计算；
S2：利用数据分析模块对采集的工业数据进行分类、规范、清洗和存储；
S3：利用数据管理模块对工业数据进行系统化管理；
S4：利用数据反馈模块将工业数据进行分级上传至云平台。
进一步的，在步骤S1中，所述数据采集模块对工业数据进行分等级采集的具体等级为：
所述一级数据采集单元用于采集对工业控制系统及设备、工业互联网平台的正常生产运行影响较小、给企业造成负面影响较小、直接经济损失较小、受影响的用户和企业数量较少、生产生活区域范围较小、持续时间较短、恢复工业数据或消除负面影响所需付出的代价较小的数据；
所述二级数据采集单元用于采集引发较大或重大生产安全事和突发环境事件、给企业造成较大负面影响、直接经济损失较大、引发的级联效应明显、影响范围涉及多个行业和区域、行业内多个企业、影响持续时间长、可导致大量供应商、客户资源被非法获取、大量个人信息泄露、恢复工业数据、消除负面影响所需付出的代价较大的数据；
所述三级数据采集单元用于采集易引发特别重大生产安全事故和突发环境事件，造成直接经济损失特别巨大、对国民经济、行业发展、公众利益、社会秩序乃至国家安全造成严重影响的数据；
所述边缘计算具体算法为：
计算任务采用的三参数模型描述每个计算任务:输入数据大小、计算强度和完成期限，将γm∈[0，λmax]表示为需要卸载的任务m的输入数据大小，其中λmaxx是最大可能的输入数据大小，设γm∈[0，γmax]表示最大值γmax的任务m的计算强度，以每比特CPU周期为单位，表示计算一比特输入数据需要多少个CPU周期，此外，将Dmax表示为任务m的完成截止时间，以秒为单位；
总任务数为m，总基站数为n，每个任务在每个基站需要的计算时间，如下
用户数据从设备通过无线电传输到基站，信道建模如下：
r(m,n)代表任务为m到基站n的最大上行传输速率；
Ptx代表使用者传输能量；
Hm,n,代表通道增益；
W代表通道带宽；
Im,n代表基站间的干扰；
那么任务大小为λ0的任务所需的传输时间为：
对应所需要消耗的能量为：
将一个任务分解成若干个子任务，每个子任务都可以在不同的基站独立卸载；
am＝(a1m,a2m,a3m,a4m...,akm)，aim表示任务m的第i个子任务卸载的基站，k代表任务m的子任务数，
Cm表示一次切换是需要的时间；
计算卸载过程总时延D＝任务传输时延+任务计算时延；
其中，d代表传输时延，h表示切换时延；
其中，dc代表计算时延，dt代表传输时延。
进一步的，在步骤S2中，利用数据分析模块对数据采集模块采集的信息进行标记分类，对标记的数据进行进行处理使其规范化，对标记的数据中同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值导致的无用数据进行清洗，具体清洗方法如下：
S201：系统根据预设规则自动对待处理数据进行清洗，根据预设算法自动去除杂质数据；
S202：清洗掉格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱的多方面杂质；
S203：二次清洗，根据预设规则自动清洗字段；
S204:对判断有异议的数据提示人工介入判断。
通过上述技术方案，可以减少工业数据中的无用信息，减轻服务器的压力，提高数据处理效率、节约资源消耗，以实现对工业数据的系统化管理。
进一步的，在步骤S3中，所述利用数据管理模块对工业数据进行系统化管理，具体管理方式为：
S301：通过分布于生产车间的传感器节点，按一定规律将信息数据转换为电信号和其他形势的信息，并对数据进行实时检测，当发现异常时可迅速反馈至上位机，以满足数据的传输、存储、显示、记录和控制要求；
S302：通过RFID读写器通过天线发送一定频率的脉冲信号，当RFID标签进入磁场时，凭借感应电流所获得的能量发送出存储在芯片中的产品信息，主动发送某一频率的信号，阅读器对接收的信号进行解调和解码后送到后台主系统进行相关处理，主系统根据逻辑运算判断该卡的合法性，针对不同的设定做出相应的处理。
进一步的，在步骤S4中，所述数据反馈模块中的数据接收单元接收实时数据库输出的数据，并将数据通过数据分级上传单元上传至云平台。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于边缘计算的工业数据管理系统，其特征在于：所述系统包括：数据采集模块、数据分析模块、数据管理模块和数据反馈模块；
所述数据采集模块的输出端连接所述分析模块的输入端，所述数据分析模块的输出端连接数据管理模块的输入端，所述数据管理模块的输出端连接数据反馈模块的输入端；
通过所述数据采集模块对工业数据进行采集并获得一级、二级、三级数据；
通过所述数据分析模块对所述数据采集模块采集的信息进行分类、规范和清洗，并将数据进行存储；
通过所述数据管理模块将数据进行比对和去重，并将数据存储进实时数据库；
通过所述数据反馈单元对数据进行接收，并将数据分级上传至云平台。
2.根据权利要求1所述的一种基于边缘计算的工业数据管理系统，其特征在于：所述数据采集模块包括一级数据采集单元、二级数据采集单元和三级数据采集单元；
通过一级数据采集单元、二级数据采集单元和三级数据采集单元对工业数据进行分等级采集。
3.根据权利要求1所述的一种基于边缘计算的工业数据管理系统，其特征在于：所述数据分析模块包括数据分类单元、数据规范单元、数据清洗单元和数据存储单元；
所述数据单元用于对所述数据采集单元采集的数据进行分类，所述数据规范单元用于将所采集的数据进行规范，所述数据清洗单元用于将采集的数据清洗，所述数据存储单元用于将分类、规范和清洗后的数据记性存储；
通过所述数据分类单元将采集的数据进行机器设备数据、工业信息化数据和产业链相关数据进行的分类；
通过所述数据规范模块对采集的各类数据进行规范化处理；
通过所述数据清洗单元对采集的缺失数据和大量的无用数据进行清洗。
4.根据权利要求1所述的一种基于边缘计算的工业数据管理系统，其特征在于：所述数据管理模块包括传感器单元、RFID单元和实时数据库；
所述传感器单元的输出端连接实时数据库的输入端，所述RFID单元的输出端连接实时数据库的输入端；
通过所述传感器单元将检测到的数据按一定规律转变为电信号的形势的数据输出，通过所述RFID单元同时识别多个标签达到识别目的和交换数据，并将数据进行存储。
5.根据权利要求1所述的一种基于边缘计算的工业数据管理系统，其特征在于：所述数据反馈模块包括数据接收单元、数据分级上传单元和云平台；
所述数据接收单元的输出端连接数据分级上传单元的输入端，所述数据分级上传单元的输出端连接云平台的输入端；
通过所述数据接收单元对数据进行接收，通过所述数据分级上传单元将数据上传至云平台。
6.一种基于边缘计算的工业数据管理方法，其特征在于：包括以下步骤：
S1：利用数据采集模块对工业数据进行分等级采集并进行边缘计算；
S2：利用数据分析模块对采集的工业数据进行分类、规范、清洗和存储；
S3：利用数据管理模块对工业数据进行系统化管理；
S4：利用数据反馈模块将工业数据进行分级上传至云平台。
7.根据权利要求6所述的一种基于边缘计算的工业数据管理方法，其特征在于：在步骤S1中，所述数据采集模块对工业数据进行分等级采集，所述边缘计算具体算法为：
计算任务采用的三参数模型描述每个计算任务:输入数据大小、计算强度和完成期限，将γm∈[0，λmax]表示为需要卸载的任务m的输入数据大小，其中λmax x是最大可能的输入数据大小，设γm∈[0，γmax]表示最大值γmax的任务m的计算强度，以每比特CPU周期为单位，表示计算一比特输入数据需要多少个CPU周期，此外，将Dmax表示为任务m的完成截止时间，以秒为单位；
总任务数为m，总基站数为n，每个任务在每个基站需要的计算时间，如下
用户数据从设备通过无线电传输到基站，信道建模如下：
r(m,n)代表任务为m到基站n的最大上行传输速率；
Ptx代表使用者传输能量；
Hm,n,代表通道增益；
W代表通道带宽；
Im,n代表基站间的干扰；
那么任务大小为λ0的任务所需的传输时间为：
对应所需要消耗的能量为：
将一个任务分解成若干个子任务，每个子任务都可以在不同的基站独立卸载；
am＝(a1m,a2m,a3m,a4m...,akm)，aim表示任务m的第i个子任务卸载的基站，k代表任务m的子任务数，
Cm表示一次切换是需要的时间；
计算卸载过程总时延D＝任务传输时延+任务计算时延；
其中，d代表传输时延，h表示切换时延；
其中，dc代表计算时延，dt代表传输时延。
8.根据权利要求6所述的一种基于边缘计算的工业数据管理方法，其特征在于：在步骤S2中，利用数据分析模块对数据采集模块采集的信息进行标记分类，对标记的数据进行进行处理使其规范化，对标记的数据中同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值导致的无用数据进行清洗，具体清洗方法如下：
S201：系统根据预设规则自动对待处理数据进行清洗，根据预设算法自动去除杂质数据；
S202：清洗掉格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱的多方面杂质；
S203：二次清洗，根据预设规则自动清洗字段；
S204:对判断有异议的数据提示人工介入判断。
9.根据权利要求6所述的一种基于边缘计算的工业数据管理方法，其特征在于：在步骤S3中，所述利用数据管理模块对工业数据进行系统化管理，具体管理方式为：
S301：通过分布于生产车间的传感器节点，按一定规律将信息数据转换为电信号和其他形势的信息，并对数据进行实时检测，当发现异常时可迅速反馈至上位机，以满足数据的传输、存储、显示、记录和控制要求；
S302：通过RFID读写器通过天线发送一定频率的脉冲信号，当RFID标签进入磁场时，凭借感应电流所获得的能量发送出存储在芯片中的产品信息，主动发送某一频率的信号，阅读器对接收的信号进行解调和解码后送到后台主系统进行相关处理，主系统根据逻辑运算判断该卡的合法性，针对不同的设定做出相应的处理。
10.根据权利要求6所述的一种基于边缘计算的工业数据管理方法，其特征在于：在步骤S4中，所述数据反馈模块中的数据接收单元接收实时数据库输出的数据，并将数据通过数据分级上传单元上传至云平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390561.6A CN116431622A (zh) | 2023-04-13 | 2023-04-13 | 一种基于边缘计算的工业数据管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390561.6A CN116431622A (zh) | 2023-04-13 | 2023-04-13 | 一种基于边缘计算的工业数据管理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116431622A true CN116431622A (zh) | 2023-07-14 |
Family
ID=87088645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310390561.6A Pending CN116431622A (zh) | 2023-04-13 | 2023-04-13 | 一种基于边缘计算的工业数据管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431622A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140337429A1 (en) * | 2013-05-09 | 2014-11-13 | Rockwell Automation Technologies, Inc. | Industrial data analytics in a cloud platform |
| US20180048713A1 (en) * | 2016-08-09 | 2018-02-15 | Sciemetric Instruments Inc. | Modular data acquisition and control system |
| US20180300124A1 (en) * | 2015-08-27 | 2018-10-18 | FogHorn Systems, Inc. | Edge Computing Platform |
| CN109739922A (zh) * | 2019-01-10 | 2019-05-10 | 江苏徐工信息技术股份有限公司 | 一种工业数据智能分析系统 |
| CN109885566A (zh) * | 2019-02-25 | 2019-06-14 | 南京世界村云数据产业集团有限公司 | 一种数据采集与边缘计算系统 |
| CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测系统 |
| CN112559634A (zh) * | 2020-12-16 | 2021-03-26 | 河南医学高等专科学校 | 一种基于计算机云计算大数据用数据管理系统 |
| US20220038535A1 (en) * | 2018-12-06 | 2022-02-03 | Ntt Communications Corporation | Data search apparatus, and data search method and program thereof, and edge server and program thereof |
| US20220164124A1 (en) * | 2020-11-21 | 2022-05-26 | The Migration Company PTY LTD | Devices and Methods for Transferring Optimized Mass Data to The Cloud |
-
2023
- 2023-04-13 CN CN202310390561.6A patent/CN116431622A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140337429A1 (en) * | 2013-05-09 | 2014-11-13 | Rockwell Automation Technologies, Inc. | Industrial data analytics in a cloud platform |
| US20180300124A1 (en) * | 2015-08-27 | 2018-10-18 | FogHorn Systems, Inc. | Edge Computing Platform |
| US20180048713A1 (en) * | 2016-08-09 | 2018-02-15 | Sciemetric Instruments Inc. | Modular data acquisition and control system |
| US20220038535A1 (en) * | 2018-12-06 | 2022-02-03 | Ntt Communications Corporation | Data search apparatus, and data search method and program thereof, and edge server and program thereof |
| CN109739922A (zh) * | 2019-01-10 | 2019-05-10 | 江苏徐工信息技术股份有限公司 | 一种工业数据智能分析系统 |
| CN109885566A (zh) * | 2019-02-25 | 2019-06-14 | 南京世界村云数据产业集团有限公司 | 一种数据采集与边缘计算系统 |
| CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测系统 |
| US20220164124A1 (en) * | 2020-11-21 | 2022-05-26 | The Migration Company PTY LTD | Devices and Methods for Transferring Optimized Mass Data to The Cloud |
| CN112559634A (zh) * | 2020-12-16 | 2021-03-26 | 河南医学高等专科学校 | 一种基于计算机云计算大数据用数据管理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 徐昌彪等: "基于多重指标的MEC服务器选择方案", 重庆邮电大学学报(自然科学版), pages 329 - 335 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ding et al. | RFID-based production data analysis in an IoT-enabled smart job-shop | |
| US11507852B2 (en) | Distributed activity control systems for artificial intelligence task execution direction including task adjacency and reachability analysis | |
| CN101556475B (zh) | 基于无线射频技术的加工物料与生产过程实时跟踪系统 | |
| US20110251966A1 (en) | Source Aware Data Center Power Profiles | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN116828001B (zh) | 一种基于大数据分析的智慧工厂生产效率优化系统及方法 | |
| CN107622364A (zh) | 一种基于物联网的物流智能信息管理系统 | |
| Oh | Development of a smart supply-chain management solution based on logistics standards utilizing artificial intelligence and the internet of things | |
| CN113988725A (zh) | 利用记录载体对设备全生命周期进行管控的系统及方法 | |
| CN112182077A (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN111488999A (zh) | 一种应用于风电场安全生产信息化管理系统 | |
| CN110910159A (zh) | 电力报价方法和终端设备 | |
| Zhang et al. | Research on intelligent warehousing and logistics management system of electronic market based on machine learning | |
| CN116431622A (zh) | 一种基于边缘计算的工业数据管理系统及方法 | |
| Kiran et al. | The Internet of Things in the Corporate Environment: Cross-Industry Perspectives and Implementation Issues | |
| Chen et al. | Impact of Data Technology on Logistics Industry Business Performance | |
| Gao et al. | Research of Internet of Things applied to manufacturing execution system | |
| Ethirajan et al. | Connecting engineering technology with enterprise systems for sustainable supply chain management | |
| CN115438812A (zh) | 输电设备全生命管理方法、装置、计算机设备和存储介质 | |
| Zhao | Design of supply chain task assignment system for international logistics service in coastal area | |
| CN115016902A (zh) | 工业流程数字化管理系统及方法 | |
| CN114500316A (zh) | 一种物联网设备巡检方法和系统 | |
| CN113593069A (zh) | 数学孪生智能巡检系统 | |
| CN116664021B (zh) | 一种基于移动端的工厂检查辅助决策系统及方法 | |
| KR101909138B1 (ko) | 중소기업 매출채권 감소 및 부실방지를 위한 빅데이터 기반 매출채권회수지원 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |