CN116680751B - 一种国产平台mes系统中数据安全采集与处理方法 - Google Patents

一种国产平台mes系统中数据安全采集与处理方法 Download PDF

Info

Publication number
CN116680751B
CN116680751B CN202310578569.5A CN202310578569A CN116680751B CN 116680751 B CN116680751 B CN 116680751B CN 202310578569 A CN202310578569 A CN 202310578569A CN 116680751 B CN116680751 B CN 116680751B
Authority
CN
China
Prior art keywords
data
mes system
domestic platform
platform
domestic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310578569.5A
Other languages
English (en)
Other versions
CN116680751A (zh
Inventor
卢泉
宋汉广
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Longwei Zhongke Technology Co ltd
Original Assignee
Jiangsu Longwei Zhongke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Longwei Zhongke Technology Co ltd filed Critical Jiangsu Longwei Zhongke Technology Co ltd
Priority to CN202310578569.5A priority Critical patent/CN116680751B/zh
Publication of CN116680751A publication Critical patent/CN116680751A/zh
Application granted granted Critical
Publication of CN116680751B publication Critical patent/CN116680751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Bioethics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种国产平台MES系统中数据安全采集与处理方法，属于数据采集与处理技术领域。本发明的一种国产平台MES系统中数据安全采集与处理方法，包括如下步骤：采用不同的数据采集方法对不同的生产情况、投料、设备、人员、工艺所产生的不同类型的数据进行实时地采集。本发明解决了现有国产平台MES系统中，采集的数据准确性低下，且国产平台MES系统整体管理效率低下的问题，本发明的国产平台MES系统中数据安全采集与处理方法，其在国产平台MES系统中，针对数据采集与处理时，采集的数据可进行实时地安全验证，提高采集的数据准确性，且可对采集的数据进行综合管控分析处理，提高国产平台MES系统整体管理效率。

Description

一种国产平台MES系统中数据安全采集与处理方法
技术领域
本发明涉及数据采集与处理技术领域，具体为一种国产平台MES系统中数据安全采集与处理方法。
背景技术
MES系统一般指生产执行系统，该系统从底层数据采集开始，到过程监测和在线管理，一直到成本相关数据管理，构成了完整的生产信息化体系；系统各功能模块提供了由底层接近于自动化系统的监控过程逐渐过渡到成本管理的经营层，可以满足企业在信息化生产管理领域不同规划阶段的要求，在继承的基础上实现信息化过程的平稳过渡、逐步提高。
公开号为CN106815620A的中国专利公开了一种基于MES的数据采集系统解决方法，其包括如下步骤：(1)提示刷入工号，工号收入；(2)提示请刷入线别，线别刷入；(3)提示请刷入机种别，机种别刷入；(4)提示请刷入产品SN，SN刷入；(5)提示请刷入品质判断，SN(R)刷入；(6)提示请刷入不良代码，不良代码刷入，可确保人员工号、线别、机种、产品序号、质量判断结果、时间均为有效数据，系统范围广，作业员生产良率的管控容易，尽量减少不需要的重复刷入，以快速搜资信息，提供简便快速的查询与报表功能，提供较为可靠并可扩充的系统架构。但是上述专利在实际使用过程中存在以下缺陷：
国产平台MES系统中，针对数据采集与处理时，采集的数据不能进行实时地安全验证，导致采集的数据准确性低下，不能对采集的数据进行综合管控分析处理，导致国产平台MES系统整体管理效率低下。
发明内容
本发明的目的在于提供一种国产平台MES系统中数据安全采集与处理方法，在国产平台MES系统中，针对数据采集与处理时，采集的数据可进行实时地安全验证，提高采集的数据准确性，且可对采集的数据进行综合管控分析处理，提高国产平台MES系统整体管理效率，解决了上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种国产平台MES系统中数据安全采集与处理方法，包括如下步骤：
S1：采用不同的数据采集方法对不同的生产情况、投料、设备、人员、工艺所产生的不同类型的数据进行实时地采集，基于实时采集的底层数据，获取国产平台MES系统数据；
S2：对获取的国产平台MES系统数据进行预处理，将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护，对转换后的国产平台MES系统数据进行检索、分组、排序及计算，确定出不同类型的国产平台MES系统表征数据；
S3：对确定的不同类型的国产平台MES系统表征数据进行提取，基于数据安全采集与处理需求，从确定的不同类型的国产平台MES系统表征数据中完全提取出国产平台MES系统表征数据，且对提取的国产平台MES系统表征数据进行分析处理，确定出相应地分析处理报告；
S4：参照分析处理报告对国产平台MES系统进行综合管控，获取分析处理报告，基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析处理报告，确定出基于国产平台MES系统的综合管控策略，按照综合管控策略对国产平台MES系统进行综合管控。
优选的，所述S1中，数据采集方法包括
采用必须录入的方式采集数据，用于国产平台MES系统必须直接从外部获得的数据，该国产平台MES系统通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于自己的数据收集项目库，其中数据收集项目库包括产品的编码、产品流程、工序名称及工艺条件目标；
采用条码的方式采集数据，用于以编码的方式表达或与预设的数据通过编码建立对应关系，其中采用条码的方式采集的数据包括产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态、作业开始及作业结束。
优选的，所述S1中，数据采集方法还包括
采用国产平台MES系统自动生成的方式采集数据，用于国产平台MES系统自动收集在生产过程中的部分由事件触发的数据，其中采用国产平台MES系统自动生成的方式采集的数据包括工序开始操作时间、结束时间及设备状态，该类采用国产平台MES系统自动生成的方式采集的数据，由时间触发之后，根据原本设定的基础数据，由国产平台MES系统自动收集；
采用RFID的方式采集数据，通过在基于国产平台MES系统的流水线上安装RFID系统，使用可回收的电子标签，其电子标签上携带有详细的信息，在每个工作点设置RFID读写器，用于为产品在每一个生产环节的数据安全正确采集提供支撑依据；
采用传感器的方式采集数据，基于国产平台MES系统，设置相应地温度传感器、压力传感器、湿度传感器及无线数据采集卡，实时获取基于国产平台MES系统的温度、压力及湿度数据。
优选的，所述S1中，基于实时采集的底层数据，获取国产平台MES系统数据，且对获取的国产平台MES系统数据进行安全验证，执行以下操作：
获取国产平台MES系统数据，基于国产平台MES系统数据查找出存储的与国产平台MES系统数据相对应的同类型安全数据；
获取查找到的与国产平台MES系统数据相对应的同类型安全数据，且将同类型安全数据提取出来；
参照提取的同类型安全数据，对国产平台MES系统数据进行安全验证，确定出安全验证结果；
针对国产平台MES系统数据在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据不存在异常行为，为安全采集的国产平台MES系统数据；
针对国产平台MES系统数据不在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据存在异常行为，不为安全采集的国产平台MES系统数据。
优选的，针对该国产平台MES系统数据存在异常行为的情况，执行以下操作：
获取存在异常行为的国产平台MES系统数据；
基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析国产平台MES系统数据，确定出国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，确定出基于国产平台MES系统数据异常原因的数据修正策略，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
优选的，基于国产平台MES系统数据异常原因，确定数据修正策略，执行以下操作：
获取国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，从存储的多种数据修正策略中逐一索引出数据修正策略，且对数据修正策略进行对比分析；
针对索引到的数据修正策略与国产平台MES系统数据异常原因相对应的情况，则该索引到的数据修正策略用于修正国产平台MES系统数据异常原因，且将该数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护；
针对索引到的数据修正策略与国产平台MES系统数据异常原因不相对应的情况，则顺序索引下一个数据修正策略，且对索引到的下一个数据修正策略进行对比分析，直到顺序索引的下一个数据修正策略与国产平台MES系统数据异常原因相对应，则将该顺序索引的下一个数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
优选的，所述S2中，对获取的国产平台MES系统数据进行预处理，执行以下操作：
获取实时采集的国产平台MES系统数据；
将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护；
获取转换后能够被国产平台MES系统接收的国产平台MES系统数据；
基于顺序检索方法，对国产平台MES系统数据进行检索；
过滤掉对国产平台MES系统无价值的国产平台MES系统数据，保留下对国产平台MES系统有价值的国产平台MES系统数据。
优选的，所述S2中，对获取的国产平台MES系统数据进行预处理，还执行以下操作：
获取保留下的对国产平台MES系统有价值的国产平台MES系统数据；
按照互斥性原则，对保留下的对国产平台MES系统有价值的国产平台MES系统数据进行有效地分组，使每组内的国产平台MES系统数据互不相容且互为排斥，确定出具有分布特征的基于国产平台MES系统数据的分组数据；
获取基于国产平台MES系统数据的分组数据，且对基于国产平台MES系统数据的分组数据进行排序，基于内部排序方法，使每组的基于国产平台MES系统数据的分组数据具有排列趋势的国产平台MES系统数据；
获取具有排列趋势的国产平台MES系统数据，且对国产平台MES系统数据进行计算；
按照算术及逻辑运算，对国产平台MES系统数据进行计算，确定出不同类型的国产平台MES系统表征数据。
优选的，对于实时采集的数据基于缓存处理技术进行快速读取和处理，将数据存储在多个级别的缓存中，根据数据的使用频率、访问模式来调
配不同级别的缓存空间,建立多层缓存架构的步骤包括：
S11，根据对以往的实时采集的数据进行分析，对所述实时采集的数据进行预测，确定访问模式，包括数据的读取和写入操作，并预估数据的使用频率；
S12，根据所述访问模式和预估的使用频率，确定选择合适的缓存容量；
S13，从LRU、FIFO和随机替换算法中，选择合适的缓存算法；
S14，根据缓存算法和缓存容量构建具有多个层次缓存的多层缓存架构，其中，较低层的缓存访问速度更快但容量较小，较高层的缓存访问速度较慢但容量更大；缓存的层次的基本单位为所述实时采集的数据的访问模式的种类和数据的使用频率的分组的最小公倍数；
S15，配置完成后，通过运行性能测试来验证所述多层缓存架构是否满足要求，通过检查缓存命中率、缓存替换频率和被缓存文件的到达率，评估所述多层缓存架构的使用性能；
在评估得到所述多层缓存架构的使用性能不能满足预设要求时，调整步骤S12-S14的选择，优化所述多层缓存结构。
优选的，优化所述多层缓存结构中，通过以下公式计算被缓存文件的到达率E：
其中，所述多层缓存架构，包括一个云节点，J个簇，第j个簇中有Nj个接入点，其中j为小于等于J的正整数，为对第g个被缓存的文件的请求到接入点和簇头j的到达率，为簇头j的用户对第g个被缓存的文件的请求的到达率；/>为第g个被缓存的文件在接入点处的归一化度，λjk为针对第g个被缓存的文件的文件请求达到接入点的平均到达率；为第g个被缓存的文件在接入点处的流行度；其中g为小于等于G的正整数，G为被缓存的文件的总数，/>为簇头j的用户申请第g个被缓存的文件的流行度；/>为簇头j的用户对第g个被缓存的文件的的请求的到达率，αj为簇头j的用户发送的文件请求的平均到达率；
当计算得到的所述多层缓存架构的使用性能评价值E低于预设阀值时，调整步骤S12-S14的选择，建立新的多层缓存架构，并针对新的多层缓存架构重新计算使用性能评价值E，直至符合要求。
与现有技术相比，本发明的有益效果是：
1、本发明通过采用不同的数据采集方法对不同类型的数据进行实时地采集，获取国产平台MES系统数据，且对国产平台MES系统数据进行预处理，确定出不同类型的国产平台MES系统表征数据，基于对国产平台MES系统表征数据的分析处理，确定出相应地分析处理报告，基于数据挖掘技术，深度解剖分析处理报告，确定出基于国产平台MES系统的综合管控策略，按照综合管控策略对国产平台MES系统进行综合管控，可对采集的数据进行综合管控分析处理，提高国产平台MES系统整体管理效率。
2、本发明通过基于国产平台MES系统数据查找出存储的与国产平台MES系统数据相对应的同类型安全数据，且将同类型安全数据提取出来，参照提取的同类型安全数据，对国产平台MES系统数据进行安全验证，确定出安全验证结果，其在国产平台MES系统中，针对数据采集与处理时，采集的数据可进行实时地安全验证，提高采集的数据准确性。
3、本发明通过获取存在异常行为的国产平台MES系统数据，基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析国产平台MES系统数据，确定出国产平台MES系统数据异常原因，基于国产平台MES系统数据异常原因，确定出基于国产平台MES系统数据异常原因的数据修正策略，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
附图说明
图1为本发明的国产平台MES系统中数据安全采集与处理方法的流程图；
图2为本发明的对国产平台MES系统数据进行安全验证及修正的算法图；
图3为本发明的基于国产平台MES系统数据异常原因确定数据修正策略的算法图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有的国产平台MES系统中，针对数据采集与处理时，采集的数据不能进行实时地安全验证，导致采集的数据准确性低下，不能对采集的数据进行综合管控分析处理，导致国产平台MES系统整体管理效率低下的问题，请参阅图1-图3，本实施例提供以下技术方案：
一种国产平台MES系统中数据安全采集与处理方法，包括如下步骤：
S1：采用不同的数据采集方法对不同的生产情况、投料、设备、人员、工艺所产生的不同类型的数据进行实时地采集，基于实时采集的底层数据，获取国产平台MES系统数据；
S2：对获取的国产平台MES系统数据进行预处理，将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护，对转换后的国产平台MES系统数据进行检索、分组、排序及计算，确定出不同类型的国产平台MES系统表征数据；
S3：对确定的不同类型的国产平台MES系统表征数据进行提取，基于数据安全采集与处理需求，从确定的不同类型的国产平台MES系统表征数据中完全提取出国产平台MES系统表征数据，且对提取的国产平台MES系统表征数据进行分析处理，确定出相应地分析处理报告；
S4：参照分析处理报告对国产平台MES系统进行综合管控，获取分析处理报告，基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析处理报告，确定出基于国产平台MES系统的综合管控策略，按照综合管控策略对国产平台MES系统进行综合管控。
S1中，数据采集方法包括
采用必须录入的方式采集数据，用于国产平台MES系统必须直接从外部获得的数据，该国产平台MES系统通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于自己的数据收集项目库，其中数据收集项目库包括产品的编码、产品流程、工序名称及工艺条件目标；
采用条码的方式采集数据，用于以编码的方式表达或与预设的数据通过编码建立对应关系，其中采用条码的方式采集的数据包括产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态、作业开始及作业结束。
S1中，数据采集方法还包括
采用国产平台MES系统自动生成的方式采集数据，用于国产平台MES系统自动收集在生产过程中的部分由事件触发的数据，其中采用国产平台MES系统自动生成的方式采集的数据包括工序开始操作时间、结束时间及设备状态，该类采用国产平台MES系统自动生成的方式采集的数据，由时间触发之后，根据原本设定的基础数据，由国产平台MES系统自动收集；
采用RFID的方式采集数据，通过在基于国产平台MES系统的流水线上安装RFID系统，使用可回收的电子标签，其电子标签上携带有详细的信息，在每个工作点设置RFID读写器，用于为产品在每一个生产环节的数据安全正确采集提供支撑依据；
采用传感器的方式采集数据，基于国产平台MES系统，设置相应地温度传感器、压力传感器、湿度传感器及无线数据采集卡，实时获取基于国产平台MES系统的温度、压力及湿度数据。
S1中，基于实时采集的底层数据，获取国产平台MES系统数据，且对获取的国产平台MES系统数据进行安全验证，执行以下操作：
获取国产平台MES系统数据，基于国产平台MES系统数据查找出存储的与国产平台MES系统数据相对应的同类型安全数据；
获取查找到的与国产平台MES系统数据相对应的同类型安全数据，且将同类型安全数据提取出来；
参照提取的同类型安全数据，对国产平台MES系统数据进行安全验证，确定出安全验证结果；
针对国产平台MES系统数据在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据不存在异常行为，为安全采集的国产平台MES系统数据；
针对国产平台MES系统数据不在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据存在异常行为，不为安全采集的国产平台MES系统数据。
针对该国产平台MES系统数据存在异常行为的情况，执行以下操作：
获取存在异常行为的国产平台MES系统数据；
基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析国产平台MES系统数据，确定出国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，确定出基于国产平台MES系统数据异常原因的数据修正策略，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
基于国产平台MES系统数据异常原因，确定数据修正策略，执行以下操作：
获取国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，从存储的多种数据修正策略中逐一索引出数据修正策略，且对数据修正策略进行对比分析；
针对索引到的数据修正策略与国产平台MES系统数据异常原因相对应的情况，则该索引到的数据修正策略用于修正国产平台MES系统数据异常原因，且将该数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护；
针对索引到的数据修正策略与国产平台MES系统数据异常原因不相对应的情况，则顺序索引下一个数据修正策略，且对索引到的下一个数据修正策略进行对比分析，直到顺序索引的下一个数据修正策略与国产平台MES系统数据异常原因相对应，则将该顺序索引的下一个数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
S2中，对获取的国产平台MES系统数据进行预处理，执行以下操作：
获取实时采集的国产平台MES系统数据；
将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护；
获取转换后能够被国产平台MES系统接收的国产平台MES系统数据；
基于顺序检索方法，对国产平台MES系统数据进行检索；
过滤掉对国产平台MES系统无价值的国产平台MES系统数据，保留下对国产平台MES系统有价值的国产平台MES系统数据。
S2中，对获取的国产平台MES系统数据进行预处理，还执行以下操作：
获取保留下的对国产平台MES系统有价值的国产平台MES系统数据；
按照互斥性原则，对保留下的对国产平台MES系统有价值的国产平台MES系统数据进行有效地分组，使每组内的国产平台MES系统数据互不相容且互为排斥，确定出具有分布特征的基于国产平台MES系统数据的分组数据；
获取基于国产平台MES系统数据的分组数据，且对基于国产平台MES系统数据的分组数据进行排序，基于内部排序方法，使每组的基于国产平台MES系统数据的分组数据具有排列趋势的国产平台MES系统数据；
获取具有排列趋势的国产平台MES系统数据，且对国产平台MES系统数据进行计算；
按照算术及逻辑运算，对国产平台MES系统数据进行计算，确定出不同类型的国产平台MES系统表征数据。
在一些实施方式中，对于实时采集的数据基于缓存处理技术进行快速读取和处理，将数据存储在多个级别的缓存中，根据数据的使用频率、访问模式来调配不同级别的缓存空间,建立多层缓存架构的步骤包括：
S11，根据对以往的实时采集的数据进行分析，对所述实时采集的数据进行预测，确定访问模式，包括数据的读取和写入操作，并预估数据的使用频率；
S12，根据所述访问模式和预估的使用频率，确定选择合适的缓存容量；
S13，从LRU、FIFO和随机替换算法中，选择合适的缓存算法；
S14，根据缓存算法和缓存容量构建具有多个层次缓存的多层缓存架构，其中，较低层的缓存访问速度更快但容量较小，较高层的缓存访问速度较慢但容量更大；缓存的层次的基本单位为所述实时采集的数据的访问模式的种类和数据的使用频率的分组的最小公倍数；
S15，配置完成后，通过运行性能测试来验证所述多层缓存架构是否满足要求，通过检查缓存命中率、缓存替换频率和被缓存文件的到达率，评估所述多层缓存架构的使用性能；
在评估得到所述多层缓存架构的使用性能不能满足预设要求时，调整步骤S12-S14的选择，优化所述多层缓存结构。
本实施方式的缓存处理技术，将数据存储在内存中进行快速读取，可以减少数据读取时间并实现实时数据处理。将数据存储在多个级别的缓存中，根据数据的使用频率、访问模式等合理调配不同级别的缓存空间，以进一步提高数据处理的实时性。
在一些实施方式中，优化所述多层缓存结构中，通过以下公式计算被缓存文件的到达率E：
其中，所述多层缓存架构，包括一个云节点，J个簇，第j个簇中有Nj个接入点，其中j为小于等于J的正整数，为对第g个被缓存的文件的请求到接入点和簇头j的到达率，为簇头j的用户对第g个被缓存的文件的请求的到达率；/>为第g个被缓存的文件在接入点处的归一化度，λjk为针对第g个被缓存的文件的文件请求达到接入点的平均到达率；为第g个被缓存的文件在接入点处的流行度；其中g为小于等于G的正整数，G为被缓存的文件的总数，/>为簇头j的用户申请第g个被缓存的文件的流行度；/>为簇头j的用户对第g个被缓存的文件的的请求的到达率，αj为簇头j的用户发送的文件请求的平均到达率。簇头j泛指其中的任意一个簇头，簇头j特指其中的某个簇头。
当计算得到的所述多层缓存架构的被缓存文件的到达率E低于预设阀值时，调整步骤S12-S14的选择，建立新的多层缓存架构，并针对新的多层缓存架构重新计算被缓存文件的到达率E，直至符合要求。
本实施方式的计算被缓存文件的到达率E的算法包括同一级别的缓冲层和不同级别的缓冲层内的簇头的被缓存的文件的的请求的到达率，考虑了层内协作、层间协作、链路容量，可以全面且准确地评价所述多层缓存架构的性能。本实施方式确定的所述多层缓存架构，通过基于缓存命中率、缓存替换频率和被缓存文件的到达率的优化，提高了缓存布置和协作的效率，降低了网络的后传链路的负载，通过快速读取，提高了采集的数据处理的实时性。
综上，本发明的国产平台MES系统中数据安全采集与处理方法，采用不同的数据采集方法对不同的生产情况、投料、设备、人员、工艺所产生的不同类型的数据进行实时地采集，基于实时采集的底层数据，获取国产平台MES系统数据，对获取的国产平台MES系统数据进行预处理，确定出不同类型的国产平台MES系统表征数据，基于数据安全采集与处理需求，对国产平台MES系统表征数据进行分析处理，确定出相应地分析处理报告，基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析处理报告，确定出基于国产平台MES系统的综合管控策略，按照综合管控策略对国产平台MES系统进行综合管控，其在国产平台MES系统中，针对数据采集与处理时，采集的数据可进行实时地安全验证，提高采集的数据准确性，且可对采集的数据进行综合管控分析处理，提高国产平台MES系统整体管理效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种国产平台MES系统中数据安全采集与处理方法，其特征在于，包括如下步骤：
S1：采用不同的数据采集方法对不同的生产情况、投料、设备、人员、工艺所产生的不同类型的数据进行实时地采集，基于实时采集的底层数据，获取国产平台MES系统数据；
S2：对获取的国产平台MES系统数据进行预处理，将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护，对转换后的国产平台MES系统数据进行检索、分组、排序及计算，确定出不同类型的国产平台MES系统表征数据；
S3：对确定的不同类型的国产平台MES系统表征数据进行提取，基于数据安全采集与处理需求，从确定的不同类型的国产平台MES系统表征数据中完全提取出国产平台MES系统表征数据，且对提取的国产平台MES系统表征数据进行分析处理，确定出相应地分析处理报告；
S4：参照分析处理报告对国产平台MES系统进行综合管控，获取分析处理报告，基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析处理报告，确定出基于国产平台MES系统的综合管控策略，按照综合管控策略对国产平台MES系统进行综合管控。
2.根据权利要求1所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：所述S1中，数据采集方法包括
采用录入的方式采集数据，用于国产平台MES系统必须直接从外部获得的数据，该国产平台MES系统通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于自己的数据收集项目库，其中数据收集项目库包括产品的编码、产品流程、工序名称及工艺条件目标；
采用条码的方式采集数据，用于以编码的方式表达或与预设的数据通过编码建立对应关系，其中采用条码的方式采集的数据包括产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态、作业开始及作业结束。
3.根据权利要求2所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：所述S1中，数据采集方法还包括
采用国产平台MES系统自动生成的方式采集数据，用于国产平台MES系统自动收集在生产过程中的部分由事件触发的数据，其中采用国产平台MES系统自动生成的方式采集的数据包括工序开始操作时间、结束时间及设备状态，该类采用国产平台MES系统自动生成的方式采集的数据，由时间触发之后，根据原本设定的基础数据，由国产平台MES系统自动收集；
采用RFID的方式采集数据，通过在基于国产平台MES系统的流水线上安装RFID系统，使用可回收的电子标签，其电子标签上携带有详细的信息，在每个工作点设置RFID读写器，用于为产品在每一个生产环节的数据安全正确采集提供支撑依据；
采用传感器的方式采集数据，基于国产平台MES系统，设置相应地温度传感器、压力传感器、湿度传感器及无线数据采集卡，实时获取基于国产平台MES系统的温度、压力及湿度数据。
4.根据权利要求3所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：所述S1中，基于实时采集的底层数据，获取国产平台MES系统数据，且对获取的国产平台MES系统数据进行安全验证，执行以下操作：
获取国产平台MES系统数据，基于国产平台MES系统数据查找出存储的与国产平台MES系统数据相对应的同类型安全数据；
获取查找到的与国产平台MES系统数据相对应的同类型安全数据，且将同类型安全数据提取出来；
参照提取的同类型安全数据，对国产平台MES系统数据进行安全验证，确定出安全验证结果；
针对国产平台MES系统数据在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据不存在异常行为，为安全采集的国产平台MES系统数据；
针对国产平台MES系统数据不在同类型安全数据范围内的情况，则确定的安全验证结果为该国产平台MES系统数据存在异常行为，不为安全采集的国产平台MES系统数据。
5.根据权利要求4所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：针对该国产平台MES系统数据存在异常行为的情况，执行以下操作：
获取存在异常行为的国产平台MES系统数据；
基于数据挖掘技术，且采用关联分析及相关分析方法，深度解剖分析国产平台MES系统数据，确定出国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，确定出基于国产平台MES系统数据异常原因的数据修正策略，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
6.根据权利要求5所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：基于国产平台MES系统数据异常原因，确定数据修正策略，执行以下操作：
获取国产平台MES系统数据异常原因；
基于国产平台MES系统数据异常原因，从存储的多种数据修正策略中逐一索引出数据修正策略，且对数据修正策略进行对比分析；
针对索引到的数据修正策略与国产平台MES系统数据异常原因相对应的情况，则该索引到的数据修正策略用于修正国产平台MES系统数据异常原因，且将该数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护；
针对索引到的数据修正策略与国产平台MES系统数据异常原因不相对应的情况，则顺序索引下一个数据修正策略，且对索引到的下一个数据修正策略进行对比分析，直到顺序索引的下一个数据修正策略与国产平台MES系统数据异常原因相对应，则将该顺序索引的下一个数据修正策略调取出来，按照数据修正策略对存在异常行为的国产平台MES系统数据进行修正保护。
7.根据权利要求6所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：所述S2中，对获取的国产平台MES系统数据进行预处理，执行以下操作：
获取实时采集的国产平台MES系统数据；
将获取的国产平台MES系统数据转换为国产平台MES系统能够接收的形式，且对国产平台MES系统进行网络隔离保护；
获取转换后能够被国产平台MES系统接收的国产平台MES系统数据；
基于顺序检索方法，对国产平台MES系统数据进行检索；
过滤掉对国产平台MES系统无价值的国产平台MES系统数据，保留下对国产平台MES系统有价值的国产平台MES系统数据。
8.根据权利要求7所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：所述S2中，对获取的国产平台MES系统数据进行预处理，还执行以下操作：
获取保留下的对国产平台MES系统有价值的国产平台MES系统数据；
按照互斥性原则，对保留下的对国产平台MES系统有价值的国产平台MES系统数据进行有效地分组，使每组内的国产平台MES系统数据互不相容且互为排斥，确定出具有分布特征的基于国产平台MES系统数据的分组数据；
获取基于国产平台MES系统数据的分组数据，且对基于国产平台MES系统数据的分组数据进行排序，基于内部排序方法，使每组的基于国产平台MES系统数据的分组数据具有排列趋势的国产平台MES系统数据；
获取具有排列趋势的国产平台MES系统数据，且对国产平台MES系统数据进行计算；
按照算术及逻辑运算，对国产平台MES系统数据进行计算，确定出不同类型的国产平台MES系统表征数据。
9.根据权利要求1所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：对于实时采集的数据基于缓存处理技术进行快速读取和处理，将数据存储在多个级别的缓存中，根据数据的使用频率、访问模式来调配不同级别的缓存空间,建立多层缓存架构的步骤包括：
S11，根据对以往的实时采集的数据进行分析，对所述实时采集的数据进行预测，确定访问模式，包括数据的读取和写入操作，并预估数据的使用频率；
S12，根据所述访问模式和预估的使用频率，确定选择合适的缓存容量；
S13，从LRU、FIFO和随机替换算法中，选择合适的缓存算法；
S14，根据缓存算法和缓存容量构建具有多个层次缓存的多层缓存架构，其中，较低层的缓存访问速度更快但容量较小，较高层的缓存访问速度较慢但容量更大；缓存的层次的基本单位为所述实时采集的数据的访问模式的种类和数据的使用频率的分组的最小公倍数；
S15，配置完成后，通过运行性能测试来验证所述多层缓存架构是否满足要求，通过检查缓存命中率、缓存替换频率和被缓存文件的到达率，评估所述多层缓存架构的使用性能；
在评估得到所述多层缓存架构的使用性能不能满足预设要求时，调整步骤S12-S14的选择，优化所述多层缓存架构。
10.根据权利要求9所述的一种国产平台MES系统中数据安全采集与处理方法，其特征在于：优化所述多层缓存架构中，通过以下公式计算被缓存文件的到达率E：
其中，E为被缓存文件的到达率，所述多层缓存架构，包括一个云节点，J个簇，第j个簇中有Nj个接入点，其中j为小于等于J的正整数，为对第g个被缓存的文件的请求到接入点和簇头j的到达率，/>为簇头j的用户对第g个被缓存的文件的请求的到达率；/>为第g个被缓存的文件在接入点处的归一化度，λjk为针对第g个被缓存的文件的文件请求达到接入点的平均到达率；/>为第g个被缓存的文件在接入点处的流行度；其中g为小于等于G的正整数，G为被缓存的文件的总数，/>为簇头j的用户申请第g个被缓存的文件的流行度；为簇头j的用户对第g个被缓存的文件的的请求的到达率，αj为簇头j的用户发送的文件请求的平均到达率；
当计算得到的所述多层缓存架构的被缓存文件的到达率E低于预设阀值时，调整步骤S12-S14的选择，建立新的多层缓存架构，并针对新的多层缓存架构重新计算被缓存文件的到达率E，直至符合要求。
CN202310578569.5A 2023-05-22 2023-05-22 一种国产平台mes系统中数据安全采集与处理方法 Active CN116680751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310578569.5A CN116680751B (zh) 2023-05-22 2023-05-22 一种国产平台mes系统中数据安全采集与处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310578569.5A CN116680751B (zh) 2023-05-22 2023-05-22 一种国产平台mes系统中数据安全采集与处理方法

Publications (2)

Publication Number Publication Date
CN116680751A CN116680751A (zh) 2023-09-01
CN116680751B true CN116680751B (zh) 2023-11-21

Family

ID=87777929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310578569.5A Active CN116680751B (zh) 2023-05-22 2023-05-22 一种国产平台mes系统中数据安全采集与处理方法

Country Status (1)

Country Link
CN (1) CN116680751B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925279A (zh) * 2021-01-30 2021-06-08 重庆简华科技有限公司 一种基于mes系统的故障综合分析系统
CN114840588A (zh) * 2022-04-12 2022-08-02 中国铁道科学研究院集团有限公司 铁路机务数据集成管理方法、系统、设备及介质
EP4174596A1 (en) * 2021-10-29 2023-05-03 Siemens Aktiengesellschaft System and method for collecting mes information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925279A (zh) * 2021-01-30 2021-06-08 重庆简华科技有限公司 一种基于mes系统的故障综合分析系统
EP4174596A1 (en) * 2021-10-29 2023-05-03 Siemens Aktiengesellschaft System and method for collecting mes information
CN114840588A (zh) * 2022-04-12 2022-08-02 中国铁道科学研究院集团有限公司 铁路机务数据集成管理方法、系统、设备及介质

Also Published As

Publication number Publication date
CN116680751A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN112365066B (zh) 电梯故障预测方法、系统、装置、计算机设备和存储介质
CN108415789B (zh) 面向大规模混合异构存储系统的节点故障预测系统及方法
CN106095639A (zh) 一种集群亚健康预警方法及系统
CN110417611A (zh) 基于i/o模式的存储系统延迟评估
CN111259947A (zh) 一种基于多模态学习的电力系统故障预警方法和系统
CN108429649B (zh) 基于多次单类型采集结果的综合异常判断的系统
CN115865649B (zh) 一种智能运维管理控制方法、系统和存储介质
CN106708738A (zh) 一种软件测试缺陷预测方法及系统
CN107832333A (zh) 基于分布式处理和dpi数据构建用户网络数据指纹的方法和系统
CN116070249B (zh) 资产数据智能监控管理系统及方法
CN110175100B (zh) 一种存储盘故障预测方法及预测系统
CN111583442B (zh) 终端策略配置方法、装置、计算机设备和存储介质
CN115719283A (zh) 一种智能化会计管理系统
CN113326177A (zh) 一种指标异常检测方法、装置、设备及存储介质
CN114880312A (zh) 一种可柔性设置的应用系统业务数据稽核方法
CN116680751B (zh) 一种国产平台mes系统中数据安全采集与处理方法
CN116091175B (zh) 一种基于大数据的交易信息数据管理系统及方法
CN117370058A (zh) 一种业务处理方法、装置、电子设备及计算机可读介质
CN110197289B (zh) 一种基于大数据的节能设备管理系统
CN117113135A (zh) 一种可对异常数据整理分类的碳排放异常监测分析系统
CN116450734A (zh) 一种产业园区开发建设数字孪生数据分布式存储方法
CN115204250A (zh) 一种用于智能电能表的非介入式负荷监测方法
CN115460061A (zh) 基于智能运维场景的健康度评价方法及装置
CN117829435B (zh) 一种基于大数据的城市数据质量管理方法及系统
CN118152378B (zh) 一种智能化数据中台的建设方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant