CN115237852A - 基于mes系统的数据归档和还原的方法、系统、介质及装置 - Google Patents

基于mes系统的数据归档和还原的方法、系统、介质及装置 Download PDF

Info

Publication number
CN115237852A
CN115237852A CN202210898141.4A CN202210898141A CN115237852A CN 115237852 A CN115237852 A CN 115237852A CN 202210898141 A CN202210898141 A CN 202210898141A CN 115237852 A CN115237852 A CN 115237852A
Authority
CN
China
Prior art keywords
data
archiving
filing
business
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210898141.4A
Other languages
English (en)
Inventor
张成康
祝义辉
胡惠生
李根柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sie Consulting Co ltd
Original Assignee
Sie Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sie Consulting Co ltd filed Critical Sie Consulting Co ltd
Priority to CN202210898141.4A priority Critical patent/CN115237852A/zh
Publication of CN115237852A publication Critical patent/CN115237852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于生产管理内数据管理技术领域，提供了一种基于MES系统的数据归档和还原的方法、系统、介质及装置，所述方法包括：(1)建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；(2)数据分类：将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；(3)建立数据库服务器配置：连接到源库，建立源库‑目标库关系；(4)建立归档规则和还原规则；(5)数据归档：建立归档任务，关联不同的归档规则表，执行归档；(6)数据还原：建立还原任务，选择业务数据的还原规则数据表，执行数据还原。

Description

基于MES系统的数据归档和还原的方法、系统、介质及装置
技术领域
本发明属于生产管理内数据管理技术领域，具体的说，是涉及一种基于MES系统的数据归档和还原的方法、系统、介质及装置。
背景技术
生产制造执行追溯系统(MES)是一套面向制造企业车间执行层的生产信息化管理系统，为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理等。目前，生成过程中的业务数据主要存储在线数据库(WIP)里，随着业务的开展，每天产生的业务数据常年累月的堆积在在线数据库(WIP)里，导致WIP库体积越来越大，当达到一定的量级后不可避免的会影响MES系统的性能。然而，现有技术中，MES系统并没有专门的业务数据归档系统，其归档主要采用的是常规的数据归档方式，本申请发明人在现有MES系统实际的数据归档应用中，发现如下问题：(1)无法理清MES系统业务数据的脉络，归档数据混乱，无法适应MES系统的数据特点；(2)数据归档逻辑规则不清晰，若数据归档处理错误，则无法可逆的进行数据还原，导致MES系统WIP库的业务数据易出现丢失或不匹配、在制工单找不到相关业务数据等严重的生产事故。
发明内容
本发明的目的在于提供一种基于MES系统的数据归档和还原的方法，以解决现有技术所存在的技术问题。
为了实现上述目的，本发明采取的技术方案如下：
一种基于MES系统的数据归档和还原的方法，包括：
(1)建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；
(2)数据分类：将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；
(3)建立数据库服务器配置：连接到源库，建立源库-目标库关系；
(4)建立归档规则和还原规则：(41)建立归档规则，并通过excel方式导入归档表，构成归档规则表：基础数据的归档规则表和业务数据的归档规则表；(42)关联业务数据的归档规则表，构成业务数据的还原规则数据表；
(5)数据归档：建立归档任务，关联不同的归档规则表，执行如下归档：(51)基础数据归档：选择基础数据的归档规则表，对基础数据采用整体复制迁移，由源库归档至目标库；(52)业务数据归档：选择业务数据的归档规则表，对业务数据采用业务日期或业务单据关联进行分割迁移，由源库归档至目标库；
(6)数据还原：建立还原任务，选择业务数据的还原规则数据表，执行数据还原：(61)根据业务工单或业务载体关联关系，还原业务数据；(62)根据归档日期找到相关业务数据，还原业务数据。
可选的，所述配置库用于存储配置信息、归档任务信息存储、逻辑算法、存储过程、归档中间表、恢复中间表；所述目标库用于存储历史归档数据。
可选的，所述缓增长数据是随着业务时间积累数据增长低于N的数据，其中，N为设定值。
可选的，所述源库包括在MES系统的在线数据库和离线数据库。
可选的，所述归档规则表包括：父级表A、父级表A的子表B、子表B的子表C；
所述归档规则表内容包括：归档表的表名、归档表主键列、归档表与父表关联的字段名、归档表的父表、父表与归档表关联字段名、归档表行数、表层级、归档分组。
可选的，所述(51)的具体步骤如下：
(511)选择基础数据的归档规则表；
(512)设定基础数据归档的执行周期；
(513)当进入执行周期或手动点击归档时，启动基础数据归档；
(514)判断离线数据库与在线数据库的数据表结构是否一致，若是，则执行下一步，若否，则修改目标库的数据表结构，使其与在线数据库一致；
(515)删除目标库的数据表下所有数据，复制在线数据库的数据表下所有数据，并将其插入至目标库，完成基础数据的归档。
可选的，所述(52)的具体步骤如下：
(521)选择业务数据的归档规则表；
(522)设定业务数据归档的归档条件；
(523)设定业务数据归档的执行周期；
(524)当进入执行周期或手动点击归档时，启动业务数据归档；
(525)检查归档的业务数据，检查通过，执行步骤(527)，检查不通过，执行步骤(526)；
(526)生成异常信息，并将异常信息记录到异常日志表中，并通过异常预警方式进行异常提醒；
(527)将业务数据存储至配置库的归档中间表中；
(528)根据归档中间表数据导出数据；
(529)判断数据导出是否成功，若是，则执行步骤(531)，若否，则执行步骤(530)；
(530)生成异常信息，并将异常信息记录到异常日志表中；
(531)复制数据文档，并将复制的数据文档导入至目标库；
(532)判断导入是否成功，若是，则执行步骤(534)，若否，则执行步骤(533)；
(533)生成异常信息，并将异常信息记录到异常日志表中；
(534)将归档信息记录到归档日志表；
(535)在线数据库删除已归档的业务数据。
可选的，所述(61)的具体步骤如下：
(611)选择还原规则数据表；
(612)根据归档信息确定待还原数据归档的目标库；
(613)输入业务工单或载体条码；
(614)筛选与工单数据或载体条码数据相关联的所有表，获取筛选数据；
(615)将筛选数据存储至配置库的恢复中间表中；
(616)将恢复中间表的数据导出至在线数据库，完成还原；
(617)删除所述步骤(612)归档的目标库中已还原的数据。
可选的，所述(62)的具体步骤如下：
(621)选择还原规则数据表；
(622)根据归档信息确定待还原数据归档的目标库；
(623)选择需要还原的规定数据的日期段的日期；
(624)根据条件筛选需要还原的数据，获取筛选数据；
(625)将筛选数据存储至配置库的恢复中间表中；
(626)将恢复中间表的数据导出至在线数据库，完成还原；
(627)删除所述步骤(622)归档的目标库中已还原的数据。
为实现上述目的，本发明还提供了一种基于MES系统的数据归档和还原的系统，包括：
数据库模块：用于建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；
数据分类模块：用于将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；
数据库服务器配置模块：用于建立数据库服务器配置，连接到源库，建立源库-目标库关系；
归档规则和还原规则模块：用于建立归档规则和还原规则：建立归档规则，并通过excel方式导入归档表，构成归档规则表：基础数据的归档规则表和业务数据的归档规则表；关联业务数据的归档规则表，构成业务数据的还原规则数据表；
数据归档模块：用于建立归档任务，关联不同的归档规则表，执行如下归档：基础数据归档：选择基础数据的归档规则表，对基础数据采用整体复制迁移，由源库归档至目标库；业务数据归档：选择业务数据的归档规则表，对业务数据采用业务日期或业务单据关联进行分割迁移，由源库归档至目标库；
数据还原模块：用于建立还原任务，选择业务数据的还原规则数据表，执行数据还原：根据业务工单或业务载体关联关系，还原业务数据；根据归档日期找到相关业务数据，还原业务数据。
为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现如上所述的基于MES系统的数据归档和还原的方法。
为实现上述目的，本发明还提供了一种基于MES系统的数据归档和还原的装置，包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于MES系统的数据归档和还原的装置执行如上所述的基于MES系统的数据归档和还原的方法。
与现有技术相比，本发明具备以下有益效果：
(1)本发明针对MES系统数据的特点，将数据划分为基础数据和业务数据，并对基础数据和业务数据执行差异化的归档操作，不仅归档数据清晰易查，而且可实现定时、实时、大数据量的数据归档和还原，归档所有过程均实现数据校验，防止错漏数据，并实现高效数据归档迁移和还原。
(2)本发明建立归档规则和还原规则，结合同类型数据库、数据划分和数据归档等设计，实现了数据归档逻辑规则清晰，若数据归档处理错误，数据可逆向还原，有效地解决了现有技术中业务数据易出现丢失或不匹配、在制工单找不到相关业务数据等严重的生产事故的问题。
附图说明
图1为本发明-实施例1所公开方法的流程示意图。
图2为本发明-实施例1中基础数据归档的流程示意图。
图3为本发明-实施例1中业务数据归档的流程示意图。
图4为本发明-实施例1中数据还原的流程示意图一。
图5为本发明-实施例1中数据还原的流程示意图二。
图6为本发明-实施例2所公开系统的原理框图。
图7为为本发明-实施例1中归档规则表的结构图。
图8为本发明-实施例4所公开装置的结构示意图。
图9为本发明-实施例1中所列举的截取的基础数据归档规则表。
具体实施方式
为了使得本领域技术人员对本发明有更清晰的认知和了解，以下结合实施例对本发明进行进一步的详细说明。应当知晓的，下述所描述的具体实施例只是用于解释本发明，方便理解，本发明所提供的技术方案并不局限于下述实施例所提供的技术方案，实施例所提供的技术方案也不应当限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例1
如图1～5所示，本实施例提供了一种基于MES系统的数据归档和还原的方法，该方法旨在解决目前MES系统WIP库中数据归档所存在的技术问题，与常规数据归档不同的是，本方法首先需要建立同类型数据库：配置库和目标库，其中，配置库用于存储配置信息、归档任务信息存储、逻辑算法、存储过程、归档中间表、恢复中间表；目标库用于存储历史归档数据，通过配置库中存储过程生成的动态数据连接，链接源库的数据表和归档库的数据表，基于配置库和目标库的建立，数据归档和数据还原动作中，数据均首先复制至归档中间表或恢复中间表，然后再通过归档中间表或恢复中间表导出。
数据归档的本质是分割历史数据到载体(目标库)，但因为MES系统数据特性，例如系统配置信息这类基础数据在整个业务系统生命周期中都需要使用，若将MES系统WIP库的数据全部统一进行数据归档，必然无法适应，因此，本方法根据MES系统的数据特点，将MES系统的业务数据进行分类，具体分类如下：将数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据，例如生产制造系统中工单业务表相关的数据；其中，缓增长数据是随着业务时间积累数据增长低于N的数据，其中，N为设定值，本领域技术人员可以根据实际的MES系统运行情况结合业务情况，设定缓增长数据的增长值低于某个值，则将其划分为基础数据，该方案可以优化数据归档，减轻数据归档的数据压力。
为实现数据归档和还原，本实施例建立数据库服务器配置，连接到各种关系型数据库(例如：Oracle、SQL Server等)，并设置组队，建立源库-目标库关系，优选的，可以设置任意多队关系；其中，源库包括在MES系统的在线数据库和离线数据库。
为实现数据归档和还原，本实施例建立归档规则和还原规则，优选的，归档规则和还原规则采用相同的规则，以便于后续的数据还原；针对归档规则，建立归档规则，设置服务器组队，并通过excel方式导入归档表，构成归档规则表，其中，excel内容为归档的数据表名称、关联关系、配置参数，以归档规则表所呈现的归档规则予以执行归档；针对还原规则，关联业务数据的归档规则表，构成业务数据的还原规则数据表。本实施例中，归档规则表包括：父级表A、父级表A的子表B、子表B的子表C；归档规则由以下列组成：ArchiveTable需归档的表名、KeyField1～KeyField4归档表主键列、MappingField归档表与父表关联的字段名、ParentTable归档表的父表、PMappingField父表与归档表关联字段名、MapIn暂时未使用(保留)、NumRows归档表行数、Level表层级、Grp归档分组。如图7所示为归档规则表的结构，图中A是最上层的父级表，B是A的子表，字段BAID关联父表A的字段AID，C是B的子表,字段CBID关联父表B的字段BID。
基于上述设置，本实施例中，数据归档的执行从启动角度出发，包括自动归档和手动归档，从数据归档类型出发，包括基础数据归档和业务数据归档，下述对基础数据归档和业务数据归档进行分别说明：
基础数据归档：首先，选择基础数据的归档规则表，根据目前系统所有表，确认基础数据表，选择归档规则，确定基础数据同步范围，如图9所示为实际案例中截取的部分基础数据归档规则；然后，设定基础数据归档的执行周期，设置周期后可以自动进行数据归档；当进入执行周期或手动点击归档时，启动基础数据归档；启动基础数据归档后，首先判断，离线数据库与在线数据库的数据表结构是否一致，若是，则予以执行数据归档，若否，则修改目标库的数据表结构，使其与在线数据库一致，然后再执行数据归档；在具体执行数据归档时，删除目标库的数据表下所有数据，复制在线数据库的数据表下所有数据，并将其插入至目标库，由此完成基础数据的归档。
业务数据归档：首先，选择基础数据的归档规则表，根据目前系统所有表，确认基础数据表，选择归档规则，确定基础数据同步范围，优选的，可提供图形界面配置归档时执行的归档规则，执行数据归档时，工作人员在图像界面进行选择相应的归档规则即可；确定好数据归档规则后，予以设置业务数据归档的归档条件和业务数据归档的执行周期(用于自动归档)；当进入执行周期或手动点击归档时，启动业务数据归档；启动业务数据归档后，首先对归档的业务数据进行检查，检查的具体内容如下：通过归档规则中父表和子表之间字段关联关系，从上往下检查表、字段定义，筛选前后记录每个归档表需归档的数据量，核实归档数量是否一致，若检查不通过，则生成异常信息并将异常信息记录到异常日志表中，并通过异常预警方式进行异常提醒，若检查通过，则将业务数据存储至配置库的归档中间表中，具体的，按照归档条件筛选出的数据，按照表名、主键存储到归档配置库归档中间表中；然后，执行如下程序：生成Expdp Shell脚本根据归档规则和归档条件，生成归档Expdp的Shell脚本；执行Expdp Shell脚本，将Shell脚本通过SFTP传输到数据库服务器下。通过客户端执行Shell脚本；然后，根据归档中间表数据导出数据：Expdp Shell脚本中导出数据的条件为已导入到中间表数据主键，在WIP库中根据主键条件进行数据导出到dmp文件中；数据导出动作后，需要判断数据导出是否成功，具体如下：根据前面步骤记录的归档量，在导出日志中比对导出量是否与前面步骤中记录的归档数量一致，不一致则判定失败，若导出失败，则生成异常信息，并将异常信息记录到异常日志表中；数据到处成功后，复制业务数据文档，并将复制的数据文档导入至目标库，具体的：使用scp Shell命令执行Lunix远程copy，将在线库中导出的归档数据文件(dmp文件)复制到离线库数据库服务器目录，然后，将dmp文件中的数据通过Impdp导入到相应的离线数据库中；完成上述动作后，需判断导入是否成功，具体如下：在导入日志中比对导入量是否与前面步骤中记录的归档数量一致，若不一致，则生成异常信息，并将异常信息记录到异常日志表中，若一致，则将归档信息记录到归档日志表，同时，在线数据库删除已归档的业务数据。通过上述设置，业务数据的归档所有过程均实现数据校验，防止错漏数据。
本实施例中，对业务数据还原的逻辑与归档的逻辑相似，首先，建立还原任务，选择业务数据的还原规则数据表(关联不同的还原规则)，然后再执行数据还原，本方法的数据还原主要采用两种方案：其一是根据业务工单或业务载体关联关系，还原业务数据，其二是根据归档日期找到相关业务数据，还原业务数据，二者不同的是还原条件不同，其他还原逻辑相同，具体如下：
根据业务工单或业务载体关联关系还原业务数据：首先，选择还原规则数据表；然后，根据归档信息确定待还原数据归档的目标库，执行数据还原时，输入业务工单或载体条码，然后，筛选与工单数据或载体条码数据相关联的所有表，获取筛选数据；其次，将筛选数据存储至配置库的中间恢复表中，具体的，按照表名、主键存储到配置库的中间恢复表中，再其次，执行数据恢复存储过程，将恢复中间表的数据导出至在线数据库，完成还原，最后，删除归档库中所有已恢复至在线线库的数据。
根据归档日期找到相关业务数据还原业务数据：其基本还原逻辑与上述一致，不同的是，执行数据还原时，其设定数据恢复条件为归档日期，例如：需要还原某一日的归档数据，则设置条件为该日即可。
针对数据归档和数据还原过程中的异常情况，可通过生成邮件方式，将异常信息按照邮件标准格式进行封装，通过邮件服务器，调用邮件接口，发送邮件至关联邮箱。此外，针对数据归档和数据还原流程提供报表数据查询，报表功能包含：归档历史查询报表、归档历史明细查询报表、数据恢复历史查询报表、数据恢复历史明细查询报表。
实施例2
如图6所示，本实施例提供了实现实施例1所述的基于MES系统的数据归档和还原的方法的系统，即基于MES系统的数据归档和还原的系统，该系统包括如下功能模块：
数据库模块：用于建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；
数据分类模块：用于将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；
数据库服务器配置模块：用于建立数据库服务器配置，连接到源库，建立源库-目标库关系；
归档规则和还原规则模块：用于建立归档规则和还原规则：建立归档规则，并通过excel方式导入归档表，构成归档规则表：基础数据的归档规则表和业务数据的归档规则表；关联业务数据的归档规则表，构成业务数据的还原规则数据表；
数据归档模块：用于建立归档任务，关联不同的归档规则表，执行如下归档：基础数据归档：选择基础数据的归档规则表，对基础数据采用整体复制迁移，由源库归档至目标库；业务数据归档：选择业务数据的归档规则表，对业务数据采用业务日期或业务单据关联进行分割迁移，由源库归档至目标库；
数据还原模块：用于建立还原任务，选择业务数据的还原规则数据表，执行数据还原：根据业务工单或业务载体关联关系，还原业务数据；根据归档日期找到相关业务数据，还原业务数据。
在进一步的优选方案中，本实施例还包括有异常通知模块：用于针对数据归档和数据还原过程中的异常情况，通过生成邮件方式，将异常信息按照邮件标准格式进行封装，通过邮件服务器，调用邮件接口，发送邮件至关联邮箱。数据查询模块：用于针对数据归档和数据还原流程提供报表数据查询，报表功能包含：归档历史查询报表、归档历史明细查询报表、数据恢复历史查询报表、数据恢复历史明细查询报表。
需要说明的是，上述各模块的结构和/或原理与实施例1所述的基于MES系统的数据归档和还原的方法中的内容一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开，且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，某模块可以为单独设立的处理元件，也可以集成在装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于装置的存储器中，由上述装置的某一个处理元件调用并执行某模块的功能，其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统的形式实现。
实施例3
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现实施例1所提供的基于MES系统的数据归档和还原的方法。本领域技术人员可以理解：实现实施例1所提供方法的全部或部分步骤可以通过计算机程序相关的硬件来完成，上述的计算机程序可以存储于一计算机可读存储介质中，该程序在执行时，执行包括实施例1所提供方法的步骤；而上述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
如图8所示，本实施例提供了一种基于MES系统的数据归档和还原的装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使得基于MES系统的数据归档和还原的装置执行实施例1所述的基于MES系统的数据归档和还原的方法。
具体地，存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地，处理器可以是通用处理器，包括中央处理器、网络处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所述即为本发明的优选实施方案。应当说明的是，本领域技术人员，在不脱离本发明的设计原理及技术方案的前提下，还可以作出若干的改进，而这些改进也应当视为本发明的保护范围。

Claims (12)

1.一种基于MES系统的数据归档和还原的方法，其特征在于，包括：
(1)建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；
(2)数据分类：将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；
(3)建立数据库服务器配置：连接到源库，建立源库-目标库关系；
(4)建立归档规则和还原规则：(41)建立归档规则，并通过excel方式导入归档表，构成归档规则表：基础数据的归档规则表和业务数据的归档规则表；(42)关联业务数据的归档规则表，构成业务数据的还原规则数据表；
(5)数据归档：建立归档任务，关联不同的归档规则表，执行如下归档：(51)基础数据归档：选择基础数据的归档规则表，对基础数据采用整体复制迁移，由源库归档至目标库；(52)业务数据归档：选择业务数据的归档规则表，对业务数据采用业务日期或业务单据关联进行分割迁移，由源库归档至目标库；
(6)数据还原：建立还原任务，选择业务数据的还原规则数据表，执行数据还原：(61)根据业务工单或业务载体关联关系，还原业务数据；(62)根据归档日期找到相关业务数据，还原业务数据。
2.根据权利要求1所述的基于MES系统的数据归档和还原的方法，其特征在于：所述配置库用于存储配置信息、归档任务信息存储、逻辑算法、存储过程、归档中间表、恢复中间表；所述目标库用于存储历史归档数据。
3.根据权利要求2所述的基于MES系统的数据归档和还原的方法，其特征在于：所述缓增长数据是随着业务时间积累数据增长低于N的数据，其中，N为设定值。
4.根据权利要求3所述的基于MES系统的数据归档和还原的方法，其特征在于：所述源库包括在MES系统的在线数据库和离线数据库。
5.根据权利要求4所述的基于MES系统的数据归档和还原的方法，其特征在于：所述归档规则表包括：父级表A、父级表A的子表B、子表B的子表C；
所述归档规则表内容包括：归档表的表名、归档表主键列、归档表与父表关联的字段名、归档表的父表、父表与归档表关联字段名、归档表行数、表层级、归档分组。
6.根据权利要求5所述的基于MES系统的数据归档和还原的方法，其特征在于：所述(51)的具体步骤如下：
(511)选择基础数据的归档规则表；
(512)设定基础数据归档的执行周期；
(513)当进入执行周期或手动点击归档时，启动基础数据归档；
(514)判断离线数据库与在线数据库的数据表结构是否一致，若是，则执行下一步，若否，则修改目标库的数据表结构，使其与在线数据库一致；
(515)删除目标库的数据表下所有数据，复制在线数据库的数据表下所有数据，并将其插入至目标库，完成基础数据的归档。
7.根据权利要求5所述的基于MES系统的数据归档和还原的方法，其特征在于：所述(52)的具体步骤如下：
(521)选择业务数据的归档规则表；
(522)设定业务数据归档的归档条件；
(523)设定业务数据归档的执行周期；
(524)当进入执行周期或手动点击归档时，启动业务数据归档；
(525)检查归档的业务数据，检查通过，执行步骤(527)，检查不通过，执行步骤(526)；
(526)生成异常信息，并将异常信息记录到异常日志表中，并通过异常预警方式进行异常提醒；
(527)将业务数据存储至配置库的归档中间表中；
(528)根据归档中间表数据导出数据；
(529)判断数据导出是否成功，若是，则执行步骤(531)，若否，则执行步骤(530)；
(530)生成异常信息，并将异常信息记录到异常日志表中；
(531)复制数据文档，并将复制的数据文档导入至目标库；
(532)判断导入是否成功，若是，则执行步骤(534)，若否，则执行步骤(533)；
(533)生成异常信息，并将异常信息记录到异常日志表中；
(534)将归档信息记录到归档日志表；
(535)在线数据库删除已归档的业务数据。
8.根据权利要求7所述的基于MES系统的数据归档和还原的方法，其特征在于，所述(61)的具体步骤如下：
(611)选择还原规则数据表；
(612)根据归档信息确定待还原数据归档的目标库；
(613)输入业务工单或载体条码；
(614)筛选与工单数据或载体条码数据相关联的所有表，获取筛选数据；
(615)将筛选数据存储至配置库的恢复中间表中；
(616)将恢复中间表的数据导出至在线数据库，完成还原；
(617)删除所述步骤(612)归档的目标库中已还原的数据。
9.根据权利要求7所述的基于MES系统的数据归档和还原的方法，其特征在于，所述(62)的具体步骤如下：
(621)选择还原规则数据表；
(622)根据归档信息确定待还原数据归档的目标库；
(623)选择需要还原的规定数据的日期段的日期；
(624)根据条件筛选需要还原的数据，获取筛选数据；
(625)将筛选数据存储至配置库的恢复中间表中；
(626)将恢复中间表的数据导出至在线数据库，完成还原；
(627)删除所述步骤(622)归档的目标库中已还原的数据。
10.基于MES系统的数据归档和还原的系统，其特征在于，包括：
数据库模块：用于建立同类型数据库：配置库和目标库，通过配置库链接源库的数据表和目标库的数据表；
数据分类模块：用于将待归档数据分为基础数据和业务数据，其中，基础数据包括基础信息、业务配置和缓增长数据，业务数据包括系统日志、业务过程数据和报表数据；
数据库服务器配置模块：用于建立数据库服务器配置，连接到源库，建立源库-目标库关系；
归档规则和还原规则模块：用于建立归档规则和还原规则：建立归档规则，并通过excel方式导入归档表，构成归档规则表：基础数据的归档规则表和业务数据的归档规则表；关联业务数据的归档规则表，构成业务数据的还原规则数据表；
数据归档模块：用于建立归档任务，关联不同的归档规则表，执行如下归档：基础数据归档：选择基础数据的归档规则表，对基础数据采用整体复制迁移，由源库归档至目标库；业务数据归档：选择业务数据的归档规则表，对业务数据采用业务日期或业务单据关联进行分割迁移，由源库归档至目标库；
数据还原模块：用于建立还原任务，选择业务数据的还原规则数据表，执行数据还原：根据业务工单或业务载体关联关系，还原业务数据；根据归档日期找到相关业务数据，还原业务数据。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至9中任一项所述的基于MES系统的数据归档和还原的方法。
12.一种基于MES系统的数据归档和还原的装置，其特征在于，包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于MES系统的数据归档和还原的装置执行权利要求1至9中任一项所述的基于MES系统的数据归档和还原的方法。
CN202210898141.4A 2022-07-28 2022-07-28 基于mes系统的数据归档和还原的方法、系统、介质及装置 Pending CN115237852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210898141.4A CN115237852A (zh) 2022-07-28 2022-07-28 基于mes系统的数据归档和还原的方法、系统、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210898141.4A CN115237852A (zh) 2022-07-28 2022-07-28 基于mes系统的数据归档和还原的方法、系统、介质及装置

Publications (1)

Publication Number Publication Date
CN115237852A true CN115237852A (zh) 2022-10-25

Family

ID=83677324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898141.4A Pending CN115237852A (zh) 2022-07-28 2022-07-28 基于mes系统的数据归档和还原的方法、系统、介质及装置

Country Status (1)

Country Link
CN (1) CN115237852A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994056A (zh) * 2023-03-24 2023-04-21 无锡芯享信息科技有限公司 一种关系型数据库归档与恢复方法及系统
CN116204534A (zh) * 2023-05-06 2023-06-02 深圳市华磊迅拓科技有限公司 数据归档方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994056A (zh) * 2023-03-24 2023-04-21 无锡芯享信息科技有限公司 一种关系型数据库归档与恢复方法及系统
CN116204534A (zh) * 2023-05-06 2023-06-02 深圳市华磊迅拓科技有限公司 数据归档方法、装置、设备及存储介质
CN116204534B (zh) * 2023-05-06 2023-07-07 深圳市华磊迅拓科技有限公司 数据归档方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115237852A (zh) 基于mes系统的数据归档和还原的方法、系统、介质及装置
CN108491422B (zh) 数据库自动化运维管理方法、服务器及存储介质
CN112395325A (zh) 一种数据治理方法、系统、终端设备及存储介质
CN108804253B (zh) 一种用于海量数据备份的并行作业备份方法
CN110825420A (zh) 分布式集群的配置参数更新方法、装置、设备及存储介质
US10366129B2 (en) Data security threat control monitoring system
CN112579613B (zh) 数据库集群差异比对与数据同步的方法、系统及介质
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
CN110088744A (zh) 一种数据库维护方法及其系统
CN110019138A (zh) 一种基于Zabbix的传输表空间自动迁移方法和系统
CN104036034A (zh) 用于数据仓库的日志分析方法和装置
CN116719799A (zh) 环保数据治理方法、装置、计算机设备和存储介质
CN111181775B (zh) 基于自动发现主机资产的一体化运维管理告警方法
CN116756129A (zh) 数据补录方法、装置、存储介质及电子设备
CN114661693A (zh) 数据审计的实现方法、存储介质、电子设备及系统
CN114817171A (zh) 一种埋点数据质量治理方法
CN104699811A (zh) 一种无侵入式表单数据变化记录和回溯的方法及装置
CN114780525A (zh) 一种面向教育领域全生命周期的数据治理平台
CN114610803A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN114169887A (zh) 一种基于分布式数据节点的对账系统
CN112256978A (zh) 一种基于数据模型的数据处理方法、装置、介质
CN114442947B (zh) 跨域桶删除方法、系统、终端及存储介质
CN118410106B (zh) 一种基于时间线映射的跨数据源实时同步方法
CN114218200A (zh) 一种数据库变更审核管理方法及相关设备
US20220253546A1 (en) System and method for representing and verifying a data set using a tree-based data structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination