CN104915362A - 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案 - Google Patents

一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案 Download PDF

Info

Publication number
CN104915362A
CN104915362A CN201410345716.5A CN201410345716A CN104915362A CN 104915362 A CN104915362 A CN 104915362A CN 201410345716 A CN201410345716 A CN 201410345716A CN 104915362 A CN104915362 A CN 104915362A
Authority
CN
China
Prior art keywords
data
centralized management
migration
random
erp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410345716.5A
Other languages
English (en)
Inventor
钟童庆
刘炼
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
State Grid Corp of China SGCC
Original Assignee
HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd, State Grid Corp of China SGCC filed Critical HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
Priority to CN201410345716.5A priority Critical patent/CN104915362A/zh
Publication of CN104915362A publication Critical patent/CN104915362A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于集成化管理信息系统领域，涉及一种基于时间片、增量分析及随机打乱技术的快速智能化企业资源计划(Enterprise Resource Planning简称ERP)系统数据迁移方法。该方法中的集中管控系统根据定制的策略，命令发送系统进行数据抽取；发送系统将抽取出来的数据写入特定的表中，并将数据表压缩；集中管控系统再将压缩后的数据表传输至接收系统中，同时命令接收系统解压；接收系统根据集中管控系统的命令，将数据解压，并依照策略将数据写入相应的表中，完成数据迁移；最后集中管控系统命令发送系统删除之前产生的数据表，并释放空间。

Description

一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方案
技术领域
本发明属于集成化管理信息系统领域，涉及一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，该方法通过在ERP系统迁移的发送系统和接收系统上部署发送程序、接收程序以及集中管控程序可实现灵活、快捷以及低资源消耗的数据迁移方式。 
背景技术
目前市面上的企业资源计划(Enterprise Resource Planning简称ERP)系统常用的数据迁移功能为系统拷贝方式，该功能通过创建生产系统的完整拷贝即拷贝所有系统配置、主数据、业务数据的方式来更新测试系统。这种方法不仅需要测试系统配置与生产系统相同的硬件资源，而且复制的数据远比测试所需的数据数量多，因此效率低、开销大。因此，本发明提出了一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，该方法通过在ERP系统迁移的发送系统和接收系统上部署发送程序、接收程序以及集中管控程序可实现灵活、快捷以及低资源消耗的数据迁移方式。 
发明内容
本发明的目的在于克服现有技术的上述不足，本发明要解决在办公过程中 由于采用移动存储介质进行文件传输而造成的信息泄密问题。 
本发明解决其技术问题所采用的技术方案是：提供一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，其特征在于，该方法使用时需要三个系统，分别是发送系统、接收系统和集中管控系统；其中，发送系统一般是承载生产数据的ERP生产系统，包括发送者字典、发送者仓库和发送者数据库；接收系统一般为想迁移出来的测试系统或开发系统，包括接收者字典、接收者仓库和接收者数据库；集中管控系统起数据抽取和迁移控制作用，包括代码生成器和数据转换两个模块；三个系统均需要安装基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移程序模块，并通过远程函数调用(Remote Function Call简称RFC)接口相连。 
所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，所述的集中管控系统根据定制的策略命令发送系统进行数据抽取，其中定制的策略是指选定由发送系统到接收系统的迁移方式，即是采用完整迁移还是采用部分迁移；发送系统将抽取出来的数据写入特定的表中，并将数据表压缩；数据迁移传输时集中管控系统将压缩后的数据表通过单条数据复制数据对象传输至接收系统中，同时命令接收系统解压。 
所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，所述的数据抽取方法是指由发送系统根据集中管控系统读取的用户定义条件，按条件读取数据库表，并把数据库表所对应的数据对象信息复制到新的数据对象中，再向新的数据对象插入筛选的数据并进行压缩，然后通知集中管控系统，后者将压缩文件通过两系统间建立的RFC来调用输入/输出接口，将文件传输至接收系统；初次配置之后，该数据抽取方法可以多次反复使用。 
所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，所述的接收系统根据集中管控系统的命令，将数据解压，同时依照定制的策略将数据写入相应的数据表中，完成数据迁移，再由集中管控系统命令发送系统删除之前产生的数据表，释放空间，至此整个数据迁移过程完成。 
本发明具有如下的有益效果： 
本发明提供一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，该方法可对时间片与数据表格进行个性化选择，减少传输的数据量，智能化地保证业务流程的一致性与数据的完整性；提供了敏感数据打乱与模糊化选项，有效提高信息安全性；具备财务衍生工具迁移功能，保证了个性化业务正常流转；采用该方法时，可保留接收系统数据的管理数据，如接口信息、用户帐号和权限信息等，且初始配置结果可重复使用，可按照个性化需求多次反复刷新接收系统数据；同时，结合ERP系统实际情况，提出针对性的数据迁移策略，并研发出敏感数据打造与模糊化机制，将数据量减少70％，极大的提高迁移效率、减少了硬件资源开销。 
附图说明
图1:为基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法架构图。 
图2：为集中管控系统数据抽取流程图。 
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。 
本发明所阐述的基于时间片、增量分析及随机打乱技术的快速智能化企业资源计划(Enterprise Resource Planning简称ERP)系统数据迁移方法使用时需要三个系统，分别是发送系统、接收系统和集中管控系统，其系统架构如图1所示。其中，发送系统一般是承载生产数据的ERP生产系统，包括发送者字典、发送者仓库和发送者数据库；接收系统一般为想迁移出来的测试系统或开发系统，包括接收者字典、接收者仓库和接收者数据库；集中管控系统通过用户定义的条件去判断发送系统符合条件的数据，而条件的定义很灵活，既可以通过时间片定义，也可以通过增量分析及随机打乱技术进行迁移，包括代码生成器和数据转换两个模块。三个系统使用时均需要安装基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移程序模块，并通过远程函数调用(Remote Function Call简称RFC)接口相连。 
在运行过程中，首先集中管控系统根据定制的策略命令发送系统进行数据抽取，其具体流程如图2所示。其中，定制的策略是指选定由发送系统到接收系统的迁移方式，即是采用完整迁移还是采用部分迁移；数据抽取方法是指由发送系统根据集中管控系统读取的用户定义条件，按条件读取数据库表，并把数据库表所对应的数据对象信息复制到新的数据对象中，再向新的数据对象插入筛选的数据并进行压缩，然后通知集中管控系统，后者将压缩文件通过两系统间建立的RFC来调用输入/输出接口，将文件传输至接收系统；初次配置之后，该数据抽取方法可以多次反复使用。 
发送系统将抽取出来的数据写入特定的表中，并将数据表压缩；集中管控 系统再将压缩后的数据表传输至接收系统中。由于传统的数据迁移只能整体迁移、按数据文件迁移或按备份结束时间进行迁移，而本发明所提出的方法中数据迁移传输时通过单条数据复制数据对象进行传输的，因此当进行增量分析迁移时，可以不像传统增量备份一样只能计算从当前时间至上次备份时间的增量数据，而是可以计算任意选择时间的增量数据。 
同时，接收系统根据集中管控系统的命令，将数据解压，同时依照定制的策略将数据写入相应的数据表中，完成数据迁移，再由集中管控系统命令发送系统删除之前产生的数据表，释放空间，至此整个数据迁移过程完成。 

Claims (4)

1.一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，其特征在于，该方法使用时需要三个系统，分别是发送系统、接收系统和集中管控系统；其中，发送系统一般是承载生产数据的ERP生产系统，包括发送者字典、发送者仓库和发送者数据库；接收系统一般为想迁移出来的测试系统或开发系统，包括接收者字典、接收者仓库和接收者数据库；集中管控系统起数据抽取和迁移控制作用，包括代码生成器和数据转换两个模块；三个系统均需要安装基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移程序模块，并通过远程函数调用(Remote Function Call简称RFC)接口相连。
2.根据权利要求1所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，其特征在于，所述的集中管控系统根据定制的策略命令发送系统进行数据抽取，其中定制的策略是指选定由发送系统到接收系统的迁移方式，即是采用完整迁移还是采用部分迁移；发送系统将抽取出来的数据写入特定的表中，并将数据表压缩；数据迁移传输时集中管控系统将压缩后的数据表通过单条数据复制数据对象传输至接收系统中，同时命令接收系统解压。
3.根据权利要求1所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，其特征在于，所述的数据抽取方法是指由发送系统根据集中管控系统读取的用户定义条件，按条件读取数据库表，并把数据库表所对应的数据对象信息复制到新的数据对象中，再向新的数据对象插入筛选的数据并进行压缩，然后通知集中管控系统，后者将压缩文件通过两系统间建立的RFC来调用输入/输出接口，将文件传输至接收系统；初次配置之后，该数据抽取方法可以多次反复使用。
4.根据权利要求1所述的一种基于时间片、增量分析及随机打乱技术的快速智能化ERP系统数据迁移方法，其特征在于，所述的接收系统根据集中管控系统的命令，将数据解压，同时依照定制的策略将数据写入相应的数据表中，完成数据迁移，再由集中管控系统命令发送系统删除之前产生的数据表，释放空间，至此整个数据迁移过程完成。
CN201410345716.5A 2014-07-19 2014-07-19 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案 Pending CN104915362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410345716.5A CN104915362A (zh) 2014-07-19 2014-07-19 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410345716.5A CN104915362A (zh) 2014-07-19 2014-07-19 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案

Publications (1)

Publication Number Publication Date
CN104915362A true CN104915362A (zh) 2015-09-16

Family

ID=54084430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410345716.5A Pending CN104915362A (zh) 2014-07-19 2014-07-19 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案

Country Status (1)

Country Link
CN (1) CN104915362A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126612A (zh) * 2016-06-22 2016-11-16 重庆秒银科技有限公司 一种大数据etl动态划分时间片的数据抽取方法
CN108959205A (zh) * 2018-06-27 2018-12-07 成都泰盟软件有限公司 一种erp系统导出数据快速迁移的方法
CN109690485A (zh) * 2018-08-24 2019-04-26 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1763745A (zh) * 2005-09-06 2006-04-26 阎海强 一种面向结构的数据迁移的方法及系统
CN101329709A (zh) * 2008-08-01 2008-12-24 北京航空航天大学 一种用于数据安全迁移的系统及方法
CN101364293A (zh) * 2008-09-24 2009-02-11 金蝶软件（中国）有限公司 一种erp系统中实现业务数据交换的方法、装置和系统
CN101394424A (zh) * 2008-10-27 2009-03-25 中国科学院计算技术研究所 一种磁盘级网络数据备份的系统及方法
US20130144911A1 (en) * 2011-12-06 2013-06-06 Canon Kabushiki Kaisha Data migration apparatus for mitigating data between document management systems
CN103914526A (zh) * 2014-03-27 2014-07-09 神华集团有限责任公司 一种用于sap erp系统与oracle erp系统的接口方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1763745A (zh) * 2005-09-06 2006-04-26 阎海强 一种面向结构的数据迁移的方法及系统
CN101329709A (zh) * 2008-08-01 2008-12-24 北京航空航天大学 一种用于数据安全迁移的系统及方法
CN101364293A (zh) * 2008-09-24 2009-02-11 金蝶软件（中国）有限公司 一种erp系统中实现业务数据交换的方法、装置和系统
CN101394424A (zh) * 2008-10-27 2009-03-25 中国科学院计算技术研究所 一种磁盘级网络数据备份的系统及方法
US20130144911A1 (en) * 2011-12-06 2013-06-06 Canon Kabushiki Kaisha Data migration apparatus for mitigating data between document management systems
CN103914526A (zh) * 2014-03-27 2014-07-09 神华集团有限责任公司 一种用于sap erp系统与oracle erp系统的接口方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126612A (zh) * 2016-06-22 2016-11-16 重庆秒银科技有限公司 一种大数据etl动态划分时间片的数据抽取方法
CN108959205A (zh) * 2018-06-27 2018-12-07 成都泰盟软件有限公司 一种erp系统导出数据快速迁移的方法
CN109690485A (zh) * 2018-08-24 2019-04-26 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质
CN109690485B (zh) * 2018-08-24 2023-08-18 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质

Similar Documents

Publication Publication Date Title
CN102970158B (zh) 日志存储与处理的方法及日志服务器
CN106599104A (zh) 一种基于redis集群的海量数据关联方法
CN103180852A (zh) 分布式数据处理方法及装置
CN102497424A (zh) 一种通过移动存储设备实现云存储的方法
CN104980190A (zh) 蓝牙接口的数据传输系统及传输方法
CN103617096A (zh) 一种存储数据的复制方法、设备及系统
CN102200944B (zh) Erp系统的测试环境克隆方法及系统
CN103761262A (zh) 基于syslogd的重复日志控制方法
CN103888378A (zh) 一种基于缓存机制的数据交换系统和方法
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
US20180253357A1 (en) Reducing granularity of backup data over time
CN105867944B (zh) Web前端数据操作层及其实现方法
CN104915362A (zh) 一种基于时间片、增量分析及随机打乱技术的快速智能化erp系统数据迁移方案
CN103023996A (zh) 一种云数据存储系统
CN103257987A (zh) 基于规则的分布式日志服务实现方法
CN103678696A (zh) 控制数据读取分离的方法及装置
CN103544076B (zh) 一种数据备份方法及装置
CN103488564A (zh) 一种分布式实时测试系统多路测试数据压缩与归并方法
CN106383667B (zh) 业务运行中lun迁移的方法和装置
CN111163149A (zh) 一种基于区块链的智能合约平台方法
CN104142943A (zh) 一种数据库扩容方法和一种数据库
CN104966148A (zh) 基于物联网的智能垃圾桶信息云管理方法及其装置
CN103729455A (zh) 一种基于主副本存储模式的主数据存储方法
CN103457996A (zh) 一种协议一致性测试系统内部数据存储方法及系统
CN102902748A (zh) 文件系统建立方法、管理方法及其ram和通信芯片

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150916