CN104317974B

CN104317974B - 一种可重构的erp系统中多源数据导入方法

Info

Publication number: CN104317974B
Application number: CN201410669701.4A
Authority: CN
Inventors: 郭顺生; 杜百岗; 李益兵; 彭兆; 郭钧; 陈艳霞
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2014-11-21
Filing date: 2014-11-21
Publication date: 2017-07-11
Anticipated expiration: 2034-11-21
Also published as: CN104317974A

Abstract

本发明公开了一种可重构的ERP系统中多源数据的导入方法，包括以下步骤：根据需导入的数据配置导入模板；将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件；根据导入的数据类型匹配对应的导入模板；根据匹配信息配置更新匹配后的信息；根据关联信息配置和导入模式配置完成关联信息的更新；根据配置的校验规格，对导入的数据进行逐条校验；校验通过后，进入数据的中间处理过程形成导入数据的中间过渡表；根据配置的数据导入模式，将过渡表中的数据导入目标表。本发明以可重构的形式提供了多种数据导入的方式，解决了数据导入需求的灵活性和动态性问题，并且校验规则库提供了不同模式下的数据完整性与合法性规则。

Description

一种可重构的ERP系统中多源数据导入方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种可重构的ERP系统中多源数据的导入方法。

背景技术

随着物联网等先进信息技术的深入发展，企业对资源计划系统(EnterpriseResource Planning，ERP)的需求更加急迫。ERP系统作为企业信息化决策和管理平台，其运行的基础是企业在运作过程中的物流信息、制造过程信息、财务信息等。数据信息主要来源于管理过程中手工录入系统的数据和导入系统的数据。目前，这两种方式存在以下问题和缺陷：

(1)手工录入效率成为瓶颈

ERP系统中处理数据的源头是产品的BOM信息，手工录入方式不但繁琐，而且容易出错。特别是在一些大型装备制造企业，由于产品的结构复杂，并采用个性化定制设计生产，使得产品BOM数据量大且差异性大，手工录入的效率低，导致技术准备的周期延长，甚至ERP系统的实施都成为困难。

(2)多数据导入需求制约ERP系统开发速度

数据导入ERP系统时，需要按照定义的标准格式，对每一条数据进行校验和处理。目前市场上主流的数据库及数据库开发软件都具备数据导入功能，但是其使用的技术门槛限制了在底层用户中的推广，并且可能导致系统数据的安全风险。另外，主流数据库系统的校验功能也不完备，只能验证既定的数据格式，对用户定义的数据格式无法进行完整性校验，这就可能导致ERP系统数据的紊乱。针对这一问题，目前ERP系统中常用的处理方式是编写针对特定数据格式的标准模板进行匹配，这样对每一种数据导入格式都需要编写代码模板。因此，导入数据的需求功能越多，需要进行的ERP系统代码开发量越大，影响了ERP系统的开发和实施进度。

(3)导入数据的单向性及与ERP系统数据匹配困难

导入ERP系统的数据可能来源于EXCEL、CSV或XML等数据格式，其与ERP系统中的数据是分离的。在已有的导入系统中，需要事先提供数据导入的标准模板和全部数据，但在实际的应用过程中，用户可能已经预先定义了一部分数据，而另一部分数据可能需要与ERP系统交互得到，并且这些数据要同时导入到ERP系统中的多个标准数据格式中，这就需要现有数据与ERP系统数据进行匹配和多向导入，保证数据的一致性和完整性。传统的方式是编写相应的数据接口实现，只能实现数据的一对一导入，并且代码开发工作量大，可移植性低，特别是随着数据导入需求的增加而愈加明显。

综上所述，现有技术和方法能在一定程度上降低数据导入ERP系统的繁琐性和强度，但是无法从根本上解决ERP系统中，数据导入的多向性以及在用户需求动态变化下数据导入的难度和便捷性。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种可重构的ERP系统中多源数据导入方法。

本发明解决其技术问题所采用的技术方案是：一种可重构的ERP系统中多源数据导入方法，包括以下步骤：

1)根据需导入的数据配置导入模板，包括以下步骤：

1.1)配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数；并根据要导入的数据表字段，需设置其对应的字段名或创建的函数名称；

1.2)配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息，交互得到的需要数据信息；

1.3)配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只与系统信息相关的部分数据信息；

1.4)配置导入模式，导入模式是指数据导入数据库中对应的数据表的操作,需导入的数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据，从表可以没有或有多个，其导入的数据根据需要可以选择全部，也可以选择只导入表结构中通过主外键关联的关键数据；所述导入模式分为主从表N-N模式和主从表N-1模式；

1.5)配置校验规则，所述校验规则用于保证数据的完整性和合法性，包括正则表达式和存在性规则；

2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件；

3)根据导入的数据类型匹配对应的导入模板，采集数据后，显示与数据库要求一致的数据字段和内容，供用户进行修改；

4)根据匹配信息配置更新匹配后的信息，匹配后的信息包括用户与ERP系统交互得到的信息，对于无法根据匹配信息配置获知匹配后的信息的记录，由用户更改，直到数据匹配完成；

5)根据关联信息配置和导入模式配置要求完成界面数据控件中的所有数据，完成关联信息的更新；

6)根据配置的校验规格，对导入的数据进行逐条校验；

7)校验通过后，进入数据的中间处理过程，通过数据的中间处理，形成导入数据的中间过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息；

8)根据配置的数据导入模式，将过渡表中的数据导入目标表。

按上述方案，所述步骤1.1)中需导入数据模板包括EXCEL、CSV或XML数据模板。

按上述方案，所述步骤1.1)中设置其对应的字段名或创建的函数名称的基本设置为：标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。

按上述方案，所述配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。

按上述方案，所述配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。

按上述方案，所述步骤2)中的中间处理文件为数据库系统中的全局临时表，该全局临时表中保存了需要导入的数据，每一种导入模板对应一个全局临时表。。

本发明产生的有益效果是：

(1)本发明以可重构的形式提供了多种数据导入的方式，解决了数据导入需求的灵活性和动态性问题，并且校验规则库提供了不同模式下的数据完整性与合法性规则。

(2)本发明以可重构的形式提供了数据模板的快速配置方法，可与不同ERP系统集成，减少ERP系统实施过程中数据导入代码的开发工作量，使得数据导入更加简单和快捷。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明方法的流程示意图。

图2是本发明实施例提供一种可重构配置流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种可重构的ERP系统中多源数据的导入方法，包括以下步骤：

1)根据需导入的数据配置导入模板，包括以下步骤：

1.1)配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数；需导入数据模板包括EXCEL、CSV或XML数据模板。并根据要导入的数据表字段，需设置其对应的字段名或创建的函数名称；其对应的字段名或创建的函数名称的基本设置为：标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。

1.2)配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息，交互得到的需要数据信息；配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。

1.3)配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只与系统信息相关的部分数据信息；配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。

2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件；中间处理文件为存放导入数据的数据库全局临时表，该全局临时表中存放了导入目标表需要的数据字段，所有字段根据导入模板的配置信息创建。

6)根据配置的校验规格，对导入的数据进行逐条校验；

按照上述数据导入方法，以用户实际导入需求为例对具体实施步骤进行描述。需要指明的是，本具体实施例中采用的数据库是MSSQL。

假设终端用户需要导入材料需用计划，在导入的过程中涉及数据库中的两个表，相关字段如表1、表2所示。从表中可以看出，导入的需用计划数据不是简单的从EXCEL或其它数据源直接导入，还存在以下情况：(1)部分字段信息不导入，如表1中的字段[审核A]等；(2)部分字段信息需要结合系统数据生成，如表1中的字段[计划批号]、表2中的字段[物料编码]等；(3)部分字段信息需要验证，如表1中的字段[材料类型]、[备注]等；(4)部分字段信息需要导入多个表，并且表中数据通过主键关联，如表1中的字段[计划批号]与表2中的字段[计划批号]。另外，导入字段或格式可能发生变更，使得导入模板变化。考虑到以上情况，一些已有的固定模板的配置方法在代码编制及代码的重用上缺乏灵活性，需要重新编写代码和发布程序，而这对于分发式的应用程序来讲，也增加了其部署的成本。

表1材料计划审核总表TBTM_MPFORALLRVW

表2材料计划明细表TBTM_MPDETAIL

根据图2中可重构数据导入的基本流程示意图描述，需要以下步骤。

第一步，数据导入模板配置。

数据导入的第一步是配置导入模板，其配置的对象是数据库导入字段集合。由于导入模板的可变性，要保证导入模板的可重构，即在不编写代码或编写少量数据库底层处理代码的前提下，达到可重构配置的要求。在本发明中，以数据表字段为最小控制对象，将模板的配置信息分为5类，即基本信息、匹配信息、关联信息、导入模式和校验规则，其配置流程如图2所示。以EXCEL模板配置为例，具体包括：(1)基本信息配置。基本信息包括导入EXCEL模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数。通过确定EXCEL模板表头的位置及导入列数可以确定导入数据的区域；通过设置在导入页面打开和关闭时的执行函数，可以生成临时的中间过渡数据供导入数据进行调用和处理。针对导入的数据表字段，需要设置其对应的EXCEL字段名或创建的函数名称，对于有EXCEL字段名对应的字段，直接将EXCEL文件中的数据导入，对于创建的字段，调用创建函数得到。如表3所示，在配置的基本信息中，初始值根据表 1和表2信息由计算机自动生成，开发人员可以在此基础进行简单的修改就可满足导入模板的配置，其中[标识]列为主键；[字段名称]列中非空的行为中间数据处理过程中过渡表的列，其包含了所有需要导入的字段及中间的辅助处理字段；[字段名]列中非空的行是导入数据表中的列名；[表名]为导入字段的归属表；[EXCEL字段名]列中为非空的行是EXCEL中的列名，表示数据来源于EXCEL，空行表示该字段数据通过与数据库的交互得到；[创建方法]表示该列数据利用数据库底层函数创建；[正则表达式]表示该字段的校验规则，结合表1或表2中的字段类型从规则库中选择，也可由使用者自行定义；[非空]表示导入的字段信息不能为空；[能否编辑]表示该导入字段数据用户能否修改。

表3基本信息配置

标识

字段名称

字段名

表名

EXCEL字段名

创建方法

正则表达式

非空

能否编辑

1

TBTM_MPDETAIL

序号

2

物料编码

MP_MARID

TBTM_MPDETAIL

物料编码

TRUE

3

材料名称

TBTM_MPDETAIL

材料名称

4

规格

TBTM_MPDETAIL

规格

5

材质

TBTM_MPDETAIL

材质

6

单位

TBTM_MPDETAIL

单位

7

数量

MP_NUMBER

TBTM_MPDETAIL

需用数量

^\d+$

TRUE

8

时间要求

MP_TIMERQ

TBTM_MPDETAIL

时间要求

TRUE

9

环境影响

MP_ENVREFFCT

TBTM_MPDETAIL

环境影响

TRUE

10

备注

MP_NOTE

TBTM_MPDETAIL

备注

TRUE

11

批号

MP_PID

TBTM_MPDETAIL

CreateLotNum

TRUE

12

项目名称

TBTM_MPDETAIL

13

工程名称

TBTM_MPDETAIL

14

计划跟踪号

MP_TRACKNUM

TBTM_MPDETAIL

GetTRACKNUM

TRUE

15

批号

MP_ID

TBTM_MPFORALLRVW

TRUE

16

项目ID

MP_PJID

TBTM_MPFORALLRVW

TRUE

17

工程ID

MP_ENGID

TBTM_MPFORALLRVW

TRUE

18

材料类型

MP_MASHAPE

TBTM_MPFORALLRVW

TRUE

19

提交人

MP_SUBMITID

TBTM_MPFORALLRVW

TRUE

20

提交时间

MP_SUBMITTM

TBTM_MPFORALLRVW

TRUE

(2)匹配信息配置。匹配信息是根据用户提供的部分字段信息，与数据库交互得到的数据信息。匹配信息的设置主要包括标识、匹配标识、匹配语句、匹配字段名，其匹配的构成为：标识＝(匹配语句+匹配字段名+匹配标识)。如表4所示，在匹配的信息中，[标识]列为需要匹配信息的列；[匹配标识]列为匹配信息的来源列；[匹配语句]列为匹配的主体SQL语句；[匹配字段名]为匹配标识对应的数据库字段。结合表3的描述，表4的匹配方案可解读为：物料编码由物料名称、规格和材质进行匹配，匹配的语句为SELECT TOP 1ID FROMTBMA_MATERIAL WHERE STATE＝'1'AND MNAME＝'物料名称'AND GUIGE＝'规格'ANDCAIZHI＝'材质'。

表4匹配信息配置

标识	匹配标识	匹配语句	匹配字段名
				2	3	SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE＝'1'	MNAME
2	4	SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE＝'1'	GUIGE
				2	5	SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE＝'1'	CAIZHI

(3)关联信息配置。关联信息是不依赖于用户提供的数据，而只与系统信息相关的一些数据信息。为了达到可重构配置的要求，采用动态创建控件的方式实现用户与数据库的交互，即使用户的需求发生变化，只需要重新配置相应的数据库语句就可以实现，避免系统的频繁变更。关联信息的配置主要包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。如表5所示，在关联信息中，[标识]列为关联的信息列；[控件名称]列为显示关联信息的控件名称；[控件数据源]列为数据来源的SQL语句；[关联控件]列为关联的多级控件名，如表5中，标识为17的工程ID列与标识为16的项目ID列关联，即通过项目ID决定相应的工程ID；[控件字段]列为关联控件对应的数据库字段名；[控件类型]列为显示数据的具体控件名，主要有Combox和TextBox。

表5关联信息配置

(4)导入模式配置。导入模式主要是指数据导入数据库中对应的数据表的操作。导入的数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据，从表可以没有或有多个，其导入的数据可以选择全部，也可以选择只导入表结构中通过主外键关联的关键数据。根据上面的叙述，可将导入模式分为主从表N-N模式和主从表N-1模式。在本实施例中选择的模式为主从表N-1模式。

(5)校验规则配置。校验规则是为了保证数据的完整性和合法性，对导入数据库的字段数据进行校验而制定的规则，主要包括正则表达式规则和存在性规则。正则表达式规则主要是验证数据的标准格式，如数据类型、用户自定义数据格式等；存在性规则主要是验证数据在数据库中是否存在。同时，建立了校验规则库，对常用的一些校验规则进行存储，便于二次调用。

数据导入模板的配置主要由ERP软件开发人员或维护人员完成，在导入字段、模式或规则发生变更后，只需要按照(1)～(5)的要求增加、修改或删除相应字段配置信息即可，完成配置后，用户即可按照模板导入数据。

第二步，数据导入数据库系统。

包括：(1)数据接口转换。在本发明实施例中，需要根据数据源文件的类型，选择数据的转换接口，常用的数据转换接口包括EXCEL数据转换接口、CSV数据转换接口、XML数据转换接口。用户在加载相应的文件后，会触发对文件类型的判断，通过相应的数据转换接口对数据文件进行解析。

(2)导入数据显示。解析完成后，根据导入的数据类型匹配对应的数据模板，显示与数据库要求一致的数据字段和内容，供用户进行修改。需要指出的是，显示的数据内容和字段不仅仅只是在数据源中规定的字段和内容，也包括用户与系统交互得到的字段和内容，如制单人、单号等信息，这样用户就不用担心导入信息的缺失。

(3)更新关联信息。根据数据表主从模式的结构设计，需更新的关联信息有两种，一种是针对单条数据的关联信息，另一种是针对总信息的关联信息。用户需要分别对这两种关联信息进行更新。在本发明的实施例中，对底层用户而言，只需要选择相应的关联方案，点击系统界面上的特定按钮，系统会根据配置要求完成界面数据控件中的所有数据，完成关联信息的更新。

(4)更新匹配信息。匹配信息是用户与ERP系统交互得到的信息，对于无法获知匹配信息的记录，系统会在界面上进行提示，方便用户更改，直到数据匹配完成。

(5)数据校验。在本发明实施例中，系统会根据配置的校验规格，对导入的数据进行逐条校验，无法通过校验的数据在导入界面上进行提示。对于没有通过校验的数据，用户可以进行修改后单独进行校验，提高校验的效率。校验通过后，进入数据的中间处理过程。

(6)数据的中间处理。在本发明的实施例中，数据的中间处理过程是数据导入系统的关键步骤，通过数据的中间处理，形成导入数据的中间过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息。需要指出的是，该过渡表不是数据库中的实体表，而是按照系统配置模板动态创建的全局临时表。

(7)将数据导入系统。根据配置的数据导入模式，将过渡表中的数据导入目标表。

本发明已经在某企业ERP系统的数据导入中使用，基于该发明方法的系统能够实现数据的快速导入，并且应对用户导入需求变更导致的导入模板变化，只需要更改少量配置信息而无需修改ERP系统代码就可满足要求，节约了开发时间，同时也保证的数据导入的准确性和及时性。

需要强调的是，以上是对本发明方法的一种具体的实现方式，本发明的实现方式不局限于此，在本发明领域内，任何借鉴本发明的基本思想，在具体实施方式和应用范围上的更改，同样属于本发明的保护范围。

Claims

1.一种可重构的ERP系统中多源数据的导入方法，其特征在于，包括以下步骤：

1）根据需导入的数据配置导入模板，包括以下步骤：

1.1）配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数；并根据要导入的数据表字段，需设置其对应的字段名或创建的函数名称；

1.2）配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息，交互得到的需要数据信息；

1.3）配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只与系统信息相关的部分数据信息；

1.4）配置导入模式，导入模式是指数据导入数据库中对应的数据表的操作, 需导入的数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据，从表可以没有或有多个，其导入的数据根据需要可以选择全部，也可以选择只导入表结构中通过主外键关联的关键数据；所述导入模式分为主从表N-N模式和主从表N-1模式；

1.5）配置校验规则，所述校验规则用于保证数据的完整性和合法性，包括正则表达式和存在性规则；

2）将用户提供的包括EXCEL、CSV或XML在内的格式数据通过标准接口转换为中间处理文件；

3）根据导入的数据类型匹配对应的导入模板，采集数据后，显示与数据库要求一致的数据字段和内容，供用户进行修改；

4）根据匹配信息配置更新匹配后的信息，匹配后的信息包括用户与ERP系统交互得到的信息，对于无法根据匹配信息配置获知匹配后的信息的记录，由用户更改，直到数据匹配完成；

5）根据关联信息配置和导入模式配置要求完成数据库要求的所有数据，完成关联信息的更新；

6）根据配置的校验规格，对导入的数据进行逐条校验；

7）校验通过后，进入数据的中间处理过程，通过数据的中间处理，形成导入数据的中间过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息；

8）根据配置的数据导入模式，将过渡表中的数据导入目标表。

2.根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤1.1)中需导入数据模板包括EXCEL、CSV或XML数据模板。

3.根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤1.1)中设置其对应的字段名或创建的函数名称的基本设置为：标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。

4.根据权利要求1所述的多源数据的导入方法，其特征在于，所述配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。

5.根据权利要求1所述的多源数据的导入方法，其特征在于，所述配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。

6.根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤2)中的中间处理文件为数据库系统中的全局临时表，该全局临时表中保存了需要导入的数据，每一种导入模板对应一个全局临时表。