CN102567796A - 数据导入方法和装置 - Google Patents

Abstract

本发明公开了一种数据导入方法和装置，涉及数据传输技术，为解决现有技术在导入有错误数据的原始数据时易造成数据丢失或导入失败的问题而发明。本发明的技术方案为：一种数据导入方法，包括：获取第一业务系统所需原始数据并获取所述原始数据对应的业务数据匹配规则；判断所述原始数据是否符合所述业务数据匹配规则，得到判断结果；根据所述判断结果，将所述原始数据导入到所述第一业务系统中，形成业务数据。本发明实施例提供的数据导入方法和装置，适用于任何需要数据导入的业务系统中。

Description

数据导入方法和装置

技术领域

本发明涉及数据传输技术，尤其涉及一种数据导入方法和装置。

背景技术

随着各种业务系统的普及，为了充分利用业务系统中的原始数据，通常需要将所述原始数据从第二业务系统导入到第一业务系统中。以往，导入原始数据的工作一般由人工完成，即：人工进行原始识别、判断及导入。这种利用人工的方法大批量导入原始数据的过程需要耗费大量的人力、物力，并且增大了出错的概率。

为解决上述问题，现有技术执行数据导入方法是：读取原始数据；将所述原始数据解析转化为SQL脚本数据；执行所述SQL脚本数据，将所述SQL脚本数据导入到第一业务系统中，形成业务数据，供所述第一业务系统使用。

在实现本发明的过程中，发明人发现，现有技术中至少存在如下问题：如果原始数据中存在数据不完整或者格式不符合要求的错误数据，当错误数据转化为SQL脚本数据时，SQL脚本数据将难以被导入到第一业务系统中或容易被导入到第一业务系统中形成错误的业务数据，从而使原始数据在导入过程中造成数据丢失或者导入失败。

发明内容

本发明的实施例提供一种数据导入方法和装置，能够提高数据导入的成功率。

本发明解决上述问题的一个实施例是：一种数据导入方法，包括：获取第一业务系统所需原始数据并获取所述原始数据对应的业务数据匹配规则；判断所述原始数据是否符合所述业务数据匹配规则，得到判断结果；根据所述判断结果，将所述原始数据导入到所述第一业务系统中，形成业务数据。

本发明解决上述问题的另一个实施例是：一种数据导入装置，包括：

存储模块，用于存储原始数据文档；

导入模块，用于将所述存储模块中的所述原始数据导入到第一业务系统中，形成业务数据。

本发明实施例提供的数据导入方法和装置，通过获取业务数据匹配规则，对原始数据是否符合业务数据匹配规则进行判断，根据判断结果，将原始数据导入到第一业务系统中，能够提高数据导入的成功率。本发明实施例解决了现有技术中因为错误数据转化的SQL脚本数据难以被导入到第一业务系统或容易被导入到第一业务系统形成错误的业务数据，造成的数据丢失或导入失败的问题，能够提高数据导入的成功率。

附图说明

图1为本发明实施例提供的数据导入方法的流程图；

图2为图1所示的本发明实施例提供的原始数据的判断方法的流程图；

图3为图1所示的本发明实施例提供的数据导入示意图；

图4为本发明实施例提供的数据导入装置的结构示意图；

图5为图4所示的本发明实施例提供的导入模块结构示意图；

图6为图5所示的本发明实施例提供的实施模块结构示意图。

具体实施方式

为了解决现有技术在导入有错误数据的原始数据时易造成数据丢失或数据导入失败的问题，本发明提供一种数据导入方法和装置。下面结合附图和具体的实施例进行说明。

如图1所示，本发明实施例提供的数据导入方法，包括：

步骤101，获取第一业务系统所需原始数据并获取所述原始数据对应的业务数据匹配规则。

在本实施例中，步骤101中所述的原始数据，可以从第二业务系统中，选择所需的原始数据文档获取。

在本实施例中，所述原始数据文档的格式可以为.xls、.txt、.csv、.dif、.xlsx、.xml。

其中：.xls和.xlsx时Microsoft Excel工作表，是一种常用的电子表格格式；.txt是最常见的一种文件格式，主要存文本信息；.csv是一种用来存储数据的纯文本文件格式，通常用于电子表格或数据库文件；.dif是AutoCAD中的图形文件，它以ASCII方式存储图形；.xml是一种可扩展标记语言的文件格式。

在本实施例中，步骤101，获取第一业务系统所需的原始数据后，根据所述原始数据，获得所述原始数据对应的业务数据匹配规则。所述对应的业务数据匹配规则，可以是所述原始数据的格式要求，包括：文本长度、浮点数、整数或布尔值的任意一种或者组合。

步骤102，判断所述原始数据是否符合所述业务数据匹配规则，得到判断结果。

在本实施例中，所述步骤102可以通过以下方式判断所述原始数据是否符合所述业务数据匹配规则，如图2所示，包括：

步骤201，将所述原始数据解析转化为SQL脚本将数据。

在本实施例中，所述步骤201可以通过如下步骤将所述原始数据解析转化为SQL脚本数据：将格式为.xls、.txt、.csv、.dif或.xlsx的原始数据，通过调用C#函数，使用C#代码解析的方式，解析成统一.xml格式的SQL脚本数据，读取并存储在数据库中。

解析成统一的.xml格式是因为：xml简单并且易于在任何应用程序中读写数据。它是数据交换的公共语言，可以跨平台使用，并且解析成统一的格式，就可以用统一的方式对所述SQL脚本数据进行规则对比和执行。

在本实施例中，所述步骤201可以通过多种方式将原始数据解析转化为相应的SQL脚本数据，例如：可以通过Java解析的方式将原始数据解析转化为相应的SQL脚本数据，也可以通过C#解析的方式将原始数据解析转化为相应的SQL脚本数据，或者通过C++解析的方式将原始数据转化为相应的SQL脚本数据，此处不再一一赘述。

步骤202，判断所述SQL脚本数据是否符合业务数据匹配规则，得到判断结果。

在本实施例中，步骤202可以包括：将所述SQL脚本数据内容与业务数据匹配规则一一对比，判断所述SQL脚本数据是否符合所述业务数据匹配规则，得到所述原始数据是否符合业务数据匹配规则。

在本实施例中，步骤102所述的判断结果可以包括两种情况：

第一种，所述原始数据符合所述业务数据匹配规则；

第二种，所述原始数据不符合所述业务数据匹配规则。

步骤103，根据所述判断结果，将所述原始数据导入到所述第一业务系统中，形成业务数据。

在本实施例中，如图3所示，步骤103可以包括：

步骤301，如果所述原始数据符合所述业务数据匹配规则，执行所述原始数据，将其导入到所述第一业务系统中形成业务数据；

步骤302，如果所述原始数据不符合所述业务数据匹配规则，获取所述原始数据的附加信息，所述附加信息用于记录错误数据的信息，将所述附加信息导入到所述第一业务系统的失败记录文档中。

在本实施例中，步骤302可以包括：如果所述SQL脚本数据不符合所述业务数据匹配规则，获取所述原始数据的附加信息，将所述附加信息导入到所述第一业务系统的失败记录文档中。第一业务系统可以在它的发布路径下，建立一个文件夹，并将所述失败记录的隐文档存储在该文件夹下。当所述SQL脚本数据全部执行完后，显示失败记录文档，将所述附加信息提供给用户。

所述失败记录文档中的附加信息可以包括以下任意一种或者组合：

位置信息，用来描述数据不完整或者格式不符合要求的错误数据在所述原始数据中所处位置；

失败原因，用来描述所述原始数据未全部成功导入到所述第一业务系统的原因；

修改建议，当所述原始数据未全部成功导入到所述第一业务系统时，提供所述未成功导入数据的修改建议。

将所述附加信息提供给用户，可以方便用户对原始数据中的错误数据进行定位和修改。

在本实施例中，步骤103可以通过SQL语句将所述原始数据导入到所述第一业务系统中，形成业务数据以供第一业务系统使用。

本发明实施例提供的数据导入方法，通过获取业务数据匹配规则，对原始数据是否符合业务数据匹配规则进行判断，根据判断结果，将原始数据导入到第一业务系统中，能够提高数据导入的成功率。本发明实施例解决了现有技术中因为错误数据转化的SQL脚本数据难以被导入到第一业务系统或容易被导入到第一业务系统形成错误的业务数据，造成的数据丢失或导入失败的问题，能够提高数据导入的成功率。

在本发明的另一个实施例中，如图4所示，所述数据导入装置，包括：

存储模块401，用于存储原始数据文档；

导入模块402，用于将所述存储模块中的所述原始数据导入到第一业务系统中，形成业务数据。

在本实施例中，所述导入模块402，如图5所示，还可以包括

数据获取模块501，用于获取第一业务系统所需原始数据。

在本实施例中，数据获取模块501中所述的原始数据，可以从存储模块401中获取。

在本实施例中，所述原始数据文档的格式可以为.xls、.txt、.csv、.dif、.xlsx、.xml。

规则匹配模块502，用于根据所述数据获取模块获取的原始数据，获取对应的业务数据匹配规则。

在本实施例中，规则匹配模块502所述的业务数据匹配规则，可以是所述原始数据的格式要求，包括：文本长度、浮点数、整数或布尔值的任意一种或者组合。

规则判断模块503，用于判断所述数据获取模块获取的原始数据是否符合所述规则匹配模块的业务数据匹配规则，得到判断结果。

在本实施例中，规则判断模块503可以通过以下方式判断所述原始数据是否符合所述业务数据匹配规则：

第一、将所述原始数据解析转化为SQL脚本将数据；

第二、判断所述SQL脚本数据是否符合业务数据匹配规则，得到判断结果。

在本实施例中，可以通过如下步骤将所述原始数据解析转化为SQL脚本数据：将格式为.xls、.txt、.csv、.dif或.xlsx的原始数据，通过调用C#函数，使用C#代码解析的方式，解析成统一.xml格式的SQL脚本数据，读取并存储在数据库中。

解析成统一的.xml格式是因为：xml简单并且易于在任何应用程序中读写数据。它是数据交换的公共语言，可以跨平台使用，并且解析成统一的格式，就可以用统一的方式对所述SQL脚本数据进行规则对比和执行。

在本实施例中，可以通过多种方式将原始数据解析转化为相应的SQL脚本数据，例如：可以通过Java解析的方式将原始数据解析转化为相应的SQL脚本数据，也可以通过C#解析的方式将原始数据解析转化为相应的SQL脚本数据，或者通过C++解析的方式将原始数据转化为相应的SQL脚本数据，此处不再一一赘述。

在本实施例中，规则判断模块503所述的判断结果可以包括两种情况：

第一种，所述原始数据符合所述业务数据匹配规则；

第二种，所述原始数据不符合所述业务数据匹配规则。

实施模块504，用于根据所述规则判断模块得到的判断结果，将所述数据获取模块获取的原始数据导入到第一业务系统中。

在本实施例中，所述实施模块504，如图6所示，还可以包括：

失败原因分析模块601，用于将所述原始数据的附加信息导入到所述第一业务系统的失败记录文档中。

在本实施例中，失败原因分析模块601可以包括：如果所述SQL脚本数据不符合所述业务数据匹配规则，获取所述原始数据的附加信息，将所述附加信息导入到所述第一业务系统的失败记录文档中。第一业务系统可以在它的发布路径下，建立一个文件夹，并将所述失败记录的隐文档存储在该文件夹下。当所述SQL脚本数据全部执行完后，显示失败记录文档，将所述附加信息提供给用户。

所述失败记录文档中的附加信息可以包括以下任意一种或者组合：位置信息、失败原因或修改建议。

执行模块602，用于将所述原始数据导入到所述第一业务系统中，形成业务数据。

在本实施例中，执行模块602可以通过SQL语句将所述原始数据导入到所述第一业务系统中，形成业务数据以供第一业务系统使用。

在本实施例中，如果所述原始数据不符合所述业务数据匹配规则，使用失败原因分析模块601将附加信息导入到所述第一业务系统的失败记录文档中；如果所述原始数据符合所述业务数据匹配规则，使用执行模块602将所述原始数据导入到所述第一业务系统中，形成业务数据。

本发明实施例提供的数据导入装置，通过获取业务数据匹配规则，对原始数据是否符合业务数据匹配规则进行判断，根据判断结果，将原始数据导入到第一业务系统中，能够提高数据导入的成功率。本发明实施例解决了现有技术中因为错误数据转化的SQL脚本数据难以被导入到第一业务系统或容易被导入到第一业务系统形成错误的业务数据，造成的数据丢失或导入失败的问题，能够提高数据导入的成功率。

本发明实施例还提供一种数据导入方法和装置的具体示例，包括：

第一、读取原始数据，原始数据文档，例如表1所示：

表1：

贾谊一	女	初中	321145199611341611	14
					杨乐	女	本科	412413198101041621	29
刘建设	男	大专	412413198806147810	22

第二、选择所述原始数据对应的业务数据匹配规则。

根据原始数据，所述业务数据匹配规则为：

第一列匹配规则为数据是文本格式，长度小于10；

第二列匹配规则引入了两个标记值1、2，对应关联表一中男、女；

第三列匹配规则引入四个标记值3、4、5、6，对应关联表一中大专、本科、硕士及其以上、其他；

第四列匹配规则为数据的文本长度是18位或15位

第五列匹配规则为正整数且小于200。

第三、将所述原始数据解析转化为相应的SQL脚本数据；得到的相应的SQL脚本数据，其所述SQL脚本数据的主要内容如表2所示：

表2：

第四、判断所述SQL脚本数据是否符合所述业务数据匹配规则：

逐一读取SQL脚本数据，将所述SQL脚本数据与业务数据匹配规一一对比，判断所述SQL脚本数据是否符合所述业务数据匹配规则。

第五、根据判断结果，导入至第一业务系统中，形成业务数据。

导入到第一业务系统中，使用的语句为：

INSERT INTO[CMR].[dbo].[WRONG]

([Name]，[sex]，[degree]，[IDcard]，[AGE]，[REASON])VALUES(′张一′，′其他′，′小学′，′123145198112131231′，27，′导入失败，位置信息：2行。属性列：性别(“其他”不符合要求，应该录入：″男″or″女″中的任何一个)，学历(“小学”不符合要求，应该录入：“大专”or“本科”or″硕士及其以上″or″其他″中的任何一个)′)

INSERT INTO[CMR].[dbo].[WRONG]

([Name]，[sex]，[degree]，[IDcard]，[AGE]，[REASON])VALUES(′牛一′，′1′，′1′，′123145198112131231′，不知道，′导入失败，位置信息：3行。属性列：年龄(“不知道”不符合要求，应该录入数字类型)′)

INSERT INTO[CMR].[dbo].[WRONG]

([Name]，[sex]，[degree]，[IDcard]，[AGE]，[REASON])VALUES(′贾谊一′，′2′，′初中′，′123145198112131231′，14，′导入失败，位置信息：4行。属性列：学历(“初中”不符合要求，应该录入：“大专”or“本科”or″硕士及其以上″or″其他″中的任何一个)′)

INSERT INTO[CMR].[dbo].[Crm_User]

([Name]，[sex]，[degree]，[IDcard]，[AGE])VALUES(′杨乐′，′2′，′1′，′123145198112131231′，29)

INSERT INTO[CMR].[dbo].[Crm_User]

([Name]，[sex]，[degree]，[IDcard]，[AGE])VALUES(′刘建设′，′2′，′2′，′123145198112131231′，22)

使用上述语句导入到第一业务系统后，得到失败记录文档，如下表所示：

本实施例提供的一种数据导入方法和装置的具体示例，原始数据文档中共有5条数据，由于有3条数据的格式不符合要求，因此在导入到第一业务系统中时，只有2条数据被成功导入，其他3条数据被定位并记录在失败记录文档中，提示用户错误数据的位置、导入失败原因和修改建议。

本发明实施例提供的数据导入方法和装置，可以应用在任何需要数据导入的业务系统中，减少人力、物力的使用以及减小出错的概率，不会在原始数据导入过程中造成数据丢失或者导入失败。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种数据导入方法，其特征在于，包括：

获取第一业务系统所需原始数据并获取所述原始数据对应的业务数据匹配规则；

判断所述原始数据是否符合所述业务数据匹配规则，得到判断结果；

根据所述判断结果，将所述原始数据导入到所述第一业务系统中，形成业务数据。

2.根据权利要求1所述的数据导入方法，其特征在于，所述获取第一业务系统所需原始数据，包括：

从第二业务系统中获取所述第一业务系统所需的原始数据。

3.根据权利要求1所述的数据导入方法，其特征在于，所述业务数据匹配规则，包括：

所述原始数据的格式要求，包括：文本长度、浮点数、整数或布尔值的任意一种或者组合。

4.根据权利要求1所述的数据导入方法，其特征在于，所述判断所述原始数据是否符合所述业务数据匹配规则，得到判断结果，包括：

将所述原始数据解析转化为SQL脚本将数据；

判断所述SQL脚本数据是否符合业务数据匹配规则，得到判断结果。

5.根据权利要求1所述的数据导入方法，其特征在于，所述根据所述判断结果，将所述原始数据导入到所述第一业务系统中，形成业务数据，包括：

如果所述原始数据符合所述业务数据匹配规则，执行所述原始数据，将所述原始数据导入到所述第一业务系统中，形成业务数据；

如果所述原始数据不符合所述业务数据匹配规则，获取所述原始数据的附加信息，所述附加信息用于记录错误数据的信息，将所述附加信息导入到所述第一业务系统的失败记录文档中。

6.根据权利要求5所述的数据导入方法，其特征在于，所述原始数据的附加信息，包括以下任意一种或者组合：

位置信息，失败原因或修改建议。

7.一种数据导入装置，其特征在于，包括：

存储模块，用于存储原始数据文档；

导入模块，用于将所述存储模块中的所述原始数据导入到所述第一业务系统中，形成业务数据。

8.根据权利要求7所述的数据导入装置，其特征在于，所述导入模块，还包括：

数据获取模块，用于获取所述第一业务系统所需原始数据；

规则匹配模块，用于根据所述数据获取模块获取的原始数据，获取对应的业务数据匹配规则；

规则判断模块，用于判断所述数据获取模块获取的原始数据是否符合所述规则匹配模块的业务数据匹配规则，得到判断结果；

实施模块，用于根据所述规则判断模块得到的判断结果，将所述数据获取模块获取的原始数据导入到所述第一业务系统中。

9.根据权利要求8所述的数据导入装置，其特征在于，所述实施模块，还包括：

失败原因分析模块，用于将所述原始数据的附加信息导入到所述第一业务系统的失败记录文档中；

执行模块，用于将所述原始数据导入到所述第一业务系统中，形成业务数据。

Images