CN104361139A - 数据导入装置和方法 - Google Patents
数据导入装置和方法 Download PDFInfo
- Publication number
- CN104361139A CN104361139A CN201410757410.0A CN201410757410A CN104361139A CN 104361139 A CN104361139 A CN 104361139A CN 201410757410 A CN201410757410 A CN 201410757410A CN 104361139 A CN104361139 A CN 104361139A
- Authority
- CN
- China
- Prior art keywords
- data
- row
- imported
- importing
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/289—Object oriented databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种数据导入装置,包括:指导文件生成单元,用于在不同的业务要求下,生成相应的指导文件;数据读取单元,用于将待导入数据文件读取,形成数据对象;数据校验单元,用于以指导文件为依据,对形成的数据对象进行数据校验;合并处理单元,用于以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;数据存储单元,用于通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。本发明还提供了一种数据导入方法。通过本发明的技术方案,可以在现有的数据导入方式基础上,充分利用单对象类型完成多对象类型的数据导入,建立多对象类型参与的面向复杂对象类型数据导入的通用、统一导入思路。
Description
技术领域
本发明涉及数据处理技术领域,具体地,涉及一种数据导入装置和一种数据导入方法。
背景技术
企业资源计划系统(Enterprise Resource Planning,ERP)是指建立在信息技术基础上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台。
在ERP系统中存在多种类型单据,如销售订单、采购订单、出库单、入库单等,这些单据信息存储在数据库中,并通过ERP系统展示给用户,由用户进行查看、编辑等操作。
企业在使用ERP系统之前,一般是已经存在这些单据信息,可能是以纸质文件形式存储,或者是以计算机文件形式存储。计算机文件存储的情况下,以windowsoffice软件中的excel文件格式进行存储又是一种比较常见的方式。
数据导入就是把存储在文件系统中的外在数据,例如Excel中的业务数据,导入到ERP系统中,从而提高单据录入效率及数据正确性。数据导入功能是ERP系统中必备的功能,其具有较高的重要性和使用频率。
以导入Excel文件为例,现在普遍的导入方案是按照以下几个步骤进行:
1)由ERP系统提供一个数据模板,该数据模板包括了需要导入的格式信息,包括字段名称、字段标识、字段类型描述等等,该模板一般也是Excel文件。
2)用户根据该模板,将需要导入的数据填写到对应的列中。
3)通过ERP系统的导入装置执行该文件的导入操作,将文件里面的数据存储到数据库中。
这种做法的好处有以下几点:
1)由于ERP系统提供的数据模板与ERP系统中的数据格式具有一致性,以字段标识为依据很容易构建起来数据文件(Excel文件)中的每一列与数据库中表结构的映射关系,从而提高了导入的效率。
2)字段类型信息用于提示用户如何向数据文件中录入合法数据,可以减少导入失败(导入时,ERP系统会对导入的数据进行合法性校验,不满足ERP系统要求的数据就会报出导入失败)情况的发生,提高了导入的正确性。
3)只需要用户编辑Excel文件,然后在ERP系统中进行导入操作,即可完成Excel文件到数据库的数据导入,原理简单,操作方便。
以上为专利《一种数据导入方法及系统》所阐述的方案及其主体流程,通过实施该方案,可以方便的进行Excel文件的导入。
但是,该方案还有以下几点不足:
1)数据模板只能是数据文件到ERP系统的一对一映射,不够灵活。用户已有的数据文件很可能与ERP系统提供的数据模板是不匹配的,这时候需要用户按照数据模板的格式要求向里面填充数据。当用户已有数据文件到ERP系统的字段映射是多对一的情况,就需要用户手动将每一条数据进行合并、修改,并将其填写到数据模板要求的字段中,这就增加了用户的工作量,增加了出现错误的几率,也降低了数据模板的灵活程度。
如图4所示,此种情况下,用户需要将客户要求、送货地址及备注手工合并,并填充到Excel表格中,才能正确导入到ERP系统中。
2)数据录入要求不够详细和全面。系统提供的指导文档中仅仅包含录入要求,这远远不能描述清楚待导入的字段,如该字段的含义、数据类型、数据要求、数据范围、数据示例等等。
3)只有一个固定的数据模板,灵活度较低。当用户希望改变数据模板时(如需要增加或者减少导入的列时),很难通过简单的修改数据模板而实现。
因此,需要一种新的数据导入技术,可以在现有的数据导入方式基础上,充分利用单对象类型完成多对象类型的数据导入,建立多对象类型参与的面向复杂对象类型数据导入的通用、统一导入思路。
发明内容
本发明正是基于上述问题,提出了一种新的数据导入技术,可以在现有的数据导入方式基础上,充分利用单对象类型完成多对象类型的数据导入,建立多对象类型参与的面向复杂对象类型数据导入的通用、统一导入思路。
有鉴于此,本发明提出了一种数据导入装置,包括:指导文件生成单元,用于在不同的业务要求下,生成相应的指导文件;数据读取单元,用于将待导入数据文件读取,形成数据对象;数据校验单元,用于以指导文件为依据,对形成的数据对象进行数据校验;合并处理单元,用于以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;数据存储单元,用于通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。在该技术方案中,数据字典和完全模板配合使用,增强了导入模板的灵活性,用户可以自己组织所需的待导入数据;可以自动进行数据合并,减少用户的手动工作,提高用户的导入效率及正确率。
在上述技术方案中,优选地,所述数据校验单元,具体包括:列必输性校验模块,用于对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;列唯一性校验模块,用于对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;数据正确性校验模块,用于对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。在该技术方案中,通过数据字典的使用,待导入数据的信息更加透明,方便用户组织正确的待导入数据文件,减少出错的可能。
在上述技术方案中,优选地,所述指导文件生成单元生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
在上述技术方案中,优选地,所述数据读取单元将待导入的文件读取,形成数据对象的操作,具体包括:将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;所述待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
在上述技术方案中,优选地,所述合并处理单元数据校验后数据对象进行合并的操作,具体包括:对数据校验后数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;和/或,所述合并处理单元数据校验后数据对象进行修改的操作,具体包括:用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
根据本发明的又一个方面,还提出了一种数据导入方法,包括:步骤202:在不同的业务要求下,生成相应的指导文件;步骤204:将待导入数据文件读取,形成数据对象;步骤206:以指导文件为依据,对形成的数据对象进行数据校验;步骤208:以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;步骤210:通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。在该技术方案中,数据字典和完全模板配合使用,增强了导入模板的灵活性,用户可以自己组织所需的待导入数据;可以自动进行数据合并,减少用户的手动工作,提高用户的导入效率及正确率。
在上述技术方案中,优选地,所述步骤206,具体包括:步骤302:对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;步骤304:对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;步骤306:对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。在该技术方案中,通过数据字典的使用,待导入数据的信息更加透明,方便用户组织正确的待导入数据文件,减少出错的可能。
在上述技术方案中,优选地,所述步骤202生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
在上述技术方案中,优选地,所述步骤204将待导入的文件读取,形成数据对象的操作,具体包括:将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;所述待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
在上述技术方案中,优选地,所述步骤208对数据校验后的数据对象进行合并的操作,具体包括:对数据校验后的数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;和/或,所述步骤208对数据校验后的数据对象进行修改的操作,具体包括:用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
通过以上技术方案,可以在现有的数据导入方式基础上,充分利用单对象类型完成多对象类型的数据导入,建立多对象类型参与的面向复杂对象类型数据导入的通用、统一导入思路。
附图说明
图1示出了根据本发明的实施例的数据导入装置的框图;
图2示出了根据本发明的实施例的数据导入方法的流程图;
图3示出了根据本发明的实施例的数据校验单元的流程图;
图4示出了现有技术中用户将Excel表格正确导入到ERP系统的流程图;
图5示出了根据本发明的实施例的可灵活配置的数据导入装置的流程图;
图6示出了根据本发明的实施例的数据字典的表格截图;
图7示出了根据本发明的实施例的数据字典的数据模型的结构示意图;
图8示出了根据本发明的实施例的完全模板的表格截图;
图9示出了根据本发明的实施例的待导入的数据对象的的结构示意图;
图10示出了根据本发明的实施例的数据校验单元的原理图;
图11示出了根据本发明的实施例的合并处理单元的核心逻辑的流程图;
图12示出了根据本发明的实施例的数据导入装置会将不是唯一列且字段标识相同的列自动合并的流程图;
图13示出了根据本发明的实施例的修改后的模板的结构示意图;
图14示出了根据本发明的实施例的待导入数据文件的数据页签的表格截图;
图15示出了根据本发明的实施例的用户在使用该数据导入装置的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的数据导入装置的框图。
如图1所示,根据本发明的实施例的数据导入装置100,包括:指导文件生成单元102,用于在不同的业务要求下,生成相应的指导文件;数据读取单元104,用于将待导入数据文件读取,形成数据对象;数据校验单元106,用于以指导文件为依据,对形成的数据对象进行数据校验;合并处理单元108,用于以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;数据存储单元110,用于通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。在该技术方案中,数据字典和完全模板配合使用,增强了导入模板的灵活性,用户可以自己组织所需的待导入数据;可以自动进行数据合并,减少用户的手动工作,提高用户的导入效率及正确率。
在上述技术方案中,优选地,数据校验单元106,具体包括:列必输性校验模块1062,用于对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;列唯一性校验模块1064,用于对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;数据正确性校验模块1066,用于对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。在该技术方案中,通过数据字典的使用,待导入数据的信息更加透明,方便用户组织正确的待导入数据文件,减少出错的可能。
在上述技术方案中,优选地,指导文件生成单元102生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
在上述技术方案中,优选地,数据读取单元104将待导入的文件读取,形成数据对象的操作,具体包括:将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
在上述技术方案中,优选地,合并处理单元108数据校验后数据对象进行合并的操作,具体包括:对数据校验后数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;和/或,合并处理单元108数据校验后数据对象进行修改的操作,具体包括:用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
图2示出了根据本发明的实施例的数据导入方法的流程图。
如图2所示,根据本发明的实施例的数据导入方法,包括:步骤202:在不同的业务要求下,生成相应的指导文件;步骤204:将待导入数据文件读取,形成数据对象;步骤206:以指导文件为依据,对形成的数据对象进行数据校验;步骤208:以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;步骤210:通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。在该技术方案中,数据字典和完全模板配合使用,增强了导入模板的灵活性,用户可以自己组织所需的待导入数据;可以自动进行数据合并,减少用户的手动工作,提高用户的导入效率及正确率。
在上述技术方案中,优选地,如图3所示,步骤206,具体包括:步骤302:对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;步骤304:对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;步骤306:对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。在该技术方案中,通过数据字典的使用,待导入数据的信息更加透明,方便用户组织正确的待导入数据文件,减少出错的可能。
在上述技术方案中,优选地,步骤202生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
在上述技术方案中,优选地,步骤204将待导入的文件读取,形成数据对象的操作,具体包括:将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
在上述技术方案中,优选地,步骤208对数据校验后的数据对象进行合并的操作,具体包括:对数据校验后的数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;和/或,步骤208对数据校验后的数据对象进行修改的操作,具体包括:用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
如背景技术中描述的缺陷,现有的“一种数据导入方法及系统”的模板不能进行灵活配置,无法进行数据的自动合并,没有提供给用户详尽的指导文档,只有解决以上问题才能真正提高用户在进行数据导入时的效率、准确率以及用户体验。
基于以上不足,本发明的技术方案,提供了一种可灵活配置的数据导入技术,主要用于ERP领域中的数据文件导入过程。参见图5,本发明的技术方案主要包含以下5个单元:
⑴指导文件生成单元。指导文件是指导用户进行导入的手册型文件,是数据导入装置生成的。该文件应该包括两个页签:
数据字典举例如图6。其中各列内容为:
a)字段名称:待导入数据文件中某一列的中文名称,用户可以自由修改。
b)字段标识:待导入数据文件中某一列的标识,用户不可以修改。字段标识是最重要的信息,数据导入装置将该标识设置成与数据库表中的字段标识相同,这样可以简化数据存储时的处理(如利用Java反射特性进行数据存储,或其他映射方式进行存储)。
c)必输列:该列是否为必输。如果必输,则待导入数据文件中必须存在该列,否则数据导入装置会提示导入错误
d)唯一列:该列是否必须唯一。唯一列是指待导入文件中只能出现一次的列,换言之,非唯一列可以出现多次。
e)数据类型:字段的数据类型,在待导入数据文件中,也需要按照该类型进行设置。
f)值范围:描述该字段的取值范围,如果字段长度、数量精度、枚举值范围,等等。
g)值举例:为了指引用户填写正确的数据值而举出的数据例子。
h)字段含义:对该字段的含义描述,指导用户正确理解每一个待导入字段的含义,避免引入错误数据。
i)备注:其他备注信息
j)其他信息:除了以上信息外的其他数据字典信息。
以上数据字典仅为一个示例,其各列顺序及名称、内容不必局限于上面所描述的。在不同的业务要求下,数据导入装置可以生成不同的数据字典。数据字典的数据模型如图7。
数据类型要依据数据库表的要求,例如字段名称为数量的字段,数据库表中的字段类型为小数,则数据字典中其数据类型也必须为小数。数值范围可以根据数据库要求及业务要求进行设定。数据字典中的其他信息,需要根据实际业务需求进行确定,例如某业务场景中,单据号为必输列,则需要在数据字典中体现。完全模板举例如图8所示。
该模板中,第一行为字段名称,第二行为对应的字段标识,每一列的顺序没有严格要求。
⑵数据读取单元。将待导入的文件读取,形成数据对象,用于后面的数据处理。待导入的数据对象的结构如图9。将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,该单元格所在列的字段标识、字段名称信息建立数据对象。
⑶数据校验单元。数据校验包含列必输性校验、列唯一性校验、数据正确性校验等。这些校验需要以数据字典为依据。如图10所示。
a)列必输性校验:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败。
b)列唯一性校验:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列(数据字典中的“唯一列”值为“是”),如果是唯一列,则不可以出现多次,需要将错误信息提示用户。
c)数据正确性校验:对数据类型、值范围等的校验,以实际业务及数据库要求为准。
⑷合并处理单元。数据导入装置的核心模块,其原理就是以字段标识为依据,对相同字段标识的数据进行合并。该模块的核心逻辑如图11。
⑸数据存储单元。通过和数据库的通信,将合并处理单元中输出的Map对象转化成数据库中相应数据,并进行存储。
数据导入装置会将不是唯一列且字段标识相同的列自动合并。如图12所示,可以将用户原有的数据文件中的送货要求、送货地址、备注三列直接填写到待导入的数据文件中,只需要把第二行上的字段标识填写为“remark”,导入时就会将该三列进行合并,导入到备注字段中。
用户可以在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列等等,增强了导入的灵活性。例如,一种修改后的模板可以为图13所示。
在这个例子中,用户不需要导入客户类别、客户要求等字段,就将其从模板中删除。而送货要求、送货地址是完全模板中没有的字段,而用户需要将这两个字段和备注字段进行合并,导入到数据库里面的备注字段中,就可以像上面这个例子中那样增加“送货要求”、“送货地址”两列,并将字段标识填写为“remark”、“remark”即可。
待导入数据文件的数据页签包含3部分:字段名称、字段标识和待导入数据行,如图14所示。用户在自己配置好的模板中可以加入实际数据。也可以在已有数据文件中增加1行(字段标识行),只要文件格式满足模板要求即可。这两种方式供用户选择,更具灵活性。用户在使用该数据导入装置时,推荐的一个操作流程如图15所示。
本发明的技术方案,通过以上的改进,预期能达到以下效果:
1、数据导入装置可以自动进行数据合并,减少用户的手动工作,提高用户的导入效率及正确率。
2、通过数据字典的使用,待导入数据的信息更加透明,方便用户组织正确的待导入数据文件,减少出错的可能。
3、数据字典和完全模板配合使用,增强了导入模板的灵活性,用户可以自己组织所需的待导入数据。
以上结合附图详细说明了本发明的技术方案,考虑到相关技术中没有简便的、统一的针对复杂类型数据导入的解决办法。现有的数据导入无法完成有复杂类型参与的数据导入过程。因此,本发明提出了一种数据导入装置和一种数据导入方法,可以在现有的数据导入方式基础上,充分利用单对象类型完成多对象类型的数据导入,建立多对象类型参与的面向复杂对象类型数据导入的通用、统一导入思路。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据导入装置,其特征在于,包括:
指导文件生成单元,用于在不同的业务要求下,生成相应的指导文件;
数据读取单元,用于将待导入数据文件读取,形成数据对象;
数据校验单元,用于以指导文件为依据,对形成的数据对象进行数据校验;
合并处理单元,用于以字段标识为依据,对数据校验后的数据对象进行合并和修改,得到Map对象;
数据存储单元,用于通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。
2.根据权利要求1所述的数据导入装置,其特征在于,所述数据校验单元,具体包括:
列必输性校验模块,用于对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;
列唯一性校验模块,用于对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;
数据正确性校验模块,用于对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。
3.根据权利要求1或2所述的数据导入装置,其特征在于,所述指导文件生成单元生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
4.根据权利要求1或2所述的数据导入装置,其特征在于,所述数据读取单元将待导入的文件读取,形成数据对象的操作,具体包括:
将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;所述待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
5.根据权利要求1或2所述的数据导入装置,其特征在于,所述合并处理单元对数据校验后的数据对象进行合并的操作,具体包括:
对数据校验后数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;
和/或,
所述合并处理单元对数据校验后的数据对象进行修改的操作,具体包括:
用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
6.一种数据导入方法,其特征在于,包括:
步骤202:在不同的业务要求下,生成相应的指导文件;
步骤204:将待导入数据文件读取,形成数据对象;
步骤206:以指导文件为依据,对形成的数据对象进行数据校验;
步骤208:以字段标识为依据,对数据校验后数据对象进行合并和修改,得到Map对象;
步骤210:通过和数据库的通信,将合并得到的Map对象转化成数据库中相应数据,并进行存储。
7.根据权利要求6所述的数据导入方法,其特征在于,所述步骤206,具体包括:
步骤302:对数据对象进行列必输性校验,即:待导入数据中会有部分值是必输项,即如果没有导入该值,则导入失败;
步骤304:对数据对象进行列唯一性校验,即:当同一字段标识的列在待导入数据文件中出现了多次时,需要判断该数据所在列是否是唯一列,如果是唯一列,则不能够出现多次,需要将错误信息提示用户;
步骤306:对数据对象进行数据正确性校验,即:以实际业务及数据库要求为准,对数据类型、数值范围进行校验。
8.根据权利要求6或7所述的数据导入方法,其特征在于,所述步骤202生成的指导文件,是指导用户进行导入的手册型文件,包括两个页签即数据字典和安全模板。
9.根据权利要求6或7所述的数据导入方法,其特征在于,所述步骤204将待导入的文件读取,形成数据对象的操作,具体包括:
将待导入数据文件中每一个单元格的数据读取,将单元格所在行号、列号、值,以及该单元格所在列的字段标识、字段名称信息,建立数据对象;所述待导入数据文件的数据页签,包括字段名称、字段标识和待导入数据行。
10.根据权利要求6或7所述的数据导入方法,其特征在于,所述步骤208对数据校验后的数据对象进行合并的操作,具体包括:
对数据校验后的数据对象中相同字段标识的数据、以及不是唯一列且字段标识相同的列进行合并;
和/或,
所述步骤208对数据校验后的数据对象进行修改的操作,具体包括:
用户在完全模板基础上,参考数据字典自行修改,删除不需要导入的列,增加需要合并的列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410757410.0A CN104361139B (zh) | 2014-12-10 | 2014-12-10 | 数据导入装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410757410.0A CN104361139B (zh) | 2014-12-10 | 2014-12-10 | 数据导入装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104361139A true CN104361139A (zh) | 2015-02-18 |
CN104361139B CN104361139B (zh) | 2019-04-16 |
Family
ID=52528399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410757410.0A Active CN104361139B (zh) | 2014-12-10 | 2014-12-10 | 数据导入装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104361139B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955760A (zh) * | 2016-06-07 | 2016-09-21 | 上海航天控制技术研究所 | 一种装订数据自动生成匹配方法 |
CN106066881A (zh) * | 2016-05-31 | 2016-11-02 | 深圳市永兴元科技有限公司 | 数据处理方法及装置 |
CN106874484A (zh) * | 2017-02-20 | 2017-06-20 | 济南浪潮高新科技投资发展有限公司 | 一种数据导入的方法及装置 |
CN106886390A (zh) * | 2015-12-15 | 2017-06-23 | 大唐软件技术股份有限公司 | 一种Java对象生成和转换方法和Java对象生成和转换装置 |
CN106991100A (zh) * | 2016-01-21 | 2017-07-28 | 北京京东尚科信息技术有限公司 | 数据导入方法及装置 |
CN107248065A (zh) * | 2017-06-08 | 2017-10-13 | 中国建设银行股份有限公司 | 线上报表管理方法、系统、装置及存储介质 |
CN107798128A (zh) * | 2017-11-14 | 2018-03-13 | 泰康保险集团股份有限公司 | 数据导入方法、装置、介质及电子设备 |
CN108228635A (zh) * | 2016-12-19 | 2018-06-29 | 北京奇虎科技有限公司 | 财务数据的导入方法、装置及财务系统 |
CN108241632A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种面向数据库数据迁移的数据验证方法 |
CN108471433A (zh) * | 2018-01-25 | 2018-08-31 | 中国平安人寿保险股份有限公司 | 一种配置化的同步消息验证接收方法、系统及存储介质 |
CN108595404A (zh) * | 2018-05-04 | 2018-09-28 | 日照职业技术学院 | 一种会计报表的处理方法及处理系统 |
CN108763080A (zh) * | 2018-05-29 | 2018-11-06 | 平安普惠企业管理有限公司 | 测试数据上传方法、装置、计算机设备及存储介质 |
CN109543161A (zh) * | 2018-10-15 | 2019-03-29 | 深圳点猫科技有限公司 | 一种基于教育操作系统的Excel校验比对方法及电子设备 |
CN109635017A (zh) * | 2018-10-16 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 业务数据导入方法、装置、设备及计算机可读存储介质 |
CN109636556A (zh) * | 2018-12-07 | 2019-04-16 | 用友网络科技股份有限公司 | 单据推荐方法及系统、计算机可读存储介质 |
CN109656985A (zh) * | 2018-09-27 | 2019-04-19 | 深圳壹账通智能科技有限公司 | 数据导入方法、系统、终端及存储介质 |
CN109992585A (zh) * | 2019-04-01 | 2019-07-09 | 北京金和网络股份有限公司 | 用于办公管理系统的数据导入方法 |
CN110502478A (zh) * | 2019-08-23 | 2019-11-26 | 成都九洲电子信息系统股份有限公司 | 一种离线系统之间的数据交互方法及系统 |
WO2021109777A1 (zh) * | 2019-12-03 | 2021-06-10 | 中兴通讯股份有限公司 | 一种数据文件的导入方法及装置 |
CN113094345A (zh) * | 2021-04-15 | 2021-07-09 | 浪潮通用软件有限公司 | 一种表格数据文件的导入方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005635A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Importing database data to a non-database program |
CN103077183A (zh) * | 2012-12-14 | 2013-05-01 | 北京普泽天玑数据技术有限公司 | 一种分布式顺序表的数据导入方法及其系统 |
CN103246651A (zh) * | 2012-02-02 | 2013-08-14 | 金蝶软件(中国)有限公司 | 一种数据导入方法及系统 |
CN103744982A (zh) * | 2014-01-15 | 2014-04-23 | 北京神州普惠科技股份有限公司 | 一种将Excel数据导入数据库的方法 |
-
2014
- 2014-12-10 CN CN201410757410.0A patent/CN104361139B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005635A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Importing database data to a non-database program |
CN103246651A (zh) * | 2012-02-02 | 2013-08-14 | 金蝶软件(中国)有限公司 | 一种数据导入方法及系统 |
CN103077183A (zh) * | 2012-12-14 | 2013-05-01 | 北京普泽天玑数据技术有限公司 | 一种分布式顺序表的数据导入方法及其系统 |
CN103744982A (zh) * | 2014-01-15 | 2014-04-23 | 北京神州普惠科技股份有限公司 | 一种将Excel数据导入数据库的方法 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886390A (zh) * | 2015-12-15 | 2017-06-23 | 大唐软件技术股份有限公司 | 一种Java对象生成和转换方法和Java对象生成和转换装置 |
CN106991100A (zh) * | 2016-01-21 | 2017-07-28 | 北京京东尚科信息技术有限公司 | 数据导入方法及装置 |
CN106066881A (zh) * | 2016-05-31 | 2016-11-02 | 深圳市永兴元科技有限公司 | 数据处理方法及装置 |
CN106066881B (zh) * | 2016-05-31 | 2019-10-22 | 深圳市永兴元科技股份有限公司 | 数据处理方法及装置 |
CN105955760B (zh) * | 2016-06-07 | 2019-03-15 | 上海航天控制技术研究所 | 一种装订数据自动生成匹配方法 |
CN105955760A (zh) * | 2016-06-07 | 2016-09-21 | 上海航天控制技术研究所 | 一种装订数据自动生成匹配方法 |
CN108228635A (zh) * | 2016-12-19 | 2018-06-29 | 北京奇虎科技有限公司 | 财务数据的导入方法、装置及财务系统 |
CN108241632A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种面向数据库数据迁移的数据验证方法 |
CN108241632B (zh) * | 2016-12-23 | 2022-01-14 | 中科星图股份有限公司 | 一种面向数据库数据迁移的数据验证方法 |
CN106874484A (zh) * | 2017-02-20 | 2017-06-20 | 济南浪潮高新科技投资发展有限公司 | 一种数据导入的方法及装置 |
CN107248065A (zh) * | 2017-06-08 | 2017-10-13 | 中国建设银行股份有限公司 | 线上报表管理方法、系统、装置及存储介质 |
CN107798128A (zh) * | 2017-11-14 | 2018-03-13 | 泰康保险集团股份有限公司 | 数据导入方法、装置、介质及电子设备 |
CN108471433A (zh) * | 2018-01-25 | 2018-08-31 | 中国平安人寿保险股份有限公司 | 一种配置化的同步消息验证接收方法、系统及存储介质 |
CN108471433B (zh) * | 2018-01-25 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 一种配置化的同步消息验证接收方法、系统及存储介质 |
CN108595404A (zh) * | 2018-05-04 | 2018-09-28 | 日照职业技术学院 | 一种会计报表的处理方法及处理系统 |
CN108763080A (zh) * | 2018-05-29 | 2018-11-06 | 平安普惠企业管理有限公司 | 测试数据上传方法、装置、计算机设备及存储介质 |
CN109656985A (zh) * | 2018-09-27 | 2019-04-19 | 深圳壹账通智能科技有限公司 | 数据导入方法、系统、终端及存储介质 |
CN109543161A (zh) * | 2018-10-15 | 2019-03-29 | 深圳点猫科技有限公司 | 一种基于教育操作系统的Excel校验比对方法及电子设备 |
CN109635017A (zh) * | 2018-10-16 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 业务数据导入方法、装置、设备及计算机可读存储介质 |
CN109636556A (zh) * | 2018-12-07 | 2019-04-16 | 用友网络科技股份有限公司 | 单据推荐方法及系统、计算机可读存储介质 |
CN109636556B (zh) * | 2018-12-07 | 2023-01-10 | 用友网络科技股份有限公司 | 单据推荐方法及系统、计算机可读存储介质 |
CN109992585A (zh) * | 2019-04-01 | 2019-07-09 | 北京金和网络股份有限公司 | 用于办公管理系统的数据导入方法 |
CN110502478A (zh) * | 2019-08-23 | 2019-11-26 | 成都九洲电子信息系统股份有限公司 | 一种离线系统之间的数据交互方法及系统 |
CN110502478B (zh) * | 2019-08-23 | 2023-05-23 | 成都九洲电子信息系统股份有限公司 | 一种离线系统之间的数据交互方法及系统 |
WO2021109777A1 (zh) * | 2019-12-03 | 2021-06-10 | 中兴通讯股份有限公司 | 一种数据文件的导入方法及装置 |
CN113094345A (zh) * | 2021-04-15 | 2021-07-09 | 浪潮通用软件有限公司 | 一种表格数据文件的导入方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN104361139B (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104361139A (zh) | 数据导入装置和方法 | |
US11409904B2 (en) | User interface for building a data privacy pipeline and contractual agreement to share data | |
US10706221B2 (en) | Method and system operable to facilitate the reporting of information to a report reviewing entity | |
US8234562B1 (en) | Error checking for data entry | |
US20200380202A1 (en) | Systems and methods of electronic form management | |
CN109614545A (zh) | 页面加载方法、装置及设备 | |
WO2019056710A1 (zh) | 供应商推荐方法、装置及计算机可读存储介质 | |
US20210049711A1 (en) | Method of automatically transmitting data information and device of automatically transmitting data information | |
AU2015331025A1 (en) | Emulating manual system of filing using electronic document and electronic file | |
CN103544074A (zh) | 一种业务的校验方法及装置 | |
CN101930443A (zh) | 数据业务系统及数据业务实现方法 | |
CN104079538A (zh) | 一种支持跨平台互动的微博聚合方法及系统 | |
CN107015957A (zh) | 用户表单生成方法和装置 | |
CN107578217B (zh) | 一种工作电子流自主生成方法、装置及办公管理系统 | |
US20070203854A1 (en) | Electronic contracting | |
CN105741121A (zh) | 一种基于条目引用的产品溯源信息的编写与存储方法 | |
CN109902095A (zh) | 保单信息更新方法、装置、终端及计算机可读存储介质 | |
US20130268936A1 (en) | Workflow management system and method | |
US10664653B2 (en) | Automated structured cloud datatester | |
US20170132195A1 (en) | Method and Apparatus Providing Contextual Suggestion in Planning Spreadsheet | |
CN112541692B (zh) | 科学数据管理计划生成方法及装置 | |
CN109816338A (zh) | 企业奖惩处理方法、装置、计算机设备和存储介质 | |
US20230195792A1 (en) | Database management methods and associated apparatus | |
US9116935B2 (en) | Method and system to promote database cost savings | |
CN111522840A (zh) | 标签的配置方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant after: Yonyou Network Technology Co., Ltd. Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant before: UFIDA Software Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |