CN109656985A - 数据导入方法、系统、终端及存储介质 - Google Patents

数据导入方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN109656985A
CN109656985A CN201811135731.1A CN201811135731A CN109656985A CN 109656985 A CN109656985 A CN 109656985A CN 201811135731 A CN201811135731 A CN 201811135731A CN 109656985 A CN109656985 A CN 109656985A
Authority
CN
China
Prior art keywords
field
gauge outfit
data
file
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811135731.1A
Other languages
English (en)
Inventor
余磊
贺碧威
魏诗航
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201811135731.1A priority Critical patent/CN109656985A/zh
Publication of CN109656985A publication Critical patent/CN109656985A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据导入方法、系统、终端及存储介质,该方法包括:在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。本发明可不限制待导入文件中表头位置和表头数量,可实现更灵活的数据导入。

Description

数据导入方法、系统、终端及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据导入方法、系统、终端及存储介质。
背景技术
在进行数据导入时,通常将数据存储到表格(Excel表格/CSV表格)中,通过预设的导入规则将表格中存储的数据导入到系统数据库中。
然而,往往会出现客户提供的原始表格中的数据格式不符合预设的导入规则,此时需要人工将表格中的数据进行格式调整,否则会出现无法导入或导入的数据排版发生错乱的情况,在不合要求的表格表格数据量较大时,需要大量人力成本。可见,现有数据导入方法的适用性较差。
发明内容
本发明的主要目的在于提供一种数据导入方法,旨在解决现有数据导入方法的灵活性、适用性较差的技术问题。
为实现上述目的,本发明提供一种数据导入方法,其特征在于,所述数据导入方法包括以下步骤:
在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
可选地,所述在检测到数据导入请求时,获取该数据导入请求对应的待导入文件的步骤之前包括:
获取源表头文件,并基于该源表头文件中所有表头查询同义词库,根据同义词查询结果将该源表头文件中所有表头进行分类,获得分类后的所有表头集合,其中,将源表头文件中属于同义词的表头作为一个表头集合;
根据各所述表头集合定义预设字段库中的字段类;
为所述预设字段库中的字段类分配各自对应的类存储位置。
可选地,所述根据各所述表头集合定义预设字段库中的字段类的步骤包括:
将各表头集合中的表头与预设字段库中所有字段进行对比,获取各表头集合中,与预设字段库中任一字段相同的表头,将该表头作为重复表头,并删除各表头集合中的重复表头;
根据各表头集合定义各自对应的字段类,将各表头集合中剩余的表头作为各自对应的字段类中的字段。
可选地,所述根据各所述表头集合定义预设字段库中的字段类的步骤之后包括:
为所述预设字段库中的字段类分配各自对应的显示优先级;
所述数据导入方法还包括:
在检测到第一显示指令时,根据该第一显示指令获取对应的所有待显示数据;
获取各所述待显示数据所属字段类的显示优先级,根据该显示优先级确定各所述待显示数据的显示顺序,依据该显示顺序将各所述待显示数据进行显示。
可选地,所述判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段的步骤之后包括:
若字段库中不存在与所述目标表头对应的所述目标字段,则基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类;
将属于所述目标表头的单元格数据存储到所述目标字段类的类存储位置。
可选地,所述数据导入方法还包括:
在检测到校验器的功能配置指令时,确定该功能配置指令指向的待配置字段类;
根据所述功能配置指令为所述待配置字段类开启对应的校验功能。
可选地,所述数据导入方法还包括:
在待导入过程中,为所述待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识;
在检测到第二显示指令时,从该第二显示指令中获取其指向的待显示数据的区分标识;
根据所述区分标识获取对应的待显示文件头,根据该待显示文件头获取对应的待显示字段;
将所述待显示字段进行显示。
此外,为实现上述目的,本发明还提供一种数据导入系统,所述数据导入系统包括:
文件获取模块,用于在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
文件读取模块,用于读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
字段查询模块,用于将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
数据存储模块,用于若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
此外,为实现上述目的,本发明还提供一种数据导入终端,所述数据导入终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导入程序,其中所述数据导入程序被所述处理器执行时,实现如上述的数据导入方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有数据导入程序,其中所述数据导入程序被处理器执行时,实现如上述的数据导入方法的步骤。
本发明实施例通过在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入,使得只要字段库中预先定义足够多的字段,只要待导入文件中单元格数据所属表头在字段库中存在对应字段,即可不限制待导入文件中表头位置和表头数量,实现更灵活地数据导入。
附图说明
图1是本发明所提供的数据导入终端的硬件结构示意图;
图2为本发明数据导入方法第一实施例的流程示意图;
图3为本发明数据导入方法第二实施例的流程示意图;
图4为本发明数据导入系统第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1为本发明所提供的数据导入终端的硬件结构示意图。
所述数据导入终端可以是PC,也可以是智能手机、平板电脑、便携计算机、台式计算机等具有显示功能的设备终端。
所述数据导入终端可以包括:处理器10以及存储器20等部件。在所述数据导入终端中,所述处理器10与所述存储器20连接,所述存储器20上存储有数据导入程序,处理器10可以调用存储器20中存储的数据导入程序,并实现如下述数据导入方法各实施例的步骤。
所述存储器20,可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如数据导入程序)等;存储数据区可包括数据库,例如本发明中的字段库。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器10,是数据导入终端的控制中心,利用各种接口和线路连接整个数据导入终端的各个部分,通过运行或执行存储在存储器20内的软件程序和/或模块,以及调用存储在存储器20内的数据,执行数据导入终端的各种功能和处理数据,从而对数据导入终端进行整体监控。处理器10可包括一个或多个处理单元;可选地,处理器10可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器10中。
本领域技术人员可以理解,图1中示出的数据导入终端结构并不构成对数据导入终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
基于上述硬件结构,提出本发明方法各个实施例。
本发明提供一种数据导入方法。
参照图2,图2为本发明数据导入方法第一实施例的流程示意图。
本实施例中,所述数据导入方法包括以下步骤:
步骤S10,在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
数据导入终端(下文简称“终端”)在接收到数据导入请求后,获取对应的待导入文件。数据导入请求可以是终端用户点击终端上预置的数据导入控件输入,也可以是通过终端预设的其他触发方式,如在进行终端的数据展示功能时自动触发的数据导入请求。本实施例中的数据导入,可以指通过USB或无线传输或网络通信等方式将数据从其他终端/服务器传输到数据导入终端,也可以指将存储于终端本地的数据文件导入到目标系统,例如,将本地的客户资料导入到OA系统、催款系统、客服系统等。
本实施例中的待导入文件即数据导入请求指向的、请求导入的目标文件,待导入文件是表格形式的数据,可以是Excel表格或CSV表格。在数据导入请求中包含对应待导入文件的来源信息时,直接根据数据导入请求获取对应的待导入文件;也可以直接根据终端用户输入获取待导入文件。
步骤S20,读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
终端以单元格为单位读取数据,从第一行第一个单元格开始,一行一行遍历读取待导入文件中所有单元格数据,其中,在读取待导入文件的任一单元格数据时,获取当前读取的单元格数据所属的目标表头,将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段,若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入,遍历待导入文件中所有单元格数据,对其中每一个单元格数据都执行前述步骤。
目标表头指待导入文件中任一单元格数据所属的表头。
步骤S30,将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
目标表头与字段库中的字段进行对比,对比内容可以是名称或字符,例如,对比字段库中是否存在与目标表头名称/字符相同的字段。
对比内容也可以是含义,例如,对比字段库中是否存在与目标表头含义相同的字段,可通过语义识别进行含义对比实现,因为存在一种情况:目标表头与字段库中的字段可能名称不同,但是含义相同,终端需要识别这些含义相同的表头与字段,以免导入失败或者需要新定义字段类或新字段(浪费存储空间)。
步骤S40,若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
在将所述目标表头与预设字段库中的字段进行对比,查找到字段库中存在与该目标表头对应的目标字段,则终端可以识别属于所述目标表头的所有单元格数据,并将属于所述目标表头的所有单元格数据存储到所述目标字段的类存储位置,以实现待导入文件中属于所述目标表头的所有单元格数据的导入。
每一个字段都有各自对应的类存储位置,用于存储待导入文件中对应表头下的单元格数据。
本实施例通过在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入,使得只要字段库中预先定义足够多的字段,只要待导入文件中单元格数据所属表头在字段库中存在对应字段,即可不限制待导入文件中表头位置和表头数量,就可以实现更灵活的数据导入。
进一步地,步骤S30中所述判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段的步骤之后包括:
步骤S31,若字段库中不存在与所述目标表头对应的所述目标字段,则基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类;
若字段库中不存在目标表头对应的目标字段,则为保证待导入文件中各表头数据的顺利导入,在判定字段库中不存在目标表头对应的目标字段后,根据目标表头在字段库中定义新字段类,可由终端自动开始进行新的字段类的定义,也可以先输出定义新的字段类的提示,告知用户不存在对应的目标字段的所有目标表头,以供用户选择是否定义新的字段类或选择定义哪些表头对应的新字段类,若接收到用户定义新的字段类的操作指令,则基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类,具体包括:
获取目标表头的名称,并基于目标表头名称获取与其含义相同的词组名称,将所述目标表头的名称及与其含义相同的词组名称作为该目标表头对应新的字段类下的字段进行定义;为所述新的字段类分配类存储位置,可选地还包括为所述新的字段类分配显示优先级。
若接收到用户放弃定义新的字段类的放弃指令,则获取该放弃指令对应的表头,不存储待导入文件中该对应的表头下的所有单元格数据。
步骤S32,将属于所述目标表头的单元格数据存储到所述目标字段类的类存储位置。
在完成新的字段类的定义后,即可将属于所述目标表头的单元格数据存储到该新的字段类的类存储位置,完成所述目标表头的单元格数据下单元格数据的导入。
本实施例通过在判定字段库中不存在与所述目标表头对应的所述目标字段后,基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类,将属于所述目标表头的单元格数据存储到所述目标字段类的类存储位置,即待导入文件中的表头在字段库中无对应字段时,根据该表头定义新的字段类,可顺利导入待导入文件中的所有单元格数据,对待导入文件的格式要求更低,数据导入功能更为灵活。
进一步地,如图3,在本发明数据导入方法第二实施例中,还包括字段库中字段类定义步骤,具体地,所述步骤S10之前包括:
步骤S50,获取源表头文件,并基于该源表头文件中所有表头查询同义词库,根据同义词查询结果将该源表头文件中所有表头进行分类,获得分类后的所有表头集合,其中,将源表头文件中属于同义词的表头作为一个表头集合;
在进行本发明数据导入方法其他各步骤之前,可预先定义字段库,定义字段库中各字段以及各字段所属的字段类。可以单个添加或批量导入源数据,用于定义字段类及其下的字段。
本实施例中,批量导入源表头文件,源表头文件中的表头是终端曾经导入或需要经常导入的数据表头,可通过收集并分析终端的历史导入文件获得,也可由用户直接输入源表头文件。
获取源表头文件后,读取其中所有的表头,并查询同义词库,判断源表头文件中属于同义词的表头,同义词库指同义词数据库,可导入普通同义词词典或者金融同义词典。具体地,所述基于该源表头文件中所有表头查询同义词库,根据同义词查询结果将该源表头文件中所有表头进行分类,获得分类后的所有表头集合这一步骤可包括:
获取源表头文件中的任意表头,将该表头作为当前表头,查询同义词库,并获取该当前表头的同义词,将当前表头的同义词与源表头文件中的其他表头(指当前表头意外的表头)进行比较,判断源表头文件其他表头中是否存在当前表头的同义词,若存在,将属于当前表头同义词的表头作为当前表头的同义词表头,将当前表头的所有同义词表头与当前表头作为一个表头集合。
步骤S51,根据各所述表头集合定义预设字段库中的字段类;
字段类包含多个字段,根据一个表头集合定义一个字段类,将一个表头集合中的表头作为一个字段类中的字段,因为一个表头集合中的表头都是同义词,可实现一个字段类中的字段含义相同。字段类可以选取所包含的字段中任一字段名称作为类名称进行定义。
本实施例中,根据表头集合定义字段类,将表头集合中的所有表头作为字段与该字段类关联,作为该字段类下的字段。
步骤S52,为所述预设字段库中的字段类分配各自对应的类存储位置。
在定义字段类时,还定义字段类的类存储位置。在确定字段库中存在与待导入文件中的表头的对应字段后,将该表头下的数据存储到对应字段所属字段类的类存储位置。
因待导入文件可能具有不同来源,对同一含义的表达可能不统一,不同来源的待导入文件中可能存在一些含义相同、用词不同的表头,因此,本实施例中,不定义单个字段,而是定义包含多个字段的字段类,同属于一个字段类的所有字段的含义相同,在导入数据时,待导入文件中的表头只要与一个字段相同,就可以存储到对应的类存储位置。因此,无需定义多个含义相同的字段,多个含义相同字段对应一个类存储位置,节约了存储资源;定义一个字段类即可包含多个字段,可降低识别失败的风险,可提升终端数据导入功能的灵活性,以及各种表头名称的兼容性。
进一步地,所述步骤S51根据各所述表头集合定义预设字段库中的字段类包括:
步骤S511,将各表头集合中的表头与预设字段库中所有字段进行对比,获取各表头集合中,与预设字段库中任一字段相同的表头,将该表头作为重复表头,并删除各表头集合中的重复表头;
终端在执行步骤S511时,具体可在将一个表头集合中的表头对预设字段库中所有字段对比完成后,继续进行下一个表头集合的表头与字段的对比,直至完成所有表头集合中表头与预设字段库中所有字段的对比。每个表头集合作为一个独立的定义依据,为便于理解,以终端中具体执行步骤S511的装置为执行主体进行描述:终端中的报表生成装置包括字段类定义模块,该字段类定义模块包括获取模块、对比模块、筛选模块、定义模块,获取模块获取一个表头集合及其中的表头,对比模块将该表头集合中的表头与预设字段库中所有字段进行对比,并获得与预设字段库中任一字段相同的表头,筛选模块将该表头作为重复表头,并删除该表头集合中的重复表头,其中,在对比模块将该一个表头集合中所有表头对比完毕后,继续获取下一个表头集合及其中的表头,后续对比模块、筛选模块、定义模块重复执行前述步骤,直至所有表头集合被获取,且所有集合中的表头都对比、筛选、定义完毕。
某表头与预设字段库中任一字段相同,说明该表头在预设字段库中已有存储,为避免重复,删除各表头集合中的重复表头,节约存储资源和运行资源。
步骤S512,根据各表头集合定义各自对应的字段类,将各表头集合中剩余的表头作为各自对应的字段类中的字段。
根据一个表头集合定义对应的一个新的字段类,各表头集合中剩余的表头指删除掉重复表头后剩余的表头。
本实施例通过将各表头集合中,与预设字段库中任一字段相同的表头删除,可以避免预设字段库中出现重复字段,减少资源浪费,且根据各表头集合的剩余表头分别定义对应的新的字段类,可以实现根据批量导入的表头进行批量字段的定义,且因为属于同一表头集合的表头作为一个新的字段类中的字段,使得待导入文件中的表头只要与字段类中任一字段相同即可存入对应的字段类的类存储位置,对待导入文件的表头用词要求降低,可实现更灵活、更顺利的数据导入。
进一步地,步骤S51之后包括:
步骤S60,为所述预设字段库中的字段类分配各自对应的显示优先级;
字段类定义时,还包括显示优先级的定义,显示优先级用于区分待导入文件中各表头下数据在显示时的排版顺序,例如:总共有三列,姓名表头、月份表头、业绩表头三者的显示优先级依次递减,即姓名表头在第一列、月份表头在第二列、业绩表头在第三列。
本实施例中,字段库中各字段类定义内容示例如下:
字段类1 存储位置1 第一优先级
字段类2 存储位置2 第二优先级
...
字段类n 存储位置n 第n优先级
其中,显示优先级可以根据字段类定义的先后顺序确定。例如,先定义A字段类,再定义B字段类,则A字段类显示优先级大于B字段类。可选地,显示优先级还可以由用户设置修改。
本实施例可通过为字段库中各字段类分配显示优先级,使得属于不同字段类的字段在显示时遵循一定的前后顺序,可实现对格式不一的待导入文件各表头排版顺序的调整,便于将待导入文件导入后进行进一步的数据分析。
步骤S61,在检测到第一显示指令时,根据该第一显示指令获取对应的所有待显示数据;
在将待导入文件导入后,可立即进行显示,也可以根据用户操作进行显示。若是立即显示,则可在将待导入文件全部导入后,触发显示指令,调取终端显示模块进行显示,此时,待导入文件导入终端后的所有数据即待显示数据。
步骤S62,获取各所述待显示数据所属字段类的显示优先级,根据该显示优先级确定各所述待显示数据的显示顺序,依据该显示顺序将各所述待显示数据进行显示。
待显示数据都存储在对应字段类的类存储位置,在显示时,需要根据各待显示数据所属字段类的显示优先级确定各待显示数据的显示顺序,根据该显示顺序将该各待显示数据进行显示。
现有技术中,往往要求待导入文件中各表头数据符合预设的显示顺序(即格式排列规则),例如,预先定义的存储结构能存储10列,那必然要求待导入文件只有10列数据,同理,每一列的存储位置、表头,都已提前定义好,例如,预设的显示顺序中,对姓名列的位置有固定要求:姓名列在第10列,但是在原始的待导入文件中,姓名列可能在第8列,也可能在第9列,此时,需要用户按照预设的显示顺序对待导入文件行调整才能做导入,这不仅工作量巨大,且人工失误的可能性较大。
本实施例通过在检测到第一显示指令时,根据该第一显示指令获取对应的所有待显示数据,获取各所述待显示数据所属字段类的显示优先级,根据该显示优先级确定各所述待显示数据的显示顺序,依据该显示顺序将各所述待显示数据进行显示,使得字段以及对应的类存储位置存储的数据按照一定的显示顺序(排版顺序)进行显示,因为待导入文件中各表头数据在导入终端后,就存储在对应字段类的类存储位置,因而,在显示时,待导入文件中各表头数据也是按照对应字段类的显示顺序进行显示,则可实现对各表头数据显示顺序的自动调整,则不管待导入文件中各表头数据原有的显示顺序是怎样的,在导入后都可以自动调整为终端预设的显示顺序(体现为字段类的显示优先级),没有了对待导入文件中各个表头数据原有显示顺序的要求,减少了人工调整步骤,提升了数据导入的灵活性。
进一步地,在本发明的第三实施例中,所述数据导入方法还包括:
步骤S70,在检测到校验器的功能配置指令时,确定该功能配置指令指向的待配置字段类;
本实施例中的校验器可以包括但不限于非空校验、长度校验、日期格式校验、金额精度校验。校验器的功能配置指令,即触发校验器开启或关闭的指令,可以由用户根据需要选择开启或关闭校验功能,也可以预设为根据待导入文件的类型自主触发功能配置指令,例如,预设:客户A的待导入文件需要进行金额精度校验,客户B的待导入文件需要进行长度校验和日期格式校验,则在检测到待导入文件来自客户A时,仅触发开启金额精度校验,如果有其他校验器,则默认处于未触发的关闭状态,在检测到待导入文件来自客户B时,触发开启长度校验和日期格式校验,如果有其他校验器,则默认处于未触发的关闭状态。
每个字段类,可以开启一种或多种校验功能,可根据用户输入或预设规则进行功能配置。本实施例中的功能配置指令可能指向一个或多个待配置字段类。
步骤S71,根据所述功能配置指令为所述待配置字段类开启对应的校验功能。
根据功能配置指令,可获得触发开启的第一校验功能,例如,触发原本关闭的非空校验器开启,也可获得触发关闭的第二校验功能,例如,触发原本开启的长度校验关闭。根据功能配置指令配置待配置字段类,开启第一校验功能,还可关闭所述第二校验功能。
本实施例中的“检测到校验器的功能配置指令”可能出现在本发明各实施例任意步骤之前/之后/之间。
本实施例通过在检测到校验器的功能配置指令时,确定该功能配置指令指向的待配置字段类,根据所述功能配置指令为所述待配置字段类开启对应的校验功能,可由用户根据实际应用场景的不同,确定各字段类是否开启校验功能以及开启何种种类的校验功能,实现功能的可配置,也可由预设规则实现不同场景(包括不同待导入文件类型)下的功能的可配置,使得本发明数据导入功能更为灵活。
进一步地,在本发明的第四实施例中,所述数据导入方法还包括:
步骤S80,在待导入过程中,为所述待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识;
在导入待导入文件的过程中,为待导入文件的文件头和所述待导入文件中所有单元格数据添加共同的、唯一的区分标识。其中,“共同”指为待导入文件的文件头添加的标识与为所有单元格数据添加标识是同一个,可标识所有单元格数据来自同一个待导入文件,且具有同一区分标识的文件头为该待导入文件的文件头。“唯一”指相较于其他待导入文件的单元格数据所具有的标识来说是唯一的,可区分是否来自某唯一的待导入文件。
在添加区分标识后,将单元格数据及其区分标识一起存储到对应字段类的类存储位置,同时,还将文件头及其区分标识一起存储。
本发明各实施例通过建立字段库的方式实现数据导入,字段库中有许多字段类,字段类包含多个字段,在显示数据时会全部显示出来,然而,用户在查看一条数据时,只涉及到字段库中的多个字段而不是全部字段,若是全部显示出来,会导致数据显示界面出现无用字段过多,显示凌乱。为使得显示数据时,只显示有有效数据的字段,进一步地,所述数据导入方法还包括:
步骤S81,在检测到第二显示指令时,从该第二显示指令中获取其指向的待显示数据的区分标识;
在将待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识后,可根据区分标识获取待导入文件的相关信息,例如,待导入文件的表头信息。
本实施例中,第二显示指令可以由用户触发,例如,用户选中某条数据或某几条数据后,选择显示,则触发第二显示指令。
本实施例中的第二显示指令,与步骤S61中的第一显示指令可以为同一指令,也可以为不同指令。
步骤S82,根据所述区分标识获取对应的待显示文件头,根据该待显示文件头获取对应的待显示字段;
步骤S83,将所述待显示字段进行显示。
因所述待显示数据的来源文件(即待显示数据导入前所属的待导入文件)的待显示文件头也添加了同样的区分标识,所以,可根据所述区分标识获取待显示文件头,并在获得待显示文件头后,根据待显示文件头获得来源文件中的所有表头,在根据第二显示指令进行显示时,只显示来源文件中所有表头对应的字段,即待显示字段,不显示字段库中其他字段,保证显示的准确性、简洁性。
本实施例通过在待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识,使得在检测到第二显示指令,需要进行数据显示时,可根据第二显示指令指向的待显示数据的区分标识确定对应的文件头,并基于该文件头确定对应的待导入文件中所有表头对应的待显示字段,可保证在显示时,只显示待显示字段,其他字段不显示在页面,可使得展示数据的页面更加简洁。
此外,本发明还提供一种与上述数据导入方法各步骤对应的数据导入系统,该数据导入系统可以配置在所述数据导入终端中,作为数据导入功能的管理系统与实现系统。
参照图4,图4为本发明数据导入系统第一实施例的功能模块示意图。
在本实施例中,本发明数据导入系统包括:
文件获取模块10,用于在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
文件读取模块20,用于读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
字段查询模块30,用于将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
数据存储模块40,用于若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
进一步地,所述数据导入系统还包括:
字段类定义模块,用于获取源表头文件,并基于该源表头文件中所有表头查询同义词库,根据同义词查询结果将该源表头文件中所有表头进行分类,获得分类后的所有表头集合,其中,将源表头文件中属于同义词的表头作为一个表头集合;根据各所述表头集合定义预设字段库中的字段类;为所述预设字段库中的字段类分配各自对应的类存储位置。
进一步地,所述数据导入系统还包括:
所述字段类定义模块,还用于将各表头集合中的表头与预设字段库中所有字段进行对比,获取各表头集合中,与预设字段库中任一字段相同的表头,将该表头作为重复表头,并删除各表头集合中的重复表头;根据各表头集合定义各自对应的字段类,将各表头集合中剩余的表头作为各自对应的字段类中的字段。
进一步地,所述数据导入系统还包括:
所述字段类定义模块,还用于为所述预设字段库中的字段类分配各自对应的显示优先级;
显示模块,用于在检测到第一显示指令时,根据该第一显示指令获取对应的所有待显示数据;获取各所述待显示数据所属字段类的显示优先级,根据该显示优先级确定各所述待显示数据的显示顺序,依据该显示顺序将各所述待显示数据进行显示。
进一步地,所述数据导入系统还包括:
所述字段类定义模块,还用于若字段库中不存在与所述目标表头对应的所述目标字段,则基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类;
所述数据存储模块40,还用于将属于所述目标表头的单元格数据存储到所述目标字段类的类存储位置。
进一步地,所述数据导入系统还包括:
校验器配置模块,用于在检测到校验器的功能配置指令时,确定该功能配置指令指向的待配置字段类;根据所述功能配置指令为所述待配置字段类开启对应的校验功能。
进一步地,所述数据导入系统还包括:
标识模块,用于在待导入过程中,为所述待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识;
所述显示模块,还用于在检测到第二显示指令时,从该第二显示指令中获取其指向的待显示数据的区分标识;根据所述区分标识获取对应的待显示文件头,根据该待显示文件头获取对应的待显示字段;将所述待显示字段进行显示。
本发明还提出一种存储介质,其上存储有计算机程序。所述存储介质可以是图1的数据导入终端中的存储器20,也可以是如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘中的任意一种,所述存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是手机,计算机,服务器,网络设备或本发明实施例中的数据导入终端等)执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者服务端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者服务端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者服务端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据导入方法,其特征在于,所述数据导入方法包括以下步骤:
在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
2.如权利要求1所述的数据导入方法,其特征在于,所述在检测到数据导入请求时,获取该数据导入请求对应的待导入文件的步骤之前包括:
获取源表头文件,并基于该源表头文件中所有表头查询同义词库,根据同义词查询结果将该源表头文件中所有表头进行分类,获得分类后的所有表头集合,其中,将源表头文件中属于同义词的表头作为一个表头集合;
根据各所述表头集合定义预设字段库中的字段类;
为所述预设字段库中的字段类分配各自对应的类存储位置。
3.如权利要求2所述的数据导入方法,其特征在于,所述根据各所述表头集合定义预设字段库中的字段类的步骤包括:
将各表头集合中的表头与预设字段库中所有字段进行对比,获取各表头集合中,与预设字段库中任一字段相同的表头,将该表头作为重复表头,并删除各表头集合中的重复表头;
根据各表头集合定义各自对应的字段类,将各表头集合中剩余的表头作为各自对应的字段类中的字段。
4.如权利要求2所述的数据导入方法,其特征在于,所述根据各所述表头集合定义预设字段库中的字段类的步骤之后包括:
为所述预设字段库中的字段类分配各自对应的显示优先级;
所述数据导入方法还包括:
在检测到第一显示指令时,根据该第一显示指令获取对应的所有待显示数据;
获取各所述待显示数据所属字段类的显示优先级,根据该显示优先级确定各所述待显示数据的显示顺序,依据该显示顺序将各所述待显示数据进行显示。
5.如权利要求1所述的数据导入方法,其特征在于,所述判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段的步骤之后包括:
若字段库中不存在与所述目标表头对应的所述目标字段,则基于所述目标表头在字段库中定义新的字段类,将该新的字段类作为目标字段类;
将属于所述目标表头的单元格数据存储到所述目标字段类的类存储位置。
6.如权利要求1所述的数据导入方法,其特征在于,所述数据导入方法还包括:
在检测到校验器的功能配置指令时,确定该功能配置指令指向的待配置字段类;
根据所述功能配置指令为所述待配置字段类开启对应的校验功能。
7.如权利要求1至6中任一项所述的数据导入方法,其特征在于,所述数据导入方法还包括:
在待导入过程中,为所述待导入文件的文件头和所述待导入文件中所有单元格数据添加区分标识;
在检测到第二显示指令时,从该第二显示指令中获取其指向的待显示数据的区分标识;
根据所述区分标识获取对应的待显示文件头,根据该待显示文件头获取对应的待显示字段;
将所述待显示字段进行显示。
8.一种数据导入系统,其特征在于,所述数据导入系统包括:
文件获取模块,用于在检测到数据导入请求时,获取该数据导入请求对应的待导入文件;
文件读取模块,用于读取所述待导入文件中所有单元格数据,并确定该所有单元格数据各自所属的目标表头;
字段查询模块,用于将所述目标表头与预设字段库中的字段进行对比,判断所述字段库中是否存在与该目标表头对应的字段,将该字段作为目标字段;
数据存储模块,用于若所述字段库中存在与所述目标表头对应的所述目标字段,则将属于所述目标表头的单元格数据存储到所述目标字段对应的类存储位置,以完成所述待导入文件的导入。
9.一种数据导入终端,其特征在于,所述数据导入终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导入程序,其中所述数据导入程序被所述处理器执行时,实现如权利要求1至7中任一项所述的数据导入方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有数据导入程序,其中所述数据导入程序被处理器执行时,实现如权利要求1至7中任一项所述的数据导入方法的步骤。
CN201811135731.1A 2018-09-27 2018-09-27 数据导入方法、系统、终端及存储介质 Pending CN109656985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811135731.1A CN109656985A (zh) 2018-09-27 2018-09-27 数据导入方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811135731.1A CN109656985A (zh) 2018-09-27 2018-09-27 数据导入方法、系统、终端及存储介质

Publications (1)

Publication Number Publication Date
CN109656985A true CN109656985A (zh) 2019-04-19

Family

ID=66110324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811135731.1A Pending CN109656985A (zh) 2018-09-27 2018-09-27 数据导入方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109656985A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427375A (zh) * 2019-07-29 2019-11-08 北京明略软件系统有限公司 字段类别的识别方法及装置
CN110688302A (zh) * 2019-08-27 2020-01-14 天津开心生活科技有限公司 一种字段库自动化测试方法及装置
CN111046632A (zh) * 2019-11-29 2020-04-21 智器云南京信息科技有限公司 一种数据提取转换方法、系统、存储介质及电子设备
CN111143450A (zh) * 2019-12-13 2020-05-12 远光软件股份有限公司 导入数据的方法和装置
CN111274350A (zh) * 2020-02-03 2020-06-12 广州极尚网络技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN112163024A (zh) * 2020-09-11 2021-01-01 重庆誉存大数据科技有限公司 一种基于层级关联结构的配置信息导出和导入方法
CN112364611A (zh) * 2020-09-29 2021-02-12 成都商通数治科技有限公司 一种高性能的表格导入的方法
CN112465618A (zh) * 2020-12-22 2021-03-09 航天信息股份有限公司企业服务分公司 一种针对银行对账单的通用导入方法及系统
CN112632132A (zh) * 2020-12-31 2021-04-09 中国农业银行股份有限公司 一种异常导入数据的处理方法、装置及设备
CN113010527A (zh) * 2021-04-22 2021-06-22 苏州创腾软件有限公司 检测数据的处理方法、装置、计算机设备和存储介质
CN113590533A (zh) * 2021-08-12 2021-11-02 城云科技(中国)有限公司 文件入库方法、装置及电子装置、计算机程序产品
CN113987112A (zh) * 2021-12-24 2022-01-28 杭州恒生聚源信息技术有限公司 表格信息抽取方法、装置、存储介质及电子设备
CN116052404A (zh) * 2023-02-14 2023-05-02 安徽康能电气有限公司 一种基于5g通信技术的电网数据交互系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268661A (ja) * 2005-03-25 2006-10-05 Yamatake Corp データインポート方法およびデータインポート装置
US7970796B1 (en) * 2006-12-01 2011-06-28 Intuit Inc. Method and system for importing data to a repository
US20130074001A1 (en) * 2010-04-10 2013-03-21 Ilan Meirman Injection of data into a software application
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN104978307A (zh) * 2015-06-25 2015-10-14 中铁四局集团有限公司 一种清单处理方法及装置
US9514205B1 (en) * 2015-09-04 2016-12-06 Palantir Technologies Inc. Systems and methods for importing data from electronic data files
CN106897434A (zh) * 2017-02-27 2017-06-27 济南浪潮高新科技投资发展有限公司 一种数据导入方法、装置及系统
CN106919618A (zh) * 2015-12-28 2017-07-04 航天信息股份有限公司 excel数据导入方法及系统
CN108197207A (zh) * 2017-12-28 2018-06-22 南京涵韬信息科技有限公司 批量数据匹配导入方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268661A (ja) * 2005-03-25 2006-10-05 Yamatake Corp データインポート方法およびデータインポート装置
US7970796B1 (en) * 2006-12-01 2011-06-28 Intuit Inc. Method and system for importing data to a repository
US20130074001A1 (en) * 2010-04-10 2013-03-21 Ilan Meirman Injection of data into a software application
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN104978307A (zh) * 2015-06-25 2015-10-14 中铁四局集团有限公司 一种清单处理方法及装置
US9514205B1 (en) * 2015-09-04 2016-12-06 Palantir Technologies Inc. Systems and methods for importing data from electronic data files
CN106919618A (zh) * 2015-12-28 2017-07-04 航天信息股份有限公司 excel数据导入方法及系统
CN106897434A (zh) * 2017-02-27 2017-06-27 济南浪潮高新科技投资发展有限公司 一种数据导入方法、装置及系统
CN108197207A (zh) * 2017-12-28 2018-06-22 南京涵韬信息科技有限公司 批量数据匹配导入方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高智超;张志揆;: "将Excel数据导入MySQL中的两种技巧", 电脑编程技巧与维护, no. 19, 3 October 2012 (2012-10-03), pages 41 - 42 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427375B (zh) * 2019-07-29 2022-12-09 北京明略软件系统有限公司 字段类别的识别方法及装置
CN110427375A (zh) * 2019-07-29 2019-11-08 北京明略软件系统有限公司 字段类别的识别方法及装置
CN110688302A (zh) * 2019-08-27 2020-01-14 天津开心生活科技有限公司 一种字段库自动化测试方法及装置
CN111046632A (zh) * 2019-11-29 2020-04-21 智器云南京信息科技有限公司 一种数据提取转换方法、系统、存储介质及电子设备
CN111046632B (zh) * 2019-11-29 2023-11-10 智器云南京信息科技有限公司 一种数据提取转换方法、系统、存储介质及电子设备
CN111143450A (zh) * 2019-12-13 2020-05-12 远光软件股份有限公司 导入数据的方法和装置
CN111143450B (zh) * 2019-12-13 2023-05-30 远光软件股份有限公司 导入数据的方法和装置
CN111274350A (zh) * 2020-02-03 2020-06-12 广州极尚网络技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN112163024A (zh) * 2020-09-11 2021-01-01 重庆誉存大数据科技有限公司 一种基于层级关联结构的配置信息导出和导入方法
CN112163024B (zh) * 2020-09-11 2024-03-19 重庆誉存大数据科技有限公司 一种基于层级关联结构的配置信息导出和导入方法
CN112364611A (zh) * 2020-09-29 2021-02-12 成都商通数治科技有限公司 一种高性能的表格导入的方法
CN112465618A (zh) * 2020-12-22 2021-03-09 航天信息股份有限公司企业服务分公司 一种针对银行对账单的通用导入方法及系统
CN112632132A (zh) * 2020-12-31 2021-04-09 中国农业银行股份有限公司 一种异常导入数据的处理方法、装置及设备
CN112632132B (zh) * 2020-12-31 2024-04-12 中国农业银行股份有限公司 一种异常导入数据的处理方法、装置及设备
CN113010527A (zh) * 2021-04-22 2021-06-22 苏州创腾软件有限公司 检测数据的处理方法、装置、计算机设备和存储介质
CN113590533A (zh) * 2021-08-12 2021-11-02 城云科技(中国)有限公司 文件入库方法、装置及电子装置、计算机程序产品
CN113987112A (zh) * 2021-12-24 2022-01-28 杭州恒生聚源信息技术有限公司 表格信息抽取方法、装置、存储介质及电子设备
CN113987112B (zh) * 2021-12-24 2022-04-08 杭州恒生聚源信息技术有限公司 表格信息抽取方法、装置、存储介质及电子设备
CN116052404A (zh) * 2023-02-14 2023-05-02 安徽康能电气有限公司 一种基于5g通信技术的电网数据交互系统
CN116052404B (zh) * 2023-02-14 2023-11-28 安徽康能电气有限公司 一种基于5g通信技术的电网数据交互系统

Similar Documents

Publication Publication Date Title
CN109656985A (zh) 数据导入方法、系统、终端及存储介质
CN109446218A (zh) Sql语句生成方法、装置及计算机可读存储介质
CN108509501B (zh) 一种查询处理方法、服务器及计算机可读存储介质
CN111143358A (zh) 报表配置方法和系统
JP2002251307A (ja) データベース管理システム、データベース管理システムにおける問合せ方法、およびデータベース管理システムにおける問い合わせ実行プログラム
EP2626831A1 (en) Tag Inheritance
CN110263015A (zh) 基于区块链的数据溯源方法、装置、设备及可读存储介质
CN109740129B (zh) 基于区块链的报表生成方法、装置、设备及可读存储介质
CN110941629B (zh) 元数据处理方法、装置、设备及计算机可读存储介质
CN110297761A (zh) 返回数据的获取方法、装置、计算机设备及存储介质
CN111199028A (zh) 资源信息访问方法、装置、计算机设备和存储介质
CN105468785A (zh) 一种计算机文件管理方法
CN109819098A (zh) 菜单选项显示方法、服务器、系统及计算机可读存储介质
US6907434B2 (en) Message analysis tool
CN110580255A (zh) 一种存储并检索数据的方法以及系统
CN114218371A (zh) 多级目录名称检索匹配方法、装置、设备及介质
CN114116801A (zh) 数据清单核查方法及装置
CN111932076A (zh) 一种规则配置和发布方法、装置及计算设备
US20060190476A1 (en) Database storage system and associated method
CN109002355B (zh) 处理请求的分配方法、装置及设备
CN111008873A (zh) 一种用户确定方法、装置、电子设备及存储介质
KR20130126012A (ko) 비즈니스 인텔리전스의리포트 제공 방법 및 장치
US8005900B2 (en) Retrieving information for processing a received electronic message
US11157506B2 (en) Multiform persistence abstraction
CN109325149B (zh) Xml报文检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination