CN114116691A - 数据导入校验方法、系统、装置及计算机可读介质 - Google Patents

数据导入校验方法、系统、装置及计算机可读介质 Download PDF

Info

Publication number
CN114116691A
CN114116691A CN202111288460.5A CN202111288460A CN114116691A CN 114116691 A CN114116691 A CN 114116691A CN 202111288460 A CN202111288460 A CN 202111288460A CN 114116691 A CN114116691 A CN 114116691A
Authority
CN
China
Prior art keywords
data
excel
constraints
constraint
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111288460.5A
Other languages
English (en)
Inventor
倪祥路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN202111288460.5A priority Critical patent/CN114116691A/zh
Publication of CN114116691A publication Critical patent/CN114116691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据导入校验方法、系统、装置及计算机可读介质，属于数据入库技术领域，要解决的技术问题为如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性。S100、配置基本约束和关联约束；S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与数据校验模型对应的物理索引，并同步生成与对应的excel模板文件；S300、将符合约束的excel数据保存至Es搜索引擎，将不符合约束的excel数据作为失败数据保存并提示检测失败原因；S400、将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，对修正后识失败数据执行步骤S300‑S400。

Description

数据导入校验方法、系统、装置及计算机可读介质
技术领域
本发明涉及数据入库技术领域，具体地说是数据导入校验方法、系统、装置及计算机可读介质。
背景技术
在政务服务产品领域，存在很多需要将历史数据或者无法对接的系统数据进行数据导入的场景，但是每个业务系统都有自己的业务规则，这就导致导入的数据存在一定的约束要求，不然导入到数据库也是存在数据不合格的情况。
针对上述出现的情况，并考虑到业务场景的数据关联性强，格式严格，数据量庞大等要求，在数据导入的时候采用合适的模型进行数据检验是必然的，并且针对导入数据量大的情况需要做到适配。
数据库的完整性是指数据的正确性和相容性，数据的完整性控制是为了防止数据库中存在不符合语义的数据，也就是防止出现不正确的数据。目前在数据库进行数据检验时，解决数据完整性的约束机制主要有三种方法，前端应用控制、数据库触发器和声明约束。
应用控制指的是在开发者应用中对输入的数据进行数据格式校验，包括数据的类型和内容，在插入时通过程序对数据的每个字段进行校验避免脏数据的插入。数据库触发器指的是通过定义触发条件和编写触发后执行语句，来实现对数据表操作的各种约束，可以引用其它表的字段。触发器可以引用其他表，可以包含复杂的SQL语句。当对一个表进行修改时，通过触发器按照相关业务规则去修改其他的表，一旦发现修改过程中出现违背业务规则的情况，可以通过回滚语句，将数据恢复到修改前的状态。声明约束主要包含三个方面，实体完整性校验即数据主键不为空且唯一，参照性完整性即表之间关联主外键的校验，用户自定义完整性即声明列数据需满足语义要求(如数值满足某范围或者非空)。
在数据库中设置较多的约束会在一定程度上影响数据库的性能，真实环境很少应用，更多是放到程序逻辑中去进行处理，有可能在面对业务变更或是系统扩展时，数据库约束会使得处理不够方便。
基于上述分析，结合政务服务系统应用场景，如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供数据导入校验方法、系统、装置及计算机可读介质，来解决如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性的技术问题。
第一方面，本发明的数据导入校验方法，包括如下步骤：
S100、配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；
S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；
S300、将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；
S400、将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，对修正后识失败数据执行步骤S300-步骤S400。
作为优选，所述基本约束包括：
基础约束，所述基础约束用于对单表中单个字段进行约束，用于通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空约束、唯一约束、和主键约束；
内容约束，所述内容约束用于设置表中字段的内容格式，包括时间格式、数字格式、和数据范围。
作为优选，基于POI程序通过如下步骤将待校验数据导入所述数据校验模型：
通过excel模板文件与数据校验模型之间的对应关系，为待检验excel文件匹配对应的数据校验模型；
对待校验excel文件的sheet页进行提取，以将待校验excel文件每个表进行单独分sheet页保存；
对excel数据进行分页提取，以保证快速高效的将excel数据导入到对应的数据校验模型中。
作为优选，所述数据校验模型的格式包括模型名称、模型标识、模型创建时间、模型描述、基本约束、以及关联约束；
Excel模板文件通过文件名和与其对应的数据校验模型的模型标识进行匹配。
第二方面，本发明的数据导入校验系统，包括：
约束配置模块，所述约束配置模块用于配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；
模型构建模块，所述模型构建模块用于基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；
数据校验模块，所述数据校验模块用于将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；
数据入库模块，所述数据入库模块用于将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，并对修正后识失败数据导入数据校验模块。
作为优选，所述基本约束包括：
基础约束，所述基础约束用于对单表中单个字段进行约束，用于通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空约束、唯一约束、和主键约束；
内容约束，所述内容约束用于设置表中字段的内容格式，包括时间格式、数字格式、和数据范围。
作为优选，所述数据校验模块用于基于POI程序通过如下步骤将待校验excel文件导入对应的数据校验模型：
通过excel模板文件与数据校验模型之间的对应关系，为待检验excel文件匹配对应的数据校验模型；
对待校验excel文件的sheet页进行提取，以将待校验excel文件每个表进行单独分sheet页保存；
对excel数据进行分页提取，以保证快速高效的将excel数据导入到对应的数据校验模型中。
作为优选，所述数据校验模型的格式包括模型名称、模型标识、模型创建时间、模型描述、基本约束、以及关联约束；
Excel模板文件通过文件名和与其对应的数据校验模型的模型标识进行匹配。
第三方面，本发明的装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行第一方面任一所述的方法。
第四方面，本发明的计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面任一项任一所述的方法。
本发明的数据导入校验方法、系统、装置及计算机可读介质具有以下优点：
1、在高并发环境下响应速度快，能快速的对数据进行数据完整性约束检测，通过数据校验模型和Es搜索引擎配合解耦了前端操作和部分业务逻辑的处理，简化了请求的业务处理过程，在根本上提高了请求的响应速度；
2、模型依托于elasticsearch搜索引擎对数据进行快速查询校验，提升模型可靠性和稳定性，在数据的落地上考虑了数据的准确性以及数据库的稳定性，保证了系统使用以及服务提供的高可靠性及高可用性；
3、数据通过集成的POI程序进行数据导入，适配wps，office等多个版本的文件格式；
4、数据通过excel文件进行数据导入导出，提升可操作性及实现数据可视化处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1数据导入校验方法的流程框图；
图2为实施例1数据导入校验方法中Es搜索引擎的架构框图
图3为实施例1数据导入校验方法中Excel模板文件的格式示意图；
图4为实施例1数据导入校验方法中约束检测流程框图；
图5为实施例1数据导入校验方法中失败数据的格式示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供数据导入校验方法、系统、装置及计算机可读介质，用于解决如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性的技术问题。
实施例1：
本发明数据导入校验方法，包括如下步骤：
S100、配置基本约束和关联约束，基本约束用于对单表中字段进行约束，关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；
S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与数据校验模型对应的物理索引，并同步生成与数据校验模型对应的excel模板文件，数据校验模型能够导出excel文件并能够对excel文件保存导入使用，excel模板文件用于填写数据并导入对应的数据校验模型；
S300、将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；
S400、将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，对修正后识失败数据执行步骤S300-步骤S400。
Es(英文全称：Elasticsearch)搜索引擎(以下简称Es)，是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便，具体的结构图2所示。
Gateway，代表ES索引的持久化存储方式。在Gateway中，ES默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。
DistributedLucene Directory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。River，代表是数据源。是以插件的形式存在于ES中。
Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。
Search Moudle，搜索模块，支持搜索的一些常用操作，Index Moudle，索引模块，支持索引的一些常用操作Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。RESTful StyleAPI，通过RESTful方式来实现API编程，3rd plugins，代表第三方插件。Java(Netty)是开发框架，JMX是监控。
对于POI文档导入，Apache POI是基于Office Open XML标准(OOXML)和Microsoft的OLE 2复合文档格式(OLE2)处理各种文件格式的开源项目。简而言之，您可以使用Java读写MS Excel文件，可以使用Java读写MS Word和MS PowerPoint文件，分为一下几个模块。
HSSF－提供读写Microsoft Excel XLS格式(Microsoft Excel 97(-2003))档案的功能。
XSSF－提供读写Microsoft Excel OOXML XLSX格式(Microsoft Excel XML)档案的功能。
SXSSF－提供低内存占用量读写Microsoft Excel OOXML XLSX格式档案的功能。
HWPF－提供读写Microsoft Word DOC97格式(Microsoft Word 97(-2003))档案的功能。
XWPF－提供读写Microsoft Word DOC2003格式(WordprocessingML(2007+))档案的功能。
HSLF/XSLF－提供读写Microsoft PowerPoint格式档案的功能。
HDGF/XDGF－提供读Microsoft Visio格式档案的功能。
HPBF－提供读Microsoft Publisher格式档案的功能。
HSMF－提供读Microsoft Outlook格式档案的功能。
本实施例为建立数据校验模型，需要配置建立基本约束和关联约束，基本数据包括基础约束和内容约束。
基础约束主要是针对单表中单个字段的约束，通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空(NOT NULL)约束、唯一(UNIQUE)约束、主键(PRIMARY KEY)约束三大类，这些数据通过连接数据库就可以获取到，不需要人为控制。
内容约束主要是去设置表中字段的内容格式(CHECK)，包括时间格式，数字格式，数据范围等。
以上两种约束都是简单的单表约束，在模型中的保存格式为：
Figure BDA0003333737970000091
关联约束需要结合Es搜索引擎，首先将多个关联表的表结构关系进行整理，确定在Es中的索引，将表数据按照索引关系按照顺序导入es，这样可以实现数据的快速关联查询插入，从而保证大数据量的情况下数据可以快速检测入库，避免直接连接数据库进行多表关联查询对数据库造成压力，关联约束的模型格式为：
表名 字段名 关联字段
Table2 Biz_id Table1.id
Table3 Biz_id Table1.id
Table3 Course_id Table2.id
在确定基础约束，内容约束，关联约束之后，模型基本也就确定下来了，同时在es中建立对应的物理索引，保证模型可以导出成文件进行保存导入使用，同步会生成对应的excel模板，通过该模板进行填写从而实现数据导入。
模型的基本格式为：
Figure BDA0003333737970000101
Figure BDA0003333737970000111
步骤S300中，通过poi程序处理对已经填写的excel数据进行导入，导入的过程分为三个步骤，首先是确定该excel对应的模型，这个目前是通过文件名对应模型id进行匹配。保证导入的excel格式符合模板的要求并且该模型成立，其次是对excel的sheet页进行提取，因为多表情况下需要将数据每个表进行单独分sheet页保存，最后是对数据进行分页提取，保证快速高效的把数据导入到模型中去，Poi能够支持10w+的数据一次性处理，避免数据包过大对模型造成压力。Excel模板的格式如图3所示。
数据校验模型对导入的数据首先进行基础约束和内容约束的检测，检测通过之后再通过es进行关联比对查询，通过关联关系先后进行检验，如果符合要求的就直接进入es里面进行保存，对不符合要求的数据进行保存并提示检测失败的原因，在所有的数据都检测完成之后，将es中检测完整符合要求的进行数据库的数据插入，不符合的数据进行excel导出让操作人整改。具体检测流程图如图4，导出的excel格式如图5所示。
本实施例的方法可应用于政务服务，在数据导入过程中对数据进行智能化检测。
实施例2：
本发明数据导入校验系统，包括约束配置模块、模型构建模块、数据校验模块以及数据入库模块，约束配置模块用于配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；模型构建模块用于基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；数据校验模块用于将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；数据入库模块用于将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，并对修正后识失败数据导入数据校验模块。
本实施例中基本约束包括基础约束和内容约束，基础约束用于对单表中单个字段进行约束，用于通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空约束、唯一约束、和主键约束；内容约束用于设置表中字段的内容格式，包括时间格式、数字格式、和数据范围。
数据校验模块用于基于POI程序通过如下步骤将待校验excel文件导入对应的数据校验模型：首先是确定该excel对应的模型，这个目前是通过文件名对应模型id进行匹配。保证导入的excel格式符合模板的要求并且该模型成立，其次是对excel的sheet页进行提取，因为多表情况下需要将数据每个表进行单独分sheet页保存，最后是对数据进行分页提取，保证快速高效的把数据导入到模型中去，Poi能够支持10w+的数据一次性处理，避免数据包过大对模型造成压力。
数据校验模块通过数据校验模型对导入的数据首先进行基础约束和内容约束的检测，检测通过之后再通过es进行关联比对查询，通过关联关系先后进行检验，如果符合要求的就直接进入es里面进行保存，对不符合要求的数据进行保存并提示检测失败的原因，在所有的数据都检测完成之后，将es中检测完整符合要求的进行数据库的数据插入，不符合的数据进行excel导出让操作人整改。
本实施例的数据导入校验系统可执行实施例公开的方法，基于数据约束关系对导入数据库的数据进行校验。
实施例3：
本发明的装置，包括：至少一个存储器和至少一个处理器；至少一个存储器，用于存储机器可读程序；至少一个处理器，用于调用所述机器可读程序，执行实施例1公开的方法。
实施例4
本发明的计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行实施例1公开的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实示例也在本发明的保护范围之内。

Claims (10)

1.数据导入校验方法，其特征在于包括如下步骤：
S100、配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；
S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；
S300、将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；
S400、将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，对修正后识失败数据执行步骤S300-步骤S400。
2.根据权利要求1所述的数据导入校验方法，其特征在于所述基本约束包括：
基础约束，所述基础约束用于对单表中单个字段进行约束，用于通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空约束、唯一约束、和主键约束；
内容约束，所述内容约束用于设置表中字段的内容格式，包括时间格式、数字格式、和数据范围。
3.根据权利要求1所述的数据导入校验方法，其特征在于基于POI程序通过如下步骤将待校验数据导入所述数据校验模型：
通过excel模板文件与数据校验模型之间的对应关系，为待检验excel文件匹配对应的数据校验模型；
对待校验excel文件的sheet页进行提取，以将待校验excel文件每个表进行单独分sheet页保存；
对excel数据进行分页提取，以保证快速高效的将excel数据导入到对应的数据校验模型中。
4.根据权利要求1-3任一项所述的数据导入校验方法，其特征在于所述数据校验模型的格式包括模型名称、模型标识、模型创建时间、模型描述、基本约束、以及关联约束；
Excel模板文件通过文件名和与其对应的数据校验模型的模型标识进行匹配。
5.数据导入校验系统，包括：
约束配置模块，所述约束配置模块用于配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；
模型构建模块，所述模型构建模块用于基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；
数据校验模块，所述数据校验模块用于将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；
数据入库模块，所述数据入库模块用于将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，并对修正后识失败数据导入数据校验模块。
6.根据权利要求5所述的数据导入校验系统，其特征在于所述基本约束包括：
基础约束，所述基础约束用于对单表中单个字段进行约束，用于通过表结构分析，对需要导入的数据表中的字段的基础约束进行提取，包括非空约束、唯一约束、和主键约束；
内容约束，所述内容约束用于设置表中字段的内容格式，包括时间格式、数字格式、和数据范围。
7.根据权利要求5所述的数据导入校验系统，其特征在于所述数据校验模块用于基于POI程序通过如下步骤将待校验excel文件导入对应的数据校验模型：
通过excel模板文件与数据校验模型之间的对应关系，为待检验excel文件匹配对应的数据校验模型；
对待校验excel文件的sheet页进行提取，以将待校验excel文件每个表进行单独分sheet页保存；
对excel数据进行分页提取，以保证快速高效的将excel数据导入到对应的数据校验模型中。
8.根据权利要求5-7任一项所述的数据导入校验系统，其特征在于所述数据校验模型的格式包括模型名称、模型标识、模型创建时间、模型描述、基本约束、以及关联约束；
Excel模板文件通过文件名和与其对应的数据校验模型的模型标识进行匹配。
9.装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的方法。
10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4任一所述的方法。
CN202111288460.5A 2021-11-02 2021-11-02 数据导入校验方法、系统、装置及计算机可读介质 Pending CN114116691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288460.5A CN114116691A (zh) 2021-11-02 2021-11-02 数据导入校验方法、系统、装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288460.5A CN114116691A (zh) 2021-11-02 2021-11-02 数据导入校验方法、系统、装置及计算机可读介质

Publications (1)

Publication Number Publication Date
CN114116691A true CN114116691A (zh) 2022-03-01

Family

ID=80380135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288460.5A Pending CN114116691A (zh) 2021-11-02 2021-11-02 数据导入校验方法、系统、装置及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114116691A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115237863A (zh) * 2022-09-22 2022-10-25 中建电子商务有限责任公司 一种基于wps加载项的excel数据导入方法
CN116226098A (zh) * 2023-05-09 2023-06-06 北京尽微致广信息技术有限公司 数据处理的方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115237863A (zh) * 2022-09-22 2022-10-25 中建电子商务有限责任公司 一种基于wps加载项的excel数据导入方法
CN115237863B (zh) * 2022-09-22 2023-01-10 中建电子商务有限责任公司 一种基于wps加载项的excel数据导入方法
CN116226098A (zh) * 2023-05-09 2023-06-06 北京尽微致广信息技术有限公司 数据处理的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US7953744B2 (en) Database change verifier
US7822710B1 (en) System and method for data collection
CN106933703B (zh) 一种数据库数据备份的方法、装置及电子设备
US7386609B2 (en) Method, system, and program for managing devices in a network
US11972201B2 (en) Facilitating auto-completion of electronic forms with hierarchical entity data models
US7401085B2 (en) System and method for controlling the release of updates to a database configuration
US9660962B2 (en) Network-attached storage gateway validation
RU2351007C2 (ru) Система и способ поддержки "несобственного" xml в "собственном" xml в документе текстового процессора
US8504593B2 (en) Server directory schema comparator
CN108762743B (zh) 一种数据表操作代码生成方法及装置
CN109558525B (zh) 一种测试数据集的生成方法、装置、设备和存储介质
KR20160141872A (ko) 레코드 포맷 정보의 관리
CN114116691A (zh) 数据导入校验方法、系统、装置及计算机可读介质
CN109189852A (zh) 一种数据同步的方法及用于数据同步的装置
US10089334B2 (en) Grouping of database objects
CN110222028B (zh) 一种数据管理方法、装置、设备及存储介质
CN108108483B (zh) 基于SpringAop拦截DAO层校验SQL的方法、装置和系统
CN108846129B (zh) 存储数据访问方法、装置及存储介质
CN109165209B (zh) 数据库中对象类型的数据校验方法、装置、设备及介质
CN110020358A (zh) 用于生成动态页面的方法和装置
CN112231407A (zh) PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN115599359A (zh) 一种代码生成方法、装置、设备及介质
CN114564500A (zh) 在区块链系统中实现结构化数据存储和查询的方法和系统
CN114281803A (zh) 数据迁移方法、装置、设备、介质和程序产品
CN105867886B (zh) 一种写表格的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination