CN104915262B - 一种基于excel数据结构的校验系统及其方法 - Google Patents
一种基于excel数据结构的校验系统及其方法 Download PDFInfo
- Publication number
- CN104915262B CN104915262B CN201510342250.8A CN201510342250A CN104915262B CN 104915262 B CN104915262 B CN 104915262B CN 201510342250 A CN201510342250 A CN 201510342250A CN 104915262 B CN104915262 B CN 104915262B
- Authority
- CN
- China
- Prior art keywords
- data
- type
- checker
- data set
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机应用技术领域,特别涉及一种基于EXCEL数据结构的校验系统及其方法。本发明的系统由配置库和校验器两部分构成,外接标准输入输出。配置库,包括了数据结构和数据集的关联配置信息,并为校验器提供规则基础;校验器,特指数据结构和数据集共两个校验器。EXCEL文件通过结构校验器进行第一次分析匹配,配型失败则提示;否则在第一次匹配成功的基础上使用数据集校验器对文件进行第二次分析匹配,匹配结果只需满足数据集的子集,结果合规则将文件进行分类存放,否则认定非法。通过本发明将EXCEL数据结构和数据集进行配置化存储,具有扩展性好、适用范围广和识别性高等特点,可应用于多种业务型系统中对文件合法性的校验。
Description
技术领域
本发明涉及计算机应用技术领域,特别涉及一种基于EXCEL数据结构的校验系统及其方法。
背景技术
随着计算机应用技术的发展,业务系统愈趋向于多样化。伴随着日益发展的业务需求,应用系统间的数据关联越趋紧密,无时无刻都有大量数据信息进行交互。目前,报表类系统一般使用EXCEL文档;但是多种EXCEL文件内的数据结构不统一,当需要人工将这些文件进行格式校验并将数据提取或勾兑,除了工作量大的问题,更需要考虑的是无法保证数据正确性。数据文件的合法及正确性几乎是所有业务系统需要关心的问题。当数据种类繁多时,传统的数据校验方式已经不能很好地支持了,这时候更需要一种可扩展性高、适应性强的方法。
发明内容
本发明解决的技术问题之一在于针对EXCEL文件校验操作工作量大、准确性不高的问题,提供一种基于EXCEL数据结构的校验系统;实现配置流程化管理。
本发明解决的技术问题之二在于针对EXCEL文件校验操作工作量大、准确性不高的问题,提供一种基于EXCEL数据结构的校验系统的校验方法;提供两种校验方式,双层保护,并支持多种结构类型的校验,同时提供了标准接口,保证了类型可扩展。
本发明解决上述技术问题之一的技术方案是:
所述的系统由配置库和校验器两部分构成,外接标准输入和输出,并提供相应的开发和集成接口;
所述的配置库,包括了数据结构和数据集的关联配置信息,并为校验器提供规则基础;数据集作为EXCEL文件内一个或多个有效的数据子集,可拆分为数据索引链和数据两部分,数据索引链与数据呈一对一或一对多;数据索引链的连接点在单个数据集内是唯一、无序的;数据结构的配置记录了数据集在EXCEL文件内的位置、结构情况,可具体定位数据集的有效范围;
所述的校验器,包括了数据结构和数据集共两个校验器;
所述的数据结构校验器对文件进行第一次分析匹配,校验内容包括结构类型、数据集合位置区间、数据有效行、数据有效列、数据无效行和数据无效列,对文件按照已配置的数据结构类型进行分类匹配,无匹配类型则提示;
所述的数据集校验器在第一次匹配成功的基础上对文件进行第二次分析匹配,校验内容包括数据索引链及数据两部分,数据索引链包括一个或多个连接点,匹配结果只需满足数据集的子集;其中数据具有一定的类型,如整形或浮点型数据,数据的类型也作为校验标准之一;当校验结果合规则将文件进行分类存放,否则认定配型失败并提示;
所述的外接标准输入输出,指本系统文件服务器的输入输出目录,输入目录存放需要校验的EXCEL文件,输出目录存放已校验并分类的EXCEL文件。
所述的配置库提供CRUD访问接口,用于查询及维护数据结构和数据集的配置信息。
本发明解决上述技术问题之二的技术方案是:
配置库的配置数据结构的步骤是:
第一步,新增EXCEL文件的数据结构类型;
第二步,选择已新增的数据结构类型,并添加该类型需要的校验特征。
第三步,添加校验特征的具体内容,如数据集合位置区间和数据无效行;
第四步,保存数据结构配置;
第五步,日志记录,完成;
配置库的配置数据集的步骤是:
第一步,新增数据集索引链;
第二步,添加数据集索引链连接点;
第三步,为每一个索引链连接点分配对应数据的数据类型;
第四步,添加一种或多种可关联的数据结构类型;
第五步,保存数据集配置;
第六步,日志记录,完成;
校验器的工作流程是:
第一步,校验器处于运行状态;
第二步,读取标准输入目录内的EXCEL文件;
第三步,调用数据结构校验器,分析EXCEL文件内数据集位置是否匹配现有结构类型,无匹配类型则提示匹配失败;否则按照数据结构进行拆分,生成一个或多个数据集,并执行第四步;
第四步,调用数据集校验器,将数据集拆分为数据索引链和数据,校验数据索引链连接点是否为数据集配置的子集,无交集则提示匹配失败;否则执行第五步;
第五步,校验数据类型是否匹配,数据类型校验通过则执行第六步,否则提示匹配失败;
第六步,按照数据结构类型自动生成标准输出子目录,按类型命名,将通过校验的EXCEL文件存放至子目录中;
第七步,日志记录,完成。
本发明提供了一种基于EXCEL数据结构的校验系统及其方法。针对校验操作工作量大、准确性不高的问题,本方法通过配置库、校验器两部分部件,将多种结构的EXCEL文件按照结构配置、数据集分类再组装,将数据和校验紧密结合在一起。配置库统一管理数据结构和数据集两种类型的配置,实现配置流程化管理;校验器提供了两种校验方式,双层保护,并支持多种结构类型的校验,同时提供了标准接口,保证了类型可扩展。本发明实现了文件结构和数据集统一配置管理,大大减少了人工操作带来的不确定因素以及花费的时间,保证了EXCEL文件结构多样性校验及高扩展性。
附图说明
下面结合附图对本发明进一步说明:
图1是本发明的结构框图;
图2是本发明的总体结构图;
图3是校验器的处理序列图;
图4是配置库管理的处理活动图;
具体实施方式
见图1、2所示,本发明由配置库、校验器两部分构成,外接标准输入输出;
配置库:包括了数据结构和数据集的关联配置信息,并为校验器提供规则基础;
校验器:包括了数据结构和数据集共两个校验器;
标准输入:待校验的EXCEL文件路径;
标准输出:已通过校验并分类存放的EXCEL文件路径
图3表示了校验器的处理序列图,详细的处理流程是:
第一步,校验器处于运行状态;
第二步,读取标准输入目录内的EXCEL文件;
第三步,调用数据结构校验器,分析EXCEL文件内数据集位置是否匹配现有结构类型,无匹配类型则提示匹配失败;否则按照数据结构进行拆分,生成一个或多个数据集,并执行第四步;
第四步,调用数据集校验器,将数据集拆分为数据索引链和数据,校验数据索引链连接点是否为数据集配置的子集,无交集则提示匹配失败;否则执行第五步;
第五步,校验数据类型是否匹配,数据类型校验通过则执行第六步,否则提示匹配失败;
第六步,按照数据结构类型自动生成标准输出子目录,按类型命名,将通过校验的EXCEL文件存放至子目录中;
第七步,日志记录,完成。
图4表示了配置库管理的处理活动图,配置详细的业务流程为:
第一步,新增EXCEL文件的数据结构类型;
第二步,选择已新增的数据结构类型,并添加该类型需要的校验特征。
第三步,添加校验特征的具体内容,如数据集合位置区间和数据无效行;
第四步,保存数据结构配置;
第五步,日志记录,完成数据结构配置;
第六步,新增数据集索引链;
第七步,添加数据集索引链连接点;
第八步,为每一个索引链连接点分配对应数据的数据类型;
第九步,添加一种或多种可关联的数据结构类型;
第十步,保存数据集配置;
第十一步,日志记录,完成数据集配置。
第十二步,判断是否需要多个数据集合,需要则重复执行第六-十一步,否则完成。
Claims (3)
1.一种基于EXCEL数据结构的校验系统,其特征在于:所述的系统由配置库和校验器两部分构成,外接标准输入和输出,并提供相应的开发和集成接口;
所述的配置库,包括了数据结构和数据集的关联配置信息,并为校验器提供规则基础;数据集作为EXCEL文件内一个或多个有效的数据子集,可拆分为数据索引链和数据两部分,数据索引链与数据呈一对一或一对多;数据索引链的连接点在单个数据集内是唯一、无序的;数据结构的配置记录了数据集在EXCEL文件内的位置、结构情况,可具体定位数据集的有效范围;
所述的校验器,包括了数据结构和数据集共两个校验器;
所述的数据结构校验器对文件进行第一次分析匹配,校验内容包括结构类型、数据集合位置区间、数据有效行、数据有效列、数据无效行和数据无效列,对文件按照已配置的数据结构类型进行分类匹配,无匹配类型则提示;
所述的数据集校验器在第一次分析匹配成功的基础上对文件进行第二次分析匹配,校验内容包括数据索引链及数据两部分,数据索引链包括一个或多个连接点,匹配结果只需满足数据集的子集;其中数据的类型包括整形或浮点型数据,数据的类型也作为校验标准之一;当校验结果合规,则将文件进行分类存放;否则认定配型失败并提示;
所述的外接标准输入输出,指本系统文件服务器的输入输出目录,输入目录存放需要校验的EXCEL文件,输出目录存放已校验并分类的EXCEL文件。
2.根据权利要求1所述的基于EXCEL数据结构的校验系统,其特征在于:所述的配置库提供CRUD访问接口,用于查询及维护数据结构和数据集的配置信息。
3.一种权利要求1所述的基于EXCEL数据结构的校验系统的校验方法,其特征在于:配置库的配置数据结构的步骤是:
第一步,新增EXCEL文件的数据结构类型;
第二步,选择已新增的数据结构类型,并添加该类型需要的校验特征;
第三步,添加校验特征的数据集合位置区间和数据无效行;
第四步,保存数据结构配置;
第五步,日志记录,完成;
配置库的配置数据集的步骤是:
第一步,新增数据集索引链;
第二步,添加数据集索引链连接点;
第三步,为每一个索引链连接点分配对应数据的数据类型;
第四步,添加一种或多种可关联的数据结构类型;
第五步,保存数据集配置;
第六步,日志记录,完成;
校验器的工作流程是:
第一步,校验器处于运行状态;
第二步,读取标准输入目录内的EXCEL文件;
第三步,调用数据结构校验器,分析EXCEL文件内数据集位置是否匹配现有结构类型,无匹配类型则提示匹配失败;否则按照数据结构进行拆分,生成一个或多个数据集,并执行第四步;
第四步,调用数据集校验器,将数据集拆分为数据索引链和数据,校验数据索引链连接点是否为数据集配置的子集,无交集则提示匹配失败;否则执行第五步;
第五步,校验数据类型是否匹配,数据类型校验通过则执行第六步,否则提示匹配失败;
第六步,按照数据结构类型自动生成标准输出子目录,按类型命名,将通过校验的EXCEL文件存放至子目录中;
第七步,日志记录,完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510342250.8A CN104915262B (zh) | 2015-06-18 | 2015-06-18 | 一种基于excel数据结构的校验系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510342250.8A CN104915262B (zh) | 2015-06-18 | 2015-06-18 | 一种基于excel数据结构的校验系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104915262A CN104915262A (zh) | 2015-09-16 |
CN104915262B true CN104915262B (zh) | 2017-08-22 |
Family
ID=54084343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510342250.8A Active CN104915262B (zh) | 2015-06-18 | 2015-06-18 | 一种基于excel数据结构的校验系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104915262B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574121A (zh) * | 2015-12-11 | 2016-05-11 | 芜湖乐锐思信息咨询有限公司 | 一种基于企业产品信息的数据校验系统 |
CN105787041B (zh) * | 2016-02-26 | 2019-08-13 | 中国银联股份有限公司 | 基于数据特征码的大文件比对方法以及比对系统 |
CN105786584B (zh) * | 2016-03-02 | 2019-03-19 | 武汉金思路科技发展有限公司 | 一种适应多样式bim建模软件界面解析方法 |
CN106294294B (zh) * | 2016-08-03 | 2019-03-26 | 上海电气泰雷兹交通自动化系统有限公司 | 轨道交通信号系统统一格式数据文件的一致性校验方法 |
CN107844467A (zh) * | 2016-09-21 | 2018-03-27 | 北京京东尚科信息技术有限公司 | 一种电子表格验证方法和装置 |
CN109286692A (zh) * | 2018-09-30 | 2019-01-29 | 山东浪潮云投信息科技有限公司 | 一种配置服务器ipmi静态ip地址的方法 |
CN109919435A (zh) * | 2019-01-29 | 2019-06-21 | 国网物资有限公司 | 招标技术参数自动筛查系统及方法 |
CN111563075B (zh) * | 2020-05-06 | 2024-01-23 | 政采云有限公司 | 一种业务校验系统、方法及设备和存储介质 |
CN114510912B (zh) * | 2022-04-20 | 2022-07-08 | 佳瑛科技有限公司 | 基于分布式系统对电子表格进行分类的方法和系统及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406388B2 (en) * | 2002-09-13 | 2008-07-29 | Southern California Edison | Calibration process management system and data structure |
CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
-
2015
- 2015-06-18 CN CN201510342250.8A patent/CN104915262B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406388B2 (en) * | 2002-09-13 | 2008-07-29 | Southern California Edison | Calibration process management system and data structure |
CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
Non-Patent Citations (2)
Title |
---|
Linear Online Learning over Structured Data with Distributed Tree Kernels;Simone Filice;《2013 12th International Conference on Machine Learning and Applications》;20131207;第1卷;第123-128页 * |
一种支持数据校验的Excel信息转储元数据模型;郭艳军;《计算机应用与软件》;20140630;第31卷(第6期);第15-17、36页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104915262A (zh) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104915262B (zh) | 一种基于excel数据结构的校验系统及其方法 | |
CN103368765B (zh) | 一种管理系统权限添加方法和装置 | |
CN104598376A (zh) | 一种数据驱动的分层自动化测试系统和方法 | |
WO2016060547A1 (en) | Emulating manual system of filing using electronic document and electronic file | |
CN103729450B (zh) | 一种集中管理功能权限的方法及装置 | |
CN104021219B (zh) | 一种数据模板的生成方法及装置 | |
CN105144080A (zh) | 用于元数据管理的系统 | |
CN104360837B (zh) | 取证软件中基于自定义脚本实现电子数据取证分析的方法 | |
CN102981947B (zh) | 一种测试中准备数据的方法及系统 | |
CN103077019B (zh) | 一种图形化参数批量维护方法和装置 | |
CN106844682A (zh) | 数据交换方法、装置及系统 | |
CN103605512A (zh) | 一种基于GTechnology平台的数据校验系统及方法 | |
Tran et al. | National infrastructure assessment: Analysis of options for infrastructure provision in Great Britain, Interim results | |
CN110275861A (zh) | 数据存储方法及装置、存储介质、电子装置 | |
CN104008441A (zh) | 一种自动提交版本库归档的任务管理系统及方法 | |
US20130268936A1 (en) | Workflow management system and method | |
CN110618988A (zh) | 基于大数据平台的数据处理方法及装置 | |
CN106802928B (zh) | 电网历史数据管理方法及其系统 | |
CN104881361A (zh) | 一种软件开发过程监控管理方法和系统 | |
US20130046866A1 (en) | Meter access management system | |
CN102955739A (zh) | 一种提高性能测试脚本重用率的方法 | |
CN107766519B (zh) | 一种可视化配置数据结构的方法 | |
CN117236304A (zh) | 一种基于模板配置的Excel通用导入的实现方法 | |
CN107229853A (zh) | 执法信息上传方法、终端及计算机可读存储介质 | |
Saiedian et al. | A streamlined, cost-effective database approach to manage requirements traceability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee after: G-Cloud Technology Co., Ltd. Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province Patentee before: G-Cloud Technology Co., Ltd. |
|
CP02 | Change in the address of a patent holder |