CN107908725A - 一种批量数据校验方法、装置和系统 - Google Patents

一种批量数据校验方法、装置和系统 Download PDF

Info

Publication number
CN107908725A
CN107908725A CN201711121416.9A CN201711121416A CN107908725A CN 107908725 A CN107908725 A CN 107908725A CN 201711121416 A CN201711121416 A CN 201711121416A CN 107908725 A CN107908725 A CN 107908725A
Authority
CN
China
Prior art keywords
data
verified
verification
field
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711121416.9A
Other languages
English (en)
Inventor
于鸿鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201711121416.9A priority Critical patent/CN107908725A/zh
Publication of CN107908725A publication Critical patent/CN107908725A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24526Internal representations for queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种批量数据校验方法、装置和系统。所述方法包括获取待校验数据;获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;依据所述校验规则对所述待校验数据进行校验。上述方案,通过采用依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则对待校验数据进行校验,当校验规则发生变化时,只需通过修改SQL配置表的方式调整、新增规则即可,因此,不需要重新部署应用,提高了校验的灵活性。

Description

一种批量数据校验方法、装置和系统
技术领域
本发明涉及数据分析技术领域,具体涉及一种用于对表单数据进行校验的批量数据校验方法、装置和系统。
背景技术
历史数据录入是很多产品投产后面临的一个问题,往往传统的工作方式转换到使用计算机软件去完成相关工作需要将原有的历史数据信息人工录入到系统中,这种场景下人工录入很可能会出现信息不准的情况,而人工对数据进行校验又费时、费力且很可能校验后仍存在问题数据,为了避免这种情况的发生,需要在软件系统中增加数据校验的功能来保证录入数据的准确。而同样很多系统中需要对上传数据以及前端输入表单数据进行校验,在此种情况下就需要提供一种有效的、能够支持多种复杂场景的,并且能够对数据进行批量操作的数据校验装置,这种装置能够解决以上问题,这样会大大提高工作效率。在业界软件产品中也有类似数据校验模块,一般是通过前端技术实现对输入数据的直接校验,对于批量上传数据,往往需要单独写校验脚本进行校验,一旦规则发生改变,则需要按照新校验规则重写脚本进行校验。传统校验方式灵活性不高。
发明内容
有鉴于此,本发明实施例提供一种批量数据校验方法、装置和系统,以解决现有技术中校验方式灵活性低的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种批量数据校验方法,包括:
获取待校验数据;
获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
依据所述校验规则对所述待校验数据进行校验。
优选的,上述批量数据校验方法中,依据所述校验规则对所述待校验数据进行校验之后,还包括:
对校验结果进行翻译,将校验结果翻译成预设文本;
将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
优选的,上述批量数据校验方法中,依据所述校验规则对所述待校验数据进行校验,具体包括:
将校验规则中的结构化查询语言转换成游标形式运行;
执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
对不符合校验规则的记录进行逐行更新,将校验结果写入校验数据表的校验结果代码字段中,以使得翻译模块可以依据结果代码关联校验项字典得到具体描述。
优选的,上述批量数据校验方法中,依据所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型为表名+字段名,所述第二字段类型为表名。
一种批量数据校验装置,包括:存储器和处理器;
所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:
获取待校验数据;
获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
依据所述校验规则对所述待校验数据进行校验。
优选的,上述批量数据校验装置中,所述处理器依据所述校验规则对所述待校验数据进行校验之后,还用于执行以下操作:
对校验结果进行翻译,将校验结果翻译成预设文本;
将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
优选的,上述批量数据校验装置中,所述处理器依据所述校验规则对所述待校验数据进行校验,具体包括:
将校验规则中的结构化查询语言转换成游标形式运行;
执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
对不符合校验规则的记录进行逐行更新,将校验结果写入校验数据表的校验结果代码字段中,以使得翻译模块可以依据结果代码关联校验项字典得到具体描述。
优选的,上述批量数据校验装置中,所述处理器所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型为表名+字段名,所述第二字段类型为表名。
一种批量数据校验系统,包括:
前端设备和上述任意一项所述的批量数据校验装置;
所述前端设备用于获取待校验数据,并将所述待校验数据发送给所述批量数据校验装置,并显示所述批量数据校验装置的校验结果。
基于上述技术方案,本发明实施例提供的上述方案,通过采用依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则对待校验数据进行校验,当校验规则发生变化时,只需通过修改SQL配置表的方式调整、新增规则即可,因此,不需要重新部署应用,提高了校验的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种批量数据校验方法的流程示意图;
图2为本申请另一实施例公开的一种批量数据校验方法的流程示意图;
图3为本申请另一实施例公开的一种批量数据校验方法的流程示意图;
图4为本申请实施例公开的一种批量数据校验装置的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对于现有技术中,在对数据进行校验时,校验方式灵活性低的问题,本申请公开了一种批量数据校验方法和装置。
图1为本申请实施例公开的一种批量数据校验方法的流程示意图,参见图1,该方法可以包括:
步骤S101:获取待校验数据;
在使用时,用户可以通过前端设备将待校验数据导入应用有本申请实施例公开的数据校验方法的校验装置中,所述带校验数据可以为表单中数据或者外部文件(如:excel)导入到数据库表中的数据。
步骤S102:获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
SQL:结构化查询语言(Structured Query Language)简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名。
正则表达式又称规则表达式。(Regular Expression,在代码中简写为regex、regexp或RE),为计算机科学的一个概念。正则表达式用来检索、替换那些符合某个模式(规则)的文本;
针对于现有技术中的校验方式不够灵活,有些则直接将校验规则硬编码到系统中,非配置化规则,给后期维护带来困难;现有一般的校验数据方式是通过前端JavaScript硬编码到前端程序中进行校验,当增加校验规则或者改变现有校验规则时,需要修改代码,重新部署应用。本方案是通过配置结构化查询语言(Structured Query Language,以下简称SQL)进行校验,当需要修改校验规则、新增校验规则时,可以通过修改SQL配置表的方式调整、新增规则,因此,不需要重新部署应用,提高了校验的灵活性。
步骤S103:依据所述校验规则对所述待校验数据进行校验;
申请人还发现,现有技术中的校验方式还存在校验规则简单的问题,现有的校验系统只能实现简单的校验规则,无法支持复杂场景校验;一般的数据校验基本都是对如长度、字符类型、非空等做一些简单的校验操作,而当要实现一些复杂场景校验时需要使用大量复杂的硬编码方式实现,对开发和后期维护都带来了很大的困难。本方案通过使用SQL+正则表达式的方式对数据进行配置校验,由于SQL本身就是一个较灵活的数据操作语言,正则表达式在数据筛选方面又有很大的优势,两者结合起来能很好的实现对复杂场景的数据校验。
本申请通过采用依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则对待校验数据进行校验,可以实现对通过页面上传的一批(10W条、100W条甚至更多)数据进行批量校验,或者对系统表中已经有的记录进行批量校验,在批量校验过程中,如果校验规则发生变化,只需通过修改SQL配置表的方式调整、新增规则即可,因此,不需要重新部署应用,提高了校验的灵活性。
在本申请实施例公开的技术方案中,为了方便用户查看校验结果,上述方案中,参见图2,依据所述校验规则对所述待校验数据进行校验之后,还可以包括:
步骤S104:对校验结果进行翻译,将校验结果翻译成预设文本;
当校验结束后,校验结果通常为代码形式,为了将将校验结果翻译成用户容易识别方式,本方案中具体可以通过翻译模块调用预设的匹配程序依据结果代码关联校验项字典对校验结果进行翻译,得到具体描述信息,将校验结果翻译成容易识别的中文或其他文本类型的描述信息;
步骤S105:将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
在本申请实施例公开的技术方案中,参见图3,依据所述校验规则对所述待校验数据进行校验,具体可以包括:
步骤S1021:将校验规则中的结构化查询语言转换成游标形式运行;
游标(cursor):是系统为用户开设的一个数据缓冲区,存放SQL语句的执行结果。每个游标区都有一个名字,用户可以用SQL语句逐一从游标中获取记录,并赋给主变量,交由主语言进一步处理。游标提供了一种对从表中检索出的数据进行操作的灵活手段。
在本申请实施例公开的方案中,执行校验时校验程序通过把配置的SQL转换为游标形式运行;
步骤S1022:执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
在执行以游标形式运行的SQL时,通过基于正则表达式设置的过滤条件批量的将校验数据中不符合校验规则的数据筛选出来(每个校验规则进行校验时校验程序都会将对应的SQL以游标形式单独运行);
步骤S1023:将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
在执行列级别校验时,这里将正则表达式集成运用到SQL过滤条件中,可实现的对单个字段信息复杂场景的校验;在进行行级别校验时,主要是针对表中的整行记录信息(多字段)进行处理,比如校验同一行记录字段与字段之间关系。除此之外行级别校验和列级别校验还都可以支持在校验SQL中关联其他辅助校验数据表(其他的可访问的与校验数据有关的任意表)信息进行校验,采用所述SQL和关联的数据表共同对待校验数据进行校验,比如输入的国家码(待校验数据)要在指定的国家地区码表(辅助校验数据表)中存在等,这样实现了对复杂校验场景的支持。
行级别数据校验:
行级别校验是数据关系的校验,行级别校验一般适用于判断一条记录的字段间的关联关系或判断校验数据与其他辅助校验数据表间的关联关系,即待校验数据表内部数据之间关系,以及校验当前待校验数据表中的数据与外部数据表(辅助校验数据表)中的数据之间关系。
本申请还公开了一种用于进行行级别校验的sql配置示例,该sql可以被配置为为:
列级别数据校验:
列级别校验一般是对表字段中具体内容进行校验,一般不涉及同一行记录字段间关系,以及待校验的当前表数据与其他表数据间关系。这里对字段中数据复杂场景的校验可采用正则表达式方式。
本申请还公开了一种用于进行列级别数据校验的sql配置示例,该sql可以被配置为:
select*
fromDDM_TAB_COLS_TEMP t
where(upper(data_type)like'%VARCHAR%'and not(regexp_like(upper(data_type),'^[N]{0,1}VARCHAR[2]{0,1}\([0-9]{1,4}\)')
and regexp_substr(upper(data_type),'[^()]+',1,2)<4001))
or(upper(data_type)like'%NUMBER%'and not(regexp_like(upper(data_type),'^NUMBER\([0-9]{1,2}[,]{0,1}[0-9]{0,2}\)')
and regexp_substr(upper(data_type),'[^(),]+',1,2)<39
or length(data_type)=6))
or(regexp_instr(upper(data_type),'[()]')<>0)
步骤S1024:对不符合校验规则的记录进行逐行更新,执行步骤S1025和步骤S1027;
步骤S1025:判断是否存在剩余的需要更新的不符合校验规则的记录,如果是,执行步骤S1024,否则,执行步骤S1026;
步骤S1026:判断是否对所述校验数据配置了用于对数据校验的数据表,如果是,执行步骤S1023,对待校验数据进列级别校验,否则,结束流程;
步骤S1027:将校验结果写入校验数据表的校验结果代码字段中;
步骤S1028:依据结果代码关联校验项字典查找所述校验结果得到具体描述。
校验规则配置需要配置两张表,校验项字典表和校验对象配置表,表设计如下:
校验项字典表,用来配置有哪些校验项。
以下为校验项字典表配置示例:
CHK_ITEM CHK_ITEMDESC
3 字段英文名含空值
5 无效的数据类型
2 字段名重复定义
4 对表中机构名称进行校验
1 表名超长
校验对象配置表,用来配置具体的校验对象,以及具体的校验规则。主要配置校验项的基本信息,为后续翻译校验结果提供支持。校验对象配置表则配置具体的校验对象、校验规则。校验对象字段的配置决定了是行级别校验还是列级别校验,一般配置形式为“表名:字段名”的是列级别校验,直接“表名”的是行级别校验。
校验对象配置表:
此发明可结合前端应用,也可在后台批量运行加工数据程序中使用,大批量的校验数据,在调用校验程序对待校验数据进行校验后,本步骤可以将校验结果存放到校验数据表的校验结果代码字段中,以使得前端设备可根据结果代码关联校验项字典得到具体描述,当然也可以采用应用本方法的系统在后台直接根据结果代码关联校验项字典得到具体描述,将得到的具体描述返回给前端设备。
为了方便用户查看校验结果,列级别校验结果以列位置-校验项形式存储,行级别校验结果以t-校验项形式存储。
在本申请上述实施例公开的技术方案中,待校验数据的字段配置决定了是对其采用行级别校验还是列级别校验,因此,本申请实施例公开的技术方案中,依据所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型的配置形式为:表名:字段名;第二字段类型的配置形式为:表名。
以下是对人工维护的表结构数据字典内容校验的示例,此示例是校验上传数据与数据库中数据间的约束关系:
校验规则:对校验表中数据进行校验,要求校验机构表中的机构号(br_no)在另一个机构表中存在,但是机构名称(br_name)却不一致的记录
配置校验规则(CHK_RULE):
具体配置如校验项4部分:
其中“校验规则”中内容是上语句内容,行级别校验“校验对象”列只配置表名称。
针对于上述方法,本申请还公开了一种批量数据校验装置,参见图4,其可以存储器100和处理器200;
所述批量数据校验装置还包括通信接口300以及通信总线400,其中,存储器100、处理器200以及通信接口300通信均通过通信总线400实现相互间的通信。
所述存储器100用于存储程序代码;所述程序代码包括计算机操作指令。
存储器100可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
所述处理器200可以是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。所述处理器200用于调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:
所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:
获取待校验数据;
获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
依据所述校验规则对所述待校验数据进行校验。
可选的,所述处理器200依据所述校验规则对所述待校验数据进行校验之后,还用于执行以下操作:
对校验结果进行翻译,将校验结果翻译成预设文本;
将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
可选的,所述处理器200依据所述校验规则对所述待校验数据进行校验,具体包括:
将校验规则中的结构化查询语言转换成游标形式运行;
执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
对不符合校验规则的记录进行逐行更新,将校验结果写入校验数据表的校验结果代码字段中,以使得翻译模块可以依据结果代码关联校验项字典得到具体描述。
可选的,所述处理器200所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型为表名+字段名,所述第二字段类型为表名。
此外,本申请还公开了一种批量数据校验系统,其可以包括:
前端设备和本申请上述任意一项实施例公开的批量数据校验装置;
所述前端设备用于获取待校验数据,并将所述待校验数据发送给所述批量数据校验装置,并显示所述批量数据校验装置的校验结果。
为了描述的方便,描述以上系统时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种批量数据校验方法,其特征在于,包括:
获取待校验数据;
获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
依据所述校验规则对所述待校验数据进行校验。
2.根据权利要求1所述的批量数据校验方法,其特征在于,依据所述校验规则对所述待校验数据进行校验之后,还包括:
对校验结果进行翻译,将校验结果翻译成预设文本;
将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
3.根据权利要求1所述的批量数据校验方法,其特征在于,依据所述校验规则对所述待校验数据进行校验,具体包括:
将校验规则中的结构化查询语言转换成游标形式运行;
执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
对不符合校验规则的记录进行逐行更新,将校验结果写入校验数据表的校验结果代码字段中,以使得翻译模块可以依据结果代码关联校验项字典得到具体描述。
4.根据权利要求3所述的批量数据校验方法,其特征在于,依据所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型为表名+字段名,所述第二字段类型为表名。
5.一种批量数据校验装置,其特征在于,包括:存储器和处理器;
所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:
获取待校验数据;
获取依据结构化查询语言配置表中的结构化查询语言以及正则表达式配置得到的校验规则;
依据所述校验规则对所述待校验数据进行校验。
6.根据权利要求5所述的批量数据校验装置,其特征在于,所述处理器依据所述校验规则对所述待校验数据进行校验之后,还用于执行以下操作:
对校验结果进行翻译,将校验结果翻译成预设文本;
将翻译后的校验结果发送给显示设备并控制所述显示设备对翻译后的校验结果进行展示。
7.根据权利要求5所述的批量数据校验装置,其特征在于,所述处理器依据所述校验规则对所述待校验数据进行校验,具体包括:
将校验规则中的结构化查询语言转换成游标形式运行;
执行所述结构化查询语言并依据基于正则表达式设置的预设过滤条件对所述待校验数据进行筛选;
将筛选得到的问题数据进行打标,以实现对待校验数据进行行级别校验或列级别校验;
对不符合校验规则的记录进行逐行更新,将校验结果写入校验数据表的校验结果代码字段中,以使得翻译模块可以依据结果代码关联校验项字典得到具体描述。
8.根据权利要求7所述的批量数据校验装置,其特征在于,所述处理器所述校验规则对所述待校验数据进行校验,具体包括:
获取待校验数据的字段配置信息,判断所述字段配置信息的类型是第一字段类型还是第二字段类型,如果所述字段配置信息的类型为第一字段类型时,采用列级别校验方式对所述待校验数据进行校验,如果所述字段配置信息的类型为第二字段类型时,采用行级别校验方式对所述待校验数据进行校验;
其中,所述第一字段类型为表名+字段名,所述第二字段类型为表名。
9.一种批量数据校验系统,其特征在于,包括:
前端设备和权利要求5-8任意一项所述的批量数据校验装置;
所述前端设备用于获取待校验数据,并将所述待校验数据发送给所述批量数据校验装置,并显示所述批量数据校验装置的校验结果。
CN201711121416.9A 2017-11-14 2017-11-14 一种批量数据校验方法、装置和系统 Pending CN107908725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711121416.9A CN107908725A (zh) 2017-11-14 2017-11-14 一种批量数据校验方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711121416.9A CN107908725A (zh) 2017-11-14 2017-11-14 一种批量数据校验方法、装置和系统

Publications (1)

Publication Number Publication Date
CN107908725A true CN107908725A (zh) 2018-04-13

Family

ID=61845336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711121416.9A Pending CN107908725A (zh) 2017-11-14 2017-11-14 一种批量数据校验方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107908725A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108256A (zh) * 2017-12-15 2018-06-01 农信银资金清算中心有限责任公司 一种数据正确性校验方法及装置
CN109033410A (zh) * 2018-08-03 2018-12-18 韩雪松 一种基于正则与字符串切割的sql解析方法
CN110233842A (zh) * 2019-06-10 2019-09-13 腾讯科技(深圳)有限公司 一种请求的校验方法和相关装置
CN110515937A (zh) * 2019-09-02 2019-11-29 中国农业银行股份有限公司 一种数据校验方法及装置
CN110543483A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 一种数据稽核方法、装置及电子设备
CN110704426A (zh) * 2019-09-06 2020-01-17 中国平安财产保险股份有限公司 数据校验方法、电子装置及计算机可读存储介质
CN111581089A (zh) * 2020-04-29 2020-08-25 民航数据通信有限责任公司 一种飞行程序设计业务规则检查的方法及装置
CN111813821A (zh) * 2020-03-27 2020-10-23 国泰财产保险有限责任公司 一种数据比对方法和装置
CN112417841A (zh) * 2020-11-20 2021-02-26 浪潮卓数大数据产业发展有限公司 一种数据校验方法
CN112579632A (zh) * 2020-12-28 2021-03-30 中国建设银行股份有限公司 一种数据核验方法、装置、设备和介质
CN112948429A (zh) * 2021-02-02 2021-06-11 中国工商银行股份有限公司 一种数据报送方法、装置和设备
CN112988780A (zh) * 2021-01-04 2021-06-18 珠海优特电力科技股份有限公司 数据校核方法和装置、存储介质及电子设备
CN113158634A (zh) * 2021-04-21 2021-07-23 平安国际智慧城市科技股份有限公司 批量数据申报方法、装置、设备及计算机可读存储介质
CN113312053A (zh) * 2020-02-27 2021-08-27 北京沃东天骏信息技术有限公司 一种数据处理的方法和装置
CN113656404A (zh) * 2021-07-30 2021-11-16 平安消费金融有限公司 数据校验方法、装置、计算机设备及存储介质
CN113722352A (zh) * 2021-08-31 2021-11-30 航天信息系统工程(北京)有限公司 一种报审价方案的智能数据校验方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212662A1 (en) * 2002-05-08 2003-11-13 Samsung Electronics Co., Ltd. Extended markup language (XML) indexing method for processing regular path expression queries in a relational database and a data structure thereof
CN101101602A (zh) * 2007-07-27 2008-01-09 华为技术有限公司 一种数据格式的校验方法及装置
CN102819766A (zh) * 2011-06-09 2012-12-12 金蝶软件(中国)有限公司 一种表单校验方法、装置及企业系统
CN103473306A (zh) * 2013-09-10 2013-12-25 北京思特奇信息技术股份有限公司 一种采用sql标记替换法实现数据自取的方法及系统
CN107315771A (zh) * 2017-05-23 2017-11-03 中国科学院计算机网络信息中心 一种基于扩展库表数据字典的数据汇交系统定制化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212662A1 (en) * 2002-05-08 2003-11-13 Samsung Electronics Co., Ltd. Extended markup language (XML) indexing method for processing regular path expression queries in a relational database and a data structure thereof
CN101101602A (zh) * 2007-07-27 2008-01-09 华为技术有限公司 一种数据格式的校验方法及装置
CN102819766A (zh) * 2011-06-09 2012-12-12 金蝶软件(中国)有限公司 一种表单校验方法、装置及企业系统
CN103473306A (zh) * 2013-09-10 2013-12-25 北京思特奇信息技术股份有限公司 一种采用sql标记替换法实现数据自取的方法及系统
CN107315771A (zh) * 2017-05-23 2017-11-03 中国科学院计算机网络信息中心 一种基于扩展库表数据字典的数据汇交系统定制化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
给自己的9999封信: "WHERE子句使用正则表达式进行搜索过滤", 《CSDN》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108256A (zh) * 2017-12-15 2018-06-01 农信银资金清算中心有限责任公司 一种数据正确性校验方法及装置
CN109033410A (zh) * 2018-08-03 2018-12-18 韩雪松 一种基于正则与字符串切割的sql解析方法
CN109033410B (zh) * 2018-08-03 2021-10-29 韩雪松 一种基于正则与字符串切割的sql解析方法
CN110233842B (zh) * 2019-06-10 2021-07-27 腾讯科技(深圳)有限公司 一种请求的校验方法和相关装置
CN110233842A (zh) * 2019-06-10 2019-09-13 腾讯科技(深圳)有限公司 一种请求的校验方法和相关装置
CN110543483A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 一种数据稽核方法、装置及电子设备
CN110515937A (zh) * 2019-09-02 2019-11-29 中国农业银行股份有限公司 一种数据校验方法及装置
CN110704426A (zh) * 2019-09-06 2020-01-17 中国平安财产保险股份有限公司 数据校验方法、电子装置及计算机可读存储介质
CN110704426B (zh) * 2019-09-06 2023-09-22 中国平安财产保险股份有限公司 数据校验方法、电子装置及计算机可读存储介质
CN113312053A (zh) * 2020-02-27 2021-08-27 北京沃东天骏信息技术有限公司 一种数据处理的方法和装置
CN111813821A (zh) * 2020-03-27 2020-10-23 国泰财产保险有限责任公司 一种数据比对方法和装置
CN111581089A (zh) * 2020-04-29 2020-08-25 民航数据通信有限责任公司 一种飞行程序设计业务规则检查的方法及装置
CN112417841A (zh) * 2020-11-20 2021-02-26 浪潮卓数大数据产业发展有限公司 一种数据校验方法
CN112417841B (zh) * 2020-11-20 2023-09-05 浪潮卓数大数据产业发展有限公司 一种数据校验方法
CN112579632A (zh) * 2020-12-28 2021-03-30 中国建设银行股份有限公司 一种数据核验方法、装置、设备和介质
CN112988780A (zh) * 2021-01-04 2021-06-18 珠海优特电力科技股份有限公司 数据校核方法和装置、存储介质及电子设备
CN112948429A (zh) * 2021-02-02 2021-06-11 中国工商银行股份有限公司 一种数据报送方法、装置和设备
CN112948429B (zh) * 2021-02-02 2024-04-26 中国工商银行股份有限公司 一种数据报送方法、装置和设备
CN113158634A (zh) * 2021-04-21 2021-07-23 平安国际智慧城市科技股份有限公司 批量数据申报方法、装置、设备及计算机可读存储介质
CN113656404A (zh) * 2021-07-30 2021-11-16 平安消费金融有限公司 数据校验方法、装置、计算机设备及存储介质
CN113722352A (zh) * 2021-08-31 2021-11-30 航天信息系统工程(北京)有限公司 一种报审价方案的智能数据校验方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN107908725A (zh) 一种批量数据校验方法、装置和系统
Jin et al. V. PhyloMaker: an R package that can generate very large phylogenies for vascular plants
Sussenguth Jr Use of tree structures for processing files
US4734856A (en) Autogeneric system
US7367006B1 (en) Hierarchical, rules-based, general property visualization and editing method and system
CN110399420A (zh) 一种可配置化Excel格式的导出方法、电子设备和介质
CN105913316B (zh) 一种规则配置方法和装置
CN102024046B (zh) 数据重复性校验方法和装置及系统
CN105094707A (zh) 一种数据存储、读取方法及装置
CN107844425A (zh) 一种数据库语句检查方法和装置
CN108415835A (zh) 分布式数据库测试方法、装置、设备及计算机可读介质
CN108762808A (zh) 接口文档的生成方法及系统
CN106503224A (zh) 一种根据关键词推荐应用的方法及装置
CN106708841A (zh) 网站访问路径的聚合方法和装置
CN110333880A (zh) 一种配置更新方法、装置、设备及存储介质
CN107885767A (zh) 一种页面操作方法及装置
CN106843899A (zh) 一种基于Node.js平台的网页开发方法及装置
CN107180041A (zh) 网页内容评论方法及系统
CN111563218A (zh) 一种页面的修复方法及装置
CN109189790A (zh) 数据管理方法、装置、计算机设备及存储介质
CN105446982A (zh) 用于管理数据存储系统的方法和装置
CN108427736A (zh) 一种用于查询数据的方法
CN103530163B (zh) 加载浏览器工具项的方法及浏览器
US20110161304A1 (en) Deployment and compliance manager
CN106648338A (zh) 编辑数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413