CN111552713A - 一种数据校验方法及装置 - Google Patents

一种数据校验方法及装置 Download PDF

Info

Publication number
CN111552713A
CN111552713A CN202010362288.2A CN202010362288A CN111552713A CN 111552713 A CN111552713 A CN 111552713A CN 202010362288 A CN202010362288 A CN 202010362288A CN 111552713 A CN111552713 A CN 111552713A
Authority
CN
China
Prior art keywords
metadata
information
metadata information
verification
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010362288.2A
Other languages
English (en)
Inventor
利润霖
吴钢
李川
李晓珍
李兆隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202010362288.2A priority Critical patent/CN111552713A/zh
Publication of CN111552713A publication Critical patent/CN111552713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据校验方法及装置,通过获取业务需求,调用元数据表,得到元数据信息,判断元数据信息是否符合业务需求,若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息,根据校验信息对待校验的数据进行校验。通过上述方案,定义元数据模型对校验信息进行集中管理,提取业务表结构信息作为初始化数据,减少配置工作量,根据业务需求调整,得到符合业务需求的校验信息,并通过功能元数据表对校验信息进行灵活拓展,满足多样化的业务需求,最后为系统前后端分别提供统一校验信息查询方式,解决了传统前后端校验的方法,难维护,难复用的问题,减少前后端工作量以及沟通成本,实现提高系统开发效率的目的。

Description

一种数据校验方法及装置
技术领域
本发明涉及数据处理技术领域,更具体地说,涉及一种数据校验方法及装置。
背景技术
目前,浏览器/服务器模式(Browser/Server,B/S)的信息化系统中,信息化系统前端的数据校验和信息化系统后端的数据校验已经成为一种常态。
信息化系统前端基于rules组件的校验方法,信息化系统前端的数据校验是为了提升软件的响应,提升用户与软件交互的友好性。信息化系统后端基于Java规范提案(JavaSpecification Requests,JSR)303的注解校验方法,信息化系统后端的数据校验是为了保障数据的质量,提升业务记录的完整性。
在信息化系统前端和后端校验信息一致的情况下,依旧需要对信息化系统前端和后端分别进行配置,从而造成信息化系统前端和后端的复用性低。
发明内容
有鉴于此,本发明公开了一种数据校验方法及装置,通过对校验信息集中管理,减少校验需求变更带来的维护代价,且无需在信息化系统前端和后端分别进行分散且复杂的配置工作,从而减少配置工作量,提高校验信息在信息化系统前端和后端的复用性。
为了实现上述目的,现提出的方案如下:
第一方面,本发明公开了一种数据校验方法,所述方法包括:
获取业务需求;
调用元数据表,得到元数据信息,其中,所述元数据表是基于预先创建的元数据模型确定的,所述元数据表包括基础元数据表和功能元数据表,所述元数据信息包括存储于所述基础元数据表的基础元数据信息和存储于所述功能元数据表的功能元数据信息;
判断所述元数据信息是否符合所述业务需求;
若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息,其中,所述处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;
根据所述校验信息对待校验的数据进行校验。
可选地,所述元数据表的创建过程,包括:
基于样本业务建立元数据模型;
基于所述元数据模型,确定元数据表;
获取数据库表中可用于数据校验的元数据信息,其中,所述可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空和字段描述;
基于所述可用于数据校验的元数据信息,更新所述基础元数据表中的基础元数据信息;
基于所述业务需求,设定所述基础元数据表和所述功能元数据表之间的关联关系;
依据所述业务需求确定配置方式,并将所述配置方式为所述基础元数据表和所述功能元数据表配置所述关联关系。
可选地,所述判断所述元数据信息是否符合所述业务需求,包括:
判断所述元数据信息的数据格式与预先设置的标准数据格式是否一致;
若所述元数据信息的数据格式与所述预先设置的标准数据格式不一致,所述元数据信息不符合所述业务需求;
若所述元数据信息的数据格式与所述预先设置的标准数据格式一致,所述元数据信息符合所述业务需求。
可选地,在所述若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息之后,还包括:
将所述校验信息存储至缓存中。
第二方面,本发明公开了一种数据校验装置,所述装置包括:
获取单元,用于获取业务需求;
调用单元,用于调用元数据表,得到元数据信息,其中,所述元数据表是基于预先创建的元数据模型确定的,所述元数据表包括基础元数据表和功能元数据表,所述元数据信息包括存储于所述基础元数据表的基础元数据信息和存储于所述功能元数据表的功能元数据信息;
判断单元,用于判断所述元数据信息是否符合所述业务需求;
操作单元,用于若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息,其中,所述处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;
校验单元,用于根据所述校验信息对待校验的数据进行校验。
可选地,所述元数据表的创建过程的所述调用单元,包括:
建立模块,用于基于样本业务建立元数据模型;
确定模块,用于基于所述元数据模型,确定元数据表;
获取模块,用于获取数据库表中可用于数据校验的元数据信息,其中,所述可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空和字段描述;
更新模块,用于基于所述可用于数据校验的元数据信息,更新所述基础元数据表中的基础元数据信息;
设定模块,用于基于所述业务需求,设定所述基础元数据表和所述功能元数据表之间的关联关系;
配置模块,用于依据所述业务需求确定配置方式,并将所述配置方式为所述基础元数据表和所述功能元数据表配置所述关联关系。
可选地,所述判断单元,具体用于:
判断所述元数据信息的数据格式与预先设置的标准数据格式是否一致,若所述元数据信息的数据格式与所述预先设置的标准数据格式不一致,所述元数据信息不符合所述业务需求,若所述元数据信息的数据格式与所述预先设置的标准数据格式一致,所述元数据信息符合所述业务需求。
可选地,还包括:
存储单元,用于将所述校验信息存储至缓存中。
经由上述技术方案可知,通过获取业务需求,调用元数据表,得到元数据信息,判断元数据信息是否符合业务需求,若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息,其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;根据校验信息对待校验的数据进行校验。通过上述方案,根据业务需求进行调整,得到符合业务需求的校验信息,通过对校验信息集中管理,减少校验需求变更带来的维护代价,且无需在信息化系统前端和后端分别进行分散且复杂的配置工作,从而减少配置工作量,提高校验信息在信息化系统前端和后端的复用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据校验方法的流程示意图;
图2为本发明实施例公开的基础元数据模型和功能元数据模型的结构图;
图3为本发明实施例公开的获取校验信息的示意图;
图4为本发明实施例公开的元数据表的创建过程的流程示意图;
图5为本发明实施例公开的判断元数据信息是否符合业务需求的流程示意图;
图6为本发明实施例公开的一种数据校验装置的结构示意图;
图7为本发明实施例公开的另一种数据校验装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中,信息化系统前端基于rules组件的校验方法,信息化系统前端的数据校验是为了提升软件的响应,提升用户与软件交互的友好性。信息化系统后端基于Java规范提案JSR303的注解校验方法,信息化系统后端的数据校验是为了保障数据的质量,提升业务记录的完整性。
但是,在信息化系统前端和后端校验信息一致的情况下,依旧需要对信息化系统前端和后端分别进行配置,从而造成信息化系统前端和后端的复用性低。
为了解决上述问题,本发明实施例公开了一种数据校验方法,通过获取业务需求,调用元数据表,得到元数据信息,判断元数据信息是否符合业务需求,若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息,其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;根据校验信息对待校验的数据进行校验。通过上述方案,根据业务需求进行调整,得到符合业务需求的校验信息,通过对校验信息集中管理,减少校验需求变更带来的维护代价,且无需在信息化系统前端和后端分别进行分散且复杂的配置工作,从而减少配置工作量,提高校验信息在信息化系统前端和后端的复用性。
请参考图1,示出了本发明实施例公开的一种数据校验方法的流程示意图,该数据校验方法可以包括如下步骤:
S110:获取业务需求。
不同的业务需求所对应的元数据信息也不同。开发人员可以基于不同的业务需求,通过界面操作工具,对元数据信息内容进行修改、补充。
元数据是描述信息资源或数据等对象的数据,或者说是用于提供某种资源的有关信息的结构数据。
S120:调用元数据表,得到元数据信息。
其中,元数据表是基于预先创建的元数据模型确定的,包括基础元数据表和功能元数据表。
元数据信息包括存储于基础元数据表的基础元数据信息和存储于功能元数据表的功能元数据信息。
元数据表的创建过程如下:
首先,基于样本业务建立元数据模型,基于元数据模型,确定元数据表,其次,获取数据库表中可用于数据校验的元数据信息,基于可用于数据校验的元数据信息,更新基础元数据表中的基础元数据信息,然后,基于业务需求,设定基础元数据表和功能元数据表之间的关联关系,最后,依据业务需求确定配置方式,并将配置方式为基础元数据表和功能元数据表配置关联关系。
其中,可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空、字段描述等。
元数据表的创建过程中,需要初始化基础元数据和功能元数据信息,即,初始化基础元数据和初始化基础元数据表和功能元数据表之间的关联关系。
在初始化基础元数据的过程中,从数据库表字段的元数据信息中抽取每张数据库表字段的字段名(对应元数据模型中的数据标识字段),字段类型、字符串长度、是否为空、字段的最大值和字段的最小值等元数据信息,对功能元数据进行初始化,每一张数据库表作为一个模块分别生成新增、更新等多个功能的元数据信息,通过基础元数据主键复用基础元数据模型中的元数据信息,基础元数据与功能元数据模型的拓展元数据字段可以初始化为默认值。
初始化基础元数据表和功能元数据表之间的关联关系的过程中,基于业务需求,设定基础元数据表和功能元数据表之间的关联关系,最后,依据业务需求确定配置方式,并将配置方式为基础元数据表和功能元数据表配置关联关系。
通过初始化基础元数据和功能元数据信息,可以有效地简化校验信息配置的工作量。
元数据模型就是元数据表的定义。在设计元数据模型的时候,元数据表就已经定义好了。比如,使用powerdesigner去设计元数据模型的概念模型和逻辑模型,可以将powerdesigner设计的元数据模型的概念模型和逻辑模型转化为数据库的建表语句。
元数据模型涵盖了数据的元数据信息,如字段类型、字符串长度、是否为空、字段的最大值和字段的最小值等。根据业务需求进行灵活拓展,即,功能元数据表可以根据业务需求以功能为单位任意扩展。
由于功能拓展,从而导致配置工作量的增加,功能元数据可以通过复用基础元数据的信息,减少功能拓展带来的配置工作量的增加。
元数据模型包括基础元数据模型和功能元数据模型。基础元数据模型与功能元数据模型通过基础元数据主键进行关联。
基础元数据模型包含数据标识字段、元数据字段和拓展字段。
功能元数据模型包含模块编码、功能编码、功能元数据字段标识、基础元数据模型数据标识、基础元数据中包含的元数据信息字段以及拓展字段。
在基础元数据模型中定义完整、通用的元数据信息,功能元数据模型则复用基础元数据模型的元数据信息,并且可以在此基础上进行修改、拓展。
为了方便理解功能元数据模型复用基础元数据模型的元数据信息的过程,这里举例进行说明:
例如,将基础元数据表和功能元数据表通过元素编码字段进行关联。功能元数据表内容可以复用基础元数据表,比如,需要定义一个年龄的字段,基础元数据定义可复用的校验信息,功能元数据通过元素编码进行关联。并且可以自己重新定义这些校验信息,当基础元数据表定义的最大长度为100,功能元数据最大长度定义为200,在最后生成的校验信息里面,在user模块的新增功能中,年龄age字段的最大长度为200,其他没有重新定义的字段复用所关联的基础元数据信息。
具体的基础元数据模型和功能元数据模型结构,如图2所示。
需要说明的是,基础元数据模型包括:element_code数据元编码、element_name数据元名称、element_data_type数据元数据类型、element_empty_flag数据元可空标志、element_min_value数据元最小值、element_max_value数据元最大值、element_max_size数据元最大尺度、element_regular数据元正则表达式、element_desc数据元描述及其他基础元数据模型拓展模型字段。
功能元数据模型包括:element_function_code模块功能编码、func_element_code功能数据元编码、element_code数据元编码、element_name数据元名称、element_data_type数据元数据类型、element_min_value数据元最小值、element_max_value数据元最大值、element_max_size数据元最大尺度、element_regular数据元正则表达式、element_desc数据元描述、基础元数据模型拓展模型字段和功能元数据模型拓展字段。
S130:判断元数据信息是否符合业务需求。
若元数据信息不符合业务需求,执行S140;若元数据信息符合业务需求,执行S150。
在具体实现S130的过程中,由于从数据库表结构抽取的元数据信息可能与实际需求不符,因此需要判断元数据信息是否符合业务需求。
判断元数据信息是否符合业务需求的过程如下:
通过判断元数据信息的数据格式是否与预先设置的标准数据格式是否一致,若元数据信息的数据格式与预先设置的标准数据格式不一致,元数据信息不符合业务需求;若元数据信息的数据格式与预先设置的标准数据格式一致,元数据信息符合业务需求。
预先设置的标准数据格式可以是字段类型、字符串长度等。具体的预先设置的标准数据格式根据实际情况由技术人员进行设置。
S140:对元数据信息进行处理操作,得到符合业务需求的校验信息。
其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作。
通过基础元数据主键将基础元数据模型和功能元数据模型进行关联,功能元数据中不为空的元数据信息覆盖基础元数据信息,为空的校验字段会复用基础元数据信息。
通过得到符合业务需求的校验信息,为信息化系统的前端和后端提供同一套校验信息,信息化系统的前端和后端以此为依据进行数据校验。
通过元数据库表对校验信息进行统一管理,从而减少运维难度。
可选的,得到校验信息的过程,如图3所示。
以模块编码和功能编码作为主键,基于业务需求,将基础元数据信息与功能元数据信息合并成符合业务需求的校验信息。
在一种实际的应用场景中,通过人员关联模块和新增编码,可以查询到人员新增数据的校验信息。当需要添加、修改字段的校验信息时,通过元数据表的界面,开发人员可以在元数据表的界面上添加、修改字段的校验信息。
为了方便理解上述S140中涉及到的对元数据信息进行处理操作,得到符合业务需求的校验信息,这里举例进行说明:
例如:在实际业务中需要对collection类型数据的尺度(size)元数据进行校验,而初始化是依照数据库表结构,不存在collection类型数据的字段的定义,开发人员可以手工添加collection类型数据尺度(size)元数据,从而得到符合业务需求的校验信息。
当多张数据库表包含同一名称且校验信息一致的字段时,去掉重复的元数据信息。
可选地,在对元数据信息进行处理操作,得到符合业务需求的校验信息之后,将校验信息存储至缓存中。
为了提升校验信息的读取性能,因此将校验信息存入缓存中。
缓存可以是redis、内存等。缓存的确定本发明不做具体限定。
S150:根据校验信息对待校验的数据进行校验。
信息化系统前端通过接口调用形式以模块编码和功能编码作为查询条件,获取校验信息进行数据校验,信息化系统服务端可以在需要进行校验的功能方法上,通过(AspectOriented Programming,AOP)形式对入参(InputParameters)进行校验,并通过读取缓存以模块编码和功能编码作为查询条件,获取校验信息进行数据校验。
AOP为面向切面编程,通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术。利用AOP可以对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度降低,提高程序的可重用性,同时提高了开发的效率。
本发明实施例公开了一种数据校验方法,通过获取业务需求,调用元数据表,得到元数据信息,判断元数据信息是否符合业务需求,若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息,其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;根据校验信息对待校验的数据进行校验。通过上述方案,根据业务需求进行调整,得到符合业务需求的校验信息,通过对校验信息集中管理,减少校验需求变更带来的维护代价,且无需在信息化系统前端和后端分别进行分散且复杂的配置工作,从而减少配置工作量,提高校验信息在信息化系统前端和后端的复用性。
上述S120中涉及到元数据表的创建过程,如图4所示,具体包括如下步骤:
S410:基于样本业务建立元数据模型。
通过样本业务中的数据标识字段、元数据字段、拓展字段、模块编码、功能编码、功能元数据字段标识、基础元数据模型数据标识和基础元数据中包含的元数据信息字段以及拓展字段,建立元数据模型。
S420:基于元数据模型,确定元数据表。
S430:获取数据库表中可用于数据校验的元数据信息。
S440:基于可用于数据校验的元数据信息,更新基础元数据表中的基础元数据信息。
S450:基于业务需求,设定基础元数据表和功能元数据表之间的关联关系。
S460:依据业务需求确定配置方式,并将配置方式为基础元数据表和功能元数据表配置关联关系。
S410-S460的执行过程与上述S120的执行过程一致,可参考上述S120的执行过程,这里不再进行赘述。
本发明实施例中,基于样本业务建立元数据模型,基于元数据模型,确定元数据表,获取数据库表中可用于数据校验的元数据信息,基于可用于数据校验的元数据信息,更新基础元数据表中的基础元数据信息,基于业务需求,设定基础元数据表和功能元数据表之间的关联关系,依据业务需求确定配置方式,并将配置方式为基础元数据表和功能元数据表配置关联关系。通过上述方案,建立元数据表,以便实现从元数据表中得到元数据信息的目的。
上述S130中涉及到判断元数据信息是否符合业务需求的过程,如图5所示,具体包括如下步骤:
S510:判断元数据信息的数据格式与预先设置的标准数据格式是否一致。
若元数据信息的数据格式与预先设置的标准数据格式不一致,执行S520,若元数据信息的数据格式与预先设置的标准数据格式一致,执行S530。
S520:元数据信息不符合业务需求。
S530:元数据信息符合业务需求。
S510-S530的执行过程与上述S130的执行过程一致,可参考上述S130的执行过程,这里不再进行赘述。
在本发明实施例中,通过判断元数据信息的数据格式是否与预先设置的标准数据格式是否一致,若元数据信息的数据格式与预先设置的标准数据格式不一致,元数据信息不符合业务需求;若元数据信息的数据格式与预先设置的标准数据格式一致,元数据信息符合业务需求,实现辨别元数据信息是否符合业务需求的目的。
基于上述实施例中公开的一种数据校验方法,本发明实施例还对应公开了一种数据校验装置,如图6所示,该数据校验装置主要包括:
获取单元601,用于获取业务需求。
其中,不同的业务需求所对应的元数据信息也不同。开发人员可以基于不同的业务需求,通过界面操作工具,对元数据信息内容进行修改、补充。
调用单元602,用于调用元数据表,得到元数据信息。
其中,元数据表是基于预先创建的元数据模型确定的,元数据表包括基础元数据表和功能元数据表,元数据信息包括存储于基础元数据表的基础元数据信息和存储于功能元数据表的功能元数据信息。
进一步的,调用单元602,包括:
建立模块,用于基于样本业务建立元数据模型。
确定模块,用于基于元数据模型,确定元数据表。
获取模块,用于获取数据库表中可用于数据校验的元数据信息。
其中,可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空、字段描述等。
更新模块,用于基于可用于数据校验的元数据信息,更新基础元数据表中的基础元数据信息。
设定模块,用于基于业务需求,设定基础元数据表和功能元数据表之间的关联关系。
配置模块,用于依据业务需求确定配置方式,并将配置方式为基础元数据表和功能元数据表配置关联关系。
判断单元603,用于判断元数据信息是否符合业务需求。
预先设置的标准数据格式可以是字段类型、字符串长度等。具体的预先设置的标准数据格式根据实际情况由技术人员进行设置。
进一步的,判断单元603,具体用于:
判断元数据信息的数据格式与预先设置的标准数据格式是否一致,若元数据信息的数据格式与预先设置的标准数据格式不一致,元数据信息不符合业务需求,若元数据信息的数据格式与预先设置的标准数据格式一致,元数据信息符合业务需求。
操作单元604,用于若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息。
其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作。
通过基础元数据主键将基础元数据模型和功能元数据模型进行关联,功能元数据中不为空的元数据信息覆盖基础元数据信息,为空的校验字段会复用基础元数据信息。
通过得到符合业务需求的校验信息,为信息化系统的前端和后端提供同一套校验信息,信息化系统的前端和后端以此为依据进行数据校验。
校验单元605,用于根据校验信息对待校验的数据进行校验。
其中,信息化系统前端通过接口调用形式以模块编码和功能编码作为查询条件,获取校验信息进行数据校验,信息化系统服务端可以在需要进行校验的功能方法上,通过AOP形式对入参进行校验,并通过读取缓存以模块编码和功能编码作为查询条件,获取校验信息进行数据校验。
本发明实施例公开了一种数据校验装置,通过获取业务需求,调用元数据表,得到元数据信息,判断元数据信息是否符合业务需求,若元数据信息不符合业务需求,对元数据信息进行处理操作,得到符合业务需求的校验信息,其中,处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;根据校验信息对待校验的数据进行校验。通过上述方案,根据业务进行调整,得到符合业务需求的校验信息,通过对校验信息进行集中管理,减少校验需求变更带来的维护代价,且无需在信息化系统前端和后端分别进行分散且复杂的配置工作,从而减少配置工作量,提高校验信息在信息化系统前端和后端的复用性
如图7所示,为本发明实施例公开的另一种数据校验装置,该装置在图6的基础上,还包括:存储单元701。
存储单元701,用于将校验信息存储至缓存中。
其中,为了提升校验信息的读取性能,因此将校验信息存入缓存中。
缓存可以是redis、内存等。缓存的确定本发明不做具体限定。
本发明实施例中,通过将校验信息存储至缓存中,从而提升校验信息的读取性能的目的。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种数据校验方法,其特征在于,所述方法包括:
获取业务需求;
调用元数据表,得到元数据信息,其中,所述元数据表是基于预先创建的元数据模型确定的,所述元数据表包括基础元数据表和功能元数据表,所述元数据信息包括存储于所述基础元数据表的基础元数据信息和存储于所述功能元数据表的功能元数据信息;
判断所述元数据信息是否符合所述业务需求;
若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息,其中,所述处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;
根据所述校验信息对待校验的数据进行校验。
2.根据权利要求1所述的方法,其特征在于,所述元数据表的创建过程,包括:
基于样本业务建立元数据模型;
基于所述元数据模型,确定元数据表;
获取数据库表中可用于数据校验的元数据信息,其中,所述可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空和字段描述;
基于所述可用于数据校验的元数据信息,更新所述基础元数据表中的基础元数据信息;
基于所述业务需求,设定所述基础元数据表和所述功能元数据表之间的关联关系;
依据所述业务需求确定配置方式,并将所述配置方式为所述基础元数据表和所述功能元数据表配置所述关联关系。
3.根据权利要求1所述的方法,其特征在于,所述判断所述元数据信息是否符合所述业务需求,包括:
判断所述元数据信息的数据格式与预先设置的标准数据格式是否一致;
若所述元数据信息的数据格式与所述预先设置的标准数据格式不一致,所述元数据信息不符合所述业务需求;
若所述元数据信息的数据格式与所述预先设置的标准数据格式一致,所述元数据信息符合所述业务需求。
4.根据权利要求1所述的方法,其特征在于,在所述若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息之后,还包括:
将所述校验信息存储至缓存中。
5.一种数据校验装置,其特征在于,所述装置包括:
获取单元,用于获取业务需求;
调用单元,用于调用元数据表,得到元数据信息,其中,所述元数据表是基于预先创建的元数据模型确定的,所述元数据表包括基础元数据表和功能元数据表,所述元数据信息包括存储于所述基础元数据表的基础元数据信息和存储于所述功能元数据表的功能元数据信息;
判断单元,用于判断所述元数据信息是否符合所述业务需求;
操作单元,用于若所述元数据信息不符合所述业务需求,对所述元数据信息进行处理操作,得到符合所述业务需求的校验信息,其中,所述处理操作包括修改操作、补充操作及删除操作中的一种或多种操作;
校验单元,用于根据所述校验信息对待校验的数据进行校验。
6.根据权利要求5所述的装置,其特征在于,所述元数据表的创建过程的所述调用单元,包括:
建立模块,用于基于样本业务建立元数据模型;
确定模块,用于基于所述元数据模型,确定元数据表;
获取模块,用于获取数据库表中可用于数据校验的元数据信息,其中,所述可用于数据校验的元数据信息包括数据类型、字段的最大值、字段的最小值、是否为空和字段描述;
更新模块,用于基于所述可用于数据校验的元数据信息,更新所述基础元数据表中的基础元数据信息;
设定模块,用于基于所述业务需求,设定所述基础元数据表和所述功能元数据表之间的关联关系;
配置模块,用于依据所述业务需求确定配置方式,并将所述配置方式为所述基础元数据表和所述功能元数据表配置所述关联关系。
7.根据权利要求5所述的装置,其特征在于,所述判断单元,具体用于:
判断所述元数据信息的数据格式与预先设置的标准数据格式是否一致,若所述元数据信息的数据格式与所述预先设置的标准数据格式不一致,所述元数据信息不符合所述业务需求,若所述元数据信息的数据格式与所述预先设置的标准数据格式一致,所述元数据信息符合所述业务需求。
8.根据权利要求5所述的装置,其特征在于,还包括:
存储单元,用于将所述校验信息存储至缓存中。
CN202010362288.2A 2020-04-30 2020-04-30 一种数据校验方法及装置 Pending CN111552713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010362288.2A CN111552713A (zh) 2020-04-30 2020-04-30 一种数据校验方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010362288.2A CN111552713A (zh) 2020-04-30 2020-04-30 一种数据校验方法及装置

Publications (1)

Publication Number Publication Date
CN111552713A true CN111552713A (zh) 2020-08-18

Family

ID=72002659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010362288.2A Pending CN111552713A (zh) 2020-04-30 2020-04-30 一种数据校验方法及装置

Country Status (1)

Country Link
CN (1) CN111552713A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631695A (zh) * 2020-12-22 2021-04-09 北京达佳互联信息技术有限公司 一种数据校验方法、装置、电子设备及存储介质
CN114064611A (zh) * 2021-11-18 2022-02-18 中冶赛迪重庆信息技术有限公司 一种元数据可复用的数据建模方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019473A1 (en) * 2012-07-13 2014-01-16 Sap Ag Database View Modeling Using Existing Data Model
CN105653565A (zh) * 2014-12-03 2016-06-08 北京神州泰岳软件股份有限公司 一种数据核查方法和数据核查装置
US20170286255A1 (en) * 2016-03-30 2017-10-05 Oracle International Corporation Generating verification metadata and verifying a runtime type based on verification metadata
CN109670091A (zh) * 2018-12-24 2019-04-23 成都四方伟业软件股份有限公司 一种基于数据标准的元数据智能维护方法和装置
CN110704686A (zh) * 2019-10-08 2020-01-17 北京锐安科技有限公司 半结构化数据的质量检测方法、装置、存储介质及设备
CN110990053A (zh) * 2019-12-04 2020-04-10 第四范式(北京)技术有限公司 机器学习方案模板的创建方法、使用方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019473A1 (en) * 2012-07-13 2014-01-16 Sap Ag Database View Modeling Using Existing Data Model
CN105653565A (zh) * 2014-12-03 2016-06-08 北京神州泰岳软件股份有限公司 一种数据核查方法和数据核查装置
US20170286255A1 (en) * 2016-03-30 2017-10-05 Oracle International Corporation Generating verification metadata and verifying a runtime type based on verification metadata
CN109670091A (zh) * 2018-12-24 2019-04-23 成都四方伟业软件股份有限公司 一种基于数据标准的元数据智能维护方法和装置
CN110704686A (zh) * 2019-10-08 2020-01-17 北京锐安科技有限公司 半结构化数据的质量检测方法、装置、存储介质及设备
CN110990053A (zh) * 2019-12-04 2020-04-10 第四范式(北京)技术有限公司 机器学习方案模板的创建方法、使用方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631695A (zh) * 2020-12-22 2021-04-09 北京达佳互联信息技术有限公司 一种数据校验方法、装置、电子设备及存储介质
CN112631695B (zh) * 2020-12-22 2024-06-11 北京达佳互联信息技术有限公司 一种数据校验方法、装置、电子设备及存储介质
CN114064611A (zh) * 2021-11-18 2022-02-18 中冶赛迪重庆信息技术有限公司 一种元数据可复用的数据建模方法及系统

Similar Documents

Publication Publication Date Title
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
US8869111B2 (en) Method and system for generating test cases for a software application
CN109617646B (zh) 报文转换方法、装置、计算机设备及计算机可读存储介质
CN105913316B (zh) 一种规则配置方法和装置
CN112463144B (zh) 分布式存储的命令行服务方法、系统、终端及存储介质
CN109617647B (zh) 报文转换方法、装置、计算机设备及计算机可读存储介质
CN108415998B (zh) 应用依赖关系更新方法、终端、设备及存储介质
CN108279882B (zh) 框架生成方法、装置、设备及计算机可读介质
CN111552713A (zh) 一种数据校验方法及装置
CN111651296A (zh) 数据删除操作的拦截备份方法、装置、设备及存储介质
CN112988123A (zh) 面向ddd的软件设计方法及系统
CN114900570A (zh) 一种标准化数据采集传输方法及系统
CN114995859A (zh) 页面热更新方法、装置、设备及存储介质
CN114443015A (zh) 一种基于数据库元数据的增删改查服务接口生成方法
CN111125226B (zh) 一种配置数据采集方法及装置
CN112883088B (zh) 一种数据处理方法、装置、设备及存储介质
CN111399999B (zh) 计算机资源处理方法、装置、可读存储介质和计算机设备
CN115686497A (zh) 业务开发数据管理方法、开发引擎、电子设备和存储介质
US20050188380A1 (en) Cache control device, and method and computer program for the same
CN113296854B (zh) 一种数据加载方法、系统、电子设备及存储介质
CN110442331B (zh) 一种自动化搭建代码框架的方法及系统
CN112685435A (zh) 一种基于Vue和Mybatis的表格查询方法及系统
CN106993036B (zh) 运行环境信息处理方法及交换机
CN116483483B (zh) 数据查询方法、装置及电子设备
CN114143187B (zh) 智能平台接口网络地址管理方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination