CN101604336B - 一种从源头进行数据检验、修正的方法和系统 - Google Patents

Abstract

本发明公开了一种从源头进行数据检验、修正的方法，将不同设备通过检验的输出数据作为公共数据检验的输入数据，依据关键字匹配情况，制定设备间数据检验规则，根据该规则的过滤情况，对不符合规范的数据进行修正，修正后的数据返回至设备输入数据入口，作为各个设备输入的源数据，进行新一轮的数据检验。实现该方法的系统，包括设备内部检验规则生成单元、检验处理单元、数据交互单元；设备间检验规则生成单元、检验处理单元、数据交互单元。与现有技术相比，本发明的优点在于，由于采用了设备内部数据检验修正与设备间数据检验修正的双重检验机制，避免了数据在多个设备间不易进行检验的问题，保证了源数据准确，提高了工作效率。

Description

一种从源头进行数据检验、修正的方法和系统

技术领域

本发明涉及数据检验修正技术领域，尤其涉及一种从源头进行数据检验、修正的方法和系统。

背景技术

随着信息技术的飞速发展，企业对信息化的依赖程度越来越高。其核心数据质量，对企业的生死存亡起着至关重要的作用。数据检验，通俗的说，就是为保证数据的完整性，用一种指定的算法对原始数据计算出的一个检验值。接收方用同样的算法计算一次检验值，如果和数据提供的检验值一样，就说明数据是完整的。企业对信息化投入的不断加大，所上系统设备日益增多，给企业数据质量检验工作带来前所未有的困难。由于系统设备供应商不同，数据结构各异，数据通过各系统设备间的数据接口上进行流转，如何解决多系统设备间的数据检验工作，给我们的工作带来很大挑战。

现有技术中一种数据检验、修正方法为：用户对输入数据进行检验时，根据该预先编写的数据对象对应的检验代码，判断用户的输入数据是否合法，并根据不同的提示进行数据修正工作。但是，上述现有技术中，数据检验是根据预先编写的检验代码来进行合法性检验。由于数据对象的不确定性，在数据对象变更时，需要调整相应的检验代码文件，给日常工作带来较大不便。同时，此检验方法只是针对独立设备系统内部的检验模式，设备间的数据检验不能正常进行，不能形成一套完整的数据校验机制，无法满足企业日常的数据检验、修正工作。

发明内容

本发明所要解决的技术问题是，针对上述现有技术现状，而提供一种能够提高数据准确率和数据核对人员的工作效率的从源头进行数据检验、修正的方法和系统。

本发明解决上述技术问题所采用的技术方案为：一种从源头进行数据检验、修正的方法，其特征在于，对不同设备输入数据修正，根据在设备内部制定的检验规则，在设备内部进行基础性检验，依据检验结果，对输入的源数据进行修正，同时保证设备输出数据的准确性；将不同设备通过检验的输出数据作为公共数据检验的输入数据，依据关键字匹配情况，制定设备间数据检验规则，根据设备间数据检验规则的过滤情况，对不符合规范的数据进行修正，修正后的数据返回至设备输入数据入口，作为各个设备输入的源数据，进行新一轮的数据检验；通过不断的检验修正，从而保证从源头控制数据准确性的要求。

所述数据修正分为两个部分，设备内部数据修正，保证数据在设备内部符合既定规则；设备间的数据修正，保证数据符合全局的要求；数据修正的方法则根据数据检验规则的检验结果，对不符合的数据进行修正；所述数据检验规则分为两个部分，设备内部数据检验规则和设备间数据检验规则；所述设备内部数据检验规则，采用客户端数据检验和服务器端数据检验两种机制。

所述客户端数据检验机制在数据输入时进行检验；根据系统设计的具体要求，对于能够在客户端完成的基础性检验采用客户端检验的方式；按照数据存储文件查找数据规则文件进行检验的方式进行检验；

相应地，将客户端输入数据的检验方式标识、设备标识、数据对象标识、数据字段标识以及相关的数据存储到指定的存储文件中，作为被检验的数据，形成配置存储文件；

相应地，客户端数据检验规则根据业务工作具体要求进行设置，如设置某个数据字段不允许为空，某个数据字段长度不符合要求等形成规则存储文件；规则存储文件包含检验方式标识、设备标识、数据对象标识，数据字段标识以及针对每个数据字段的检验规则等数据；

客户端对输入的数据进行检验时，将数据对象标识和数据字段标识存储于指定的存储文件中，通过查找相应的数据规则存储文件，对客户端输入的数据进行基础性检验。

所述服务器端数据检验机制包含在客户端不能进行基础性检验，必须连接服务器端才能完成的检验工作；该配置存储文件，将通过客户端检验规则检验后的数据作为服务器端数据检验的源数据；配置存储文件包含检验方式标识、设备标识、数据对象标识、数据字段标识、关键字标识等相关属性数据；

规则存储文件包括设备标识、数据对象标识、数据字段以及数据字段检验规则等数据；针对需要检验的数据对象，在规则存储文件中填写检验对象的相关数据以及相对应的数据字段的相关数据和检验规则，从而形成服务器端数据检验规则；在服务器端数据检验查找相对应的数据规则存储文件，进行服务器端数据检验。

所述查找数据对象对应的规则存储文件总体上包括：查找包含有该数据对象所对应的设备标识、数据对象标识、数据字段标识、关键字标识、以及数据字段检验规则的文件；根据数据输入的不同形式采用的客户端检验和服务器端检验分别查找相应的规则存储文件。

所述查数据对象包括设备内部数据对象和设备间的数据对象；其中设备内部数据对象包含数据对象标识、数据字段以及数据字段的检验规则等属性数据；设备对象包含不同设备输入数据形成的具有设备标识、数据对象标识、关键字标识、数据字段标识、以及数据字段的检验规则等。

一种从源头进行数据检验、修正的系统，其特征在于，包括：设备内部检验规则生成单元，设备内部检验处理单元，设备内部数据交互单元；设备间检验规则生成单元，设备间检验处理单元以及设备间数据交互单元；

其中，设备内部检验规则生成单元，用于对需要检验的数据对象生成对应的规则存储文件，该文件包括对应的数据对象检验规则，将生成的检验规则进行保存成规则存储文件；

设备内部检验处理单元，用于在设备内部为需要检验的数据对象查找相对应的规则存储文件，根据规则存储文件中对应的检验规则，对设备输入数据进行检验，并将相应的检验结果反馈给设备；

设备内部交互单元，用于将需要检验的数据对象发送到数据处理单元；其中需要检验的数据对象包括，设备输入数据和检验返回需要修正的数据；

设备间检验规则生成单元，用于检验不同设备间通过内部检验输出后的数据；根据不同设备间的公共数据特征，确定相互关联的关键数据字段和需要检验的数据字段，为需要检验的设备对象生成相应的规则存储文件，并进行保存处理；

设备间检验处理单元，用于在设备间进行数据检验时查找相对应的规则存储文件，根据检验规则，对不符合的规则的数据进行重新反馈给设备内部输入数据源头；

设备间数据交互单元，用于在不同设备输入的数据发送到公共数据规则检验处理单元；交互的对象包括设备检验后的数据输入数据和返回修正重新输入的数据。

所述设备内部检验规则生成单元包含数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，数据对象检验规则生成子单元，用于生成检验规则模板生成子单元，该规则包括数据字段标识以及数据字段检验规则标识，将生成的检验规则模板发送至检验规则模板生成子单元；

检验规则模板生成子单元；该规则包括检验方式标识、数据对象标识、数据字段标识、数据字段检验规则标识等；该单元对需要检验的对象进行分类，需要在客户端检验的对象，在规则模板的数据对象标识处填写数据对象的标识，在检验规则模板的数据字段标识以及数据字段检验规则标识处填写数据字段的标识以及数据字段的检验规则；同理需要在服务器端进行检验的对象分别填写对象标识，字段标识以及字段检验规则；两种不同的检验方式分别形成检验规则模板生成子单元；

检验规则模板生成单元，该模板包括检验方式标识、设备标识，对象标识，数据字段标识以及数据字段检验标识等；数据检验规则模板根据检验规则模板生成子单元的不同方式，根据共同特征形成统一的检验规则模板，对于不同数据对象的不同检验方式制定不同的数据检验规则模板，并将生成的数据检验规则模板发送到设备内部检验处理单元。

所述设备间检验规则生成单元包含预置设备间关键字子单元，数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，预置设备间关键字子单元，对于不同设备通过自身检验后的输出数据，设备间检验规则生成单元的入口数据；根据实际业务要求，需要检验两种或多种设备数据对象，根据不同设备间设立数据对象的数据字段，找出具有唯一性且相互关联的数据字段作为预置设备间的关键字，作为设备间数据检验的纽带；关键字的选取取决于系统设计的具体实际情况而定；同时此单元进行关键子识别的基础性检验，例如检验是否为不同设备间互相关联的主键等；

数据对象检验规则生成子单元，包含不同设备的数据对象标识、数据字段标识以及对各个数据字段的检验规则等数据；

检验规则模板生成子单元，包含不同设备的设备对象标识、数据对象标识、数据字段标识以及对各个数据字段的检验规则等数据；

检验规则模板生成单元，由多个检验规则模板生成子单元组成；根据检验规则模板生成子单元的不同方式，检验规则模板集成不同的方式形成统一的检验规则模板。

与现有技术相比，本发明的优点在于，本发明中由于采用了设备内部数据检验修正与设备间数据检验修正的双重检验机制，避免了数据在多个设备间不易进行检验的问题，既保证了源数据准确程度，又极大地提高了工作效率。

附图说明

图1是在本发明实施例中从源头修正数据的流程图。

具体实施方式

下面根据实施例和附图对本发明作进一步详细说明。

如图1所示，一种从源头进行数据检验、修正的方法，对不同设备输入数据修正，根据在设备内部制定的检验规则，在设备内部进行基础性检验，依据检验结果，对输入的源数据进行修正，同时保证设备输出数据的准确性；将不同设备通过检验的输出数据作为公共数据检验的输入数据，依据关键字匹配情况，制定设备间数据检验规则，根据设备间数据检验规则的过滤情况，对不符合规范的数据进行修正，修正后的数据返回至设备输入数据入口，作为各个设备输入的源数据，进行新一轮的数据检验；通过不断的检验修正，从而保证从源头控制数据准确性的要求。

所述数据修正分为两个部分，设备内部数据修正，保证数据在设备内部符合既定规则；设备间的数据修正，保证数据符合全局的要求；数据修正的方法则根据数据检验规则的检验结果，对不符合的数据进行修正；所述数据检验规则分为两个部分，设备内部数据检验规则和设备间数据检验规则；所述设备内部数据检验规则，采用客户端数据检验和服务器端数据检验两种机制。

所述客户端数据检验机制在数据输入时进行检验；根据系统设计的具体要求，对于能够在客户端完成的基础性检验采用客户端检验的方式；按照数据存储文件查找数据规则文件进行检验的方式进行检验；

相应地，将客户端输入数据的检验方式标识、设备标识、数据对象标识、数据字段标识以及相关的数据存储到指定的存储文件中，作为被检验的数据，形成配置存储文件；

相应地，客户端数据检验规则根据业务工作具体要求进行设置，如设置某个数据字段不允许为空，某个数据字段长度不符合要求等形成规则存储文件；规则存储文件包含检验方式标识、设备标识、数据对象标识，数据字段标识以及针对每个数据字段的检验规则等数据；

客户端对输入的数据进行检验时，将数据对象标识和数据字段标识存储于指定的存储文件中，通过查找相应的数据规则存储文件，对客户端输入的数据进行基础性检验。

所述服务器端数据检验机制包含在客户端不能进行基础性检验，必须连接服务器端才能完成的检验工作；该配置存储文件，将通过客户端检验规则检验后的数据作为服务器端数据检验的源数据；配置存储文件包含检验方式标识、设备标识、数据对象标识、数据字段标识、关键字标识等相关属性数据；

规则存储文件包括设备标识、数据对象标识、数据字段以及数据字段检验规则等数据；针对需要检验的数据对象，在规则存储文件中填写检验对象的相关数据以及相对应的数据字段的相关数据和检验规则，从而形成服务器端数据检验规则；在服务器端数据检验查找相对应的数据规则存储文件，进行服务器端数据检验。

所述查找数据对象对应的规则存储文件总体上包括：查找包含有该数据对象所对应的设备标识、数据对象标识、数据字段标识、关键字标识、以及数据字段检验规则的文件；根据数据输入的不同形式采用的客户端检验和服务器端检验分别查找相应的规则存储文件。

所述查数据对象包括设备内部数据对象和设备间的数据对象；其中设备内部数据对象包含数据对象标识、数据字段以及数据字段的检验规则等属性数据；设备对象包含不同设备输入数据形成的具有设备标识、数据对象标识、关键字标识、数据字段标识、以及数据字段的检验规则等。

一种从源头进行数据检验、修正的系统，包括：设备内部检验规则生成单元，设备内部检验处理单元，设备内部数据交互单元；设备间检验规则生成单元，设备间检验处理单元以及设备间数据交互单元；

其中，设备内部检验规则生成单元，用于对需要检验的数据对象生成对应的规则存储文件，该文件包括对应的数据对象检验规则，将生成的检验规则进行保存成规则存储文件；

设备内部检验处理单元，用于在设备内部为需要检验的数据对象查找相对应的规则存储文件，根据规则存储文件中对应的检验规则，对设备输入数据进行检验，并将相应的检验结果反馈给设备；

设备内部交互单元，用于将需要检验的数据对象发送到数据处理单元；其中需要检验的数据对象包括，设备输入数据和检验返回需要修正的数据；

设备间检验规则生成单元，用于检验不同设备间通过内部检验输出后的数据；根据不同设备间的公共数据特征，确定相互关联的关键数据字段和需要检验的数据字段，为需要检验的设备对象生成相应的规则存储文件，并进行保存处理；

设备间检验处理单元，用于在设备间进行数据检验时查找相对应的规则存储文件，根据检验规则，对不符合的规则的数据进行重新反馈给设备内部输入数据源头；

设备间数据交互单元，用于在不同设备输入的数据发送到公共数据规则检验处理单元；交互的对象包括设备检验后的数据输入数据和返回修正重新输入的数据。

所述设备内部检验规则生成单元包含数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，数据对象检验规则生成子单元，用于生成检验规则模板生成子单元，该规则包括数据字段标识以及数据字段检验规则标识，将生成的检验规则模板发送至检验规则模板生成子单元；

检验规则模板生成子单元；该规则包括检验方式标识、数据对象标识、数据字段标识、数据字段检验规则标识等；该单元对需要检验的对象进行分类，需要在客户端检验的对象，在规则模板的数据对象标识处填写数据对象的标识，在检验规则模板的数据字段标识以及数据字段检验规则标识处填写数据字段的标识以及数据字段的检验规则；同理需要在服务器端进行检验的对象分别填写对象标识，字段标识以及字段检验规则；两种不同的检验方式分别形成检验规则模板生成子单元；

检验规则模板生成单元，该模板包括检验方式标识、设备标识，对象标识，数据字段标识以及数据字段检验标识等；数据检验规则模板根据检验规则模板生成子单元的不同方式，根据共同特征形成统一的检验规则模板，对于不同数据对象的不同检验方式制定不同的数据检验规则模板，并将生成的数据检验规则模板发送到设备内部检验处理单元。

所述设备间检验规则生成单元包含预置设备间关键字子单元，数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，预置设备间关键字子单元，对于不同设备通过自身检验后的输出数据，设备间检验规则生成单元的入口数据；根据实际业务要求，需要检验两种或多种设备数据对象，根据不同设备间设立数据对象的数据字段，找出具有唯一性且相互关联的数据字段作为预置设备间的关键字，作为设备间数据检验的纽带；关键字的选取取决于系统设计的具体实际情况而定；同时此单元进行关键子识别的基础性检验，例如检验是否为不同设备间互相关联的主键等；

数据对象检验规则生成子单元，包含不同设备的数据对象标识、数据字段标识以及对各个数据字段的检验规则等数据；

检验规则模板生成子单元，包含不同设备的设备对象标识、数据对象标识、数据字段标识以及对各个数据字段的检验规则等数据；

检验规则模板生成单元，由多个检验规则模板生成子单元组成；根据检验规则模板生成子单元的不同方式，检验规则模板集成不同的方式形成统一的检验规则模板。

Claims (10)

1.一种从源头进行数据检验、修正的方法，其特征在于，对不同设备输入数据修正，根据在设备内部制定的检验规则，在设备内部进行基础性检验，依据检验结果，对输入的源数据进行修正，同时保证设备输出数据的准确性；将不同设备通过检验的输出数据作为公共数据检验的输入数据，依据关键字匹配情况，制定设备间数据检验规则，根据设备间数据检验规则的过滤情况，对不符合规范的数据进行修正，修正后的数据返回至设备输入数据入口，作为各个设备输入的源数据，进行新一轮的数据检验；通过不断的检验修正，从而保证从源头控制数据准确性的要求。

2.根据权利要求1所述的从源头进行数据检验、修正的方法，其特征在于，所述数据修正分为两个部分，设备内部数据修正，保证数据在设备内部符合既定规则；设备间的数据修正，保证数据符合全局的要求；数据修正的方法则根据数据检验规则的检验结果，对不符合的数据进行修正；

所述数据检验规则分为两个部分，设备内部数据检验规则和设备间数据检验规则。

3.根据权利要求2所述的从源头进行数据检验、修正的方法，其特征在于，所述设备内部数据检验规则，采用客户端数据检验和服务器端数据检验两种机制。

4.根据权利要求3所述的从源头进行数据检验、修正的方法，其特征在于，所述客户端数据检验机制在数据输入时进行检验；根据系统设计的具体要求，对于能够在客户端完成的基础性检验采用客户端检验的方式；按照数据存储文件查找数据规则文件进行检验的方式进行检验；

相应地，将客户端输入数据的检验方式标识、设备标识、数据对象标识、数据字段标识以及相关的数据存储到指定的存储文件中，作为被检验的数据，形成配置存储文件；

相应地，客户端数据检验规则根据业务工作具体要求进行设置，设置某个数据字段不允许为空，某个数据字段长度不符合要求形成规则存储文件；规则存储文件包含检验方式标识、设备标识、数据对象标识，数据字段标识以及针对每个数据字段的检验规则数据；

客户端对输入的数据进行检验时，将数据对象标识和数据字段标识存储于指定的存储文件中，通过查找相应的数据规则存储文件，对客户端输入的数据进行基础性检验。

5.根据权利要求3所述的从源头进行数据检验、修正的方法，其特征在于，所述服务器端数据检验机制包含在客户端不能进行基础性检验，必须连接服务器端才能完成的检验工作；该配置存储文件，将通过客户端检验规则检验后的数据作为服务器端数据检验的源数据；配置存储文件包含检验方式标识、设备标识、数据对象标识、数据字段标识、关键字标识相关属性数据；

规则存储文件包括设备标识、数据对象标识、数据字段以及数据字段检验规则数据；针对需要检验的数据对象，在规则存储文件中填写检验对象的相关数据以及相对应的数据字段的相关数据和检验规则，从而形成服务器端数据检验规则；在服务器端数据检验查找相对应的数据规则存储文件，进行服务器端数据检验。

6.根据权利要求4或5所述的从源头进行数据检验、修正的方法，其特征在于，所述查找数据对象对应的规则存储文件总体上包括：查找包含有该数据对象所对应的设备标识、数据对象标识、数据字段标识、关键字标识、以及数据字段检验规则的文件；根据数据输入的不同形式采用的客户端检验和服务器端检验分别查找相应的规则存储文件。

7.根据权利要求6所述的从源头进行数据检验、修正的方法，其特征在于，所述查找数据对象包括设备内部数据对象和设备间的数据对象；其中设备内部数据对象包含数据对象标识、数据字段以及数据字段的检验规则属性数据；设备间的数据对象包含不同设备输入数据形成的具有设备标识、数据对象标识、关键字标识、数据字段标识、以及数据字段的检验规则。

8.一种实施权利要求1所述方法的从源头进行数据检验、修正的系统，其特征在于，它包括：

设备内部检验规则生成单元，设备内部检验处理单元，设备内部数据交互单元；设备间检验规则生成单元，设备间检验处理单元以及设备间数据交互单元；

其中，设备内部检验规则生成单元，用于对需要检验的数据对象生成对应的规则存储文件，该文件包括对应的数据对象检验规则，将生成的检验规则进行保存成规则存储文件；

设备内部检验处理单元，用于在设备内部为需要检验的数据对象查找相对应的规则存储文件，根据规则存储文件中对应的检验规则，对设备输入数据进行检验，并将相应的检验结果反馈给设备；

设备内部交互单元，用于将需要检验的数据对象发送到数据处理单元；其中需要检验的数据对象包括，设备输入数据和检验返回需要修正的数据；

设备间检验规则生成单元，用于检验不同设备间通过内部检验输出后的数据；根据不同设备间的公共数据特征，确定相互关联的关键数据字段和需要检验的数据字段，为需要检验的设备对象生成相应的规则存储文件，并进行保存处理；

设备间检验处理单元，用于在设备间进行数据检验时查找相对应的规则存储文件，根据检验规则，对不符合的规则的数据进行重新反馈给设备内部输入数据源头；

设备间数据交互单元，用于在不同设备输入的数据发送到公共数据规则检验处理单元；交互的对象包括设备检验后的数据输入数据和返回修正重新输入的数据。

9.根据权利要求8所述的从源头进行数据检验、修正的系统，其特征在于，所述设备内部检验规则生成单元包含数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，数据对象检验规则生成子单元，用于生成检验规则模板生成子单元，该规则包括数据字段标识以及数据字段检验规则标识，将生成的检验规则模板发送至检验规则模板生成子单元；

检验规则模板生成子单元：该规则包括检验方式标识、数据对象标识、数据字段标识、数据字段检验规则标识；该单元对需要检验的对象进行分类，需要在客户端检验的对象，在规则模板的数据对象标识处填写数据对象的标识，在检验规则模板的数据字段标识以及数据字段检验规则标识处填写数据字段的标识以及数据字段的检验规则；同理需要在服务器端进行检验的对象分别填写对象标识，字段标识以及字段检验规则；两种不同的检验方式分别形成检验规则模板生成子单元；

检验规则模板生成单元，该模板包括检验方式标识、设备标识，对象标识，数据字段标识以及数据字段检验标识；数据检验规则模板根据检验规则模板生成子单元的不同方式，根据共同特征形成统一的检验规则模板，对于不同数据对象的不同检验方式制定不同的数据检验规则模板，并将生成的数据检验规则模板发送到设备内部检验处理单元。

10.根据权利要求9所述的从源头进行数据检验、修正的系统，其特征在于，所述设备间检验规则生成单元包含预置设备间关键字子单元，数据对象检验规则生成子单元，检验规则模板生成子单元和检验规则模板生成单元；

其中，预置设备间关键字子单元，对于不同设备通过自身检验后的输出数据，设备间检验规则生成单元的入口数据；根据实际业务要求，需要检验两种或多种设备数据对象，根据不同设备间设立数据对象的数据字段，找出具有唯一性且相互关联的数据字段作为预置设备间的关键字，作为设备间数据检验的纽带；关键字的选取取决于系统设计的具体实际情况而定；同时此单元进行关键子识别的基础性检验；

数据对象检验规则生成子单元，包含不同设备的数据对象标识、数据字段标识以及对各个数据字段的检验规则数据；

检验规则模板生成子单元，包含不同设备的设备对象标识、数据对象标识、数据字段标识以及对各个数据字段的检验规则数据；

检验规则模板生成单元，由多个检验规则模板生成子单元组成；根据检验规则模板生成子单元的不同方式，检验规则模板集成不同的方式形成统一的检验规则模板。

Images