CN109597763B - 一种对多项数据进行归一化的一致性验证方法及装置 - Google Patents

Abstract

本发明涉及一种对多项数据进行归一化的一致性验证方法及装置，属于数据一致性验证领域，解决了现有核电系统中多项数据由于人工验证造成的效率低下、错误率高的问题。包括以下步骤：获取基准数据文件和对象数据文件；预设数据规则表，以建立二者数据字段之间的映射关系；根据预设数据规则表，从所述基准数据文件、对象数据文件中分别辨识并提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果。实现了核电站DCS各种输入输出设备多项数据的自动化验证，提高了验证效率，降低了错误率。

Description

一种对多项数据进行归一化的一致性验证方法及装置

技术领域

本发明涉及数据归一化验证技术领域，尤其涉及一种对多项数据进行归一化的一致性验证方法及装置。

背景技术

随着数字化技术在核电站仪控系统中的广泛应用,所使用软件的安全性对于核电站的安全可靠运行产生了越来越重要的影响,如何保证软件的安全性是数字化核电仪控系统应用中迫切需要解决的问题,对于数字化仪控系统在核电站中的应用与推广将起到推动作用。

软件与硬件不同,它不会随着运行时间的持续而出现功能磨损失效,其失效均是由于本身设计缺陷引起,软件功能失效本身并不能造成人员伤亡、环境破坏和经济损失,但可能引起系统功能失效,进而造成人员伤亡、环境破坏和经济损失等不良后果。因此,要确保软件安全性需要通过消除可能造成这些不良后果的软件功能失效来实现。基于软件本身的隐蔽性特点,其安全性需要通过在软件开发过程中进行严格的验证、消除潜在的设计缺陷。

而当前核电站仪控系统安全级工程应用软件的多项数据验证都需要人工完成，不仅效率较低，而且人因错误较多，这都对数据的正确性产生了不确定因素。

发明内容

鉴于上述的分析，本发明旨在提供一种对多项数据进行归一化的一致性验证方法及装置，用以解决现有核电系统中多项数据由于人工验证造成的效率低下、错误率高的问题。

本发明的目的主要是通过以下技术方案实现的：

一种对多项数据进行归一化的一致性验证方法，包括以下步骤：

获取基准数据文件和对象数据文件；

根据预设数据规则表，从所述基准数据文件、对象数据文件中分别辨识并与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；

对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果。

本发明有益效果如下：本发明提出了一种安全级工程应用软件多项数据的一致性验证方法，该方法利用数据结构归一化技术实现上下游的数据信息表对比验证，将同构后的基准文件信息表数据与对象文件信息表数据进行一致性比对验证；该归一化算法简化多项数据结构类型，形成统一的量纲结构；本发明还可根据归一化需求的内容调整数据规则表中的内容，能够解决不同项目验证对象结构不同、需要频繁升版验证工具的问题，提高了本发明验证方法的通用性。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述基准数据文件与所述对象数据文件具备上下游关系。

采用上述进一步方案的有益效果是：具有上下游关系的两个文件包含的相同或相应的字段最多，且具备可比性，适用于进行一致性验证。

进一步，所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求。

采用上述进一步方案的有益效果是：本发明设置的数据规则表结构简单清晰，便于根据验证需求调整其中的字段，扩宽了本发明验证方法的使用范围。

进一步，所述归一化类型包括关键字段、比较字段、相似字段、参考字段，

所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定转换关系的字段；

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

采用上述进一步方案的有益效果是：利用基准数据文件、对象数据文件相应字段之间的关联关系，将归一化类型包括关键字段、比较字段、相似字段、参考字段，尽可能全面地考虑两文件之间的关联关系，有效保证归一化后的基准数据表、对象数据表的准确性、完整性。

进一步，所述对所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果，进一步包括：

根据所述数据规则表归一化类型及按照验证准则，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

采用上述进一步方案的有益效果是：归一化后的基准数据表、对象数据表具备相同的数据结构，在结构相同的基础上按照验证准则对其进行一致性验证，能够有效简化验证过程，提高了验证效率，保证了验证结果的质量。

在本发明的另一实施例中，提供了一种对多项数据进行归一化的一致性验证装置，其特征在于，包括：

数据获取模块，用于获取基准数据文件和对象数据文件；

归一化处理模块，用于根据预设数据规则表，从所述基准数据文件、对象数据文件中分别提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；

一致性验证模块，用于对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述数据获取模块所获取的基准数据文件与对象数据文件具备上下游关系。

进一步，归一化处理模块还用于存储数据规则表，其中，所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型、及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求。

进一步，所述归一化类型包括关键字段、比较字段、相似字段、参考字段，

所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定转换关系的字段；

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

进一步，所述一致性验证模块具体执行以下操作得到验证结果：

根据所述数据规则表归一化类型及按照验证准则，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明具体实施例涉及的对多项数据进行归一化的一致性验证方法流程图；

图2为本发明具体实施例涉及的对多项数据进行归一化的一致性验证装置示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明中的多项数据具体指：在数字化控制系统(DCS)的设计过程中，将DCS输入输出量的基本情况(变量名、变量说明、信号来源/去向、IO类型、站号、传感器类型、信号类型、供电方式、测量单位、量程上限、量程下限、参考图纸、版本等)存放在数据表中，表头字段较多，称为多项数据。

DCS输入输出设计是一个逐步细化的过程，分为不同阶段(总体设计、基本设计和详细设计、实现)，而且每个阶段DCS输入输出表的种类较多。为了消除多种表结构不同带来的影响，需要进行数据表标准化处理，称之为归一化，以实现数据指标之间的可比性。

在本发明的第一具体实施例中，公开了一种对多项数据进行归一化的一致性验证方法，如图1所示，包括以下步骤：

步骤S1：获取基准数据文件和对象数据文件；

通常具有上下游关系的两个文件包含的相同或相应的字段最多，且具备可比性，适用于进行一致性验证，所以，优选地，所述基准数据文件与所述对象数据文件具备上下游关系。

基准数据文件包括基本I/O清单等记录变量基本信息的上游数据文件；通过调用预先存储好的基准数据文件方式获取得到。

对象数据文件包括详细I/O清单、网络清单、设定值清单等下游对象数据文件，包含了实际工程应用中使用变量时用到的信息，通过调用预先存储好的对象数据文件方式获取得到。

步骤S2：预设数据规则表，以建立基准数据文件和对象数据文件中数据字段之间的映射关系；根据预设数据规则表，从所述基准数据文件、对象数据文件中分别辨识并提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；归一化后的基准数据表、对象数据表属于同一数据类型结构。

优选地，所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型。

数据规则表中信息的映射关系需预先配置，以应对不同项目变量组态类型的变化；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求。

本发明设置的数据规则表结构简单清晰，便于根据验证需求调整其中的字段，扩宽了本发明验证方法的使用范围。

优选地，所述归一化类型包括关键字段、比较字段、相似字段、参考字段，所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；一般选取变量名作为关键字段。

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；如I/O类型、信号类型等。

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定转换关系的字段；对于相似字段设立转换白名单，记录两文件中对应字段存在的特定转换关系。

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

利用基准数据文件、对象数据文件相应字段之间的关联关系，将归一化类型包括关键字段、比较字段、相似字段、参考字段，尽可能全面地考虑两文件之间的关联关系，有效保证归一化后的基准数据表、对象数据表的准确性、完整性。

步骤S3：对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果。

根据所述数据规则表归一化类型，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

在进行一致性验证时，首先验证基准数据表、对象数据表中的关键字段是否相同，在关键字段对应相同的基础上，再验证两表中的比较字段是否相同，接下来判断两表中的相似字段是否满足对应的验证准则，最后，记录两表中的参考字段。最终输出以上关键字段、比较字段、相似字段、参考字段比较后的验证结果。

归一化后的基准数据表、对象数据表具备相同的数据结构，在结构相同的基础上按照验证准则对其进行一致性验证，能够有效简化验证过程，提高了验证效率，减少人工失误，减少人力投入，保证了验证结果的质量。

与现有技术相比，本发明提出了一种安全级工程应用软件多项数据的一致性验证方法，该方法利用数据结构归一化技术实现上下游的数据信息表对比验证，将同构后的基准文件信息表数据与对象文件信息表数据进行一致性比对验证；该归一化算法简化多项数据结构类型，形成统一的量纲结构；本发明还可根据归一化需求的内容调整数据规则表中的内容，能够解决不同项目验证对象结构不同、需要频繁升版验证工具的问题，提高了本发明验证方法的通用性。

在本发明的另一实施例中，具体介绍了应用该一致性验证方法输出验证结果的过程。在本实施例中，基准数据文件为机柜模拟量基本IO清单，如表1所示，对象数据文件为机柜模拟量详细IO清单，如表2所示，数据规则表的结构如表3所示：

表1机柜模拟量基本IO清单

表2机柜模拟量详细IO清单

表3模拟量数据规则表

具体实现过程如下：

步骤S1：从预先存储的文件中获取以上的机柜模拟量基本IO清单(基准数据文件，如表1所示)和机柜模拟量详细IO清单(对象数据文件，如表2所示)；

步骤S2：根据预设模拟量数据规则表(如表3所示)，从所述基准数据文件、对象数据文件中分别提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；归一化后的基准数据表、对象数据表属于同一数据类型结构。

得到的归一化后的基准数据表、对象数据表分别如表4、表5所示：

表4归一化后的机柜模拟量基本IO清单

归一化类型	基准数据字段	具体内容
			关键字段	变量名	HZARE058MN1
比较字段	IO类型	AO
			比较字段	信号类型	4-20mA
比较字段	单位	m
			相似字段	上限	1.8
相似字段	下限	-1.8
			参考字段	序号	1

表5归一化后的机柜模拟量详细IO清单

归一化类型	基准数据字段	具体内容
			关键字段	变量名	HZARE058MN1
比较字段	IO类型	AI
			比较字段	信号类型	4-20mA
比较字段	单位	m
			相似字段	上限	1.8
相似字段	下限	-1.8
			参考字段	序号	1

步骤S3：对得到的所述归一化后的基准数据文件、对象数据文件进行一致性验证，输出验证结果。

表6验证记录单

在本发明的另一实施例中，公开了一种对多项数据进行归一化的一致性验证装置，如图2所示，包括：

数据获取模块，用于获取基准数据文件和对象数据文件；

归一化处理模块，用于根据预设数据规则表，从所述基准数据文件、对象数据文件中分别提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；

一致性验证模块，用于对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果。

优选地，所述数据获取模块所获取的基准数据文件与对象数据文件具备上下游关系。

优选地，归一化处理模块还用于存储数据规则表，其中，所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求。

优选地，所述归一化类型包括关键字段、比较字段、相似字段、参考字段，

所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定关系的字段；

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

优选地，所述一致性验证模块具体执行以下操作得到验证结果：

根据所述数据规则表归一化类型及验证准则，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

上述方法实施例和装置实施例，基于相同的原理，其相关之处可相互借鉴，且能达到相同的技术效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种对多项数据进行归一化的一致性验证方法，其特征在于，包括以下步骤：

获取基准数据文件和对象数据文件；

根据预设数据规则表，从所述基准数据文件、对象数据文件中分别辨识并提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；

对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果；

所述基准数据文件与所述对象数据文件具备上下游关系；

所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求；

所述归一化类型包括关键字段、比较字段、相似字段、参考字段，

所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定转换关系的字段；

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

2.根据权利要求1所述的方法， 其特征在于，所述对所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果，进一步包括：

根据所述数据规则表归一化类型及验证准则，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

3.一种对多项数据进行归一化的一致性验证装置，其特征在于，包括：

数据获取模块，用于获取基准数据文件和对象数据文件；

归一化处理模块，用于根据预设数据规则表，从所述基准数据文件、对象数据文件中分别提取与所述数据规则表中一致的字段内容，得到归一化后的基准数据表、对象数据表；

一致性验证模块，用于对得到的所述归一化后的基准数据表、对象数据表进行一致性验证，输出验证结果；

所述数据获取模块所获取的基准数据文件与对象数据文件具备上下游关系；

归一化处理模块还用于存储数据规则表，其中，所述数据规则表包括基准数据字段集合、对象数据字段集合、归一化类型及验证准则；

所述基准数据字段集合为待验证的基准数据字段的集合；

所述对象数据字段集合为待验证的对象数据字段的集合；

所述归一化类型，用于区分所述基准数据字段集合、对象数据字段集合中各字段的不同类型；

所述验证准则，用于验证所述基准数据字段集合、对象数据字段是否满足一致性要求；

所述归一化类型包括关键字段、比较字段、相似字段、参考字段，

所述关键字段，表示能够确定所述基准数据文件、对象数据文件关联关系的一类字段；

所述比较字段，表示在关键字段一致时，需要进一步判断所述基准数据文件、对象数据文件中是否一致的字段；

所述相似字段，表示在关键字段一致时，所述基准数据文件、对象数据文件对应字段不一致且存在某种特定转换关系的字段；

所述参考字段，表示用于记录所述基准数据文件、对象数据文件序号、版本的字段。

4.根据权利要求3所述的装置， 其特征在于，所述一致性验证模块具体执行以下操作得到验证结果：

根据所述数据规则表归一化类型及验证准则，对所述基准数据表、对象数据表中的字段进行一致性验证，得到所述基准数据表、对象数据表中对应字段是否一致的结果并输出。

Images