CN104317816A - 一种采用高速io技术的富结构cim模型校验方法 - Google Patents

Abstract

本发明公开了一种采用高速IO技术的富结构CIM模型校验方法，IO层从计算机存储系统读取原始信息描述模型文件，并存储在内存中；校验schema抽取层对元数据进行校验骨架抽取；在抽取校验骨架后，在转换层进行相互转换；校验层通过数据属性与校验骨架的比对，返回校验结果：如果校验结果为被校验对象符合校验骨架的标准化定义，则结束校验操作；如果被校验对象不符合校验骨架的标准化定义，则定位原始数据中不符合标准化定义的数据行，并打开原始数据自动采用高亮模式表示出第一个错误数据，供使用人员对数据进行修改并保存。本系统具有良好的数据适应性、数据校验及纠错能力。

Description

一种采用高速IO技术的富结构CIM模型校验方法

 

技术领域

本发明属于计算级科学技术领域，总结现有智能用电采集系统的优缺点, 改变标准化模型应用现状，本文提出了一种基于可扩展性标记语言校验方式的智能用电信息校验系统，并设计逻辑算法，实现对不同模型的转换、信息的校验及信息的智能纠错等深层次功能。

背景技术

随着电力企业应用需求的不断增加，如何建立公用的信息模型和通用的方法实现电力企业间信息的集成，最终实现电力企业间应用软件的应用功能的之间的无缝数据交互，已成为电力系统和信息技术发展中的热点问题。目前，我国电力系统的发展逐步走向综合自动化，其发展方向由传统的局部自动化逐渐转向全局自动化。为了满足各电力公司和部门之间数据和信息交换的要求，构建标准的信息模型和通用方法来帮助实现信息的交换和资源共享，并利用信息网络环境将异构应用与平台化应用进行优化集成是信息标准化过程中极为重要的一个步骤。信息标准化可以提高电力系统内各个子系统的相互适应性，实现各异构应用间流畅的互连互操作。尤其在目前的智能用电信息领域，虽然存在有一定的规范对用电信息的交互进行规范化的格式限制。但由于不同厂商、不同系统对规范标准的不同理解。其数据封装虽然在宏观层面上符合模型规范要求，但在微观层面上，由于系统对规范化模型理解的差异，不同系统所封装的数据具有一定的异构性。这种微观层面上所产生的异构，对系统间、企业间的数据交换、数据解析、数据衔接等造成了较大壁垒，严重影响了数据使用的连贯性。

因此，研究一套可以对智能用电信息数据规范化与否进行快速准确的校验系统，是具有极大理论意义及实际价值的。本文设计并实现了一种具有快速读取、智能校验与纠错等功能的校验系统，实验结果证明本系统具有良好的数据校验及纠错能力。

电力二次系统中建立标准应用程序接口和公共信息模型的工作最先始于美国。上世纪九十年代初，美国电力科学研究院启动了控制中心应用程序接口工程，该工程提出了控制中心应用中数据表示的公共信息模型(CIM)、控制中心API以及应用之间的消息总线接口MBI。最终，国际电工委员会IEC在结合CCAPI已有成果的基础上，由其WG13工作组制定了针对EMS异构应用信息共享和集成的IEC 61970标准，这是一套能量管理系统应用程序接口(EMSAPI)的国际标准，该标准主要用于控制中心各应用之间的信息交换以及控制中心与外系统各应用间的信息交换。此后，随着配电网管理系统DMS的不断发展和成熟，IEC WG14工作组扩展61970标准，制定了适用于DMS系统的IEC 61968标准。国内紧随国际标准化脚步，于上世纪九十年代也开展了用电信息采集系统试点建设，包括负荷管理系统、集中抄表系统等相关系统。经过多年营销信息化的工作推进，用户用电信息自动采集覆盖率逐年提高，应用范围和效果逐步扩大，在公司系统营销、安全生产和经营管理中已经发挥了积极作用。从国际国内信息规范化发展来看，其研究主要集中在标准的制定及应用，虽然各个标准规范的制定注重了用电信息的采集面及兼容性。但在现有模型规范的应用层面上，仍然具有较多的障碍与困难。其中最为影响规范化标准广泛应用的问题就是同源数据异构化问题。由于信息标准化所涉及到的关联因素众多、系统设备范围庞大。在抽象模型进行现实应用时，难免会出现模型解释偏差、模型兼容等诸多问题。同时，多样性的开发厂商对于模型的结构和规约也往往具有自身独特的理解，这种理解方式在厂商进行用电设备内部开发和测试的时候，往往可以起到增加效率的作用，但随着不同厂商的信息系统与硬件逐渐应用集成为一个系统的同时，这些不同的理解、解释方式极有可能会对系统之间的数据交互与共享造成极大的壁垒。

因此，为了验证用电信息模型的完整性、通用性、实用性和正确性，以及通过模型进行数据交换的可行性，本研究提出并研发用电信息模型规范化的校验系统，可以校验相关设备厂家、系统厂家的产品的规范性及评价其是否可以实现不同系统间信息交换和“即插即用”，这对快速提高我国自动化技术水平和用电信息水平具有及其巨大的促进作用，是电力系统信息组织领域及信息应用领域赶超世界先进水平、实现与国际接轨的重要保障。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种采用高速IO技术的富结构CIM模型校验方法。

为解决上述技术问题，本发明提供一种采用高速IO技术的富结构CIM模型校验方法,其特征在于，在计算级科学技术领域进行实现的，所述方法依次含有以下步骤 ：

步骤一：系统工作时，首先IO层从计算机存储系统读取原始信息描述模型文件（元数据）并存储在内存中。

步骤二：系统对元数据进行校验骨架抽取功能，亦即：在缺乏标准化信息校验Schema的情况下，系统可以从已存在的原始信息中，将所需Schema提取出来，并作为以后的模型校验标准。

步骤三：在抽取校验骨架后，本系统在转换层可以4种Schema进行相互转换，以适应不同厂家不同系统所特别支持的不同校验方式。基于以上步骤所获得的元数据（被校验文件）、校验Schema（校验骨架），本系统在校验层提供了强大的模型标准化校验功能。

步骤四：通过数据属性与校验骨架的比对，系统返回校验结果：如果校验结果为被校验对象符合校验骨架的标准化定义，则程序结束校验操作并返回正确信息；但如果被校验对象不符合校验骨架的标准化定义，则系统可以定位原始数据中不符合标准化定义的数据行，并同时用系统自带的模型数据编辑器打开原始数据并自动采用高亮模式表示出第一个错误数据，以供使用人员对数据进行修改并保存。

校验层校验后，还包含一由纠错层进行纠错的步骤，纠错层提供两种纠错模式：第一种为完全纠错模式亦即手动纠错，根据校验结果，自动定位到错误数据，通过定位数据的数据描述，人为观察、判断及决定错误的种类及处理方式；第二种纠错方式为智能化自动纠错模式，当检测到数据中存在有错误的情况下，根据不同的错误种类或错误位置，智能判断其应当具有的正确数据结构，并使用自动生成的正确数据对错误进行更改或替换。

还包含一由封装层进行封装的步骤，通过把Java和XML作为整体，利用XML Schema提供结构化和约束性数据类型，XML文档被封装为类似Java-Bean的数据对象，通过Bean所提供的getter及setter方法，访问被封装数据。

本系统可以结合正确的原始数据、校验Schema（主要为XSD），Java虚拟机等组件对原始数据进行Bean封装，提供更为高效、低错误率的一体化、结构化的高效数据访问模式，为数据二次开发提供极大的便利。

总结现有智能用电采集系统的优缺点, 改变标准化模型应用现状，本文提出了一种基于可扩展性标记语言校验方式的智能用电信息校验系统，设计逻辑算法，实现对不同模型的转换、信息的校验及信息的智能纠错等深层次功能。

校验Schema抽取层中，提取多种主流校验Schema，包括：XSD、DTD、RNC和RNG。

转换层对多种主流校验Schema进行相互转换，以适应不同厂家不同系统所支持的不同校验方式。

校验schema抽取层从原始数据中，抽取出对数据值进行约束的数据属性以及属性结构；包括以下步骤：

首先确认数据约束所隶属的命名空间并以前缀xs:加以标示，并同时生成<schema></schema>标签作为抽取出的校验模型的根节点；

其次，依据原始数据中出现的各种类型数据包括：数字、字符、枚举、注释、简单类型或复杂类型生成不同的约束标签并形成约束结构。

本发明所达到的有益效果：

为了验证用电信息模型的完整性、通用性、实用性和正确性，以及通过模型进行数据交换的可行性，本发明提出并研发用电信息模型规范化的校验系统，可以校验相关设备厂家、系统厂家的产品的规范性及评价其是否可以实现不同系统间信息交换和“即插即用”，这对快速提高我国自动化技术水平和用电信息水平具有及其巨大的促进作用，是电力系统信息组织领域及信息应用领域赶超世界先进水平、实现与国际接轨的重要保障。该校验方法可实现快速读取、智能校验与纠错等，实验结果证明该方法具有良好的数据校验及纠错能力。

附图说明

图1：校验系统整体架构；

图2：高速IO层工作流程为智慧能源管理应用平台服务器的结构示意图；

图3：模型转换关系选择；

图4：校验层工作流程。

具体实施方式

一种采用高速IO技术的富结构CIM模型校验方法系统从功能结构体系划分，主要分为5个层次，分别为高速IO层、校验schema抽取层、转换层、校验层、纠错层以及封装层。如图1所示。系统工作时，首先IO层从计算机存储系统读取原始信息描述模型文件（元数据）并存储在内存中。本系统具有对元数据进行校验骨架抽取功能，亦即：在缺乏标准化信息校验Schema的情况下，系统可以从已存在的原始信息中，将所需Schema提取出来，并作为以后的模型校验标准。在本校验Schema抽取层中，目前4中主流校验Schema可以被提取，分别为：XSD、DTD、RNC、RNG，其中XSD做为目前较为先进及高效的一种Schema，在信息校验中具有重要作用。因此本系统功能也着重针对XSD的应用特性进行编制。在抽取校验骨架后，本系统在转换层可以将以上4种Schema进行相互转换，以适应不同厂家不同系统所特别支持的不同校验方式。基于以上步骤所获得的元数据（被校验文件）、校验Schema（校验骨架），本系统在校验层提供了强大的模型标准化校验功能。通过数据属性与校验骨架的比对，系统返回校验结果：如果校验结果为被校验对象符合校验骨架的标准化定义，则程序结束校验操作并返回正确信息；但如果被校验对象不符合校验骨架的标准化定义，则系统可以定位原始数据中不符合标准化定义的数据行，并同时用系统自带的模型数据编辑器打开原始数据并自动采用高亮模式表示出第一个错误数据，以供使用人员对数据进行修改并保存。在纠错层，本系统提供两种纠错模式：第一种为完全纠错模式亦即手动纠错，通过系统对数据的校验结果，系统自动定位到错误数据，系统使用者通过观察所定位数据的数据描述，由人为观察、判断及决定错误的种类及处理方式，系统并不提供智能性修改。第二种纠错方式为智能化自动纠错模式，当系统使用者对数据进行校验时，当系统检测到数据中存在有错误的情况下，会根据不同的错误种类、错误位置等，智能性的判断其应当具有的正确数据结构，并使用自动生成的正确数据对错误进行更改或替换。在封装层，本系统可以结合正确的原始数据、校验Schema（主要为XSD），Java虚拟机等组件对原始数据进行Bean封装，提供更为高效、低错误率的一体化、结构化的高效数据访问模式，为数据二次开发提供极大的便利。

高速IO层：目前读取以可扩展性标记语言封装数据方式主要有两种：第一种为一次性全部读取。其主要目标为对数据的深层次应用，例如解析、计算及校验。该种方式以IE、Firefox及部分定制系统为代表。第二种为分步骤读取，在系统工作时，其仅读取部分数据并显示在系统界面上。其主要目标为使系统使用者可以观察数据并进行编辑。该种方式以绝大多数编辑器为代表。相较两种方式，第一种优点为内存中包含了完整的数据结构，可以对数据进行全面应用。但缺点为数据读取速度较慢，耗时较长。第二种优点为部分数据可以快速打开，但缺点显而易见，内存中没有包含完整数据，难以对数据进行深化应用。因此，本系统在IO层设计上，结合两种读取方式的优点，设计了以多线程（Multi Threading）读取大数据的工作方式，同时解决数据结构完整性及数据读取效率问题。其工作流程如图2所示。

抽取层及转换层：本系统一大特点为：如果不存在有一个已经实现被定好的用电信息标准化模型，那么如果存在有一个被认定为按照标准化模型所定义的用电信息数据，则系统可以从该数据中，抽取出用电信息标准化模型，并将其作为标准化数据校验Schema，以用于对声称符合该模型的其他用电信息数据进行正确性校验。抽取层所提供的抽取功能主要是从原始数据中，抽取出对数据值进行约束的数据属性以及属性结构。抽取功能首先确认数据约束所隶属的命名空间并以前缀xs:加以标示，并同时生成<schema></schema>标签作为抽取出的校验模型的根节点。其次，依据原始数据中出现的各种类型数据包括：数字、字符、枚举、注释、简单类型、复杂类型等生成不同的约束标签并形成约束结构。如下表所示的在根节点内形成的一个简单数据约束。例如一个简单的数据约束代码：

<xs:element name="test">

　　<xs:simpleType>

　　 <xs:restriction base="xs:string">

　　  <xs:pattern value="[0-9 /-]*"/>

　　 </xs:restriction>

　　</xs:simpleType>

</xs:element>

本例显示了由标准模型也即校验骨架所定义的一个数据规范：在名为test的一个元素中，由简单类型元素所约束的string类型的restriction与全数字组成的pattern对test的具体属性进行了描述。本模型即可用来对其他test数据进行校验：如果restriction的类型不为string或者pattern的值不全为数字，那么该数据就是错误的。本系统不但可以抽取XSD模型，也可抽取DTD、RNG以及RNC模型，并可脱离原始数据，在以上4中模型约束中进行相互的转化，如图3所示。以上功能由转换层托管，其选择转换对象可由系统提供的选择关系决定。

校验层及纠错层: 校验骨架在本系统当中作为对数据进行约束的规范结构模型，可以用来对数据的正确性与否进行校验。校验骨架可以根据自身各个节点的定义、属性及结构对被校验数据的结构及内容规范与否进行一一比对并返回结果。以XSD校验为例，其工作流程如图4所示。

校验层所检测出的错误，可以在系统纠错层进行修正。该层提供两种纠错方式，手动纠错与自动纠错。在手动纠错方式下，系统在编辑器中自动打开被校验数据并定位错误，使用者自行分析错误所在并进行修正。但手动修正工作量大且繁琐，因此本系统自动纠错功能在应对多数主要错误，如属性错误、元素定义错误等情况下，可以提供有效的修改能力。自动纠错算法如下：

While errors exist

             1. detect error in input file

             2. locate error

             3. get info from JVM stack

             4. analyze info to get correct data

             5. replace error using correct data

end

封装层：在现有基于可扩展性标记语言的应用程序开发中所存在的问题主要有两点，第一是使用XML进行数据定义增加了系统运行开销，系统需要花费大量时间对XML结构进行分析。第二点是目前很多服务缺少XML解析器，增加了数据提取过程中错误出现的可能。

在目前广泛采用的基于Java的应用程序或Web服务中，新型的XMLBeans技术可以有效克服以上问题。该技术通过把Java和XML作为整体，利用XML Schema提供结构化和约束性数据类型，XML文档可以被封装为类似Java-Bean的数据对象，通过Bean所提供的getter及setter方法，高效的访问被封装数据，极大降低了系统部署、运行及维护的数据负担。由于电力系统中信息化应用程序极大部分的成本产生于维护方面，因此从长远来看，采用XMLBeans技术可以大幅缩减系统开销。本系统内集成了XMLBeans2.6.0，结合XSD Schema、Java编译器等，即可对原始数据进行Bean封装。经过封装后的数据可以被高效的读取、插入、删除及更新。该功能为信息数据的二次使用及开发提供了一个高效的解决方案。

Claims (6)

1. 一种采用高速IO技术的富结构CIM模型校验方法,其特征在于，含有以下步骤 ：

步骤一： IO层从计算机存储系统读取原始信息描述模型文件即元数据，并存储在内存中；

步骤二：校验schema抽取层对元数据进行校验骨架抽取，即：在缺乏标准化信息校验Schema的情况下，从已存在的原始信息中，将所需Schema提取出来，并作为以后的模型校验标准；

步骤三：在抽取校验骨架后，在转换层进行相互转换，以适应不同厂家不同系统所特别支持的不同校验方式；

步骤四：校验层通过数据属性与校验骨架的比对，返回校验结果：如果校验结果为被校验对象符合校验骨架的标准化定义，则结束校验操作并返回正确信息；但如果被校验对象不符合校验骨架的标准化定义，则定位原始数据中不符合标准化定义的数据行，并打开原始数据自动采用高亮模式表示出第一个错误数据，供使用人员对数据进行修改并保存。

2.根据权利要求1所述的采用高速IO技术的富结构CIM模型校验方法，其特征在于，校验层校验后，还包含一由纠错层进行纠错的步骤，纠错层提供两种纠错模式：第一种为完全纠错模式亦即手动纠错，根据校验结果，自动定位到错误数据，通过定位数据的数据描述，人为观察、判断及决定错误的种类及处理方式；第二种纠错方式为智能化自动纠错模式，当检测到数据中存在有错误的情况下，根据不同的错误种类或错误位置，智能判断其应当具有的正确数据结构，并使用自动生成的正确数据对错误进行更改或替换。

3.根据权利要求1所述的采用高速IO技术的富结构CIM模型校验方法，其特征在于，校验Schema抽取层中，提取多种主流校验Schema，包括：XSD、DTD、RNC和RNG。

4.根据权利要求3所述的采用高速IO技术的富结构CIM模型校验方法，其特征在于，转换层对多种主流校验Schema进行相互转换，以适应不同厂家不同系统所支持的不同校验方式。

5.根据权利要求1所述的采用高速IO技术的富结构CIM模型校验方法，其特征在于，校验schema抽取层从原始数据中，抽取出对数据值进行约束的数据属性以及属性结构；包括以下步骤：

首先确认数据约束所隶属的命名空间并以前缀xs:加以标示，并同时生成<schema></schema>标签作为抽取出的校验模型的根节点；

其次，依据原始数据中出现的各种类型数据包括：数字、字符、枚举、注释、简单类型或复杂类型生成不同的约束标签并形成约束结构。

6.根据权利要求1或2所述的采用高速IO技术的富结构CIM模型校验方法，其特征在于，还包含一由封装层进行封装的步骤，通过把Java和XML作为整体，利用XML Schema提供结构化和约束性数据类型，XML文档被封装为类似Java-Bean的数据对象，通过Bean所提供的getter及setter方法，访问被封装数据。