CN102546334B - 一种基于企业服务总线的数据资源唯一性合并处理方法 - Google Patents
一种基于企业服务总线的数据资源唯一性合并处理方法 Download PDFInfo
- Publication number
- CN102546334B CN102546334B CN201010619378.1A CN201010619378A CN102546334B CN 102546334 B CN102546334 B CN 102546334B CN 201010619378 A CN201010619378 A CN 201010619378A CN 102546334 B CN102546334 B CN 102546334B
- Authority
- CN
- China
- Prior art keywords
- data resource
- resource
- data
- attribute
- carry out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007689 inspection Methods 0.000 claims description 18
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，该方法包括以下步骤：1)对来自多个子系统的数据资源的接入总线前的标识进行检查；2)对数据资源进行关键属性的相似性检查；3)对数据资源进行资源等级优先检查；4)对数据资源进行资源排队检查；5)对数据资源进行完整性检查；6)根据合并规则对资源属性进行合并；7)得到公共信息模型实例数据。与现有技术相比，本发明具有可以灵活的实现数据资源的唯一性检查和数据资源的合并工作，同时有着良好的扩展性和规范性基于企业服务总线等优点。
Description
技术领域
本发明涉及一种数据资源唯一性合并处理方法，尤其是涉及一种基于企业服务总线的数据资源唯一性合并处理方法。
背景技术
目前在传统的数据资源整合的系统或软件实现中，多系统或异构系统的数据并没有统一的规范标准，对数据的定义缺乏一致的认识和形成一致的规范，所以在传统的数据集成中，一般以数据库为导向，利用数据库本身的一些校验方法(主键、外键、关联关系等)对数据进行唯一性校验，这种方式的缺点是：当数据结构改变时，需要对数据库的表结构、关联、存储过程、视图等进行逐一修改，同时还要对程序中涉及这些变化的代码进行更改。同时在对数据进行唯一性检查和合并的方法比较单一，一旦程序发布以后，算法和规则就固化了，对变化数据的适应行差。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可以灵活的实现数据资源的唯一性检查和数据资源的合并工作，同时有着良好的扩展性和规范性的基于企业服务总线的数据资源唯一性合并处理方法。
本发明的目的可以通过以下技术方案来实现：一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，该方法包括以下步骤：1)对来自多个子系统的数据资源的接入总线前的标识进行检查，并判断是否具有唯一性，如果判断为是则进行步骤5)，否则进行步骤2)；2)对数据资源进行关键属性的相似性检查，并判断是否具有相似性，如果判断为是则进行步骤5)，否则进行步骤3)；3)对数据资源进行资源等级优先检查，当总线检查到来自多个子系统的数据资源重复时，根据用户定义的各子系统的数据资源优先级别判断资源是否具有等级优先，如果有则根据优先规则对数据进行筛选，并进行步骤5)，否则进行步骤4)；4)对数据资源进行资源排队检查，当总线检查到来自多个子系统的数据资源重复时，并根据先到先取的原则判断并取舍数据资源，然后进行步骤5)；5)对数据资源进行完整性检查，并判断是否具有完整性，如果判断为是则进行步骤7)，否则进行步骤6)；6)根据合并规则对资源属性进行合并；7)得到公共信息模型实例数据。
所述的步骤1)中的标识包括归属和自身。
所述的步骤2)中的相似性检查具体为，根据所定义的关键属性对数据资源进行相似性检查，相似性检查通过数据字典和分词语义定义进行检查，如果两个数据资源的关键属性表达的事物是相同的，那么认定来自两个子系统的数据资源是同一数据资源。
所述的步骤5)具体为，首先总线定义了某类数据资源有一个或多个必填属性，当遇到多个重复的数据资源，根据数据资源的完整性定义对其完整度进行排队，取舍数据资源。
所述的步骤6)中的合并规则包括以下
a)非法字符判断，属性包含非法字符时，选取另一个资源的该属性值；
b)字典定义匹配，匹配总线预定义字典值的属性值优先选取；
c)空属性值判断，属性包含空值时，选取另一个资源的该属性值；
d)属性丢失判断，子系统A的数字资源不包含该属性时，选取另一个资源包含该属性的有效值；
e)值的有效性判断，属性的值超过合法范围则舍弃。
与现有技术相比，本发明基于公共信息模型实现对数据的统一规范，结合ESB总线的多系统接入方式，利用本发明可以灵活的实现数据资源的唯一性检查和数据资源的合并工作，在源头系统数据有变化时，只需要通过一些配置工作即可实现对变化数据的适应，同时与原有技术相比，有着良好的扩展性和规范性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明可以提实现对电力系统进行封装，能使之快速成为符合IEC61970标准的产品，对外提供GID接口服务，在多方系统集成至总线期间，需要对来自各接入的系统的数据资源依据公共信息模型(CIM)规范进行唯一性校验和数据实例的合并工作，从而使得由标准接口传出的数据实例是唯一的、合法的。
数据资源表示电力数据模型中的一个或多个实例，如厂站(变电站)、断路器、母线等，根据CIM规范的定义，一个数据资源包含一个标识(ResourceID)，一个ResourceID包含Container和Fragement两个部分，Container表示归属，Fragment表示自身，分别是64位LongLong数值，一个ResourceID在一个系统内必须唯一，比如：一个厂站下的多个开关的Container是一致的，Fragment是唯一的。
本发明包括以下步骤：
步骤1)数据资源接入总线(ESB)前的标识(ResourceID)检查，并判断是否具有唯一性，如果判断为是则进行步骤5)，否则进行步骤2)；
根据数据资源的标识生成规则对数据资源进行标识检查，当子系统A和子系统B都包含一个“万安站”的变电站，那么这个变电站的资源的标识Fragment是一致的，Container是不一致的，此时认定来两个子系统的数据资源是同一个数据资源。
步骤2)数据资源的关键属性相似性检查，并判断是否具有相似性，如果判断为是则进行步骤5)，否则进行步骤3)；
根据数据资源的一个或多个属性对数据资源进行匹配检查，当子系统A包含一个“万安站”的变电站，子系统B包含一个“万安区变电站”，那么系统根据这个关键属性(此时为名称)对数据资源进行相似性检查，相似性检查通过数据字典和分词语义定义进行检查，如果两个数据资源的该关键属性表达的事物是相同的，那么认定来自两个子系统的数据资源是同一数据资源。
步骤3)数据资源等级优先检查，总线检查到来自多个子系统的数据资源重复时，根据用户定义的各子系统的数据资源优先级别判断资源是否具有等级优先，如果有则根据优先规则对数据进行筛选，并进行步骤5)，否则进行步骤4)；
当多个子系统接入到总线，总线对多个子系统进行优先级定义，当电力营销系统、生产系统、GIS系统等子系统接入总线时，由用户根据业务需要，定义各子系统的数据资源优先级别，当检查到数据资源重复时，根据优先规则对数据资源进行选择。
步骤4)数据资源排队检查，当总线检查到来自多个子系统的数据资源重复时，并根据先到先取的原则判断并取舍数据资源，然后进行步骤5)；
当总线检查到来自多个子系统的数据资源重复时，且在没有数据资源优先规则的情况下，对数据资源进行排队，并根据“先到先取”的原则取舍数据资源。
步骤5)数据资源完整性检查，并判断是否具有完整性，如果判断为是则进行步骤7)，否则进行步骤6)；
当总线定义了某类数据资源有一个或多个必填属性时，在对多个重复的数据资源根据数据资源的完整性定义对数据资源进行检查，根据满足完整性定义的完整度进行排队后，取舍数据资源。
步骤6)根据合并规则对资源属性进行合并；
当总线定义了数据资源合并规则时，在对多个重复的数据资源进行排队取舍时，应用合并规则，如：当子系统A“万安站”和子系统B“万安区变电站”的数据资源重复时，根据合并规则，对该属性和该数据资源的其他属性进行合并，合并规则有：
a)非法字符判断，属性包含非法字符时，选取另一个资源的该属性值；
b)字典定义匹配，匹配总线预定义字典值的属性值优先选取；
c)空属性值判断，属性包含空值时，选取另一个资源的该属性值；
d)属性丢失判断，子系统A的数字资源不包含该属性时，选取另一个资源包含该属性的有效值；
e)值的有效性判断，属性的值(譬如电压电流)超过合法范围则舍弃。
步骤7)得到公共信息模型实例数据。
Claims (4)
1.一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，该方法包括以下步骤：
1）对来自多个子系统的数据资源的接入总线前的标识进行检查，并判断是否具有唯一性，如果判断为是则进行步骤5），否则进行步骤2）；
2）对数据资源进行关键属性的相似性检查，并判断是否具有相似性，如果判断为是则进行步骤5），否则进行步骤3）；
3）对数据资源进行资源等级优先检查，当总线检查到来自多个子系统的数据资源重复时，根据用户定义的各子系统的数据资源优先级别判断资源是否具有等级优先，如果有则根据优先规则对数据进行筛选，并进行步骤5），否则进行步骤4）；
4）对数据资源进行资源排队检查，当总线检查到来自多个子系统的数据资源重复时，并根据先到先取的原则判断并取舍数据资源，然后进行步骤5）；
5）对数据资源进行完整性检查，并判断是否具有完整性，如果判断为是则进行步骤7），否则进行步骤6）；
6）根据合并规则对资源属性进行合并；
7）得到公共信息模型实例数据；
所述的步骤6）中的合并规则包括以下
a)非法字符判断，属性包含非法字符时，选取另一个资源的该属性值；
b)字典定义匹配，匹配总线预定义字典值的属性值优先选取；
c)空属性值判断，属性包含空值时，选取另一个资源的该属性值；
d)属性丢失判断，子系统A的数字资源不包含该属性时，选取另一个资源包含该属性的有效值；
e)值的有效性判断，属性的值超过合法范围则舍弃。
2.根据权利要求1所述的一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，所述的步骤1）中的标识包括归属和自身。
3.根据权利要求1所述的一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，所述的步骤2）中的相似性检查具体为，根据所定义的关键属性对数据资源进行相似性检查，相似性检查通过数据字典和分词语义定义进行检查，如果两个数据资源的关键属性表达的事物是相同的，那么认定来自两个子系统的数据资源是同一数据资源。
4.根据权利要求1所述的一种基于企业服务总线的数据资源唯一性合并处理方法，其特征在于，所述的步骤5）具体为，首先总线定义了某类数据资源有一个或多个必填属性，当遇到多个重复的数据资源，根据数据资源的完整性定义对其完整度进行排队，取舍数据资源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010619378.1A CN102546334B (zh) | 2010-12-31 | 2010-12-31 | 一种基于企业服务总线的数据资源唯一性合并处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010619378.1A CN102546334B (zh) | 2010-12-31 | 2010-12-31 | 一种基于企业服务总线的数据资源唯一性合并处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102546334A CN102546334A (zh) | 2012-07-04 |
| CN102546334B true CN102546334B (zh) | 2014-06-18 |
Family
ID=46352335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010619378.1A Active CN102546334B (zh) | 2010-12-31 | 2010-12-31 | 一种基于企业服务总线的数据资源唯一性合并处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102546334B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875078B (zh) * | 2016-08-03 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 交易风险检测方法、装置及设备 |
| CN107807939B (zh) * | 2016-09-09 | 2021-12-28 | 阿里巴巴集团控股有限公司 | 数据对象的整理方法及设备 |
| CN112817919B (zh) * | 2021-01-27 | 2024-05-17 | 中国银联股份有限公司 | 数据合并方法、装置及计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814075A (zh) * | 2009-02-24 | 2010-08-25 | 上海众恒信息产业股份有限公司 | 一种信息资源目录系统及其查询方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101025848B1 (ko) * | 2008-12-30 | 2011-03-30 | 삼성전자주식회사 | 개인 유전체 통합 관리 방법 및 장치 |
-
2010
- 2010-12-31 CN CN201010619378.1A patent/CN102546334B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814075A (zh) * | 2009-02-24 | 2010-08-25 | 上海众恒信息产业股份有限公司 | 一种信息资源目录系统及其查询方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102546334A (zh) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103218398B (zh) | 智能变电站scl文件差异性比较方法 | |
| CN103150374B (zh) | 一种识别微博异常用户的方法和系统 | |
| CN111177400B (zh) | 基于知识图谱的设备、业务及数据的关联显示方法和装置 | |
| CN110727741A (zh) | 一种电力系统的知识图谱构建方法及系统 | |
| CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
| CN103578048A (zh) | 一种对智能变电站scl文件配置相关信息校核及比对方法 | |
| CN106600103A (zh) | 面向规划计划决策的统计数据模型构建方法 | |
| CN110490761B (zh) | 一种电网配网设备台账数据模型建模方法 | |
| CN103383750A (zh) | 电网综合信息有机集成平台 | |
| CN102546334B (zh) | 一种基于企业服务总线的数据资源唯一性合并处理方法 | |
| CN104156219A (zh) | 一种基于本体技术的电力营配模型校验方法 | |
| CN115507897B (zh) | 用于烟草产线检测装置的状态监测方法、装置及设备 | |
| CN105574219B (zh) | 非标准单元库逻辑单元自动布局布线的方法 | |
| CN105912723A (zh) | 一种自定义字段的存储方法 | |
| CN117436401B (zh) | 电源状态表的数据处理方法、装置、设备及存储介质 | |
| CN112861368A (zh) | 配电网信息模型构建方法、装置及终端设备 | |
| CN107610004A (zh) | 一种商品确权及获取方法、计算机 | |
| CN103617320B (zh) | 一种基于本体技术的电力营配模型校验方法 | |
| CN117407401A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN116823316A (zh) | 用于电力营销服务的业务中台及业务中台的构建方法 | |
| CN106533958B (zh) | 一种跨网络隔离装置的异构系统的数据一致性校验方法 | |
| CN105045937B (zh) | 一种能效检测数据冗余方法 | |
| CN114169544A (zh) | 一种民用飞机计划维修要求分析msi的管理方法 | |
| CN112907233A (zh) | 高可用方案的管理方法、装置、设备和存储介质 | |
| CN117874306B (zh) | 一种工程数据源处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI SHINE ENERGY INFORMATION TECHNOLOGY DEVEL Free format text: FORMER OWNER: SHANGHAI JIULONG INFORMATION TECHNOLOGY ENGINEERING CO., LTD. Effective date: 20120827 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 200070 ZHABEI, SHANGHAI TO: 202156 CHONGMING, SHANGHAI |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20120827 Address after: 202156, 921, Shen Shen road, Xinhe Town, Chongming County, Shanghai Applicant after: Shanghai Shine Energy Info-Tech Co., Ltd. Applicant after: Shanghai Jiulong Electric Power (Group) Co., Ltd. Address before: 200070, No. 455, Changan Road, Shanghai, 3 Applicant before: Shanghai Jiulong Information Technology Engineering Co., Ltd. Applicant before: Shanghai Jiulong Electric Power (Group) Co., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |