CN109918363A - 基于视图跨数据库类型进行数据模型一致性管理的方法 - Google Patents
基于视图跨数据库类型进行数据模型一致性管理的方法 Download PDFInfo
- Publication number
- CN109918363A CN109918363A CN201910138017.6A CN201910138017A CN109918363A CN 109918363 A CN109918363 A CN 109918363A CN 201910138017 A CN201910138017 A CN 201910138017A CN 109918363 A CN109918363 A CN 109918363A
- Authority
- CN
- China
- Prior art keywords
- data model
- data
- database
- type
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于视图跨数据库类型进行数据模型一致性管理的方法，首先定时获取源数据模型及DC数据模型，并对数据模型前后关联关系进行分析；然后根据数据类型转换规则，构建数据库分析视图；接着根据数据模型重要程度，确定待检测的数据对象，执行视图分析查询,记录问题，并产生整改建议；最后将整改建议通知DC日常运行维护团队。本发明实现了对DC数据模型变化的动态监控，能及时发现源头业务系统数据模型定义的变化，从而预判是否需要对DC相应数据模型定义进行更新，预防数据同步时出现因数据模型定义不兼容造成数据抽取失败的异常，实现DC日常数据调度健康运行。
Description
技术领域
本发明属于计算机技术领域，涉及一种数据模型一致性异常的探索校验方法，特别是一种基于Oracle视图跨数据库类型（包括：Oracle、MySQL、DB2、HANA等）进行数据模型一致性管理的方法。
背景技术
随着统一数据中心的建设成果不断增加，由于业务系统的特殊性，各种业务系统的存在着各种数据库类型，目前缺少对数据模型本身有效的监管手段，对一致性、合规性没有全面的管理思路。
与其他行业相比，电力行业的数据来源非常广，不仅涉及到电网本身业务运营的数据，还涉及到从电压、电流、信号处理等各种传感器采集过来的数据，这类采集来的数据存储的数据格式在转入结构化数据库进行存储的过程中，模型的稳定性较差，变动较大，因此，接入DC的数据质量存在不稳定性，数据质量治理作为解决数据问题的关键措施，逐渐成为电力企业关注的焦点。统一数据中心的建立就是为了统一数据存储，建立统一数据模型，便于实现后续系统建设过程中数据分析、数据挖掘、数据应用等操作需求。希望通过这些海量多源异构数据的聚合发现知识，构建企业级智能化应用，以便更加贴近生产部门和电力用户最真实的需求，从而优化资源配置，降低供电成本，提升供电效益比，提升企业的竞争力。
数据作为DC运营管理的灵魂，其质量问题日益显现并逐渐突出，这些数据质量问题主要表现为数据不一致、不完整，数据模型不一致，不规范等方面，亟需一套方案对电力公司数据质量进行全程有效管理。
发明内容
鉴于外部业务系统（包括源头业务系统和数据应用系统）与DC数据模型不一致问题得不到及时更新的问题，本发明的目的是提供一种基于视图跨数据库类型进行数据模型一致性管理的方法，以Oracle视图(以下简称视图)为基础，可以对数据中心（以下简称DC）涉及的各类结构化数据库（包括：Oracle、MySQL、DB2、HANA等）的数据模型进行一致性管理，通过对数据模型变更引起的不一致情况的追踪，及时分析出对DC及数据应用系统中各个数据模型产生的变更影响，并产生修订建议，减少人工分析跟踪的工作量，进而解决DC在数据抽取、数据推送过程中潜在的调度异常问题。
本发明的目的通过以下技术方案实现：
一种基于视图跨数据库类型进行数据模型一致性管理的方法，首先定时获取源数据模型及DC数据模型，并对数据模型前后关联关系进行分析；然后根据数据类型转换规则，构建数据库分析视图；接着根据数据模型重要程度，确定待检测的数据对象，执行视图分析查询,记录问题，并产生整改建议；最后将整改建议通知DC日常运行维护团队。
其具体内容如下：
1）、定时获取外部业务系统、DC中的数据模型定义，并完善每个数据模型对应的数据库、字符集、表空间信息，对数据进行填充、转换、存储；根据DC资料库中数据模型之间的关联关系，对数据模型定义之间的关系进行数据关联；
2）、根据涉及的数据库、字符集、表空间、数据类型制订转换规则，构建一致性校验的转换方法，并生成相应的一致性问题查询视图；
3）、依据DC数据模型的业务重要性程度，执行不同优先级的一致性校验调度任务，形成由部分数据模型变更引起DC数据模型不一致问题的问题记录及修订建议；
4）、根据产生的数据模型不一致问题的问题记录及修订建议，通知DC运行管理团队，由其根据修订建议完成数据模型定义更新。
所述的步骤2）中，采用最大兼容性的原则，根据字符集各类数据类型所占存储字节的大小，确定转换规则函数，实现源数据模型与目标数据模型的类型一致性校验视图。
所述步骤3）中，由于DC数据模型数量巨大，对每个数据模型进行一致性校验所需的时间较长，故根据业务重要程度进行区分，对于应用范围较广，影响范围较大的数据模型的一致性校验优先级设置为高，检测频度设为日；其它影响范围相对较小的数据模型，降低检测优先级，且检测频度设置为周。
所述步骤4）中，对数据模型一致性校验的反馈与整改过程如下：对被选定的数据模型执行一致性校验；如果存在不一致的情况，则依数据库类型、字符集、所属表空间大小及数据类型的转换规则生成数据模型的修订建议，发送通知，并记录到数据库，便于后续查询检测结果。
本发明针对DC数据模型进行跟踪检测，从数据模型抽取、数据模型分析、模型转换规则定义、数据模型应用到数据模型整改，形成整个数据模型变动检测管理。实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给DC日常运行维护团队、源数据业务系统、数据应用系统以完成数据模型变更的修正。
本发明的有益效果在于，该方法实现了对DC数据模型变化的动态监控，能及时发现源头业务系统数据模型定义的变化，从而预判是否需要对DC相应数据模型定义进行更新，预防数据同步时出现因数据模型定义不兼容造成数据抽取失败的异常，实现DC日常数据调度健康运行，同时将数据模型定义变动频繁的业务系统上报给信息化管理部门，便于对业务系统责任部门和相关业务系统的开发商进行问题反馈和修正。
本发明通过对数据模型变更引起的不一致情况的追踪，及时分析出对DC及数据应用系统中各个数据模型产生的变更影响，并产生修订建议，减少人工分析跟踪的工作量，进而解决DC在数据抽取、数据推送过程中潜在的调度异常问题。
附图说明
图1为本发明的流程框架图。
图2为本发明实施步骤示意图。
具体实施方式
下面结合附图及具体实施方式对本发明所属方法进一步说明。
一种基于视图跨数据库类型进行数据模型一致性管理的方法，包括：首先定时获取源数据模型及DC数据模型，并对数据模型前后关联关系进行分析；然后根据数据类型转换规则，构建数据库分析视图；接着根据数据模型重要程度，确定待检测的数据对象，执行视图分析查询,记录问题，并产生整改建议；最后将整改建议通知DC日常运行维护团队。
图1为本发明的流程框架图。具体内容如下：1）、定时获取外部业务系统、DC中的数据模型定义，并完善每个数据模型对应的数据库、字符集、表空间信息，对数据进行填充、转换、存储；根据DC资料库中数据模型之间的关联关系，对数据模型定义之间的关系进行数据关联；2）、根据涉及的数据库、字符集、表空间、数据类型制订转换规则，构建一致性校验的转换方法，并生成相应的一致性问题查询视图。具体是：采用最大兼容性的原则，根据字符集各类数据类型所占存储字节的大小，确定转换规则函数，实现源数据模型与目标数据模型的类型一致性校验视图。3）、依据DC数据模型的业务重要性程度，执行不同优先级的一致性校验调度任务，形成由部分数据模型变更引起DC数据模型不一致问题的问题记录及修订建议；具体是：由于DC数据模型数量巨大，对每个数据模型进行一致性校验所需的时间较长，故根据业务重要程度进行区分，对于应用范围较广，影响范围较大的数据模型的一致性校验优先级设置为高，检测频度设为日；其它影响范围相对较小的数据模型，降低检测优先级，且检测频度设置为周。4）、根据产生的数据模型不一致问题的问题记录及修订建议，通知DC运行管理团队，由其根据修订建议完成数据模型定义更新。对数据模型一致性校验的反馈与整改过程如下：对被选定的数据模型执行一致性校验；如果存在不一致的情况，则依数据库类型、字符集、所属表空间大小及数据类型的转换规则生成数据模型的修订建议，发送通知，并记录到数据库，便于后续查询检测结果。
图2为本发明实施步骤示意图。具体实施步骤如下：
步骤1 ：构建数据查询视图、定义执行任务。
1）、在中间数据库建立数据临时存储区，用于保存数据模型定义数据、数据模型关系数据等；
2）、利用ETL工具将外部业务系统（包括源头业务系统、数据应用系统）、DC数据模型定义信息抽取到中间数据库，在ETL过程中同时将数据模型定义对应的数据库类型、数据存储字符集等信息进行填充；
3）、将DC资料库里的数据模型关系数据通过ETL抽取到数据临时存储区；
4）、根据数据临时存储区的数据模型关系数据对数据模型定义数据进行清洗、转换、关联操作，形成可分析对比的数据模型定义数据；
5）、参考数据类型在不同数据库、字符集等条件下数据类型存储兼容情况的经验，定义数据类型转换规则方法，并基于该规则创建数据模型查询分析视图；
6）、根据数据模型应用情况，定义执行一致性检测的定时调度任务，保证核心业务数据模型优先进行校验分析。
步骤2：执行一致性分析调度任务。
1）、启动定时调度任务，以预先选定的数据模型定义记录的唯一标识作为参数（参数预先存储在数据库里，定时任务进行定时选取使用）。
2）、执行数据模型一致性校验查询，若存在不一致情况，则产生一致性分析结果、整改建议，并记录到数据库；
3）、若不存在问题，则继续重复1）、2）步骤，直至完成所有已定义执行任务；
4）、若一致性分析产生的结果记录不为空，则生成自动消息发送任务，在工作时间段内执行消息推送任务，推送给DC日常运行维护团队。
Claims (5)
1.一种基于视图跨数据库类型进行数据模型一致性管理的方法，其特征在于，该方法首先定时获取源数据模型及DC数据模型，并对数据模型前后关联关系进行分析；然后根据数据类型转换规则，构建数据库分析视图；接着根据数据模型重要程度，确定待检测的数据对象，执行视图分析查询,记录问题，并产生整改建议；最后将整改建议通知DC日常运行维护团队。
2.根据权利要求1所述的基于视图跨数据库类型进行数据模型一致性管理的方法，其特征在于：该方法步骤如下：
1）、定时获取外部业务系统、DC中的数据模型定义，并完善每个数据模型对应的数据库、字符集、表空间信息，对数据进行填充、转换、存储；根据DC资料库中数据模型之间的关联关系，对数据模型定义之间的关系进行数据关联；
2）、根据涉及的数据库、字符集、表空间、数据类型制订转换规则，构建一致性校验的转换方法，并生成相应的一致性问题查询视图；
3）、依据DC数据模型的业务重要性程度，执行不同优先级的一致性校验调度任务，形成由部分数据模型变更引起DC数据模型不一致问题的问题记录及修订建议；
4）、根据产生的数据模型不一致问题的问题记录及修订建议，通知DC运行管理团队，由其根据修订建议完成数据模型定义更新。
3.根据权利要求2所述的基于视图跨数据库类型进行数据模型一致性管理的方法，其特征在于：所述的步骤2）中，采用最大兼容性的原则，根据字符集各类数据类型所占存储字节的大小，确定转换规则函数，实现源数据模型与目标数据模型的类型一致性校验视图。
4.根据权利要求2所述的基于视图跨数据库类型进行数据模型一致性管理的方法，其特征在于：所述步骤3）中，由于DC数据模型数量巨大，对每个数据模型进行一致性校验所需的时间较长，故根据业务重要程度进行区分，对于应用范围较广，影响范围较大的数据模型的一致性校验优先级设置为高，检测频度设为日；其它影响范围相对较小的数据模型，降低检测优先级，且检测频度设置为周。
5.根据权利要求2所述的基于视图跨数据库类型进行数据模型一致性管理的方法，其特征在于：所述步骤4）中，对数据模型一致性校验的反馈与整改过程如下：对被选定的数据模型执行一致性校验；如果存在不一致的情况，则依数据库类型、字符集、所属表空间大小及数据类型的转换规则生成数据模型的修订建议，发送通知，并记录到数据库，便于后续查询检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138017.6A CN109918363B (zh) | 2019-02-25 | 2019-02-25 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138017.6A CN109918363B (zh) | 2019-02-25 | 2019-02-25 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109918363A true CN109918363A (zh) | 2019-06-21 |
| CN109918363B CN109918363B (zh) | 2023-01-24 |
Family
ID=66962129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910138017.6A Active CN109918363B (zh) | 2019-02-25 | 2019-02-25 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109918363B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143453A (zh) * | 2019-12-24 | 2020-05-12 | 济宁昊瀛天成大数据信息技术有限公司 | 一种工业大数据异构数据的并行处理方法 |
| CN111881579A (zh) * | 2020-07-27 | 2020-11-03 | 成都安世亚太科技有限公司 | 一种复杂动态数据模型管理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN105243162A (zh) * | 2015-10-30 | 2016-01-13 | 方正国际软件有限公司 | 基于关系型数据库存储的对象化数据模型查询方法及装置 |
| US20160292186A1 (en) * | 2015-03-30 | 2016-10-06 | International Business Machines Corporation | Dynamically maintaining data structures driven by heterogeneous clients in a distributed data collection system |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN108090205A (zh) * | 2017-12-27 | 2018-05-29 | 南京熊猫电子股份有限公司 | 一种基于j2ee的部队后勤数据统一管理系统 |
-
2019
- 2019-02-25 CN CN201910138017.6A patent/CN109918363B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| US20160292186A1 (en) * | 2015-03-30 | 2016-10-06 | International Business Machines Corporation | Dynamically maintaining data structures driven by heterogeneous clients in a distributed data collection system |
| CN105243162A (zh) * | 2015-10-30 | 2016-01-13 | 方正国际软件有限公司 | 基于关系型数据库存储的对象化数据模型查询方法及装置 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN108090205A (zh) * | 2017-12-27 | 2018-05-29 | 南京熊猫电子股份有限公司 | 一种基于j2ee的部队后勤数据统一管理系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143453A (zh) * | 2019-12-24 | 2020-05-12 | 济宁昊瀛天成大数据信息技术有限公司 | 一种工业大数据异构数据的并行处理方法 |
| CN111881579A (zh) * | 2020-07-27 | 2020-11-03 | 成都安世亚太科技有限公司 | 一种复杂动态数据模型管理方法 |
| CN111881579B (zh) * | 2020-07-27 | 2021-03-02 | 成都安世亚太科技有限公司 | 一种复杂动态数据模型管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109918363B (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107402976B (zh) | 一种基于多元异构模型的电网多源数据融合方法及系统 | |
| CN108052634B (zh) | 一种电网生产控制大区与资产管理大区多信息系统的集成方法 | |
| CN106951694A (zh) | 一种电力系统二次设备在线监测系统自适应建模方法 | |
| CN104318481A (zh) | 一种面向电网运行的全息时标量测数据萃取转换方法 | |
| CN102117306A (zh) | Etl数据处理过程的监控方法及其系统 | |
| CN107563627A (zh) | 基于条形码技术的车间mes管理方法及系统 | |
| CN101566981A (zh) | 分析处理系统中建立动态虚拟数据仓库的方法 | |
| CN109918363A (zh) | 基于视图跨数据库类型进行数据模型一致性管理的方法 | |
| CN108268997A (zh) | 一种电网变电站数据质量考核方法 | |
| CN112488502A (zh) | 一种标准的水资源管理一体化管控平台 | |
| CN107256442A (zh) | 基于移动客户端的线损计算方法 | |
| CN111913933B (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN110555583A (zh) | 一种智能电网调度控制系统广域运行数据统一处理方法 | |
| CN115934856A (zh) | 一种构造综合能源数据资产的方法和系统 | |
| CN108230183A (zh) | 一种基于时标量测的电网设备多维度综合告警的处理方法 | |
| CN105279234A (zh) | 一种输变电设备状态检修数据跨平台数据获取与转换方法 | |
| CN111159154A (zh) | 一种能源数据仓库系统 | |
| CN103246695A (zh) | 海迅实时数据库与ies600p系统的集成方法 | |
| CN108681888A (zh) | 一种面向再制造全工艺流程的制造执行系统 | |
| CN103955863B (zh) | 一种电网监测装置数据的处理方法 | |
| Duan | Analysis of ERP enterprise management information system based on cloud computing mode | |
| Wang et al. | Design of Data Quality Control System Based on ETL | |
| CN114218216A (zh) | 资源管理方法、装置、设备及存储介质 | |
| Pan et al. | Manufacturing Execution System present situation and development trend analysis | |
| Chen et al. | Industrial Internet System Construction and Engineering Practice |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |