CN112883001A - 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 - Google Patents
一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 Download PDFInfo
- Publication number
- CN112883001A CN112883001A CN202110115949.6A CN202110115949A CN112883001A CN 112883001 A CN112883001 A CN 112883001A CN 202110115949 A CN202110115949 A CN 202110115949A CN 112883001 A CN112883001 A CN 112883001A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- service
- analysis
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013079 data visualisation Methods 0.000 title claims abstract description 12
- 238000009826 distribution Methods 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 238000007405 data analysis Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000004140 cleaning Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000011161 development Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- 238000012827 research and development Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 6
- 231100000279 safety data Toxicity 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 2
- 238000005065 mining Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 38
- 238000013499 data model Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000012544 monitoring process Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002244 precipitate Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
Abstract
本发明提供了一种基于营配贯通数据可视化平台的数据处理方法、装置及介质，该方法包括：处理步骤，将源业务系统的数据采集到数据中台的数据贴源层，数据共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存；展示步骤，所述业务应用根据业务数据处理规则使用所述分析层对数据库找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基于用户的设置模式进行显示。本发明通过数据中台提供的数据共享和分析应用服务，沉淀共性数据服务能力，满足横向跨专业间、纵向不同层级间数据共享、分析挖掘和融通需求，减少信息系统数据直接访问压力。
Description
技术领域
本发明涉及大数据处理技术领域，特别是一种基于营配贯通数据可视化平 台的数据处理方法、装置及介质。
背景技术
随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云 台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大 量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花 费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据 集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工 作。
现有技术中，数据共享和分析应用服务提供方式还比较单一，一般是采用 服务器或云端进行数据共享的方式，无法进行共性数据的沉淀，难以满足横向 跨专业间、纵向不同层级间数据共享、分析挖掘和融通需求，根本无法实现多 个信息系统间的数据共享，从而导致业务人员信息不对称的问题，进而导致信 息系统数据直接访问压力较大；且现有技术中，无法实现数据中台中的全链路 数据的监测，或者监测算法过于复杂，占用系统资源过多，严重影响了系统的 正常运行导致服务器容易宕机。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种基于营配贯通数据可视化平台的数据处理方法，该方法包括：
处理步骤，将源业务系统的数据采集到数据中台的数据贴源层，数据共享 层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所述标 准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存；
展示步骤，所述业务应用根据业务数据处理规则使用所述分析层对数据库 找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基 于用户的设置模式进行显示。
更进一步地，所述数据包括结构化数据及非结构化数据。
更进一步地，在所述数据贴源层中，使用ETL工具对源业务系统进行全量 数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集 的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数 据表按照SG-CIM模型设计，进行物理模型整合落地；
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务 数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。
更进一步地，所述DataHub用于结构化数据的增量和量测类数据实时的采 集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移；所述 ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量抽 取。
更进一步地，在数据分析层中集成了MaxCompute、DataWorks及Quick BI 组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量数据 仓库的解决方案以及针对大数据的分析建模服务；所述DataWorks是基于 MaxCompute计算引擎，用于快速完成数据集成、开发、治理、服务、质量及安 全数据研发工作；所述Quick BI以对海量数据进行实时在线分析。
本发明还提出了一种基于营配贯通数据可视化平台的数据处理装置，该装置 包括：
处理单元，将源业务系统的数据采集到数据中台的数据贴源层，数据共享 层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所述标 准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存；
展示单元，所述业务应用根据业务数据处理规则使用所述分析层对数据库 找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基 于用户的设置模式进行显示。
更进一步地，所述数据包括结构化数据及非结构化数据。
更进一步地，在所述数据贴源层中，使用ETL工具对源业务系统进行全量 数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集 的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数 据表按照SG-CIM模型设计，进行物理模型整合落地；
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务 数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。
更进一步地，所述DataHub用于结构化数据的增量和量测类数据实时的采 集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移；所述 ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量抽 取；
在数据分析层中集成了MaxCompute、DataWorks及Quick BI组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量数据仓库的解决 方案以及针对大数据的分析建模服务；所述DataWorks是基于MaxCompute计算 引擎，用于快速完成数据集成、开发、治理、服务、质量及安全数据研发工作； 所述Quick BI以对海量数据进行实时在线分析。
本发明还提出了一种计算机存储介质，所述存储介质上存储有计算机程序， 当所述计算机程序被处理器执行时，实现权利要求1-6任一项的方法。
本发明的一种基于营配贯通数据可视化平台的数据处理方法、装置及介质， 该方法包括：处理步骤，将源业务系统的数据采集到数据中台的数据贴源层， 数据共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据， 将所述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保 存；展示步骤，所述业务应用根据业务数据处理规则使用所述分析层对数据库 找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基 于用户的设置模式进行显示。本发明通过数据中台提供的数据共享和分析应用 服务，沉淀共性数据服务能力，满足横向跨专业间、纵向不同层级间数据共享、 分析挖掘和融通需求，实现多个信息系统间的数据共享，解决业务人员信息不对称的问题，减少信息系统数据直接访问压力，本发明中，数据资源能力提升， 主要体现在数据接入能力，包括内部数据接入、外部数据接入。数据接入后， 数据中台还可以进行数据共享；数据共享能力提升，支持公司各应用系统、省 市县各级供电企业通过数据接口、微应用等方式提供数据共享与服务的功能， 支持对国网营销大数据平台数据的双向共享，通过双向数据通道建设实现数据 定期交互，支持后续与移动作业终端、网上国网APP等数据交互能力的拓展； 数据分析得到能力提升。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请 的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于营配贯通数据可视化平台的数据处 理方法的流程图。
图2是根据本发明的实施例的一种基于营配贯通数据可视化平台的数据处 理装置的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还 需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征 可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于营配贯通数据可视化平台的数据处理方法， 本发明的方法包括以下步骤。
处理步骤S101，将源业务系统的数据采集到数据中台的数据贴源层，数据 共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所 述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存。 所述数据中台，其定位于为各专业、各单位提供数据共享和分析应用服务，沉 淀共性数据服务能力，满足横向跨专业间、纵向不同层级间数据共享、分析挖 掘和融通需求，所述数据中台具备六大能力，数据接入、数据计算存储、数据 分析、数据服务、数据资产管理、数据运营管理。
本发明中，关联贯通主要是利用数据中台将营销和生产侧业务数据汇集在 一起，借助数据中台的数据清洗、数据转换、业务逻辑处理、业务关联，形成 一套完整的“变电站-线路-变压器-接入点-计量箱-电能能-用户”关系。
数据接入方面，包括DataHub、DTS、DataWorks DI三种组件，其中DataHub 组件功能类似开源Kafka组件，主要用于结构化数据增量和采集量测类数据实 时接入；DTS组件功能类似Oracle OGG组件，主要用于存储结构化数据的关系 型数据库间的数据复制和迁移；DataWorks DI组件功能类似Informatica组件， 主要用于结构化数据全量抽取或增量标识的数据增量抽取。
数据存储计算方面，包括MaxCompute、DRDS、OTS、TSDB、Blink、MaxcomputeSpark、GraphCompute总计7种组件，其中MaxCompute组件在数据 存储上类似开源Hive+HDFS，同时提供分布式数据仓库和离线计算服务， Maxcompute Spark提供内存计算服务，DRDS组件与RDS组件结合提供分布式关 系数据库服务；OTS组件功能类似开源HBase数据库，用于海量结构化数据存 储；TSDB组件功能类似开源OPEN TSDB组件，主要用于采集量测类时序数据存 储；Blink组件功能类似开源Flink组件，用于流式数据实时计算。
数据服务方面，包括DataWorks组件，用于数据服务封装，服务封装后统 一注册至云上API网关对外服务。
数据分析方面，包括QuickBI组件，用于数据自助式分析和报表可视化展 示。
数据资源管理和运营管理方面，包括DataWorks、DataQ组件，其中DataQ 组件主要用于标签管理，数据资源管理和运营管理能力由DataWorks统一提供。
展示步骤S102，所述业务应用根据业务数据处理规则使用所述分析层对数 据库找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结 果基于用户的设置模式进行显示。
本发明通过数据中台提供的数据共享和分析应用服务，沉淀共性数据服务 能力，满足横向跨专业间、纵向不同层级间数据共享、分析挖掘和融通需求， 实现多个信息系统间的数据共享，解决业务人员信息不对称的问题，减少信息 系统数据直接访问压力，这是本发明的一个重要发明点。
在一个实施例中，在所述数据贴源层中，使用ETL工具对源业务系统进行 全量数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集 的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数 据表按照SG-CIM模型设计，进行物理模型整合落地；数据模型库构建能力提 升，在数据中台的数据共享层，根据业务需要，针对营配贯通数据模型库，主 要构建PMS数据模型、营销数据模型、电网GIS数据模型、营销GIS数据模型、 ODS数据模型5大类数据模型，以实现数据的融合贯通。
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务 数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。本发 明中的所述数据包括结构化数据及非结构化数据。
本发明中，贴源层使用分布式数据仓库MaxCompute，源业务系统数据通过DataWorks DI、DTS、DataHub组件接入MaxCompute全量表和增量表；共享层 使用分布式数据仓库MaxCompute，在DataWorks中利用ODPS SQL完成贴源层 数据表到共享层基于模型的数据表和标准表转化；分析层使用MaxCompute、 RDS、OTS、TSDB、ADB等，基于业务逻辑通过DataWorks组件完成业务分析计 算后的结果表开发。针对分析层的对计算结果封装为数据服务API，发布注册 至API网关后，供外部报表工具调用进行可视化展示。或者以JDBC/SDK方式共 外部报表工具或应用进行调用。
在一个实施例中，所述DataHub用于结构化数据的增量和量测类数据实时 的采集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移； 所述ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量 抽取。
在一个实施例中，在数据分析层中集成了MaxCompute、DataWorks及Quick BI组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量 数据仓库的解决方案以及针对大数据的分析建模服务；所述DataWorks是基于 MaxCompute计算引擎，用于快速完成数据集成、开发、治理、服务、质量及安 全数据研发工作；所述Quick BI以对海量数据进行实时在线分析。
本发明的数据分析能力，主要体现在数据中台集成了MaxCompute、 DataWorks、Quick BI等组件，MaxCompute：主要服务于批量结构化数据的存 储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。
DataWorks：DataWorks是基于MaxCompute计算引擎，从工作室、车间到 工具集都齐备的一站式大数据工场，它能帮助快速完成数据集成、开发、治理、 服务、质量、安全等全套数据研发工作。Quick BI：是一个基于云计算的、灵 活的、轻量级的自助商业智能BI(BusinessIntelligence)工具服务平台。 可以对海量数据进行实时在线分析，无需提前进行大量的数据预处理就可以得 到秒级回。
本发明的数据中台还提供数据资产管理功能，其提供数据资产目录、数据 模型管理、数据质量管理、数据标签管理和主数据管理，数据资产目录是对数 据中台数据进行目录化管理，对数据资源进行检索、授权访问等；数据模型管 理为SG-CIM统一数模型设计提供版本发布管理、模型比对、差异化分析等在线 管理能力；数据标签管理是通过配置规则对不同数据对象自动打标签，提供对 标签的创建、修改、发布、下线等全生命周期管理能力；主数据管理是用于管 理和维护公司主数据。
本发明的数据中台还提供数据运营管理功能，其提供链路监测、监控告警、 任务调度、安全管理、数据开发。链路监测提供对数据从源端业务系统到数据 中台数据贴源层、数据共享层、数据分析层的数据流转全链路监测；监控告警 提供对数据中台的数据流转链路、数据服务调用、调度任务、数据计算任务等 运行状态的监控告警；安全管理提供身份认证、操作鉴权、数据访问权限控制、 日志审计等数据安全管理能力；数据开发提供可视化的集成开发环境，可满足 数仓建模、数据查询、算法开发等快速开发需求。
在一个实施例中，数据中台获取数据源端业务系统的实时数据流量Q1,数 据贴源层的实时数据流入量Q2及实时数据流出量Q3、数据共享层的实时数据 流入量Q4及实时数据流出量Q5、数据分析层的实时数据流入量Q6及实时数据 流出量Q7，判断Q1-Q2<a1，Q3-Q2<a2，Q4-Q3<a3，Q5-Q4<a4，Q6-Q5<a5及 Q7-Q6<a6是否成立，如果哪一个表达式不成立，则表示该链路处存在故障，从 而实现了全链路监测，其中，a1、a2、a3、a4、a5、a6是对应的阈值，这些阈 值可以相同也可以不同，该监测方式可靠，且占用内存较小，不会对系统资源 占用过多，这是本发明的重要发明点。
图2示出了本发明的一种基于营配贯通数据可视化平台的数据处理装置， 本发明的装置包括以下单元。
处理单元201，将源业务系统的数据采集到数据中台的数据贴源层，数据 共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所 述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存。 所述数据中台，其定位于为各专业、各单位提供数据共享和分析应用服务，沉 淀共性数据服务能力，满足横向跨专业间、纵向不同层级间数据共享、分析挖 掘和融通需求，所述数据中台具备六大能力，数据接入、数据计算存储、数据 分析、数据服务、数据资产管理、数据运营管理。
本发明中，关联贯通主要是利用数据中台将营销和生产侧业务数据汇集在 一起，借助数据中台的数据清洗、数据转换、业务逻辑处理、业务关联，形成 一套完整的“变电站-线路-变压器-接入点-计量箱-电能能-用户”关系。
数据接入方面，包括DataHub、DTS、DataWorks DI三种组件，其中DataHub 组件功能类似开源Kafka组件，主要用于结构化数据增量和采集量测类数据实 时接入；DTS组件功能类似Oracle OGG组件，主要用于存储结构化数据的关系 型数据库间的数据复制和迁移；DataWorks DI组件功能类似Informatica组件， 主要用于结构化数据全量抽取或增量标识的数据增量抽取。
数据存储计算方面，包括MaxCompute、DRDS、OTS、TSDB、Blink、 MaxcomputeSpark、GraphCompute总计7种组件，其中MaxCompute组件在数据 存储上类似开源Hive+HDFS，同时提供分布式数据仓库和离线计算服务， Maxcompute Spark提供内存计算服务，DRDS组件与RDS组件结合提供分布式关 系数据库服务；OTS组件功能类似开源HBase数据库，用于海量结构化数据存 储；TSDB组件功能类似开源OPEN TSDB组件，主要用于采集量测类时序数据存 储；Blink组件功能类似开源Flink组件，用于流式数据实时计算。
数据服务方面，包括DataWorks组件，用于数据服务封装，服务封装后统 一注册至云上API网关对外服务。
数据分析方面，包括QuickBI组件，用于数据自助式分析和报表可视化展 示。
数据资源管理和运营管理方面，包括DataWorks、DataQ组件，其中DataQ 组件主要用于标签管理，数据资源管理和运营管理能力由DataWorks统一提供。
展示单元202，所述业务应用根据业务数据处理规则使用所述分析层对数 据库找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结 果基于用户的设置模式进行显示。
本发明通过数据中台提供的数据共享和分析应用服务，沉淀共性数据服务 能力，满足横向跨专业间、纵向不同层级间数据共享、分析挖掘和融通需求， 实现多个信息系统间的数据共享，解决业务人员信息不对称的问题，减少信息 系统数据直接访问压力，这是本发明的一个重要发明点。
在一个实施例中，在所述数据贴源层中，使用ETL工具对源业务系统进行 全量数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集 的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数 据表按照SG-CIM模型设计，进行物理模型整合落地；数据模型库构建能力提 升，在数据中台的数据共享层，根据业务需要，针对营配贯通数据模型库，主 要构建PMS数据模型、营销数据模型、电网GIS数据模型、营销GIS数据模型、 ODS数据模型5大类数据模型，以实现数据的融合贯通。
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务 数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。本发 明中的所述数据包括结构化数据及非结构化数据。
在一个实施例中，所述DataHub用于结构化数据的增量和量测类数据实时 的采集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移； 所述ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量 抽取。
在一个实施例中，在数据分析层中集成了MaxCompute、DataWorks及Quick BI组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量 数据仓库的解决方案以及针对大数据的分析建模服务；所述DataWorks是基于MaxCompute计算引擎，用于快速完成数据集成、开发、治理、服务、质量及安 全数据研发工作；所述Quick BI以对海量数据进行实时在线分析。
本发明的数据分析能力，主要体现在数据中台集成了MaxCompute、 DataWorks、Quick BI等组件，MaxCompute：主要服务于批量结构化数据的存 储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。
本发明中，贴源层使用分布式数据仓库MaxCompute，源业务系统数据通过DataWorks DI、DTS、DataHub组件接入MaxCompute全量表和增量表；共享层 使用分布式数据仓库MaxCompute，在DataWorks中利用ODPS SQL完成贴源层 数据表到共享层基于模型的数据表和标准表转化；分析层使用MaxCompute、 RDS、OTS、TSDB、ADB等，基于业务逻辑通过DataWorks组件完成业务分析计 算后的结果表开发。针对分析层的对计算结果封装为数据服务API，发布注册 至API网关后，供外部报表工具调用进行可视化展示。或者以JDBC/SDK方式共 外部报表工具或应用进行调用。
DataWorks：DataWorks是基于MaxCompute计算引擎，从工作室、车间到 工具集都齐备的一站式大数据工场，它能帮助快速完成数据集成、开发、治理、 服务、质量、安全等全套数据研发工作。Quick BI：是一个基于云计算的、灵 活的、轻量级的自助商业智能BI(BusinessIntelligence)工具服务平台。 可以对海量数据进行实时在线分析，无需提前进行大量的数据预处理就可以得 到秒级回。
本发明的数据中台还提供数据资产管理功能，其提供数据资产目录、数据 模型管理、数据质量管理、数据标签管理和主数据管理，数据资产目录是对数 据中台数据进行目录化管理，对数据资源进行检索、授权访问等；数据模型管 理为SG-CIM统一数模型设计提供版本发布管理、模型比对、差异化分析等在线 管理能力；数据标签管理是通过配置规则对不同数据对象自动打标签，提供对 标签的创建、修改、发布、下线等全生命周期管理能力；主数据管理是用于管 理和维护公司主数据。
本发明的数据中台还提供数据运营管理功能，其提供链路监测、监控告警、 任务调度、安全管理、数据开发。链路监测提供对数据从源端业务系统到数据 中台数据贴源层、数据共享层、数据分析层的数据流转全链路监测；监控告警 提供对数据中台的数据流转链路、数据服务调用、调度任务、数据计算任务等 运行状态的监控告警；安全管理提供身份认证、操作鉴权、数据访问权限控制、 日志审计等数据安全管理能力；数据开发提供可视化的集成开发环境，可满足 数仓建模、数据查询、算法开发等快速开发需求。
在一个实施例中，数据中台获取数据源端业务系统的实时数据流量Q1,数 据贴源层的实时数据流入量Q2及实时数据流出量Q3、数据共享层的实时数据 流入量Q4及实时数据流出量Q5、数据分析层的实时数据流入量Q6及实时数据 流出量Q7，判断Q1-Q2<a1，Q3-Q2<a2，Q4-Q3<a3，Q5-Q4<a4，Q6-Q5<a5及 Q7-Q6<a6是否成立，如果哪一个表达式不成立，则表示该链路处存在故障，从 而实现了全链路监测，其中，a1、a2、a3、a4、a5、a6是对应的阈值，这些阈 值可以相同也可以不同，该监测方式可靠，且占用内存较小，不会对系统资源 占用过多，这是本发明的重要发明点。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程 序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果为：数据资源能力提升，主要体现在数据接入能力，包 括内部数据接入、外部数据接入。数据接入后，数据中台还可以进行数据共享； 数据共享能力提升，支持公司各应用系统、省市县各级供电企业通过数据接口、 微应用等方式提供数据共享与服务的功能，支持对国网营销大数据平台数据的 双向共享，通过双向数据通道建设实现数据定期交互，支持后续与移动作业终 端、网上国网APP等数据交互能力的拓展；数据分析得到能力提升，这是本发 明的重要发明点之一。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在 实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本 申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申 请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式 体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器， 或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽 管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解： 依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任 何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于营配贯通数据可视化平台的数据处理方法，其特征在于：该方法包括：
处理步骤，将源业务系统的数据采集到数据中台的数据贴源层，数据共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存；
展示步骤，所述业务应用根据业务数据处理规则使用所述分析层对数据库找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基于用户的设置模式进行显示。
2.根据权利要求1所述的方法，其特征在于，所述数据包括结构化数据及非结构化数据。
3.根据权利要求2所述的方法，其特征在于，在所述数据贴源层中，使用ETL工具对源业务系统进行全量数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数据表按照SG-CIM模型设计，进行物理模型整合落地；
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。
4.根据权利要求3所述的方法，其特征在于，所述DataHub用于结构化数据的增量和量测类数据实时的采集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移；所述ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量抽取。
5.根据权利要求4所述的方法，其特征在于，在数据分析层中集成了MaxCompute、DataWorks及Quick BI组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量数据仓库的解决方案以及针对大数据的分析建模服务；所述DataWorks是基于MaxCompute计算引擎，用于快速完成数据集成、开发、治理、服务、质量及安全数据研发工作；所述Quick BI以对海量数据进行实时在线分析。
6.一种基于营配贯通数据可视化平台的数据处理装置，其特征在于：该装置包括：
处理单元，将源业务系统的数据采集到数据中台的数据贴源层，数据共享层从所述数据贴源层获取采集的数据进行清洗整合后得到标准数据，将所述标准数据进行关联贯通后提供给业务应用的数据分析层的数据库进行保存；
展示单元，所述业务应用根据业务数据处理规则使用所述分析层对数据库找那个保存的进行关联贯通后的所述标准数据进行分析处理，并将分析结果基于用户的设置模式进行显示。
7.根据权利要求6所述的装置，其特征在于，所述数据包括结构化数据及非结构化数据。
8.根据权利要求7所述的装置，其特征在于，在所述数据贴源层中，使用ETL工具对源业务系统进行全量数据抽取，使用DTS+DataHub对源业务系统实现增量数据抽取；
在所述数据共享层中，基于Dataworks T+1任务对所述数据贴源层的采集的全量数据表进行清洗、转换后形成标准数据表，并利用DataWorks将标准数据表按照SG-CIM模型设计，进行物理模型整合落地；
在数据分析层中，根据业务应用的主题分析需求，基于业务模型中的业务数据处理规则，在数据共享层进行数据挖掘或计算汇总后进行关联贯通。
9.根据权利要求8所述的装置，其特征在于，所述DataHub用于结构化数据的增量和量测类数据实时的采集；所述DTS用于存储结构化数据的关系型数据库间的数据复制和迁移；所述ETL工具的DataWorks DI组件用于结构化数据全量抽取或标识数据的增量抽取；
在数据分析层中集成了MaxCompute、DataWorks及Quick BI组件，所述MaxCompute服务于批量结构化数据的存储和计算，以提供海量数据仓库的解决方案以及针对大数据的分析建模服务；所述DataWorks是基于MaxCompute计算引擎，用于快速完成数据集成、开发、治理、服务、质量及安全数据研发工作；所述Quick BI以对海量数据进行实时在线分析。
10.一种计算机存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1-5任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110115949.6A CN112883001A (zh) | 2021-01-28 | 2021-01-28 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110115949.6A CN112883001A (zh) | 2021-01-28 | 2021-01-28 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883001A true CN112883001A (zh) | 2021-06-01 |
Family
ID=76052880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110115949.6A Pending CN112883001A (zh) | 2021-01-28 | 2021-01-28 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883001A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961546A (zh) * | 2021-10-27 | 2022-01-21 | 国网江苏省电力有限公司营销服务中心 | 一种支持在线分析统计的实时查询库设计方法 |
| CN115794804A (zh) * | 2023-02-07 | 2023-03-14 | 北京至臻云智能科技有限公司 | 基于大数据技术的工程内控数据可视化处理系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| US20150100331A1 (en) * | 2013-10-08 | 2015-04-09 | Joydeep Roychowdhury | Business intelligence system and services for payor in healthcare industry |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN105634796A (zh) * | 2015-12-22 | 2016-06-01 | 山西合力创新科技有限公司 | 一种网络设备故障预测及诊断方法 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN107888455A (zh) * | 2017-12-04 | 2018-04-06 | 北京星河星云信息技术有限公司 | 一种数据检测方法、装置和系统 |
| CN108763281A (zh) * | 2018-04-12 | 2018-11-06 | 合肥天源迪科信息技术有限公司 | 一种基于etl的业务智能分析平台及系统 |
| CN112100223A (zh) * | 2020-09-17 | 2020-12-18 | 国网辽宁省电力有限公司电力科学研究院 | 电网企业电力设备营配贯通数据采集处理方法 |
| CN112163039A (zh) * | 2020-09-21 | 2021-01-01 | 国家电网有限公司大数据中心 | 基于企业级数据中台分析域的数据资源标准化管理系统 |
| CN112199430A (zh) * | 2020-10-15 | 2021-01-08 | 苏州龙盈软件开发有限公司 | 一种基于数据中台的业务数据处理系统及方法 |
| CN112241543A (zh) * | 2020-10-27 | 2021-01-19 | 国网福建省电力有限公司信息通信分公司 | 一种基于数据中台的敏感数据梳理方法 |
-
2021
- 2021-01-28 CN CN202110115949.6A patent/CN112883001A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150100331A1 (en) * | 2013-10-08 | 2015-04-09 | Joydeep Roychowdhury | Business intelligence system and services for payor in healthcare industry |
| CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN105634796A (zh) * | 2015-12-22 | 2016-06-01 | 山西合力创新科技有限公司 | 一种网络设备故障预测及诊断方法 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN107888455A (zh) * | 2017-12-04 | 2018-04-06 | 北京星河星云信息技术有限公司 | 一种数据检测方法、装置和系统 |
| CN108763281A (zh) * | 2018-04-12 | 2018-11-06 | 合肥天源迪科信息技术有限公司 | 一种基于etl的业务智能分析平台及系统 |
| CN112100223A (zh) * | 2020-09-17 | 2020-12-18 | 国网辽宁省电力有限公司电力科学研究院 | 电网企业电力设备营配贯通数据采集处理方法 |
| CN112163039A (zh) * | 2020-09-21 | 2021-01-01 | 国家电网有限公司大数据中心 | 基于企业级数据中台分析域的数据资源标准化管理系统 |
| CN112199430A (zh) * | 2020-10-15 | 2021-01-08 | 苏州龙盈软件开发有限公司 | 一种基于数据中台的业务数据处理系统及方法 |
| CN112241543A (zh) * | 2020-10-27 | 2021-01-19 | 国网福建省电力有限公司信息通信分公司 | 一种基于数据中台的敏感数据梳理方法 |
Non-Patent Citations (5)
| Title |
|---|
| 万齐鸣: "数据中台SG-CIM模型应用方法", 《电信科学》 * |
| 刘玉玺: "基于IEC-CIM的营配网末端设备公共信息模型设计", 《智慧电力》 * |
| 刘雪剑，徐赢，张辉，马崇瑞: "基于国网云平台的数据治理框架研究及分析应用", 《电子技术与软件工程》 * |
| 李炳森; 胡全贵; 陈小峰; 高秉强: "电网企业数据中台的研究与设计", 《电力信息与通信技术》 * |
| 王督: "基于大数据稽查监控系统实现电力数据治理的研究与应用", 《电力设备管理》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961546A (zh) * | 2021-10-27 | 2022-01-21 | 国网江苏省电力有限公司营销服务中心 | 一种支持在线分析统计的实时查询库设计方法 |
| CN115794804A (zh) * | 2023-02-07 | 2023-03-14 | 北京至臻云智能科技有限公司 | 基于大数据技术的工程内控数据可视化处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765337B (zh) | 一种基于互联网大数据的服务提供方法 | |
| Liu et al. | Big data platform architecture under the background of financial technology: In the insurance industry as an example | |
| CN104268695B (zh) | 一种多中心流域水环境分布式集群管理系统及方法 | |
| CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
| Guo et al. | Complex power system status monitoring and evaluation using big data platform and machine learning algorithms: a review and a case study | |
| CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
| CN105022769A (zh) | 一种城市地下管线数据交互系统及其方法 | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及系统 | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN112462696A (zh) | 一种智能制造车间数字孪生模型构建方法与系统 | |
| US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
| CN105574698A (zh) | 基于大数据下的智能仓储管理系统 | |
| CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN108777637A (zh) | 一种支持服务器异构的数据中心综合管理系统和方法 | |
| CN106022617A (zh) | 一种基于营销多系统数据中心的稽查管控系统 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN102495916A (zh) | 一种基于对象匹配的多应用系统全景建模方法 | |
| CN116205396A (zh) | 一种基于数据中台的数据全景监控方法及系统 | |
| CN107423035A (zh) | 一种软件开发过程产品数据管理系统 | |
| CN117112702A (zh) | 一种用于长大桥隧场景的业务快速处理系统 | |
| CN115934856A (zh) | 一种构造综合能源数据资产的方法和系统 | |
| CN113076308B (zh) | 一种时空大数据服务系统 | |
| CN114301174A (zh) | 配电站网络监控方法、装置、计算机设备和存储介质 | |
| CN113869589A (zh) | 一种基于知识图谱的输电线路事故预测方法及巡检系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |