CN108846072A - 一种基于可视化分析的数据实现封装技术 - Google Patents

Abstract

本发明公开了一种基于可视化分析的数据实现封装技术，其通过如下技术方案实现的：它包括数据架构、技术架构、语义解析技术架构、系统规则解析技术架构和系统执行技术架构；本发明可以满足各级各类人员对企业数据资源精准快速检索的需求，促进数据流通融合、全面互联、开放共享、协同共治，降低数据应用成本，激活数据价值，强化大数据应用。

Description

一种基于可视化分析的数据实现封装技术

技术领域

本发明属于电力运营数据可视化分析技术领域，具体涉及一种基于可视化分析的数据实现封装技术。

背景技术

现有技术中，随着信息化建设和应用的发展，云大物移等主流新兴技术的渗透，企业对于数据资产的共享与价值发现等技术的需求日益强烈，对全业务协同、全流程贯通提出了更高要求，消除专业壁垒、深入挖掘数据价值、用数据管理企业、用信息驱动业务的需求更为迫切。

企业级的大数据应用、新技术使用要求以清晰、干净、关联性的数据为基石，在熟悉业务的基础上开展大数据挖掘技术才能发挥其应用价值，但是对于大数据应用、数据挖掘及监测分析等数据使用方来说，当前企业在数据管理和应用等方面存在诸多如数据多源异构、数据可读性差、数据间关联关系复杂等问题，制约了数据价值的发现和发挥，降低了企业运营监测效率。

因此，本发明依据企业数据资产管理现状，针对数据使用者业务单一关联性不足、数据含义及内容理解不透、数据溯源及跟踪难、数据使用难度大等问题，应用“互联网+数据百科”线上管理思维，研究构建了一种基于可视化分析的数据实现封装技术，将繁琐的数据进行业务化及可读性转换，智能化处理数据，提供便捷、高效的数据知识学习及处理服务。

发明内容

本发明的目的是为了克服上述技术缺陷，提供一种基于可视化分析的数据实现封装技术，来解决现有技术的不足。

一种基于可视化分析的数据实现封装技术，其通过如下技术方案实现的：

它包括数据架构、技术架构、语义解析技术架构、系统规则解析技术架构和系统执行技术架构；数据访问方式是指由数据中心提供中间表，并授予一定的访问权限后，由业务系统将数据推送至中间表实现数据接入的方式；具体包括：数据中心提供具有select/insert权限的数据库用户及数据存储模型，提供数据接入日志的WebService服务；业务系统根据统一编码规范完成数据组织及编码转换，实现业务数据推送至数据集成ODS统一视图区；业务应用系统在业务数据推送完成后调用相应工具的数据接入日志WebService服务，记录数据接入日志，记录信息含表ID、表主键、记录数、条件表达式等信息；

企业服务总线（ESB)进行CIS接口设计，然后将服务（写入服务、更新服务、读取服务）地址提供给企业服务总线ESB，请求完成服务的注册，企业服务总线收到注册服务地址信息，完成服务的注册，业务系统数据提供者依据数据中心标准RDF格式，完成工单数据封装，调用注册的写入服务将数据写入到数据中心，同时向企业服务总线提供JMS消息，通知数据需求方提取数据，企业服务总线接收到JMS消息后进行路由广播，订阅者通过监听其所订阅的的服务总线的消息，调用相应的数据读取服务，实现数据中心的数据加载到业务系统中，实现业务系统与数据中心之间的数据共享；

ETL方式是指业务系统按照数据需求开放相关源表数据访问权限，将数据抽取到数据集成缓冲区，并参照数据模型、数据编码要求进行数据组织及准备，实现数据抽取至ODS统一视图区；

OGG软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步；OGG可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制，从而可以更好的满足企业海量结构化数据的接入需求；通过数据交换平台DXP（UEP）方式，完成上下级单位间业务系统数据等数据的交换。

本发明可以满足各级各类人员对企业数据资源精准快速检索的需求，促进数据流通融合、全面互联、开放共享、协同共治，降低数据应用成本，激活数据价值，强化大数据应用。

附图说明

图1是本发明数据实现封装的实现方式。

图2是本发明数据实现封装技术的数据获取方式。

图3是本发明数据实现封装技术的数据架构图。

图4是本发明数据实现封装技术的技术架构总体示意图。

图5是本发明数据实现封装技术技术架构中语义解析技术架构的示意图。

图6是本发明数据实现封装技术技术架构中系统规则解析技术架构的示意图。

图7是本发明数据实现封装技术技术架构中系统执行技术架构的示意图。

具体实施方案

下面通过非限定性的实施例并结合附图对本发明作进一步的说明：本发明实施例提供了一种基于可视化分析的数据实现封装技术，针对数据仓库层的数据，解析到语义层的映射，主要包括业务实体到标准业务实体的转换，然后载入到应用层，根据应用层的各种展示属性的选择组合，完成对应的数据溯源验证及其可视化展示分析。

参照图1至图7，本发明一种基于可视化分析的数据实现封装技术，其通过如下技术方案实现的：

它包括数据架构、技术架构、语义解析技术架构、系统规则解析技术架构和系统执行技术架构；数据访问方式是指由数据中心提供中间表，并授予一定的访问权限后，由业务系统将数据推送至中间表实现数据接入的方式；具体包括：数据中心提供具有select/insert权限的数据库用户及数据存储模型，提供数据接入日志的WebService服务；业务系统根据统一编码规范完成数据组织及编码转换，实现业务数据推送至数据集成ODS统一视图区；业务应用系统在业务数据推送完成后调用相应工具的数据接入日志WebService服务，记录数据接入日志，记录信息含表ID、表主键、记录数、条件表达式等信息；

企业服务总线（ESB)进行CIS接口设计，然后将服务（写入服务、更新服务、读取服务）地址提供给企业服务总线ESB，请求完成服务的注册，企业服务总线收到注册服务地址信息，完成服务的注册，业务系统数据提供者依据数据中心标准RDF格式，完成工单数据封装，调用注册的写入服务将数据写入到数据中心，同时向企业服务总线提供JMS消息，通知数据需求方提取数据，企业服务总线接收到JMS消息后进行路由广播，订阅者通过监听其所订阅的的服务总线的消息，调用相应的数据读取服务，实现数据中心的数据加载到业务系统中，实现业务系统与数据中心之间的数据共享；

ETL方式是指业务系统按照数据需求开放相关源表数据访问权限，将数据抽取到数据集成缓冲区，并参照数据模型、数据编码要求进行数据组织及准备，实现数据抽取至ODS统一视图区；

OGG软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步；OGG可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制，从而可以更好的满足企业海量结构化数据的接入需求；通过数据交换平台DXP（UEP）方式，完成上下级单位间业务系统数据等数据的交换。

本发明通过Kafka消息队列方式完成采集量测数据的接入（国家电网公司同类产品SG-DMI），采集量测数据规模大频度高存在短期峰涌现象，对数据仓库平台组件冲击较大，由于分布式消息队列采用集群方式部署，可根据需求横向扩展硬件资源，因此通过应用分布式消息队列可有效屏蔽冲击；为达到对海量高频数据进行实时接入的目的，需要根据时序数据产生频率、采集周期、测点规模，针对性设计数据分布策略；将监测数据按数据分类分发到分布式消息队列中；同时需实现基于分布式消息队列的故障恢复机制，以确保数据不丢失。

本发明通过Flume组件方式完成非结构化数据的接入；非结构化数据多源异构特点较为突出，数据接入组件能够对数据进行简单处理、保证后续多种形式类型的数据存储及文档访问，且能够实现对数据采集的监控，保障数据采集稳定性，支持用户权限管理，可进行不同数据接入范围的用户权限隔离。

本发明中OGG的工作原理：利用捕捉进程在源系统端读取在线日志或归档日志，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。

本发明根据各类业务需要以及分析决策需求进行的数据统计分析、可视化展示、数据质量校验、数据量计算等工作，在数据应用统一平台进行语义分析，针对各类应用不同展示属性的各种展示方式，完成支撑展示图表的宽表数据的数据溯源验证并做对应展示分析。

所述数据验证基于不同的应用类别（专题、报表、统计分析，数据质量校验，数据量计算等），及应用维度（按年月频度、按单位等）、数据源、数据频度、可视化展示方式等属性，进行实体标准化、语义分析等处理，完成展示图表相应的支撑宽表数据的溯源验证；所述可视化分析基于已定义好的数据模型，通过菜单选择组合的自定义方式进行组织和展现，可将各种展示主题场景进行组合，并根据现有的常见主流可视化方法对数据进行可视化分析。

Claims (1)

1.一种基于可视化分析的数据实现封装技术，其特征是通过如下技术方案实现的：

它包括数据架构、技术架构、语义解析技术架构、系统规则解析技术架构和系统执行技术架构；数据访问方式是指由数据中心提供中间表，并授予一定的访问权限后，由业务系统将数据推送至中间表实现数据接入的方式；具体包括：数据中心提供具有select/insert权限的数据库用户及数据存储模型，提供数据接入日志的WebService服务；业务系统根据统一编码规范完成数据组织及编码转换，实现业务数据推送至数据集成ODS统一视图区；业务应用系统在业务数据推送完成后调用相应工具的数据接入日志WebService服务，记录数据接入日志，记录信息含表ID、表主键、记录数、条件表达式等信息；

企业服务总线（ESB)进行CIS接口设计，然后将服务（写入服务、更新服务、读取服务）地址提供给企业服务总线ESB，请求完成服务的注册，企业服务总线收到注册服务地址信息，完成服务的注册，业务系统数据提供者依据数据中心标准RDF格式，完成工单数据封装，调用注册的写入服务将数据写入到数据中心，同时向企业服务总线提供JMS消息，通知数据需求方提取数据，企业服务总线接收到JMS消息后进行路由广播，订阅者通过监听其所订阅的的服务总线的消息，调用相应的数据读取服务，实现数据中心的数据加载到业务系统中，实现业务系统与数据中心之间的数据共享；

ETL方式是指业务系统按照数据需求开放相关源表数据访问权限，将数据抽取到数据集成缓冲区，并参照数据模型、数据编码要求进行数据组织及准备，实现数据抽取至ODS统一视图区；

OGG软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步；OGG可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制，从而可以更好的满足企业海量结构化数据的接入需求；通过数据交换平台DXP（UEP）方式，完成上下级单位间业务系统数据等数据的交换。