CN113220764A - 一种基于能源大数据的数据接入管理方法 - Google Patents

Abstract

本发明公开了一种基于能源大数据的数据接入管理方法，其具体步骤包括：服务接口管理；使外部通过访问服务接口，将外部数据汇聚至贴源层，包含新增功能、查看功能、编辑功能、参数配置功能；外部接口调用管理；包含新增功能、修改功能、删除功能、任务配置功能；数据库接入管理；包含新增功能、查看功能、编辑功能、任务配置功能；数据导入；数据导入是针对离线数据进行标准化模板化开发，提供Excel、Csv、TXT文件类型，功能包含导入功能、查看功能；互联网数据采集管理；互联网数据采集管理是对采集脚本进行管理，运行，并且归档的相关操作，其包含采集脚本管理功能、任务配置功能、结构管理功能。

Description

一种基于能源大数据的数据接入管理方法

技术领域

本发明涉及能源大数据技术领域，特别是一种基于能源大数据的数据接入管理方法。

背景技术

“建设能源大数据中心”的年度重点任务工作要求，结合新型智慧城市建设，联合地方政府和能源企业，因地制宜构建能源大数据中心，接入电、水、气、热、煤、油等多种能源数据。聚焦政府、企业、居民对能源数据的应用需求，融通公司内外部数据，通过打造能源大数据服务，推动能源产业数字化转型，加快促进能源生产、传输、消费全环节、全要素供需对接和资源优化配置，提升能源综合利用效率，带动产业链上下游共同发展，构建互利共赢能源新生态。

能源大数据中心面向政府、企业等各类用户提供数据接口服务，通过数据接口的形式实现数据操作便捷性、数据流转安全性以及数据管理高效性。

发明内容

本发明的目的是为了解决上述问题，设计了一种基于能源大数据的数据接入管理方法。

实现上述目的本发明的技术方案为，一种基于能源大数据的数据接入管理方法，其具体步骤包括：

服务接口管理；服务接口管理是用于通过一系列相应配置，形成规则化、统一标准的对外服务接口，使外部通过访问服务接口，将外部数据汇聚至贴源层，包含新增功能、查看功能、编辑功能、参数配置功能；

外部接口调用管理；外部接口调用管理是对外部来源数据接口进行统一管理，包含新增功能、修改功能、删除功能、任务配置功能；

数据库接入管理；数据库接入是有外部数据来源提供数据库作为接口访问方式，包含新增功能、查看功能、编辑功能、任务配置功能；

数据导入；数据导入是针对离线数据进行标准化模板化开发，提供Excel、Csv、TXT文件类型，功能包含导入功能、查看功能；

互联网数据采集管理；使用自动采集手段，自动抓取互联网数据，互联网数据采集管理是对采集脚本进行管理，运行，并且归档的相关操作，其包含采集脚本管理功能、任务配置功能、结构管理功能。

作为对本发明的进一步说明，所述服务接口管理中新增功能包括新增统一服务接口，填写接口名称、设置数据来源、设置存储数据表、接口地址、接口类型、请求方式、参数配置；所述参数配置功能包含参数名、参数类型、是否必填、绑定数据库字段；所述服务接口管理中编辑是对统一服务接口相关信息进行修改操作；所述服务接口管理中参数配置是对请求参数进行独立编辑操作，使之满足接口规范。

作为对本发明的进一步说明，所述外部接口调用管理中新增功能包括新增外部接口，配置由外部提供的通信接口，遵循外部提供的规范进行定时访问操作，配置信息包含接口名称、数据来源、数据对应表、参数映射信息；所述外部接口调用管理中任务配置功能是通过配置任务，定时有频率的访问外部数据接口,包含启动停止功能。

作为对本发明的进一步说明，所述数据库接入管理中新增功能包括新增数据库接入填写信息包含数据库的访问地址、设置数据来源、访问用户名、密码，并协商约定对接表名、字段名、时间戳；所述数据库接入管理中编辑功能是对数据库接入方式的修改操作；所述任务配置功能是配置访问时间、频率的相关信息。

作为对本发明的进一步说明，所述数据导入中导入功能根据接入的离线数据，定义标准导入模板，导入操作包含数据来源、上传文件参数，点击导入，将有效数据保存至贴源层中；所述数据导入中查看功能是查看数据导入结果的日志信息，包含数据来源、导入时间、成功记录数、失败记录数信息。

作为对本发明的进一步说明，所述互联网数据采集管理中采集脚本管理功能是将已编写完成的采集脚本部署到服务器，进行统一管理，包含新增功能、查看功能、删除功能、任务配置功能；所述互联网数据采集管理中任务配置功能根据部署好的采集脚本，进行任务配置，定时访问操作；所述互联网数据采集管理中所述结构管理功能包括管理采集后的数据，包含查看、删除、入库操作。

作为对本发明的进一步说明，还包括数据接口服务，所述数据接口服务包括数据接口管理、数据接口配置、数据在线下载和数据接口交付；所述数据接口管理包括接口管理和安全管理；

所述接口管理提供数据api、json、文件接口管理，维护外部能源、工业、政务、经济、环保领域数据接口，实现能源数据的在线、离线相关操作；

安全管理，通过数据接口管理能源大数据中心关键数据，以接口形式进行更有效的数据脱敏操作，维护数据安全性。

作为对本发明的进一步说明，所述数据接口配置包括用户授权登录配置和数据接口访问权限配置；

所述用户授权登录配置是通过能源大数据中心采用授权码登录模式，能源大数据中心拼接各机构参数，申请打开其授权页面，获取用户授权码code，再利用code获得用户的token，获取用户登录信息的同时保证用户信息安全；

所述数据接口访问权限配置针对能源大数据中心的核心数据，开展能源相关企业至能源大数据中心两个链路数据接口之间的权限配置工作，保障能源大数据中心和各能源企业的信息安全。

作为对本发明的进一步说明，所述数据在线下载包括数据脱敏和数据防泄漏；

所述数据脱敏是在下载前将涉及的客户户名、身份证号、地址客户敏感信息，在传输至前端展示前通过代码实现脱敏，在使用过程中查看身份证号、地址客户敏感信息时，以“*”屏蔽；

所述数据防泄漏，为防范因拍照、导出造成数据资源泄露，在涉及敏感信息的下载页面背景中增加水印，其中应包含登录人员员工编号、单位编号、IP地址、操作时间信息，实现信息的可追踪溯源。

所述数据接口交付包括动态密码交付和自动下线数据接口交付；

所述动态密码交付是依托算法每隔一定时间自动生成一个不可预测的随机数字组合，即为动态密码，每个密码有且仅能使用一次，供数据开发人员进行登陆使用，提高数据资源安全性；

所述自动下线数据接口交付是设置一定范围的有效时间，在有效时间内数据接口未有任何操作，便自动下线数据接口，防止数据超期操作。

其有益效果在于，能源大数据中心面向政府、企业等各类用户提供数据接口服务，通过数据接口的形式实现数据操作便捷性、数据流转安全性以及数据管理高效性；提供数据接口配置功能，配置需要对外服务的接口信息，包括数据接入技术、接入方式、接入频率、调度策略等，涉及业务数据由公司内网至能源大数据中心(外网)、从能源相关企业至能源大数据中心的数据表两个链路，实现接口数据接口的管理；提供对已通过审批的共享数据申请，依照数据申请的范围、申请时效，对敏感数据进行数据脱敏脱密的功能；可结合数据水印技术等技术，对数据生成的文件进行水印、加密等方式处理，实现数据零泄露；提供对已通过审批的共享数据申请，依照数据申请的范围、申请时效，形成脱敏脱密数据调用接口、动态密码，供数据开发人员进行使用的功能，当数据时效到期时，还可自动下线数据接口，防止数据超期操作，实现数据接口交付在线管理。

附图说明

图1是本发明的流程结构示意图；

图2是服务接口管理的流程结构示意图；

图3是外部接口调用管理的流程结构示意图；

图4是数据库接入管理的流程结构示意图；

图5是数据导入的流程结构示意图；

图6是互联网数据采集管理的流程结构示意图。

具体实施方式

下面结合附图对本发明进行具体描述，如图1-6所示，一种基于能源大数据的数据接入管理方法，其中的数据接入管理方法如下：

1.服务接口管理

服务接口管理是用于通过一系列相应配置，形成规则化、统一标准的对外服务接口。使外部通过访问服务接口，将外部数据汇聚至贴源层。该模块包含新增功能、查看功能、编辑功能、参数配置等功能。

(1)新增统一服务接口，填写接口名称、设置数据来源、设置存储数据表、接口地址、接口类型，请求方式、参数配置等。参数配置包含参数名、参数类型、是否必填、绑定数据库字段等。

(2)编辑是对对统一服务接口相关信息进行修改操作。

(3)参数配置是对请求参数进行独立编辑操作，使之满足接口规范。

2.外部接口调用管理

外部接口调用管理是对外部来源数据接口进行统一管理，包含新增、修改、删除、任务配置等功能。

(1)新增外部接口，配置由外部提供的通信接口，遵循外部提供的规范进行定时访问操作。配置信息包含接口名称、数据来源、数据对应表、参数映射信息等。

(2)任务配置，通过配置任务，定时有频率的访问外部数据接口,包含启动停止功能。

3.数据库接入管理

数据库接入是有外部数据来源提供数据库作为接口访问方式，包含新增、查看、编辑、任务配置等功能。

(1)新增数据库接入填写信息包含数据库的访问地址、设置数据来源、访问用户名、密码等，并协商约定对接表名、字段名、时间戳等；

(2)编辑是对数据库接入方式的修改操作；

(3)任务配置，配置访问时间、频率的相关信息。

4.数据导入

数据导入是针对离线数据进行标准化模板化开发，提供Excel、Csv、TXT等文件类型，功能包含导入、查看等功能。

(1)导入功能根据接入的离线数据，定义标准导入模板，导入操作包含数据来源、上传文件等参数，点击导入，将有效数据保存至贴源层中。

(2)查看数据导入结果的日志信息，包含数据来源、导入时间、成功记录数、失败记录数等信息。

5.互联网数据采集管理

使用自动采集手段，自动抓取互联网数据。互联网数据采集管理是对采集脚本进行管理，运行，并且归档的相关操作，其包含采集脚本管理、任务配置、结构管理功能。

(1)采集脚本管理是将已编写完成的采集脚本部署到服务器，进行统一管理；包含新增，查看，删除、任务配置等功能。

(2)任务配置根据部署好的采集脚本，进行任务配置，定时访问等操作。

(3)结果管理，包括管理采集后的数据，包含查看、删除、入库等操作。

其中，数据接入管理方法还包括数据接口服务，具体如下：

1.数据接口管理

能源大数据中心面向政府、企业等各类用户提供数据接口服务，通过数据接口的形式实现数据操作便捷性、数据流转安全性以及数据管理高效性。

(1)接口管理，提供数据api、json、文件等接口管理，维护外部能源、工业、政务、经济、环保等领域数据接口，实现能源数据的在线、离线相关操作。

(2)安全管理，通过数据接口管理能源大数据中心关键数据，以接口形式进行更有效的数据脱敏操作，维护数据安全性。

2.数据接口配置

提供数据接口配置功能，配置需要对外服务的接口信息，包括数据接入技术、接入方式、接入频率、调度策略等，涉及业务数据由公司内网至能源大数据中心(外网)、从能源相关企业至能源大数据中心的数据表两个链路，实现接口数据接口的管理。

(1)用户授权登录配置，能源大数据中心采用授权码登录模式，能源大数据中心拼接各机构参数，申请打开其授权页面，获取用户授权码code，再利用code获得用户的token，获取用户登录信息的同时保证用户信息安全。

(2)数据接口访问权限配置，针对能源大数据中心的核心数据，开展能源相关企业至能源大数据中心(外网)两个链路数据接口之间的权限配置工作，保障能源大数据中心和各能源企业的信息安全。

3.数据在线下载

提供对已通过审批的共享数据申请，依照数据申请的范围、申请时效，对敏感数据进行数据脱敏脱密的功能；可结合数据水印技术等技术，对数据生成的文件进行水印、加密等方式处理，实现数据零泄露。

(1)数据脱敏，在下载前将涉及的客户户名、身份证号、地址等客户敏感信息，在传输至前端展示前通过代码实现脱敏，具体字段脱敏可参考国网公司营销相关脱敏规范执行。在使用过程中查看身份证号、地址等客户敏感信息时，以“*”或特定规则屏蔽。

(2)数据防泄漏，为防范因拍照、导出造成数据资源泄露，在涉及敏感信息的下载页面背景中增加水印。其中应包含登录人员员工编号、单位编号、IP地址、操作时间等信息，实现信息的可追踪溯源。

4.数据接口交付

提供对已通过审批的共享数据申请，依照数据申请的范围、申请时效，形成脱敏脱密数据调用接口、动态密码，供数据开发人员进行使用的功能，当数据时效到期时，还可自动下线数据接口，防止数据超期操作，实现数据接口交付在线管理。

(1)动态密码，依托算法每隔一定时间自动生成一个不可预测的随机数字组合，即为动态密码，每个密码有且仅能使用一次，供数据开发人员进行登陆使用，提高数据资源安全性。

(2)自动下线数据接口，设置一定范围的有效时间，如在有效时间内数据接口未有任何操作，便自动下线数据接口，防止数据超期操作。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (10)

1.一种基于能源大数据的数据接入管理方法，其特征在于，其具体步骤包括：

服务接口管理；服务接口管理是用于通过一系列相应配置，形成规则化、统一标准的对外服务接口，使外部通过访问服务接口，将外部数据汇聚至贴源层，包含新增功能、查看功能、编辑功能、参数配置功能；

外部接口调用管理；外部接口调用管理是对外部来源数据接口进行统一管理，包含新增功能、修改功能、删除功能、任务配置功能；

数据库接入管理；数据库接入是有外部数据来源提供数据库作为接口访问方式，包含新增功能、查看功能、编辑功能、任务配置功能；

数据导入；数据导入是针对离线数据进行标准化模板化开发，提供Excel、Csv、TXT文件类型，功能包含导入功能、查看功能；

互联网数据采集管理；使用自动采集手段，自动抓取互联网数据，互联网数据采集管理是对采集脚本进行管理，运行，并且归档的相关操作，其包含采集脚本管理功能、任务配置功能、结构管理功能。

2.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述服务接口管理中新增功能包括新增统一服务接口，填写接口名称、设置数据来源、设置存储数据表、接口地址、接口类型、请求方式、参数配置；所述参数配置功能包含参数名、参数类型、是否必填、绑定数据库字段；所述服务接口管理中编辑是对统一服务接口相关信息进行修改操作；所述服务接口管理中参数配置是对请求参数进行独立编辑操作，使之满足接口规范。

3.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述外部接口调用管理中新增功能包括新增外部接口，配置由外部提供的通信接口，遵循外部提供的规范进行定时访问操作，配置信息包含接口名称、数据来源、数据对应表、参数映射信息；所述外部接口调用管理中任务配置功能是通过配置任务，定时有频率的访问外部数据接口,包含启动停止功能。

4.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述数据库接入管理中新增功能包括新增数据库接入填写信息包含数据库的访问地址、设置数据来源、访问用户名、密码，并协商约定对接表名、字段名、时间戳；所述数据库接入管理中编辑功能是对数据库接入方式的修改操作；所述任务配置功能是配置访问时间、频率的相关信息。

5.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述数据导入中导入功能根据接入的离线数据，定义标准导入模板，导入操作包含数据来源、上传文件参数，点击导入，将有效数据保存至贴源层中；所述数据导入中查看功能是查看数据导入结果的日志信息，包含数据来源、导入时间、成功记录数、失败记录数信息。

6.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述互联网数据采集管理中采集脚本管理功能是将已编写完成的采集脚本部署到服务器，进行统一管理，包含新增功能、查看功能、删除功能、任务配置功能；所述互联网数据采集管理中任务配置功能根据部署好的采集脚本，进行任务配置，定时访问操作；所述互联网数据采集管理中所述结构管理功能包括管理采集后的数据，包含查看、删除、入库操作。

7.根据权利要求1所述的一种基于能源大数据的数据接入管理方法，其特征在于，还包括数据接口服务，所述数据接口服务包括数据接口管理、数据接口配置、数据在线下载和数据接口交付；所述数据接口管理包括接口管理和安全管理；

所述接口管理提供数据api、json、文件接口管理，维护外部能源、工业、政务、经济、环保领域数据接口，实现能源数据的在线、离线相关操作；

安全管理，通过数据接口管理能源大数据中心关键数据，以接口形式进行更有效的数据脱敏操作，维护数据安全性。

8.根据权利要求7所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述数据接口配置包括用户授权登录配置和数据接口访问权限配置；

所述用户授权登录配置是通过能源大数据中心采用授权码登录模式，能源大数据中心拼接各机构参数，申请打开其授权页面，获取用户授权码code，再利用code获得用户的token，获取用户登录信息的同时保证用户信息安全；

所述数据接口访问权限配置针对能源大数据中心的核心数据，开展能源相关企业至能源大数据中心两个链路数据接口之间的权限配置工作，保障能源大数据中心和各能源企业的信息安全。

9.根据权利要求7所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述数据在线下载包括数据脱敏和数据防泄漏；

所述数据脱敏是在下载前将涉及的客户户名、身份证号、地址客户敏感信息，在传输至前端展示前通过代码实现脱敏，在使用过程中查看身份证号、地址客户敏感信息时，以“*”屏蔽；

所述数据防泄漏，为防范因拍照、导出造成数据资源泄露，在涉及敏感信息的下载页面背景中增加水印，其中应包含登录人员员工编号、单位编号、IP地址、操作时间信息，实现信息的可追踪溯源。

10.根据权利要求7所述的一种基于能源大数据的数据接入管理方法，其特征在于，所述数据接口交付包括动态密码交付和自动下线数据接口交付；

所述动态密码交付是依托算法每隔一定时间自动生成一个不可预测的随机数字组合，即为动态密码，每个密码有且仅能使用一次，供数据开发人员进行登陆使用，提高数据资源安全性；

所述自动下线数据接口交付是设置一定范围的有效时间，在有效时间内数据接口未有任何操作，便自动下线数据接口，防止数据超期操作。

Images