CN113409021A - 一种电网数据共享系统 - Google Patents

一种电网数据共享系统 Download PDF

Info

Publication number
CN113409021A
CN113409021A CN202110721125.3A CN202110721125A CN113409021A CN 113409021 A CN113409021 A CN 113409021A CN 202110721125 A CN202110721125 A CN 202110721125A CN 113409021 A CN113409021 A CN 113409021A
Authority
CN
China
Prior art keywords
data
service
unit
resource
management unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110721125.3A
Other languages
English (en)
Other versions
CN113409021B (zh
Inventor
宋才华
关兆雄
王晶
布力
吴丽贤
王永才
杜家兵
林钰杰
关浩华
肖招娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110721125.3A priority Critical patent/CN113409021B/zh
Publication of CN113409021A publication Critical patent/CN113409021A/zh
Application granted granted Critical
Publication of CN113409021B publication Critical patent/CN113409021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/176Support for shared access to files; File sharing support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种电网数据共享系统,通过对从各数据源目录中采集到的数据进行分类并按数据类型进行分类编排目录,根据数据源的类型选择存储的数据库进行集中存储;按照用户的指令信息进行处理,形成业务数据并安全地呈现给客户,或与外部设备共享。

Description

一种电网数据共享系统
技术领域
本发明涉及数据交互技术领域,尤其涉及一种电网数据共享系统。
背景技术
随着特高压交直流混合电网的大规模建设以及“大运行”体系建设的全面推进,电网调度控制系统的服务范围快速扩大,数据来源增多,数据类型多样,数据规模和存储压力急剧增大,调控业务对海量多源数据的高效存储与快速处理的要求不断提升。
在具体实现中,由于需要调控的数据种类繁多,且不同业务对数据访问性能要求不同,单一的数据库存储技术无法满足所有业务对数据的存储和查询等性能要求,导致现阶段常用的电网调度控制系统在面对海量多源异构数据时遇到技术瓶颈。
发明内容
本发明提供了一种电网数据共享系统,用于适配现阶段存在的需要调控的数据种类繁多,且不同业务对数据访问性能要求不同的要求。
本发明提供的一种电网数据共享系统,包括:后端和与所述后端连接的用户端;所述后端包括:依次连接的资源目录管理模块、配置中心模块、服务管理模块和共享交换模块;
所述资源目录管理模块,用于接收数据源,对所述数据源进行分类,得到数据源目录;对所述数据源目录进行审核和修改,得到审批后的数据源目录;
所述配置中心模块,用于对所述数据源实现脱敏功能;以及根据所述数据源,配置不同的数据类型的数据库;
所述服务管理模块,用于对所述审批后的数据源目录进行创建,以供用户端服务调用;以及在所述用户端进行服务调用操作时,控制所述服务调用操作的访问权限;
所述共享交换模块,用于确定接收方数据库表和/或,接收方数据库,并与所述接收方数据库表和/或,所述接收方数据库交互;
所述用户端,用于展示所述审批后的数据源目录;以及响应于用户输入的指令信息,并基于所述指令信息和所述审批后的数据源目录进行所述服务调用操作。
可选地,所述审批后的数据源目录包括:数据资源目录和服务资源目录;所述用户端包括:数据目录单元和服务目录单元;
所述数据目标单元,用于展示所述数据资源目录;以及响应于所述指令信息,基于所述指令信息和所述数据资源目录进行所述服务调用操作;
所述服务资源单元,用于展示所述服务资源单元;以及响应于所述指令信息,基于所述指令信息和所述服务资源单元进行所述服务调用操作。
可选地,所述后端还包括:安全管控模块;所述安全管控模块连接于所述服务管理模块与所述共享交换模块之间;所述安全管控模块,用于授权所述服务调用操作所包含的功能;以及,确定所述服务调用操作是否包含与所述功能当中。
可选地,所述资源目录管理模块包括:
数据资源目录管理单元,用于接收数据资源数据,对所述数据资源数据进行分类,得到初始数据资源目录;
服务资源目录管理单元,用于接收服务资源数据,对所述服务资源数据进行分类,得到初始服务资源目录;
资源目录审批单元,分别与所述数据资源目录管理单元和所述服务资源目录管理单元连接;所述资源目录审批单元,用于分别对所述初始数据资源目录和所述初始服务资源目录进行审核,得到所述数据资源目录和所述服务资源目录。
可选地,所述配置中心模块包括:数据源管理单元和脱敏规则管理单元;
所述数据源管理单元,用于根据所述数据源确定数据类型,并根据所述数据类型,配置不同类型的数据库;
所述脱敏规则管理单元与所述数据源管理单元连接;所述脱敏规则管理单元,用于根据预先设定的数据脱敏规则,对所述数据源进行数据脱敏。
可选地,所述服务管理模块包括:服务注册单元、API管理单元、服务审批单元、服务监控单元、流量控制单元和黑白名单管理单元;
所述服务注册单元,用于对所述数据源目录进行服务注册;
所述API管理单元,用于对所述数据源目录进行API创建;
所述服务审批单元分别与所述服务注册单元和所述API管理单元连接;所述服务审批单元,用于所述服务注册和API创建后的数据源数据进行服务审批;
所述服务监控单元与所述服务审批单元连接;所述服务监控单元,用于设置服务监控规则,并在所述服务监控规则下,进行所述服务调用操作;
所述流量控制单元与所述服务监控单元连接;所述流量控制单元,用于在所述用户端进行所述服务调用操作时,进行流量控制;
所述黑白名单管理单元,与所述流量控制单元连接;所述黑白名名单管理单元,用于限制所述用户端在预设服务器中进行所述服务调用操作。
可选地,所述共享交换模块包括:第二管理子模块和任务监控单元;
所述第二管理子模块,用于确定共享任务中的共享数据表和/或,共享数据库;以及,查看当前共享任务的共享进度;
所述任务监控单元与所述第二管理子模块连接;所述任务监控单元,用于监控所有所述共享任务的共享进度。
可选地,所述第二管理子模块包括:共享表管理单元、目标库管理单元、任务管理单元;所述共享表管理单元、所述目标库管理单元和所述任务管理单元依次连接;
所述共享表管理单元,用于提供共享表加载功能,以及实现所述共享表的功能调试;
所述目标库管理单元与所述共享表管单元连接;所述目标库管理单元,用于实现对所有所述数据库的功能调试;
所述任务管理单元与所述目标库管理单元连接;所述任务管理单元,用于创建及管控所述共享任务。
可选地,所述共享交换模块还包括:传输加密单元;所述传输加密单元连接于所述目标库管理单元与所述任务管理单元之间;所述传输加密单元,用于对所述共享任务中的数据进行加密及传输。
可选地,所述安全管控模块包括:资源访问授权模块和资源权限审批模块;
所述资源访问授权模块,用于授权所述服务调用操作所包含的功能;
所述资源权限审批模块,用于确定所述服务调用操作是否包含与所述功能当中。
从以上技术方案可以看出,本发明具有以下优点:
本发明的一种电网数据共享系统,包括:后端和与所述后端连接的用户端;所述后端包括:依次连接的资源目录管理模块、配置中心模块、服务管理模块和共享交换模块;所述资源目录管理模块,用于接收数据源,对所述数据源进行分类,得到数据源目录;对所述数据源目录进行审核和修改,得到审批后的数据源目录;所述配置中心模块,用于对所述数据源实现脱敏功能;以及根据所述数据源,配置不同的数据类型的数据库;所述服务管理模块,用于对所述审批后的数据源目录进行创建,以供用户端服务调用;以及在所述用户端进行服务调用操作时,控制所述服务调用操作的访问权限;所述共享交换模块,用于确定接收方数据库表和/或,接收方数据库,并与所述接收方数据库表和/或,所述接收方数据库交互;所述用户端,用于展示所述审批后的数据源目录;以及响应于用户输入的指令信息,并基于所述指令信息和所述审批后的数据源目录进行所述服务调用操作。
对从各数据源目录中采集到的数据进行分类并按数据类型进行分类编排目录,根据数据源的类型选择存储的数据库进行集中存储;按照用户的指令信息进行处理,形成业务数据并安全地呈现给客户,或与外部设备共享。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图;
图1为本发明的一种电网数据共享系统实施例的结构框图。
具体实施方式
本发明实施例提供了一种电网数据共享系统,用于适配现阶段存在的需要调控的数据种类繁多,且不同业务对数据访问性能要求不同的要求。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
随着特高压交直流混合电网的大规模建设以及“大运行”体系建设的全面推进,电网调度控制系统的服务范围得到快速扩张,数据来源和种类也变得越来越多,导致数据规模和存储压力急剧增大,调控业务对海量多源数据的高效存储与快速处理的要求不断提升。
目前电力调度控制系统中使用的数据库以关系型数据库为主,关系型数据库是一种建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据,具有稳定、安全等特点。除此之外,也有部分系统采用非关系型数据库如Hbase等,来解决海量多源异构数据的存储难题,非关系型数据库相对于关系型数据库具有更高的数据存储能力,特别是针对非结构化和半结构化数据的存储,因此,菲关系型数据库是解决存储智能化数据资源目录难题的一个常用方法。
但是调控数据种类繁多,包括实时数据、历史数据、模型数据等结构化数据,高频变化的时间序列数据,还有CIM/G、CASE断面、电网综合故障报告和波形文件、DTS教案、语音数据等非结构化数据。由于不同业务对数据访问性能要求不同,单一的数据库存储技术无法满足所有业务对数据的存储、查询等性能要求,且并行处理大数据的能力低,建设成本高,导致电网调度控制系统在面对海量多源异构数据时遇到技术瓶颈。
请参阅图1,图1为本发明的一种电网数据共享系统的结构框图,包括:后端1和与所述后端连接的用户端2;所述后端1包括:依次连接的资源目录管理模块11、配置中心模块12、服务管理模块13和共享交换模块15;
所述资源目录管理模块11,用于接收数据源,对所述数据源进行分类,得到数据源目录;对所述数据源目录进行审核和修改,得到审批后的数据源目录;
所述配置中心模块12,用于对所述数据源实现脱敏功能;以及根据所述数据源,配置不同的数据类型的数据库;
所述服务管理模块13,用于对所述审批后的数据源目录进行创建,以供用户端服务调用;以及在所述用户端进行服务调用操作时,控制所述服务调用操作的访问权限;
所述共享交换模块15,用于确定接收方数据库表和/或,接收方数据库,并与所述接收方数据库表和/或,所述接收方数据库交互;
所述用户端2,用于展示所述审批后的数据源目录;以及响应于用户输入的指令信息,并基于所述指令信息和所述审批后的数据源目录进行所述服务调用操作。
具体地,所述审批后的数据源目录包括:数据资源目录和服务资源目录;所述用户端2包括:数据目录单元21和服务目录单元22;
所述数据目标单元21,用于展示所述数据资源目录;以及响应于所述指令信息,基于所述指令信息和所述数据资源目录进行所述服务调用操作;
所述服务资源单元22,用于展示所述服务资源单元;以及响应于所述指令信息,基于所述指令信息和所述服务资源单元进行所述服务调用操作。
具体地,所述后端还包括:安全管控模块14;所述安全管控模块14连接于所述服务管理模块13与所述共享交换模块15之间;所述安全管控模块14,用于授权所述服务调用操作所包含的功能;以及,确定所述服务调用操作是否包含与所述功能当中。
所述资源目录管理模块11包括:
数据资源目录管理单元111,用于接收数据资源数据,对所述数据资源数据进行分类,得到初始数据资源目录;
服务资源目录管理单元112,用于接收服务资源数据,对所述服务资源数据进行分类,得到初始服务资源目录;
资源目录审批单元113,分别与所述数据资源目录管理单111元和所述服务资源目录管理单元112连接;所述资源目录审批单元113,用于分别对所述初始数据资源目录和所述初始服务资源目录进行审核,得到所述数据资源目录和所述服务资源目录。
在本发明实施例中,后台部分的资源目录管理模块11、配置中心模块12、服务管理模块13、安全管控模块14和共享交换模块15依次连接;
其中,资源目录管理模块11包括:数据资源目录管理单元111和服务资源目录管理单元112。
数据资源目录管理单元111主要用于接收数据资源数据,对所述数据资源数据进行分类,得到初始数据资源目录,具体地,支持对接电力标准的信息资源目录分类体系,包含资源分类创建(分类名称、所属分类、分类代码是否涉密)、编辑、查询和删除,得到初始数据资源目录;提供对初始数据资源目录的自定义排序;提供初始数据资源目录的涉密性设置,即非涉密分类审核通过后前台即可见,涉密性分类审核通过后默认不开放,需授权才可见;将资源关联到某个目录下/将已关联资源目录的资源解除绑定;支持基于库表数据统一,即初始数据资源目录中的数据资源数据对应的数据表和数据库均进行关联,批量进行初始数据资源目录的编辑,包含批量库表选择、资源名称、信息资源提供方、更新周期、共享类型、共享方式和信息项等;支持手动对初始数据资源目录进行编目,包含资源名称、信息资源提供方、更新周期、共享类型、共享方式、信息项和挂接数据等的编辑;支持初始数据资源目录创建时,对信息项进行字段级脱敏处理,实现前台数据目录共享交换的脱敏等。
服务资源目录管理单元112主要用于接收服务资源数据,对所述服务资源数据进行分类,得到初始服务资源目录,具体地,初始服务资源目录分类体系,包含资源分类创建(分类名称、所属分类、分类代码、是否涉密)、编辑、查询和删除;初始服务资源目录及相关联的服务资源数据导出为文档;提供分类下资源的自定义排序;提供初始服务资源目录的涉密性设置,非涉密分类审核通过后门户即可见,涉密性分类审核通过后默认不开放,将资源关联到某个目录下/将已关联资源目录的资源解除绑定。支持基于数据API统一、批量进行资源编目,包含批量API选择、资源名称、信息资源提供方、更新周期、共享类型、共享方式、信息项;支持服务资源单、批量发布/下线至服务总线批量导入、导出服务资源。
资源目录审批单元113主要用于对所述初始数据资源目录和所述初始服务资源目录进行审核,得到数据资源目录和服务资源目录,具体可以新增、更新目录和删除目录,关联或解除数据源与目录的关联关系,注册资源、注册更新、删除资源审批,以资源目录审批查询及对应的审批详情查询。
在具体实现中,通过数据资源目录管理单元111和服务资源目录管理单元112分别建立初始数据资源目录和初始服务资源目录,并提交至资源目录审批单元113处审核,资源目录审批单元113接收初始数据资源目录和初始服务资源目录之后,判断是否需要对其进行修改,若是需要则返回至对应的管理单元进行修改;若不需要修改,则准备服务配置挂载即可。
具体地,所述配置中心模块12包括:数据源管理单元121和脱敏规则管理单元122;
所述数据源管理单元121,用于根据所述数据源确定数据类型,并根据所述数据类型,配置不同类型的数据库;
所述脱敏规则管理单元122与所述数据源管理单元121连接;所述脱敏规则管理单元122,用于根据预先设定的数据脱敏规则,对所述数据源进行数据脱敏。
在本发明实施例中,配置中心模块12具有包括数据源管理单元121和脱敏规则管理单元122,其中数据源管理单元121支持平台所有数据源的统一维护管理,包含根据数据源的数据类型,在响应类型的数据库中进行创建、编辑、查询和删除操作,且数据源支持多源异构数据库;而脱敏规则管理单元122用于根据预先设定的数据脱敏规则,对所述数据源进行数据脱敏,及提供数据脱敏规则统一维护管理,包含数据脱敏规则创建、编辑、查询、删除。
在具体实现中,数据源管理单元121首先确定数据源的数据类型,然后根据数据类型配置相应的数据库,然后脱敏规则管理单元根据预先设定的数据脱敏规则,对数据库中的数据源进行数据脱敏。
具体地,所述服务管理模块13包括:服务注册单元131、API管理单元32、服务审批单元133、服务监控单元134、流量控制单元135和黑白名单管理单元136;
所述服务注册单元131,用于对所述数据源目录进行服务注册;
所述API管理单元132,用于对所述数据源目录进行API创建;
所述服务审批单元133分别与所述服务注册单元131和所述API管理单元132连接;所述服务审批单元133,用于所述服务注册和API创建后的数据源数据进行服务审批;
所述服务监控单元134与所述服务审批单元133连接;所述服务监控单元134,用于设置服务监控规则,并在所述服务监控规则下,进行所述服务调用操作;
所述流量控制单元135,与所述服务监控单元134连接;所述流量控制单元135,用于在所述用户端进行所述服务调用操作时,进行流量控制;
所述黑白名单管理单元136,与所述流量控制单135连接;所述黑白名名单管理单元136,用于限制所述用户端在预设服务器中进行所述服务调用操作。
在本发明实施例中,服务注册单元131,科提供第三方服务注册管理,包含三方服务注册、编辑、查询、删除;支持快捷服务监控开关,在创建API的同时即提供快捷开关实现服务监控的快速建立。API管理单元132,支持基于多源异构数据库创建API进行统一管理,包括API创建(支持数据过滤、数据调试、文档编写缓存时长设置)、编辑、查询和删除,支持多表关联的API创建;此外,还支持快捷服务监控开关,在创建API的同时即提供快捷开关实现服务监控的快速建立;提供数据服务行级权限参数统一管控;支持API创建时进行字段级脱敏处理;支持将API发布到网关/在网关中下线。服务审批单元133,所有API审核后才能发布到网关,包含内部API和第三方API,支持按申请类型、审批结果和服务名称关键字查询。服务监控单元134,提供对API进行监控管理,包含监控创建(提供按服务的内外部前缀过滤查询)、编辑、查询和删除;支持对监控历史统计并进行查询,包括监控总次数、可用总次数、正确总次数、错误总次数、平均响应时长概况统计;监控统计趋势分析;支持监控历史日志查询。流量控制单元135,提供流量控制策略管理,包含流量控制策略创建(按服务、用户设置限流策略选择,控制对象;提供按服务的URL前缀和第三方服务配置过滤查询)、编辑、查询和删除;提供快捷查看流量控制的对象列表信息。黑白名单管理单元136,用户可通过黑白名单控制恶意用户和有针对性攻击的用户的访问。提供黑白名单管理,包含黑白名单创建、编辑、删除。
具体地,所述共享交换模块15包括:第二管理子模块151和任务监控单元152;
所述第二管理子模块151,用于确定共享任务中的共享数据表和/或,共享数据库;以及,查看当前共享任务的共享进度;
所述任务监控单元152与所述第二管理子模块151连接;所述任务监控单元152,用于监控所有所述共享任务的共享进度。
具体地,所述第二管理子模块151包括:共享表管理单元1511、目标库管理单元1512、任务管理单元1513;所述共享表管理单元1511、所述目标库管理单元1512和所述任务管理单元1513依次连接;
所述共享表管理单元1511,用于提供共享表加载功能,以及实现所述共享表的功能调试;
所述目标库管理单元1512与所述共享表管单元1511连接;所述目标库管理单元1512,用于实现对所有所述数据库的功能调试;
所述任务管理单元1513与所述目标库管理单元1512连接;所述任务管理单元1513,用于创建及管控所述共享任务。
在一个可选实施例中,所述共享交换模块15还包括:传输加密单元153;所述传输加密单元连接于所述目标库管理单元1512与所述任务管理单元1513之间;所述传输加密单元153,用于对所述共享任务中的数据进行加密及传输。
在本发明实施例中,所述共享交换模块15包括共享表管理单元1511、目标库管理单元1512、任务管理单元1513、任务监控单元152和传输加密单元153。其中,共享表管理单元1511可提供共享表加载功能以及进行包括字段设置和数据预览在内的共享表管理功能,同时也将需要共享交换的的共享表归集,待调用。目标库管理单元1512可提供所有不同类型数据库的统一管理维护,且支持共享交换用到的目标数据库的穿件、编辑、查询和删除;此外还支持Hive目标库,以及kerberos认证。任务管理单元1513用于创建及管控所有共享任务,包含前台基于资源目录申请的自动共享任务和后台主动创建共享任务。支持对任务的查看、前后置任务、启动、停止、定时、取消定时、重跑、查看交换日志、删除;支持DB-DB、DB-FTP、FTP—FTP交换方式;支持基于时间的调度机制,调度设置能制定到月份、日期、小时、分钟粒度,也支持按星期的方式进行共享任务的调度,同时支持自定义脚本定时,合理分配共享任务执行时间,实现任务的灵活管控;提供全量同步与增量同步方式,满足资源交换需求方一次性与持续性的数据使用需求;支持交换的数据脱敏处理。任务监控单元152支持所有共享任务的监控管理,而且可以详细记录每个交换任务中数据的交换流程日志,从而全面掌握过程节点的交换执行情况。传输加密单元153可支持数据传输加密。
在具体实现中,根据共享任务,通过共享表管理单元1511确定共享任务中的共享表和/或,共享数据库,然后通过传输加密单元153对共享任务中的共享数据进行加密传输,传输过程可以通过任务管理单元1513查看进度,以及通过任务监控单元153查看所有共享任务的进度。
在一个可选实施例中,所述安全管控模块14包括:资源访问授权模块141和资源权限审批模块142;
所述资源访问授权模块141,用于授权所述服务调用操作所包含的功能;
所述资源权限审批模块142,用于确定所述服务调用操作是否包含与所述功能当中。
在本发明实施例中,安全管控模块14包括资源访问授权模块141和资源权限审批模块142;其中资源访问授权模块141支持对数据资源主动授权用户端2的指令信息涉及的服务调用所包含的功能。资源权限审批模块142用于对用户端2的的服务调用的具体功能进行审批。
在具体实现中,在获取了审批后的数据源目录后,通过资源访问授权模块141给用户端2的指令信息对应的服务调用功能进行授权,从而使得用户可以通过操作用户端2享有包括对审批后的数据源目录的访问和调用功能。而资源权限审批模块142在接收到用户端2发送的服务调试请求时,审批改请求是否符合规范。
本发明实施例提供了一种电网数据共享系统,包括:后端和与所述后端连接的用户端;所述后端包括:依次连接的资源目录管理模块、配置中心模块、服务管理模块和共享交换模块;所述资源目录管理模块,用于接收数据源,对所述数据源进行分类,得到数据源目录;对所述数据源目录进行审核和修改,得到审批后的数据源目录;所述配置中心模块,用于对所述数据源实现脱敏功能;以及根据所述数据源,配置不同的数据类型的数据库;所述服务管理模块,用于对所述审批后的数据源目录进行创建,以供用户端服务调用;以及在所述用户端进行服务调用操作时,控制所述服务调用操作的访问权限;所述共享交换模块,用于确定接收方数据库表和/或,接收方数据库,并与所述接收方数据库表和/或,所述接收方数据库交互;所述用户端,用于展示所述审批后的数据源目录;以及响应于用户输入的指令信息,并基于所述指令信息和所述审批后的数据源目录进行所述服务调用操作。
对从各数据源目录中采集到的数据进行分类并按数据类型进行分类编排目录,根据数据源的类型选择存储的数据库进行集中存储;按照用户的指令信息进行处理,形成业务数据并安全地呈现给客户,或与外部设备共享。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种电网数据共享系统,其特征在于,包括:后端和与所述后端连接的用户端;所述后端包括:依次连接的资源目录管理模块、配置中心模块、服务管理模块和共享交换模块;
所述资源目录管理模块,用于接收数据源,对所述数据源进行分类,得到数据源目录;对所述数据源目录进行审核和修改,得到审批后的数据源目录;
所述配置中心模块,用于对所述数据源实现脱敏功能;以及根据所述数据源,配置不同的数据类型的数据库;
所述服务管理模块,用于对所述审批后的数据源目录进行创建,以供用户端服务调用;以及在所述用户端进行服务调用操作时,控制所述服务调用操作的访问权限;
所述共享交换模块,用于确定接收方数据库表和/或,接收方数据库,并与所述接收方数据库表和/或,所述接收方数据库交互;
所述用户端,用于展示所述审批后的数据源目录;以及响应于用户输入的指令信息,并基于所述指令信息和所述审批后的数据源目录进行所述服务调用操作。
2.根据权利要求1所述的电网数据共享系统,其特征在于,所述审批后的数据源目录包括:数据资源目录和服务资源目录;所述用户端包括:数据目录单元和服务目录单元;
所述数据目标单元,用于展示所述数据资源目录;以及响应于所述指令信息,基于所述指令信息和所述数据资源目录进行所述服务调用操作;
所述服务资源单元,用于展示所述服务资源单元;以及响应于所述指令信息,基于所述指令信息和所述服务资源单元进行所述服务调用操作。
3.根据权利要求2所述的电网数据共享系统,其特征在于,所述后端还包括:安全管控模块;所述安全管控模块连接于所述服务管理模块与所述共享交换模块之间;所述安全管控模块,用于授权所述服务调用操作所包含的功能;以及,确定所述服务调用操作是否包含与所述功能当中。
4.根据权利要求2所述的电网数据共享系统,其特征在于,所述资源目录管理模块包括:
数据资源目录管理单元,用于接收数据资源数据,对所述数据资源数据进行分类,得到初始数据资源目录;
服务资源目录管理单元,用于接收服务资源数据,对所述服务资源数据进行分类,得到初始服务资源目录;
资源目录审批单元,分别与所述数据资源目录管理单元和所述服务资源目录管理单元连接;所述资源目录审批单元,用于分别对所述初始数据资源目录和所述初始服务资源目录进行审核,得到所述数据资源目录和所述服务资源目录。
5.根据权利要求2所述的电网数据共享系统,其特征在于,所述配置中心模块包括:数据源管理单元和脱敏规则管理单元;
所述数据源管理单元,用于根据所述数据源确定数据类型,并根据所述数据类型,配置不同类型的数据库;
所述脱敏规则管理单元与所述数据源管理单元连接;所述脱敏规则管理单元,用于根据预先设定的数据脱敏规则,对所述数据源进行数据脱敏。
6.根据权利要求2所述的电网数据共享系统,其特征在于,所述服务管理模块包括:服务注册单元、API管理单元、服务审批单元、服务监控单元、流量控制单元和黑白名单管理单元;
所述服务注册单元,用于对所述数据源目录进行服务注册;
所述API管理单元,用于对所述数据源目录进行API创建;
所述服务审批单元分别与所述服务注册单元和所述API管理单元连接;所述服务审批单元,用于所述服务注册和API创建后的数据源数据进行服务审批;
所述服务监控单元与所述服务审批单元连接;所述服务监控单元,用于设置服务监控规则,并在所述服务监控规则下,进行所述服务调用操作;
所述流量控制单元与所述服务监控单元连接;所述流量控制单元,用于在所述用户端进行所述服务调用操作时,进行流量控制;
所述黑白名单管理单元,与所述流量控制单元连接;所述黑白名名单管理单元,用于限制所述用户端在预设服务器中进行所述服务调用操作。
7.根据权利要求3所述的电网数据共享系统,其特征在于,所述共享交换模块包括:第二管理子模块和任务监控单元;
所述第二管理子模块,用于确定共享任务中的共享数据表和/或,共享数据库;以及,查看当前共享任务的共享进度;
所述任务监控单元与所述第二管理子模块连接;所述任务监控单元,用于监控所有所述共享任务的共享进度。
8.根据权利要求7所述的电网数据共享系统,其特征在于,所述第二管理子模块包括:共享表管理单元、目标库管理单元、任务管理单元;所述共享表管理单元、所述目标库管理单元和所述任务管理单元依次连接;
所述共享表管理单元,用于提供共享表加载功能,以及实现所述共享表的功能调试;
所述目标库管理单元与所述共享表管单元连接;所述目标库管理单元,用于实现对所有所述数据库的功能调试;
所述任务管理单元与所述目标库管理单元连接;所述任务管理单元,用于创建及管控所述共享任务。
9.根据权利要求8所述的电网数据共享系统,其特征在于,所述共享交换模块还包括:传输加密单元;所述传输加密单元连接于所述目标库管理单元与所述任务管理单元之间;所述传输加密单元,用于对所述共享任务中的数据进行加密及传输。
10.根据权利要求8所述的电网数据共享系统,其特征在于,所述安全管控模块包括:资源访问授权模块和资源权限审批模块;
所述资源访问授权模块,用于授权所述服务调用操作所包含的功能;
所述资源权限审批模块,用于确定所述服务调用操作是否包含与所述功能当中。
CN202110721125.3A 2021-06-28 2021-06-28 一种电网数据共享系统 Active CN113409021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110721125.3A CN113409021B (zh) 2021-06-28 2021-06-28 一种电网数据共享系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110721125.3A CN113409021B (zh) 2021-06-28 2021-06-28 一种电网数据共享系统

Publications (2)

Publication Number Publication Date
CN113409021A true CN113409021A (zh) 2021-09-17
CN113409021B CN113409021B (zh) 2023-06-06

Family

ID=77679788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110721125.3A Active CN113409021B (zh) 2021-06-28 2021-06-28 一种电网数据共享系统

Country Status (1)

Country Link
CN (1) CN113409021B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108134764A (zh) * 2016-12-01 2018-06-08 中国电子科技集团公司第十五研究所 一种分布式数据共享交换方法及系统
CN108269056A (zh) * 2017-12-27 2018-07-10 广东智政信息科技有限公司 政务信息资源管理系统
CN109523226A (zh) * 2018-10-16 2019-03-26 中广核核电运营有限公司 一种核电站群厂共享备件储备策略设置系统
CN110971449A (zh) * 2019-10-25 2020-04-07 武汉烽火众智数字技术有限责任公司 一种基于微服务架构的服务管控系统
CN111176867A (zh) * 2020-01-16 2020-05-19 创意信息技术股份有限公司 数据共享交换及开放应用平台
CN112307129A (zh) * 2020-12-31 2021-02-02 成都四方伟业软件股份有限公司 一种基于数据共享构建的控制系统及其控制方法
CN112765245A (zh) * 2020-12-31 2021-05-07 广西中科曙光云计算有限公司 一种电子政务大数据处理平台
US20210174218A1 (en) * 2019-10-17 2021-06-10 Pivot Industries Limited Self-organizing data capture, analysis, and collaboration system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108134764A (zh) * 2016-12-01 2018-06-08 中国电子科技集团公司第十五研究所 一种分布式数据共享交换方法及系统
CN108269056A (zh) * 2017-12-27 2018-07-10 广东智政信息科技有限公司 政务信息资源管理系统
CN109523226A (zh) * 2018-10-16 2019-03-26 中广核核电运营有限公司 一种核电站群厂共享备件储备策略设置系统
US20210174218A1 (en) * 2019-10-17 2021-06-10 Pivot Industries Limited Self-organizing data capture, analysis, and collaboration system
CN110971449A (zh) * 2019-10-25 2020-04-07 武汉烽火众智数字技术有限责任公司 一种基于微服务架构的服务管控系统
CN111176867A (zh) * 2020-01-16 2020-05-19 创意信息技术股份有限公司 数据共享交换及开放应用平台
CN112307129A (zh) * 2020-12-31 2021-02-02 成都四方伟业软件股份有限公司 一种基于数据共享构建的控制系统及其控制方法
CN112765245A (zh) * 2020-12-31 2021-05-07 广西中科曙光云计算有限公司 一种电子政务大数据处理平台

Also Published As

Publication number Publication date
CN113409021B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110543464B (zh) 一种应用于智慧园区的大数据平台及操作方法
US20200067791A1 (en) Client account versioning metadata manager for cloud computing environments
US9565260B2 (en) Account state simulation service for cloud computing environments
US8805971B1 (en) Client-specified schema extensions in cloud computing environments
US8856077B1 (en) Account cloning service for cloud computing environments
US11809397B1 (en) Managing slot requests for query execution in hybrid cloud deployments
AU2014324111A1 (en) Centralized policy management for security keys
CN112835977B (zh) 一种基于区块链的数据库管理方法及系统
US11347886B1 (en) Secure multi-party encrypted identifier data sharing
CN103108009B (zh) 基于离线空间的文件共享方法及装置
US20230177203A1 (en) Query processing in a secure data clean room
CN109918152A (zh) 基于策略流的任务执行方法、装置、服务器和存储介质
CN112163236A (zh) 文件访问方法、装置、系统和计算机可读存储介质
CN110083457A (zh) 一种数据获取方法、装置以及数据分析方法、装置
US8832156B2 (en) Distributed computing management
CN111371753A (zh) 一种资源共享方法和装置
US11570183B2 (en) Tenant grouping for secure transport of content
CN109474706B (zh) 一种数据安全集中服务方法和系统
CN109213743A (zh) 一种数据查询方法和装置
CN113409021B (zh) 一种电网数据共享系统
da Silva et al. Deploying privacy as a service within a cloud-based framework
US20240143809A1 (en) Service and system integration
Huang et al. A Secure and IoT-Enabled Data Sharing System Based on IPFS and IOTA Blockchain
US20230328049A1 (en) Enterprise governance inventory and automation tool
CN117009327B (zh) 一种数据处理方法、装置及计算机设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant