CN108763435A - 一种配用电大数据信息交互系统 - Google Patents
一种配用电大数据信息交互系统 Download PDFInfo
- Publication number
- CN108763435A CN108763435A CN201810510544.0A CN201810510544A CN108763435A CN 108763435 A CN108763435 A CN 108763435A CN 201810510544 A CN201810510544 A CN 201810510544A CN 108763435 A CN108763435 A CN 108763435A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- information
- source heterogeneous
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及一种配用电大数据信息交互系统，该系统包括从下到上依次分布的：多源异构数据信息模型层，用于通过API接口实现与应用层的数据交互，多源异构数据信息模型层包括多个数据库；预处理层，用于对多源异构数据进行预处理；信息传输层，用于对预处理后的数据进行传输；信息组织层，用于为多源异构数据信息模型中数据库和应用层之间提供数据接口，并将多源异构数据信息模型中主数据库和各分数据库的数据进行同步更新；应用层，通过API应用程序接口与多源异构数据信息模型相连，用于实现数据的传输与应用。与现有技术相比，本发明具有保证数据安全可靠、提高数据质量、自愈恢复、良好的适应性和扩展性优点。
Description
技术领域
本发明涉及配用电信息交互与防护技术领域，尤其是涉及一种配用电大数据信息交互系统。
背景技术
在智能电网的建设过程中，电力系统设备运行、设备状态监测、用户用电信息采集、配电业务及营销系统等都会产生大量的结构化和半结构化数据。
大数据具有分散性、多样性和复杂性等特征。想要实现智能配电网大数据平台的用电预测、错峰调度、用户用电行为特征的分析、负荷预测、网架优化、节电技术等功能，需要多来自多个配电信息系统数据源通过多源异构数据信息模型进行数据集成，将数据进行抽取、转换、剔除、修正等处理，数据传输至大数据平台，大数据平台在数据存储、处理、分析基础之上从而实现各种功能。简单的防护模型无法保证GIM模型(grid informationmodel，电网信息模型)中工程数据的完整性和可靠性，数据会因为受到外界恶意攻击而受损，且复杂又大量的数据在处理或传输时因杂乱性、重复性和不完整性极容易造成数据传输速度慢、数据二次损坏等问题，无法保证工程数据安全、可靠。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种配用电大数据信息交互系统。
本发明的目的可以通过以下技术方案来实现：
一种配用电大数据信息交互系统，该系统包括从下到上依次分布的多源异构数据信息模型层、预处理层、信息传输层、信息组织层和应用层。
多源异构数据信息模型层用于通过API接口实现与应用层的数据交互，多源异构数据信息模型层包括多个数据库。
预处理层用于对多源异构数据进行预处理，预处理的方法包括数据清洗、数据变换和数据规约。
1)数据清洗(Data Cleaning)的目的不只是要消除错误、冗余和数据噪音。其目的是要将按不同的、不兼容的规则所得的各种数据集一致。
2)数据变换(Data Transformation)是找到数据的特征表示，用维变换或转换来减少有效变量的数目或找到数据的不变式，包括规格化、规约、切换和投影等操作。
3)数据规约(Data Reduction)是在对发现任务和数据本身内容理解的基础上，寻找依赖于发现目标的表达数据的有用特征，以缩减数据模型，从而在尽可能保持数据原貌的前提下最大限度的精简数据量。其主要有两个途径：属性选择和数据抽样，分别针对数据库中的属性和记录。
信息传输层，用于对预处理后的数据进行传输；信息传输层包括数据压缩模块、数据加密解密模块和安全防护模块。信息传输层在数据传输过程中采用DES密码算法对数据进行加密解密。采用基于统计压缩算法、基于字典压缩算法或zip压缩文件压缩法进行数据压缩。安全防护模块包括防火墙、数据交换网、安全隔离网闸和互联网协议群。
信息组织层，用于为多源异构数据信息模型中数据库和应用层之间提供数据接口，并将多源异构数据信息模型中主数据库和各分数据库的数据进行同步更新；信息组织层提供的数据接口包括OPC(OLE for Process control)软件交换标准接口、SDK方法以及应用程序接口API。
应用层，与信息组织层相接，并通过API应用程序接口与多源异构数据信息模型相连，用于实现数据的传输与应用。应用层在数据的传输与应用过程中，采用数据库检测定位方法和数据库入侵隔离方法对数据库数据进行自愈，保证数据的机密性、完整性和可用性。
与现有技术相比，本发明具有以下优点：
(1)数据安全可靠：本发明的配用电大数据信息交互系统设有从下到上依次设置的多源异构数据信息模型层、预处理层、信息传输层、信息组织层和应用层，这五层依次对应于配用电大数据技术标准体系框图的数据源、预处理、信息传输层、信息组织层以及配电网大数据平台，本发明系统可应用于各设计软件和国网评审平台间的信息交互，能够从各个层面保证其安全性，适应外网、专网、内网等多层次的安全要求，从而保证GIM模型中工程数据的安全、可靠；
(2)数据质量的有效性：本发明系统中的预处理层采用了数据清洗、数据变换和数据规约处理方法，使残缺的数据完整，将错误的数据纠正，多余的数据去除，将所需的数据挑选出来并且进行数据集成，将不适应的数据格式转换为所要求的格式，可以消除多余的数据属性，从而达到数据类型相同化、数据格式一致化、数据信息精练化和数据存储集中化处理，减少数据挖掘和数据分析的时间，提高数据质量；
(3)良好的适应性：本发明系统中的信息传输层设有数据压缩、数据加密解密、安全防护三道程序，数据压缩用以保证传输的信息量在不损失有效信息的前提下为最小；数据加密用以对传输的数据加密，保证数据的完整性和保密性，使信息安全，数据解密处在数据传输的末端，对加密的数据进行逆操作，解密出原有信息，供接收方使用；安全防护则用来加强数据传输的安全性，本发明的信息传输层可处理大量数据的传输与存储，支持超大字符集的智能化检索、检测、修正、发布等功能；
(4)良好的扩展性：本发明系统中的信息组织层提供了OPC软件交换标准接口以及应用程序接口API接口，针对后续发展与数据传输需求，可支持相关技术以及数据接口方法的升级；
(5)自愈恢复：本发明系统的信息应用层采用数据库检测定位方法和数据库入侵隔离技术，以保证数据库可以正常高效的工作，针对数据传输或本地存储过程中，遇到外界干扰或意外操作所导致的数据错误等方面，对数据库数据进行自愈具有自我检测与自愈功能，进一步保障工程数据的完整性与有效性。
附图说明
图1为本发明系统的组成示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明涉及一种配用电大数据信息交互系统，该系统根据配用电网中各类数据信息交互流程，以配用电大数据平台为目标。如图1所示，该系统主要分为三个部分，即配网子系统、信息通道、大数据平台，这三个部分又分为五层：
第一层是多源异构数据信息模型、第二层是预处理层、第三层是信息传输层、第四层是信息组织层，第五层是应用层。第一层和第二层属于配网子系统、第三层属于第二部分信息通道、第四层和第五层属于第三部分大数据平台。
多源异构数据信息模型主要是通过API接口实现与应用层的数据交互。
预处理层主要是针对数据的杂乱性、重复性和不完整性，对数据进行预处理，预处理的方法主要有数据清洗、数据变换和数据规约。数据清洗是针对数据重复，数据缺失，数据异常或者不一致等众多问题，使数据实现准确性、完整性、一致性、唯一性、适时性、有效性；数据变换是指量纲的归一化，设计参数格式的统一，有效数字位的一致等等；数据规约是指对数据进行规约化处理，以减少数据挖掘和数据分析的时间，增加数据处理的有效性。
信息传输层在经过第二层数据预处理层后，对数据进行传输。对数据传输时需要保证数据的完整性、保密性和有效性，需要对数据进行安全防护以防止传输过程中的恶意攻击对数据完整性的破换。本发明采用DES密码算法对数据进行加解密以提高数据的保密性；并采用基于统计压缩算法、基于字典压缩算法或zip压缩文件的压缩法对数据进行压缩以提高数据的传输效率。在信息传输层中，数据压缩用以保证传输的信息量在不损失有效信息的前提下为最小；数据加密用以对传输的数据加密，保证数据的完整性和保密性，使信息安全，数据解密处在数据传输的末端，对加密的数据进行逆操作，解密出原有信息，供接收方使用；安全防护则用来加强数据传输的安全性。
信息组织层主要作用是为作为大数据平台为信息模型中数据库和应用层之间提供数据接口，并且将信息模型中主数据库和工程各部分数据库的数据进行同步更新，使大数据平台掌握准确的信息以便于进行有效的决策。数据接口主要分为OPC软件交换标准接口、SDK(Software Development Kit，软件开发工具包)方法以及应用程序接口API。API与应用层直接通信实现数据共享，起到信息交付的作用；通过API实现应用层与信息模型之间的数据共享，起到文件传输的作用。采用数据同步更新的技术，捕获各个数据库中数据对象的改变，维护各个数据库数据的一致性。
第五层信息应用层，信息应用层位于OSI框架(Open System Interconnection，OSI/RM，Open Systems Interconnection Reference Model，开放式通信系统互联参考模型)中的最上层，属于大数据平台。与信息组织层相接，并通过API应用程序接口与信息模型相连，实现数据的传输与应用。信息应用层主要包括本地数据库的数据保密、数据完整性防护及数据的自愈功能，主要作用就是保证数据的机密性、完整性和可用性。一般情况下防护模型无法保证数据的完整性和可靠性，数据还是会因为受到外界恶意攻击而受损，因此需要对受损数据进行检测定位和标记，并需要进一步对数据进行隔离，以限制和阻止损坏数据的使用，抑制损坏传播，以免对其他数据造成二次损坏。信息应用层采用数据库检测定位方法和数据库入侵隔离技术，以保证数据库可以正常高效的工作，对数据库数据进行自愈。
本发明的多源异构数据信息模型、预处理层、信息传输层、信息组织层以及应用层这五层依次对应于配用电大数据技术标准体系的数据源、预处理、信息传输层、信息组织层以及配电网大数据平台，可应用于各设计软件和国网评审平台间的信息交互，能够从各个层面保证其安全性，适应外网、专网、内网等多层次的安全要求，从而保证GIM模型中工程数据的安全、可靠。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种配用电大数据信息交互系统，其特征在于，该系统包括从下到上依次分布的：
多源异构数据信息模型层，用于通过API接口实现与应用层的数据交互，多源异构数据信息模型层包括多个数据库；
预处理层，用于对多源异构数据进行预处理；
信息传输层，用于对预处理后的数据进行传输；
信息组织层，用于为多源异构数据信息模型中数据库和应用层之间提供数据接口，并将多源异构数据信息模型中主数据库和各分数据库的数据进行同步更新；
应用层，通过API应用程序接口与多源异构数据信息模型相连，用于实现数据的传输与应用。
2.根据权利要求1所述的一种配用电大数据信息交互系统，其特征在于，所述的预处理层采用的数据处理方法包括数据清洗、数据变换和数据规约。
3.根据权利要求1所述的一种配用电大数据信息交互系统，其特征在于，所述的信息传输层包括数据压缩模块、数据加密解密模块和安全防护模块。
4.根据权利要求3所述的一种配用电大数据信息交互系统，其特征在于，所述的信息传输层在数据传输过程中，采用DES密码算法对数据进行加密解密。
5.根据权利要求3所述的一种配用电大数据信息交互系统，其特征在于，所述的信息传输层在数据传输过程中，采用基于统计压缩算法、基于字典压缩算法或zip压缩文件压缩法进行数据压缩。
6.根据权利要求3所述的一种配用电大数据信息交互系统，其特征在于，所述的安全防护模块包括防火墙、数据交换网、安全隔离网闸和互联网协议群。
7.根据权利要求1所述的一种配用电大数据信息交互系统，其特征在于，所述的信息组织层提供的数据接口包括OPC软件交换标准接口及应用程序接口API。
8.根据权利要求1所述的一种配用电大数据信息交互系统，其特征在于，所述的应用层在数据的传输与应用过程中，采用数据库检测定位方法和数据库入侵隔离方法对数据库数据进行自愈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510544.0A CN108763435A (zh) | 2018-05-24 | 2018-05-24 | 一种配用电大数据信息交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510544.0A CN108763435A (zh) | 2018-05-24 | 2018-05-24 | 一种配用电大数据信息交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108763435A true CN108763435A (zh) | 2018-11-06 |
Family
ID=64005863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810510544.0A Pending CN108763435A (zh) | 2018-05-24 | 2018-05-24 | 一种配用电大数据信息交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108763435A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342549A (zh) * | 2021-06-25 | 2021-09-03 | 珠海菲森电力科技有限公司 | 一种多app数据交互的实现方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN106446131A (zh) * | 2016-09-19 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电多源异构数据的混合存储方法和系统 |
| CN107391596A (zh) * | 2017-06-29 | 2017-11-24 | 中国电力科学研究院 | 一种配电网海量数据融合方法及装置 |
| CN107590749A (zh) * | 2017-09-07 | 2018-01-16 | 北京国电通网络技术有限公司 | 一种配用电数据的处理方法及系统 |
| CN107743125A (zh) * | 2017-10-17 | 2018-02-27 | 华北电力大学 | 一种电力业务终端的数据安全管理方法 |
-
2018
- 2018-05-24 CN CN201810510544.0A patent/CN108763435A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN106446131A (zh) * | 2016-09-19 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电多源异构数据的混合存储方法和系统 |
| CN107391596A (zh) * | 2017-06-29 | 2017-11-24 | 中国电力科学研究院 | 一种配电网海量数据融合方法及装置 |
| CN107590749A (zh) * | 2017-09-07 | 2018-01-16 | 北京国电通网络技术有限公司 | 一种配用电数据的处理方法及系统 |
| CN107743125A (zh) * | 2017-10-17 | 2018-02-27 | 华北电力大学 | 一种电力业务终端的数据安全管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张克 等: "《能源计量与节能检测技术》", 31 October 2013, 《中国质检出版社》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342549A (zh) * | 2021-06-25 | 2021-09-03 | 珠海菲森电力科技有限公司 | 一种多app数据交互的实现方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106503574B (zh) | 区块链安全存储方法 | |
| CN104995632B (zh) | 隐私保护数据库系统 | |
| CN107577771A (zh) | 一种大数据挖掘系统 | |
| CN110413652B (zh) | 一种基于边缘计算的大数据隐私化检索方法 | |
| JP2009099151A (ja) | 暗号化されたカラムを含むデータベースにおけるクエリーの暗号化変調による使用者クエリー処理装置及び方法 | |
| CN103618652A (zh) | 一种业务数据的审计和深度分析系统及其方法 | |
| CN108734023B (zh) | 一种密文数据库系统的访问与集成系统及方法 | |
| CN111698291A (zh) | 一种区块链节点存储云系统 | |
| CN103957174A (zh) | 语义交换机松耦合系统进行信息处理的方法 | |
| CN108763435A (zh) | 一种配用电大数据信息交互系统 | |
| CN107317814A (zh) | 与应用透明的密文搜索方法、网关装置、网关设备和系统 | |
| CN113591108A (zh) | 数字孪生现场安全管控平台 | |
| CN113239401A (zh) | 一种基于电力物联网的大数据分析系统、方法及计算机存储介质 | |
| CN113177221A (zh) | 一种计算机软件加密系统 | |
| CN108830088A (zh) | 一种基于物联网的大数据分析方法及系统 | |
| CN103957173A (zh) | 语义交换机 | |
| CN110968881A (zh) | 一种基于人工智能的系统认证及数据加密方法 | |
| CN114610540A (zh) | 一种数据库远程备份及传输存储安全的系统及方法 | |
| CN116049851A (zh) | 一种基于全同态加密的密文处理系统及方法 | |
| CN110457897A (zh) | 一种基于通信协议与sql语法的数据库安全检测方法 | |
| CN112804239B (zh) | 一种流量安全分析建模方法和系统 | |
| CN106131224A (zh) | 一种数据传输系统 | |
| CN111935142A (zh) | 一种基于云数据的智能编修家谱方法及系统 | |
| CN113301031A (zh) | 一种物联网安全管理方法及系统 | |
| CN104537288B (zh) | 智能反馈式生成高频字典的分布式系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 200002 Yuanshen Road 1122, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai Applicant after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Applicant after: EAST CHINA ELECTRIC POWER TEST AND RESEARCH INSTITUTE Co.,Ltd. Applicant after: Star link information technology (Shanghai) Co.,Ltd. Address before: 200002 Yuanshen Road 1122, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai Applicant before: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Applicant before: EAST CHINA ELECTRIC POWER TEST AND RESEARCH INSTITUTE Co.,Ltd. Applicant before: TRANSWARP TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |
|
| RJ01 | Rejection of invention patent application after publication |