CN112507366B - 一种智能电网中多维数据高效数据聚合的方法和系统 - Google Patents
一种智能电网中多维数据高效数据聚合的方法和系统 Download PDFInfo
- Publication number
- CN112507366B CN112507366B CN202011508572.2A CN202011508572A CN112507366B CN 112507366 B CN112507366 B CN 112507366B CN 202011508572 A CN202011508572 A CN 202011508572A CN 112507366 B CN112507366 B CN 112507366B
- Authority
- CN
- China
- Prior art keywords
- data
- power consumption
- encrypted
- aggregation
- consumption data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004931 aggregating effect Effects 0.000 title claims abstract description 9
- 230000002776 aggregation Effects 0.000 claims abstract description 214
- 238000004220 aggregation Methods 0.000 claims abstract description 214
- 230000005611 electricity Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 28
- 238000006116 polymerization reaction Methods 0.000 claims description 24
- 238000002360 preparation method Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 14
- 238000011084 recovery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种智能电网中多维数据高效数据聚合的方法和系统。方法包括:用户端对用户用电原始数据进行加密并传输至多级数据聚合层;多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块对接收到的加密用电数据进行粗糙解密、精准解密,并对精准解密用电数据进行聚合传输至下一级数据聚合层以及数据中心;数据中心对最高级精准解密用电数据进行聚合,得到最终聚合用电数据。利用本发明,实现了高效的电网数据聚合,并提高了数据处理传输过程中的隐私保护性能。
Description
技术领域
本发明涉及大数据存储、数据聚合技术领域,具体涉及一种智能电网中多维数据高效数据聚合的方法和系统。
背景技术
电网数据的聚合对电网领域至关重要。数据聚合过程中,不仅要考虑电网数据的完整性验证,还要兼顾数据机密性和隐私保护。当前对数据进行加密的方式往往是常用的几种加密方式,如AES、ECC、MD5。这些方式多为已知加密过程的方式,当获得密文且已知加密方式后破解将会非常简单。一些方法利用用户之间的数据相互干扰来实现数据的加密与聚合,还有一些方法提出融合同态密码、轻量级类代理签名信息认证、数据访问控制、代理重加密等技术,设计了一种同时保护用户隐私,保证通信数据机密性与完整性,并对通信源实体身份进行安全认证的数据聚合方法。这些方法或存在加密机制简单、易被破解的风险,或存在加密机制过于复杂,导致数据聚合效率低的缺点。智能电网对传输数据有着实时性的要求,如果使用太复杂的加密过程,会使得整个智能电网中计算量增大,功耗消耗增大。如果加密方式太过简单,又有具有泄露用户信息的风险。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种智能电网中多维数据高效数据聚合的方法和系统。
一种智能电网中多维数据高效数据聚合方法,该方法包括:
(1)用户端加密准备单元对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数;
(2)用户端编码器对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心;
(3)多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块执行以下步骤:
(3a)数据聚合模块的解码器对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据;
(3b)数据聚合模块的数据精准解密单元分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度;针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据;
(3c)数据聚合模块的数据聚合单元对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据;
(3d)数据聚合模块的加密准备单元对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为本级聚合用电原始数据位数;
(3e)数据聚合模块的编码器对待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心;
(4)数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据。
所述用户端编码器与第一级数据聚合层的第一级解码器构成编码解码对,所述每一级数据聚合层的编码器与其下一级数据聚合层的解码器构成编码解码对。
所述最大置信位通过如下方式获得:
利用用电数据测试集对训练好的编码解码对进行测试,计算测试集的待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位。
所述最大置信位通过如下方式获得:
获取编码解码对收敛时待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位。
所述编码解码对的训练方法如下:
对用电数据训练集中的原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为原始数据位数;
编码器对待加密用电数据进行加密,得到加密用电数据;解码器对加密用电数据进行解密,得到粗糙解密用电数据;
计算单条待加密用电数据的损失Loss:其中,st为粗糙用电数据第t位的数值,yt为粗糙用电数据对应的待加密用电数据第t位的数值,b表示b进制,R表示粗糙用电数据的位数;
计算该组待加密用电数据的损失均值,将损失均值的数据位数作为当前最大置信位v;
根据当前最大置信位,计算粗糙用电数据各数据位的置信度:其中,Pt表示数据位t的置信度;
针对粗糙解密用电数据中表征原始数据同一数据位的数值,累加相同数值的置信度,并将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得精准解密用电数据;
计算原始数据与精准解密用电数据之间的差异,调整编码器、解码器的参数,使原始数据与精准解密用电数据之间的差异收敛并趋近于零。
数据中心还包括解码器组、精准解密单元;解码器组包括与用户端解码器、每一级数据聚合层解码器相同的解码器;精准解密单元对解码器输出的粗糙解密用电数据进行分析,得到用户精准解密用电数据、每一级精准解密用电数据。
数据中心还包括多维验证单元,多维验证单元从每一级聚合用电数据中选取若干条本级聚合用电数据,根据本级聚合用电数据与上一级聚合用电数据之间的聚合关系,将对应的上一级聚合用电数据聚合,并判断聚合结果与本级聚合用电数据是否满足可容忍误差。
数据中心还包括数据重获取单元,若聚合结果与本级聚合用电数据不满足可容许误差,则重新获取对应的上一级聚合用电数据。
一种智能电网中多维数据高效数据聚合系统,该系统包括用户端、多级数据聚合层、数据中心;
用户端包括用户端加密准备单元、用户端编码器;用户端加密准备单元,用于对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数;用户端编码器,用于对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心;
多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块包括:数据聚合模块的解码器,用于对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据;数据聚合模块的数据精准解密单元,用于分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度,针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据;数据聚合模块的数据聚合单元,用于对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据;数据聚合模块的加密准备单元,用于对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为本级聚合用电原始数据位数;数据聚合模块的编码器,用于对待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心;
数据中心包括数据聚合单元,数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据。
本发明与现有技术相比,具有以下有益效果:
对智能电网数据进行多级聚合,以编码解码对内部加权求和的方式对用电数据进行梳理,实现加密,计算简单,不仅能够保护用户隐私、数据安全,而且能够满足实时性的要求。编码器参数的随机性保证了加密的可靠性,通过训练完成的解码器以及精准解密单元保证了用电数据恢复的可靠性。定期进行编码器-解码器参数的生成,能进一步保证电网数据的安全性。
附图说明
图1为本发明的方法流程图;
图2为智能电网用电数据聚合流程示意图;
图3为编码解码对的网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种智能电网中多维数据高效数据聚合的方法和系统。图1为本发明方法的流程图。下面通过具体实施例来进行说明。
实施例1:
一种智能电网中多维数据高效数据聚合方法,该方法包括:
(1)用户端加密准备单元对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数。
本实施例多级聚合包括三个层次:用户聚合到社域(即社区),社域聚合到区域,区域聚合到数据中心。图2为本实施例中智能电网用电数据聚合流程示意图,首先通过智能电表获得用户用电原始数据和签名数据,而后多用户的数据传输到所在社域网关处,按照所需进行聚合,之后社域数据传输到所在区域网关处,按照所需进行聚合,最终多处区域网关处的数据汇聚到数据中心处,由数据中心分析数据后反馈到控制中心。
用户用电数据需要进行不同层次的聚合处理,在不同网关位置需要进行不同的操作。而且,用户用电数据中包含了用户的隐私,故需要在传输过程中同时进行数据的加密。
(2)用户端编码器分别对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心。
用户端包括用户端编码器。本实施中,用户端编码器使用全连接网络以加权求和的方式对用户用电原始数据进行加密处理。用户端还包括维度判断单元、维度整合单元、信息判断单元。
维度判断单元,用于判断智能电表生成的用户用电原始数据维度是否正确,以保证输入编码器的数据为固定维度的数据。进行维度判断的过程为:获得用户用电原始数据的长度Cc,与设定长度Cy进行比较,Cc≥Cy则认为数据长度符合要求,否则需要智能电表重新生成。
信息判断单元,用于判断用户数据的内容形式是否正确,剔除错误信息。信息判断的过程包括:数据分段划分——寻找数据中分割信息的标识符,获得数据的各个分段内容;数据判断与填补——进行数据的正确性判断,即数据中各个分段是否符合数值范围,必要分段的信息若无数据,可进行填补操作,使用设定固定数字进行填充。
(3)多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块执行以下步骤:
(3a)数据聚合模块的解码器对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据。
(3b)数据聚合模块的数据精准解密单元分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度;针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据。
(3c)数据聚合模块的数据聚合单元对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据。
(3d)数据聚合模块的加密准备单元对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为本级聚合用电原始数据位数;
(3e)数据聚合模块的编码器对待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心。
用户端编码器与第一级数据聚合层的解码器构成编码解码对,每一级数据聚合层的编码器与其下一级数据聚合层的解码器构成编码解码对。本实施例中,每一个社域网关、区域网关处均包括数据聚合模块,用户端编码器与社域聚合层中的解码器构成编码解码对,社域聚合层中的编码器与区域聚合层中的解码器构成编码解码对,区域聚合层中的编码器与数据中心中的部分解码器构成编码解码对。
本实施例的编码解码对采用全连接网络结构,网络结构图如图3所示。首先,对原始数据Uo进行拆分,获得拆分数据组M,M中数据Mr按序依次使用编码器-解码器网络结构进行加密和解密。编码器权值随机,无需训练,得到的加密信息可用于中间传输,而后使用解码器对加密数据进行解码,获得恢复数据组K,再对恢复数据进行分析获得恢复数据。现有的基于神经网络的加密解密技术,解密所得数据的还原性较差,不能准确还原加密数据。本发明采用数据拆分、恢复技术能够确保得到精准的解密用电数据。
编码解码对的训练方法如下:对用电数据训练集中的原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为原始数据位数;编码器对待加密用电数据进行加密,得到加密用电数据;解码器对加密用电数据进行解密,得到粗糙解密用电数据;计算单条待加密用电数据的损失Loss:其中,st为粗糙用电数据第t位的数值,yt为粗糙用电数据对应的待加密用电数据第t位的数值,b表示b进制,R表示粗糙用电数据的位数;计算该组待加密用电数据的损失均值,将损失均值的数据位数作为当前最大置信位v;根据当前最大置信位,计算粗糙用电数据各数据位的置信度:/>其中,Pt表示数据位t的置信度;针对粗糙解密用电数据中表征原始数据同一数据位的数值,累加相同数值的置信度,并将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得精准解密用电数据;计算原始数据与精准解密用电数据之间的差异,调整编码器、解码器的参数,使原始数据与精准解密用电数据之间的差异收敛并趋近于零。
下面对训练方法进行举例说明。编码解码对的训练,无需繁琐的制作标签,可以由随机数生成方法产生一系列随机数字生成用电数据训练集,由随机数字作为编码器的输入和解码器的输出。设用电数据训练集中的一条原始数据Uo为ABCDEF。针对一条数据的加密解密过程作为一个批次。首先,加密准备单元对原始数据Uo进行循环移位操作,每次移动一位,得到一组待加密用电数据:ABCDEF、BCDEFA、CDEFAB、DEFABC、EFABCD、FABCDE,待加密用电数据条数为原始数据Uo的维度数R,本例中R为6。编码器使用随机权值的前向网络进行数据加权求和的计算,得到一组维度为N的加密用电数据。解码器对得到的加密用电数据进行解密操作,解码器为FC(全连接)结构,需要使用大量数据进行训练。解码器训练的权值需要和编码器的随机权值进行对应,因此,解码器需要与编码器结合进行训练。解码器的权值随机产生并在该批次训练过程固定不变,解码器的输入数据为多维度(多位)的一条数据,输出数据同样为一条数据。解码器依次对编码器输出的一组维度为N的加密用电数据的每条数据进行解密,得到一组对应的粗糙解密用电数据。设解码器输出的与原始数据对应的粗糙解密用电数据组为:a6b5c4d3e2f1、b6c5d4e3f2a1、c6d5e4f3a2b1、d6e5f4a3b2c1、e6f5a4b3c2d1、f6a5b4c3d2e1。
需要说明的是训练过程具有两个损失函数。第一个损失函数用来是衡量单条待加密用电数据对应的解码器输出数据Kr和编码器输入数据Mr之间差异:
其中,st为解码器输出的数据Kr中第t位数字,yt为编码器输入的数据,即标签数据Mr的数据中第t位数字。例如,输出数据为1523,t=1时,st=s1=3,t=2时,st=s2=2。R表示输出数据的长度,由于编码器输入与解码器输出维度相同,因此也表示原始数据维度。第二个损失函数用来评价总体损失,一个批次的数据训练R次,一个批次训练结束后,需评价恢复数据即精准解密用电数据Ur和原始数据Uo之间差异:/>其中,srt为精准解密用电数据中第t位数字,yot为原始数据中第t位数字。DIFF(Mr,Kr)的值难以收敛为0,但是DIFF(Ur,Uo)的值可以收敛为0。当DIFF(Ur,Uo)收敛为0时,表明网络训练成功,能够使数据无损传输,当DIFF(Ur,Uo)收敛为0时,DIFF(Mr,Kr)的值越小,表明网络准确率越高。
前述解码器输出了一组解密用电数据。首先利用第一个损失函数计算单条待加密用电数据的损失,即利用第一个损失函数依次计算a6b5c4d3e2f1与ABCDEF的差异、b6c5d4e3f2a1与BCDEFA的差异,···,以此类推,得到所有单条待加密用电数据的损失。计算该批次所有单条待加密用电数据损失的均值,并将均值的数值位数作为最大置信位v。然后,根据最大置信位,计算粗糙用电数据各数据位的置信度:其中,Pt表示数据位t的置信度。对该组粗糙解密用电数据中表征原始数据同一数据位的数值,累加相同数值的置信度,并将最大置信度对应的数值作为原始训练数据相应数据位的精准解密数值,从而获得精准解密用电数据。举例说明,设本实施例中原始数据为十进制数据,b=10,损失均值为100,最大置信位为3,则粗糙用电数据各数据位的置信度分别为P1=0,P2=0,P3=0,P4=10,P5=40,P6=90。粗糙解密用电数据中a1=2,a2=1,a3=2,a4=1,a5=1,a6=3,这六个数字均表示原始数据的同一数据位A。数字3,只出现一次,a6=3,其置信度为90。数字1出现两次,a2=1、a4=1,置信度为P2+P4=0+10=50。数字2出现两次,a1=2、a3=2,置信度为P1+P3=0+0=0。故选择置信度最大的数字3,即A=3。以同样的方式进行数据恢复,得到B、C、D、E、F数据位上置信度最大的数字,按序拼接即可得到精准解密用电数据。然后,利用第二个损失函数计算精准解密用电数据与原始数据之间的差异,调整编码器和/或解码器的权值,以使第二个损失函数收敛并趋近于零。
从上述训练过程可以看出,本发明的置信度、最大置信位在训练过程中根据第一个损失函数动态变化,可以提高网络的训练效率,降低训练时间。而在加密解密对使用过程中,最大置信位在一段时间内是固定不变的。因此,加密解密对训练成功后,在使用加密解密对之前需要获取最大置信位。最大置信位通过如下方式获得:利用用电数据测试集对训练好的编码解码对进行测试,计算测试集的单条待加密用电数据损失均值,并以均值的数据位数作为最大置信位。最大置信位还可以通过如下方式获得:获取编码解码对收敛时待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位。
本发明中有编码解码对有多级,用户端编码器与第一级数据聚合层的解码器构成编码解码对,每一级数据聚合层的编码器与其下一级数据聚合层的解码器构成编码解码对。多级编码解码对可以共享一套权重,也可以使用不同的权重。区别在于,共享一套权重的情况下,训练集需要包括不同长度的用电数据,训练过程执行一次,这种情况下效率更高。另一种情况需要针对不同级编码解码对进行训练,训练集可以仅包含本级可能出现的用电数据,训练过程分别执行多次,这种情况下,精度更高。
此外,每一级数据聚合层的每个数据聚合模块还包括维度判断单元、完整性判断单元。维度判断单元与用户端维度判断单元功能相同。完整性判断单元用于判断接收到的数据是否完整正确。每个数据聚合模块还包括数据聚合单元、错误反馈单元、数据重获取单元。错误反馈单元用于获取错误数据对应的用户编号或上一级数据聚合模块编号,并反馈给用户层或上一级数据聚合层。数据重获取单元用于重新接收获取错误数据对应的新的数据。
(4)数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据。数据中心还包括解码器组、精准解密单元;解码器组包括与用户端解码器、每一级数据聚合层解码器相同的解码器;精准解密单元对解码器输出的粗糙解密用电数据进行分析,得到用户精准解密用电数据、每一级精准解密用电数据。数据中心还包括多维验证单元,多维验证单元从每一级聚合用电数据中选取若干条本级聚合用电数据,根据本级聚合用电数据与上一级聚合用电数据之间的聚合关系,将对应的上一级聚合用电数据聚合,并判断聚合结果与本级聚合用电数据是否满足可容忍误差。
具体地,本实施例中数据聚合层包括社域聚合层、区域聚合层。多维验证过程如下。对于区域聚合层的验证,首先随机选择需验证的区域聚合层的区域聚合模块的聚合用电数据QY。获得该区域聚合模块对应的所有社域聚合模块的聚合用电数据之和SY:其中,Vi表示第i个社域聚合模块的聚合用电数据,I表示该区域网关下拥有的社域网关数量。当|QY-SY|<D时,认为数据间误差可接受,信息可靠。还可以继续对区域网关的再下一级(即用户级)进行验证,首先获得该区域聚合模块对应的所有用户端的用户用电数据YH:/> 其中Bj表示第j个用户端的用电数据。J表示该区域网关下拥有的用户数量。当|QY-YH|<D时,认为数据间误差可接受,信息可靠。
数据中心还包括数据重获取单元,若聚合结果与本级聚合用电数据不满足可容许误差,则重新获取对应的上一级聚合用电数据。
实施例2:
本实施例提供一种智能电网中多维数据高效数据聚合系统,包括用户端、多级数据聚合层、数据中心;
用户端包括用户端加密准备单元、用户端编码器;用户端加密准备单元,用于对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数;用户端编码器,用于对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心;
多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块包括:数据聚合模块的解码器,用于对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据;数据聚合模块的数据精准解密单元,用于分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度;针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据;数据聚合模块的数据聚合单元,用于对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据;数据聚合模块的加密准备单元,用于对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为本级聚合用电原始数据位数;数据聚合模块的编码器,用于对待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心;
数据中心包括数据聚合单元,数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种智能电网中多维数据高效数据聚合方法,其特征在于,该方法包括:
(1)用户端加密准备单元对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数;
(2)用户端编码器对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心;
(3)多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块执行以下步骤:
(3a)数据聚合模块的解码器对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据;
(3b)数据聚合模块的数据精准解密单元分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度;针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据;
(3c)数据聚合模块的数据聚合单元对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据;
(3d)数据聚合模块的加密准备单元对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组本级待加密用电数据,本级待加密用电数据条数为本级聚合用电原始数据位数;
(3e)数据聚合模块的编码器对本级待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心;
(4)数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据;
对智能电网数据进行多级聚合,以编码解码对内部加权求和的方式对用电数据进行梳理,实现加密;编码器使用随机权值的前向网络进行数据加权求和的计算,得到一组维度为N的加密用电数据;解码器对得到的加密用电数据进行解密操作,解码器为FC全连接结构;解码器训练的权值和编码器的随机权值进行对应,解码器与编码器结合进行训练;
所述用户端编码器与第一级数据聚合层的第一级解码器构成编码解码对,所述每一级数据聚合层的编码器与其下一级数据聚合层的解码器构成编码解码对;
所述最大置信位通过如下方式获得:
利用用电数据测试集对训练好的编码解码对进行测试,计算测试集的待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位;
所述编码解码对的训练方法如下:
对用电数据训练集中的原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为原始数据位数;
编码器对待加密用电数据进行加密,得到加密用电数据;解码器对加密用电数据进行解密,得到粗糙解密用电数据;
计算单条待加密用电数据的损失Loss:其中,st为粗糙用电数据第t位的数值,yt为粗糙用电数据对应的待加密用电数据第t位的数值,b表示b进制,R表示粗糙用电数据的位数,bt表示以b为底数且以t为指数的指数值;
计算该组待加密用电数据的损失均值,将损失均值的数据位数作为当前最大置信位v;
根据当前最大置信位,计算粗糙用电数据各数据位的置信度:其中,Pt表示数据位t的置信度;
针对粗糙解密用电数据中表征原始数据同一数据位的数值,累加相同数值的置信度,并将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得精准解密用电数据;
计算原始数据与精准解密用电数据之间的差异,调整编码器、解码器的参数,使原始数据与精准解密用电数据之间的差异收敛并趋近于零。
2.如权利要求1所述的方法,其特征在于,所述最大置信位通过如下方式获得:
获取编码解码对收敛时待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位。
3.如权利要求1所述的方法,其特征在于,数据中心还包括解码器组、精准解密单元;解码器组包括与用户端解码器、每一级数据聚合层解码器相同的解码器;精准解密单元对解码器输出的粗糙解密用电数据进行分析,得到用户精准解密用电数据、每一级精准解密用电数据。
4.如权利要求1所述的方法,其特征在于,数据中心还包括多维验证单元,多维验证单元从每一级聚合用电数据中选取若干条本级聚合用电数据,根据本级聚合用电数据与上一级聚合用电数据之间的聚合关系,将对应的上一级聚合用电数据聚合,并判断聚合结果与本级聚合用电数据是否满足可容忍误差。
5.如权利要求1所述的方法,其特征在于,数据中心还包括数据重获取单元,若聚合结果与本级聚合用电数据不满足可容许误差,则重新获取对应的上一级聚合用电数据。
6.一种智能电网中多维数据高效数据聚合系统,其特征在于,该系统包括用户端、多级数据聚合层、数据中心;
用户端包括用户端加密准备单元、用户端编码器;用户端加密准备单元,用于对用户用电原始数据进行若干次循环移位,每次移动一位,得到一组用户端待加密用电数据,用户端待加密用电数据条数为用户用电原始数据位数;用户端编码器,用于对用户端待加密用户用电数据进行加密,并将用户端加密用电数据传输至多级数据聚合层以及数据中心;
多级数据聚合层的第一级数据聚合层接收用户端加密用电数据,多级数据聚合层的每一级数据聚合层包括多个数据聚合模块,数据聚合模块包括:数据聚合模块的解码器,用于对从上一级数据聚合层或用户端接收到的加密用电数据进行解密,得到粗糙解密用电数据;数据聚合模块的数据精准解密单元,用于分别针对来源于上一级数据聚合层同一数据聚合模块或同一用户端的粗糙解密用电数据做如下处理:根据最大置信位计算粗糙解密用电数据各数据位的置信度;针对表征原始数据同一数据位的粗糙解密用电数据的数据位数值,累加相同数值的置信度,将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得本级精准解密用电数据;数据聚合模块的数据聚合单元,用于对所有本级精准解密用电数据进行聚合,得到本级聚合用电原始数据;数据聚合模块的加密准备单元,用于对本级聚合用电原始数据进行若干次循环移位,每次移动一位,得到一组本级待加密用电数据,本级待加密用电数据条数为本级聚合用电原始数据位数;数据聚合模块的编码器,用于对本级待加密用电数据进行加密,并将本级加密用电数据传输至下一级数据聚合层以及数据中心;
数据中心包括数据聚合单元,数据中心的数据聚合单元对最高级精准解密用电数据进行聚合,得到最终聚合用电数据;
对智能电网数据进行多级聚合,以编码解码对内部加权求和的方式对用电数据进行梳理,实现加密;编码器使用随机权值的前向网络进行数据加权求和的计算,得到一组维度为N的加密用电数据;解码器对得到的加密用电数据进行解密操作,解码器为FC全连接结构;解码器训练的权值和编码器的随机权值进行对应,解码器与编码器结合进行训练;
所述用户端编码器与第一级数据聚合层的第一级解码器构成编码解码对,所述每一级数据聚合层的编码器与其下一级数据聚合层的解码器构成编码解码对;
所述最大置信位通过如下方式获得:
利用用电数据测试集对训练好的编码解码对进行测试,计算测试集的待加密用电数据的损失均值,并以损失均值的数据位数作为最大置信位;
所述编码解码对的训练方法如下:
对用电数据训练集中的原始数据进行若干次循环移位,每次移动一位,得到一组待加密用电数据,待加密用电数据条数为原始数据位数;
编码器对待加密用电数据进行加密,得到加密用电数据;解码器对加密用电数据进行解密,得到粗糙解密用电数据;
计算单条待加密用电数据的损失Loss:其中,st为粗糙用电数据第t位的数值,yt为粗糙用电数据对应的待加密用电数据第t位的数值,b表示b进制,R表示粗糙用电数据的位数,bt表示以b为底数且以t为指数的指数值;
计算该组待加密用电数据的损失均值,将损失均值的数据位数作为当前最大置信位v;
根据当前最大置信位,计算粗糙用电数据各数据位的置信度:其中,Pt表示数据位t的置信度;
针对粗糙解密用电数据中表征原始数据同一数据位的数值,累加相同数值的置信度,并将最大置信度对应的数值作为原始数据相应数据位的精准解密数值,从而获得精准解密用电数据;
计算原始数据与精准解密用电数据之间的差异,调整编码器、解码器的参数,使原始数据与精准解密用电数据之间的差异收敛并趋近于零。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508572.2A CN112507366B (zh) | 2020-12-18 | 2020-12-18 | 一种智能电网中多维数据高效数据聚合的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508572.2A CN112507366B (zh) | 2020-12-18 | 2020-12-18 | 一种智能电网中多维数据高效数据聚合的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112507366A CN112507366A (zh) | 2021-03-16 |
CN112507366B true CN112507366B (zh) | 2024-03-26 |
Family
ID=74922512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011508572.2A Active CN112507366B (zh) | 2020-12-18 | 2020-12-18 | 一种智能电网中多维数据高效数据聚合的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112507366B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113364595B (zh) * | 2021-05-24 | 2023-04-07 | 南方电网数字电网研究院有限公司 | 电网隐私数据签名聚合方法、装置和计算机设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783925A (zh) * | 2010-03-30 | 2010-07-21 | 南京邮电大学 | 一种用于对等计算机顶盒的视频数据安全保护方法 |
CN109359704A (zh) * | 2018-12-26 | 2019-02-19 | 北京邮电大学 | 一种基于自适应平衡集成与动态分层决策的多分类方法 |
CN109558898A (zh) * | 2018-11-09 | 2019-04-02 | 复旦大学 | 一种基于深度神经网络的高置信度的多选择学习方法 |
CN109783827A (zh) * | 2019-01-31 | 2019-05-21 | 沈阳雅译网络技术有限公司 | 一种基于动态线性聚合的深层神经机器翻译方法 |
CN110536259A (zh) * | 2019-08-27 | 2019-12-03 | 南京邮电大学 | 一种基于雾计算的轻量级隐私保护数据多级聚合方法 |
CN111294366A (zh) * | 2020-05-13 | 2020-06-16 | 西南石油大学 | 智能电网中抗密钥泄露的加密数据聚合的统计分析方法 |
CN111967609A (zh) * | 2020-08-14 | 2020-11-20 | 深圳前海微众银行股份有限公司 | 模型参数验证方法、设备及可读存储介质 |
WO2020244070A1 (zh) * | 2019-06-06 | 2020-12-10 | 平安科技(深圳)有限公司 | 数字信息加密方法、装置、计算机设备和存储介质 |
-
2020
- 2020-12-18 CN CN202011508572.2A patent/CN112507366B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783925A (zh) * | 2010-03-30 | 2010-07-21 | 南京邮电大学 | 一种用于对等计算机顶盒的视频数据安全保护方法 |
CN109558898A (zh) * | 2018-11-09 | 2019-04-02 | 复旦大学 | 一种基于深度神经网络的高置信度的多选择学习方法 |
CN109359704A (zh) * | 2018-12-26 | 2019-02-19 | 北京邮电大学 | 一种基于自适应平衡集成与动态分层决策的多分类方法 |
CN109783827A (zh) * | 2019-01-31 | 2019-05-21 | 沈阳雅译网络技术有限公司 | 一种基于动态线性聚合的深层神经机器翻译方法 |
WO2020244070A1 (zh) * | 2019-06-06 | 2020-12-10 | 平安科技(深圳)有限公司 | 数字信息加密方法、装置、计算机设备和存储介质 |
CN110536259A (zh) * | 2019-08-27 | 2019-12-03 | 南京邮电大学 | 一种基于雾计算的轻量级隐私保护数据多级聚合方法 |
CN111294366A (zh) * | 2020-05-13 | 2020-06-16 | 西南石油大学 | 智能电网中抗密钥泄露的加密数据聚合的统计分析方法 |
CN111967609A (zh) * | 2020-08-14 | 2020-11-20 | 深圳前海微众银行股份有限公司 | 模型参数验证方法、设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
一种隐私保护的智能电网多级用户电量聚合控制方案;沈华;张明武;;密码学报(第02期);全文 * |
基于雾计算的智能电网安全与隐私保护数据聚合研究;陈思光;杨熠;黄黎明;韩林秀;吴蒙;;南京邮电大学学报(自然科学版)(第06期);全文 * |
智能电网多级网络下多维数据聚合方案;周华;陈杰;张跃宇;党岚君;;密码学报(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112507366A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4862159B2 (ja) | 量子鍵配送方法、通信システムおよび通信装置 | |
Fung et al. | Practical issues in quantum-key-distribution postprocessing | |
CN108629193B (zh) | 一种针对人工神经网络模型的加密保护系统及方法 | |
CN112543187B (zh) | 基于边缘区块链的工业物联网安全数据共享方法 | |
CN105553648A (zh) | 量子密钥分发、隐私放大及数据传输方法、装置及系统 | |
CN102571357B (zh) | 一种签名的实现方法和装置 | |
CN101540760A (zh) | 量子密钥协商方法 | |
CN112732695B (zh) | 一种基于区块链的云存储数据安全去重方法 | |
CN108833087B (zh) | 一种基于轨道角动量的多用户量子身份认证方法 | |
CN116887073A (zh) | 一种基于计算机网络通信的电能表数据采集控制系统 | |
CN112507366B (zh) | 一种智能电网中多维数据高效数据聚合的方法和系统 | |
CN102045161A (zh) | 量子密钥协商方法 | |
CN116957064A (zh) | 基于知识蒸馏的联邦学习隐私保护模型训练方法及系统 | |
Nasser et al. | Polar codes for arbitrary classical-quantum channels and arbitrary cq-macs | |
CN111246462B (zh) | 一种终端与电能表间的数据安全传输方法、系统及设备 | |
Wen et al. | Modified Bennett-Brassard 1984 quantum key distribution protocol with two-way classical communications | |
CN116451805A (zh) | 一种基于区块链抗毒化攻击的隐私保护联邦学习方法 | |
CN116847335A (zh) | 一种基于北斗三代的通信报文加密压缩系统 | |
CN108011714B (zh) | 基于密码学运算实现数据对象主体标识的保护方法及系统 | |
CN113285800B (zh) | 基于相干态的连续变量量子身份认证方法和系统 | |
CN113904779B (zh) | 基于超密编码的身份认证方法、系统、设备和存储介质 | |
CN113489690B (zh) | 强抗密钥暴露的在线/离线外包数据完整性审计方法 | |
CN117917041A (zh) | 生成共享加密密钥 | |
CN108989031B (zh) | 一种多比特纠错编码解码方法 | |
US20230171092A1 (en) | System and Method for Secure Detection of Similarity and Dissimilarity of Events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |