CN116383666B - 一种电力数据预测方法、装置及电子设备 - Google Patents
一种电力数据预测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116383666B CN116383666B CN202310585263.2A CN202310585263A CN116383666B CN 116383666 B CN116383666 B CN 116383666B CN 202310585263 A CN202310585263 A CN 202310585263A CN 116383666 B CN116383666 B CN 116383666B
- Authority
- CN
- China
- Prior art keywords
- ciphertext
- sequence
- prediction
- power data
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Computer Hardware Design (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioethics (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
Abstract
本发明提供了一种电力数据预测方法、装置及电子设备。电力数据预测方法包括：获取电力数据时间序列作为明文序列；基于全同态加密算法对明文序列进行加密获得密文序列；将密文序列输入训练好的预测模型输出下一时间步长的密文预测结果；预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理；对密文预测结果进行解密获得下一时间步长的明文预测结果。实现了密文预测，确保电力数据的隐私性和安全性；预测模型的卷积层仅执行一次密文乘法，提高了密文计算速度和可用性；特征加权单元使预测模型更倾向于权重高的特征，以便得到更准确的预测结果。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种电力数据预测方法、装置及电子设备。
背景技术
电力数据的准确、快速预测不仅对电力系统的稳定、正常运行至关重要，也会对整个社会的生产生活产生重大影响。因此，高效、准确地预测电力数据是电力数据研究中的一项重要工作。常见的电力数据预测方案包括回归分析(regression analysis)、灰色模糊预测(grey prediction)、长短期记忆神经网络(long short-term memory neural network)等等。这些预测方法在明文数据预测上都有着很好的预测结果。但由于电力数据的隐私性，将明文数据直接用于预测会造成电力数据信息泄露。
利用同态加密(homomorphic encryption)的性质，在密文上进行同态运算的结果解密后等同于明文直接进行对应同态运算的结果。这一性质使得在密文上直接进行预测成为可能。因此，如何在密文上对电力数据进行预测而不过度降低精确度成为了众多学者的研究方向。相比于直接在明文上进行预测，在密文上进行预测所遇到的问题包括密文数据语义丧失，难以用于计算，密文长度过长，以及加解密时间开销过大等。
随着基于同态加密的预测方案研究不断深入，基于同态加密的神经网络预测方案不断被提出。例如陈嘉翊等人提出的基于联邦学习和同态加密的电力数据预测模型本地保护，他采用LSTM神经网络，将联邦学习与Paillier半同态加密算法相结合，实现了对电力数据和本地模型参数的保护。虽然LSTM能够捕捉到密文序列中的长期依赖关系，同时可自动提取特征。但是，LSTM模型采用串行的方式处理数据，且同态密文比明文需要更长的预测时间，很可能需要难以接受的训练预测时间；此外因为同态加密通常仅支持有限次乘法，多次的重缩放会导致预测结果不可用。因此，密文预测领域的准确性和计算性能仍然存在挑战。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，实现对电力数据准确、高效地密文预测，提供一种电力数据预测方法、装置及电子设备。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种电力数据预测方法，包括：获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将所述电力数据时间序列作为明文序列；基于全同态加密算法对明文序列进行加密获得密文序列；将密文序列输入训练好的预测模型，所述预测模型输出下一时间步长的密文预测结果；其中，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，所述特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理；基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种电力数据预测装置，实现本发明第一方面所述的电力数据预测方法，包括：明文序列获取模块，用于获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将所述电力数据时间序列作为明文序列；加密模块，基于全同态加密算法对明文序列进行加密获得密文序列；预测模块，将密文序列输入训练好的预测模型，所述预测模型输出下一时间步长的密文预测结果；其中，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，所述特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理；解密模块，基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面所述的电力数据预测方法。
为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的电力数据预测方法。
本发明的有益技术效果为：本发明利用全同态加密算法对电力数据时间序列进行加密，实现密文预测，确保了电力数据的隐私性和安全性；预测模型采用卷积神经网络结构，特征向量仅在卷积层中进行了一次同态乘法，只需要进行一次重缩放，大大保证了密文的计算速度和可用性(由于随着重缩放次数的增加，准确度会逐渐降低，最终导致数据不可用)；在预测模型中采用特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理，使预测模型更倾向于权重高的特征，以得到更准确的预测结果。
附图说明
图1是本发明一实施例提供的电力数据预测方法的流程示意图；
图2是本发明一实施例提供的权重神经网络的结构示意图；
图3是本发明一实施例提供的预测模型的结构示意图；
图4是本发明一种应用场景中电力数据预测方法的流程示意图；
图5是本发明一实施例提供的电力数据预测装置的功能模块图；
图6是本发明一实施例提供的实现电力数据预测方法的电子设备的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种电力数据预测方法，在一种实施例中，如图1所示，包括：
步骤S1，获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将电力数据时间序列作为明文序列。电力数据优选但不限于包括时间、当前用电负荷、降雨量、气温和风速。设电力数据时间序列的时间长度为N，时间步长为T，N＞T。每个时刻的电力数据包括f维特征，f为正整数，优选地，f为5。
在本实施例中，优选地，为提升数据质量，获取明文序列后，还包括数据预处理步骤，数据预处理步骤包括对明文序列进行数据升维、量化、清洗等操作。
步骤S2，基于全同态加密算法对明文序列进行加密获得密文序列。全同态加密算法优选但不限于为CKKS全同态加密算法，单个明文数据加密后获得的密文的数据形式为一个密文多项式。
步骤S3，将密文序列输入训练好的预测模型，预测模型输出下一时间步长的密文预测结果；其中，如图3所示，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理。密文序列在经过预测模型的卷积神经网络处理后仍是密文多项式的形式，此时还无法得到直观的预测结果，需要进行解密，进入步骤S4。
步骤S4，基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
CKKS的原称是Cheon-Kim-Kim-Song，它是一个同态加密算法的名称，由四位作者的姓氏组成。CKKS算法是2017年论文《Homomorphic Encryption for Arithmetic ofApproximate Numbers》中提出的近似计算同态加密算法。CKKS同态加密算法可以对复数向量进行加密，并支持加法、乘法和旋转等同态操作，适用于对实数进行算术运算的场景。
CKKS同态加密算法包括如下步骤：
1、系统初始化
给定系统安全系数λ和有限层次全同态加密的深度上限L。
CKKS系统选择N∈{x：x mod 2＝0}，p>0以及模数P。定义模数规模Q＝q0·pL，使得N和P·Q满足安全等级λ。
选择用户的私钥的分布χs，错误分布χe以及随机分布χr。
2、用户密钥生成
首先，用户使用初始化得到的分布生成s→χs，a→RQ，e→χe，生成私钥sk←(1，s)，计算公钥pk←(b，a)，使得下列公式成立：
b＝-a·s+e mod Q (1)
实例化a′←RPQ，e←χe，得到辅助计算密钥ack满足：
b′＝-a′·s+e′+P·s2 mod P·Q (2)
以便辅助计算密钥用于乘法运算。
3、CKKS加密
用户提供明文m，CKKS系统生成r←χr，e0，e1←χe，随后调用加密公式生成密文c：
c←r·pk+(m+e0，e1)mod Q (3)
随后CKKS系统将密文c返回用户。
4、密文加法
假设用户向CKKS系统提供了密文c，CKKS调用加法公式(4)：
cadd＝c+c′mod q (4)
得到cadd，满足cadd等于c，c′对应的明文之和的CKKS密文。
5、密文乘法
5.1明文与密文相乘
假设用户向CKKS系统提供了密文和明文m∈Rq，CKKS调用乘法公式(5)：
cmult←m·c mod p (5)
得到cmult，满足cmult等于c对应的明文与m之积的密文。
5.2密文之间相乘
假设用户向CKKS系统提供了密文c，CKKS调用乘法公式(7)：
(d0，d1，d2)＝(c0c′0，c0c′1+c′0c1，c1c′1) (6)
得到cmult，满足cmult等于c，c′对应的明文之积的密文。
6、CKKS解密
假设用户向CKKS系统提供密文和私钥sk，CKKS调用公式(8)进行解密：
m′＝<c，sk>mod q＝c0+c1·s mod q≈m (8)
得到明文m的近似值m′，之所以是近似值，是因为CKKS将加密噪声视为近似计算误差的一部分，采用定点近似运算，牺牲部分精度换取效率，但在应用于电力数据时该误差极小，可忽略。
7、重缩放
本步骤为CKKS系统的自行优化，设CKKS系统获取密文模数q′<q，随后调用重缩放公式(9)：
通过重缩放将密文运算的绝对精度固定，限制了乘法过程中缩放规模的增加。
在本发明提供的电力数据预测方法的一种实施例中，为了提高CKKS同态加密算法在预测模型中的运算效率，对传统CKKS进行了改进，对传统CKKS算法中的同态乘进行优化，在改进的CKKS同态加密算法中基于快速傅里叶变换进行密文之间相乘，显著提高了运算效率。
在本实施例中，设需要对第一密文和第二密文进行相乘操作，这里的第一密文或第二密文优选但不限于为某时刻电力数据的某维数据的密文，为多项式形式，设第一密文为多项式A(x)，第二密文为多项式B(x)，求取第一密文和第二密文的乘积的具体操作过程为：
步骤A，分别将第一密文和第二密文转换为点值形式。以第一密文A(x)为例，进行如下转换：
其中，ωj＝e-2πi/n，ai为第i项多项式系数。表示第一密文的点值形式，第二密文转换过程相同，不再赘述，获得的第二密文点值形式表示为/>
步骤B，分别对第一密文和第二密文的点值形式进行FFT转换，获得第一密文对应的第一离散傅里叶序列(即DFT值序列)以及第二密文对应的第二离散傅里叶序列(即DFT值序列)。
步骤C，将第一离散傅里叶序列和第二离散傅里叶序列进行逐个元素相乘(即每个元素的DFT值分别相乘)获得相乘离散序列，根据相乘离散序列获得相乘结果的点值形式
步骤D，对相乘离散序列的点值形式进行反离散傅里叶变换获得第一密文和第二密文的相乘结果，相乘结果也为多项式，具体的，依照下列公式转换回多项式形式：
ci为多项式C(x)中第i项系数，多项式求取完成。
改进的CKKS全同态加密方案对密文的同态乘法运行进行了优化，相较于其他诸如BFV同态加密，Paillier半同态加密等，能够支持浮点数的同态加密运算，更适应实际的应用场景。本实施例保证了密文安全性：同态加密的安全性基于容错学习问题(Learningwith Error Problem，LWE)和环上容错学习问题(Ring Learning with Error Problem，RLWE)，至今还没有在算法上找到破解漏洞，密文的安全性得到了很好的保证。
在本发明提供的电力数据预测方法的一种实施例中，在步骤S3中，注意力权重矩阵通过训练权重神经网络获得，包括：
步骤一，建立权重神经网络，如图2所示，权重神经网络包括全局平均池化层和权重全连接层；其中，全局平均池化层将权重训练样本数据压缩为特征描述符，权重全连接层表示为FC1(A)＝W1*A+b1，A表示全局平均池化层输出的特征描述符，W1表示注意力权重矩阵，b1表示权重全连接层的偏置向量。
步骤二，构建权重训练数据集。权重训练数据集包括多个权重密文训练样本，权重密文训练样本通过电力数据时间序列同态加密后获得。
步骤三，利用权重训练数据集对权重神经网络进行码练，训练完成后输出注意力权重矩阵。在权重神经网络训练过程中，预先设置最大训练轮数，不断利用权重训练数据集对权重神经网络进行码练，当训练轮数达到最大训练轮数时停止训练输出注意力权重矩阵，在每轮训练中利用交叉熵损失函数计算每维特征的信息熵，并基于信息熵调整注意力权重矩阵中该维特征的注意力权重。使得注意力权重矩阵中不同维特征具有不同的注意力权重，比如一个特征它的值大多数为0，偶尔有几个值有效，但它又是真实数据，此时对他的注意力权重就会偏低，避免影响预测数据。最大训练轮数优选但不限于为50到200，具体的，可为100。
在本实施例中，通过引入注意力机制思想，权重神经网络对每个特征的重要性进行自主学习，自行学习哪一些特征是重要的，哪一些特征是次要的，对预测模型的卷积神经网络进行了优化，使得其能够避免参数冗余(如现有的LSTM模型的参数冗余问题)，提高了整个网络的性能。
在本发明提供的电力数据预测方法的一种实施例中，如图3所示，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，本实施例采用的卷积神经网络相较于循环神经网络等串行计算方案，卷积操作中特征向量只进行了一次同态乘法，从而只需进行一次重缩放(rescaling)，大大保证了密文的计算速度以及可用性。
在本实施例中，预测模型的输入数据是一个时间序列电力数据集经上述改进的CKKS同态加密方案加密后得到的密文序列X，具有以下形状：(N，T，f)，其中N是样本数量(即电力数据时间序列的时间长度)，T是时间步长，f是电力数据的维度(即输入特征的数量)。
在本实施例中，优选地，特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理，具体为：
Y＝X*W1；其中，Y表示加权特征数据，X表示密文序列。
将注意力权重矩阵W1与输入数据X进行逐元素相乘，生成重新加权的特征数据，即加权特征数据Y。Y的形状为(N，T，f)。
在本实施例中，优选地，线性层对特征加权单元输出的加权特征数据按照如下公式进行特征变换：
Z＝Y*W2+b2；
其中，Z表示线性层的输出特征，W2表示线性层权重矩阵，b2表示线性层偏置向量。
在本实施例中，优选地，在线性层的输出特征上应用卷积层，以提取时序特征。可以使用一维卷积操作来处理时间维度。卷积操作为：Z′＝Conv1D(Z，K)＝Z×K，Z′表示卷积层输出特征，K是卷积核，K的大小为(1，f,1)，f表示电力数据的特征维数，运算符×为逐元素的乘积累加运算，在此密文只进行了一次密文乘运算。对于每i个样本，对应的输入卷积层的特征为Z[i]，形状为(T，f)。
在本实施例中，优选地，将卷积层的输出进行展平(Flatten)，然后输入到预测全连接层中，用于预测目标特征。预测全连接层对卷积层的输出特征的展平结果进行如下处理：
FC3(Flatten(Z′))＝W3*Flatten(Z′)+b3；
其中，Flatten(Z′)表示卷积层的输出特征的展平结果，W3表示预测全连接层权重矩阵，b3表示预测全连接层偏置向量，Z′表示卷积层的输出特征。
在本实施例中，优选地，输出层实际为激活层，通过激活函数(如线性激活函数或适当的非线性激活函数)将预测全连接层的输出映射到合适的预测范围，得到目标特征的预测值的密文。具体的，激活函数优选但不限于为Sigmoid或Relu。
在本实施例中，在预测模型的训练过程中，优选但不限于采用均方误差MSE作为损失函数，以损失函数最小为训练目标进行训练。
图4展示了本发明电离数据预测方法在一种应用场景中的流程示意图，主要由明文数据、密文数据、卷积神经网络、密文预测结果和明文预测结果5部分组成，详细说明如下：
明文数据：它是有关电力信息的明文数据集，数据项可能包括时间，当前用电负荷，降雨量，气温等方面。
密文数据：密文数据是明文数据经过数据升维，量化处理，数据清洗等操作后，利用CKKS全同态加密方案将明文数据进行加密后得到的密文。单个密文加密后的数据形式为一个密文多项式。
CKKS全同态加/解密：现有同态加密的一种流行方案，支持对浮点数进行同态加密运算，其引入了加密误差，牺牲一部分精度的代价换来了较高的计算效率。
预测模型对应的卷积神经网络：一个通用完整的卷积神经网络包含输入层、卷积层、池化层、线性层、激活函数层以及全连接层。由于卷积层中的处理方法为特征向量的点积，不会造成密文多项式的重复升幂，大大降低了后续计算的复杂度。为了便于计算，本应用场景中预测模型的卷积神经网络包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层。
密文预测结果：密文数据在经过预测模型对应的卷积神经网络处理后仍是密文多项式的形式，此时还无法得到直观的预测结果。
明文预测结果：将密文预测结果直接进行解密，由于所用加密算法的同态性，所得到的结果直接是明文预测结果。
本发明还公开了一种电力数据预测装置100，实现本发明提供的电力数据预测方法，本发明提供的电力数据预测装置100可以安装于电子设备中。装置的功能框图如图5所示，包括：
明文序列获取模块101，用于获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将电力数据时间序列作为明文序列；
加密模块102，基于全同态加密算法对明文序列进行加密获得密文序列；
预测模块103，将密文序列输入训练好的预测模型，预测模型输出下一时间步长的密文预测结果；其中，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理；
解密模块104，基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
本发明上述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
本发明还提供了一种电子设备，在一种实施例中，如图6所示，电子设备包括至少一个处理器处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在存储器11中并可在处理器10上运行的计算机程序，如电离数据预测方法对应的程序。
其中，处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器10是电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在存储器11内的程序或者模块(例如执行电力数据预测方法程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如电力数据预测方法程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线12可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器11以及至少一个处理器10等之间的连接通信。
通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
本发明还公开了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本发明提供的电力数据预测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种电力数据预测方法，其特征在于，包括：
获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将所述电力数据时间序列作为明文序列；
基于全同态加密算法对明文序列进行加密获得密文序列；
将密文序列输入训练好的预测模型，所述预测模型输出下一时间步长的密文预测结果；其中，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，所述特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理，注意力权重矩阵中不同维特征具有不同的注意力权重，具体为将注意力权重矩阵W1与密文序列X进行逐元素相乘，生成加权特征数据Y：
Y＝X*W1；
其中，Y的形状为(N，T，f)；X表示密文序列，形状为(N，T，f)；N是电力数据时间序列的时间长度，T是时间步长，f是电力数据的维度数；所述注意力权重矩阵通过训练权重神经网络获得，包括：
步骤一，建立权重神经网络，权重神经网络包括全局平均池化层和权重全连接层；其中，全局平均池化层将权重训练样本数据压缩为特征描述符，权重全连接层表示为FC1(A)＝W1*A+b1，A表示全局平均池化层输出的特征描述符，b1表示权重全连接层的偏置向量；
步骤二，构建权重训练数据集，权重训练数据集包括多个权重密文训练样本，权重密文训练样本通过电力数据时间序列同态加密后获得；
步骤三，利用权重训练数据集对权重神经网络进行训练，训练完成后输出注意力权重矩阵；在每轮训练中利用交叉熵损失函数计算每维特征的信息熵，并基于信息熵调整注意力权重矩阵中该维特征的注意力权重；
基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
2.如权利要求1所述的电力数据预测方法，其特征在于，所述线性层对特征加权单元输出的加权特征数据按照如下公式进行特征变换：
Z＝Y*W2+b2；
其中，Z表示线性层的输出特征，W2表示线性层权重矩阵，b2表示线性层偏置向量，Y表示特征加权单元输出的加权特征数据。
3.如权利要求2所述的电力数据预测方法，其特征在于，所述卷积层使用一维卷积，卷积核K的大小为(1，f，1)，f是电力数据的特征维数，卷积层的操作为：Z′＝Z×K；
其中，Z′表示卷积层的输出特征，运算符×表示逐元素的乘积累加运算。
4.如权利要求3所述的电力数据预测方法，其特征在于，所述预测全连接层对卷积层的输出特征的展平结果进行如下处理：
FC3(Flatten(Z′))＝W3*Flatten(Z′)+b3；
其中，Flatten(Z′)表示卷积层的输出特征的展平结果，W3表示预测全连接层权重矩阵，b3表示预测全连接层偏置向量。
5.如权利要求1或2或3所述的电力数据预测方法，其特征在于，所述全同态加密算法为改进的CKKS同态加密算法，在改进的CKKS同态加密算法中基于快速傅里叶变换进行密文之间相乘。
6.如权利要求5所述的电力数据预测方法，其特征在于，第一密文和第二密文相乘操作过程为：
分别将第一密文和第二密文转换为点值形式；
分别对第一密文和第二密文的点值形式进行FFT转换，获得第一密文对应的第一离散傅里叶序列以及第二密文对应的第二离散傅里叶序列；
将第一离散傅里叶序列和第二离散傅里叶序列进行逐个元素相乘获得相乘离散序列；
对相乘离散序列进行反离散傅里叶变换获得第一密文和第二密文的相乘结果。
7.一种电力数据预测装置，实现如权利要求1-6之一所述的电力数据预测方法，其特征在于，包括：
明文序列获取模块，用于获取时间长度大于一个时间步长的电力数据时间序列，电力数据包括多维特征，将所述电力数据时间序列作为明文序列；
加密模块，基于全同态加密算法对明文序列进行加密获得密文序列；
预测模块，将密文序列输入训练好的预测模型，所述预测模型输出下一时间步长的密文预测结果；其中，预测模型包括依次连接的特征加权单元、线性层、卷积层、预测全连接层和输出层，所述特征加权单元基于注意力权重矩阵对密文序列中各维特征进行加权处理，注意力权重矩阵中不同维特征具有不同的注意力权重，具体为将注意力权重矩阵W1与密文序列X进行逐元素相乘，生成加权特征数据Y：
Y＝X*W1；
其中，Y的形状为(N，T，f)；X表示密文序列，形状为(N，T，f)；N是电力数据时间序列的时间长度，T是时间步长，f是电力数据的维度数；
所述注意力权重矩阵通过训练权重神经网络获得，包括：
步骤一，建立权重神经网络，权重神经网络包括全局平均池化层和权重全连接层；其中，全局平均池化层将权重训练样本数据压缩为特征描述符，权重全连接层表示为FC1(A)＝W1*A+b1，A表示全局平均池化层输出的特征描述符，b1表示权重全连接层的偏置向量；
步骤二，构建权重训练数据集，权重训练数据集包括多个权重密文训练样本，权重密文训练样本通过电力数据时间序列同态加密后获得；
步骤三，利用权重训练数据集对权重神经网络进行训练，训练完成后输出注意力权重矩阵；在每轮训练中利用交叉熵损失函数计算每维特征的信息熵，并基于信息熵调整注意力权重矩阵中该维特征的注意力权重；
解密模块，基于全同态加密算法对密文预测结果进行解密获得下一时间步长的明文预测结果。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任意一项所述的电力数据预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310585263.2A CN116383666B (zh) | 2023-05-23 | 2023-05-23 | 一种电力数据预测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310585263.2A CN116383666B (zh) | 2023-05-23 | 2023-05-23 | 一种电力数据预测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116383666A CN116383666A (zh) | 2023-07-04 |
| CN116383666B true CN116383666B (zh) | 2024-04-19 |
Family
ID=86969640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310585263.2A Active CN116383666B (zh) | 2023-05-23 | 2023-05-23 | 一种电力数据预测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383666B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116595566B (zh) * | 2023-07-17 | 2023-10-20 | 山东云天安全技术有限公司 | 数据加密系统及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
| CN113168554A (zh) * | 2018-12-29 | 2021-07-23 | 华为技术有限公司 | 一种神经网络压缩方法及装置 |
| CN114722700A (zh) * | 2022-03-17 | 2022-07-08 | 西安电子科技大学 | 隐私保护的短期个人负载预测方法、系统、设备及终端 |
| CN114761974A (zh) * | 2019-09-24 | 2022-07-15 | 华为技术有限公司 | 用于量化神经网络的权重和输入的训练方法 |
| CN115242372A (zh) * | 2022-06-30 | 2022-10-25 | 中国电子科技集团公司第三十研究所 | 一种基于批打包编码的密态纵向联邦逻辑回归训练方法 |
| CN115249090A (zh) * | 2022-07-04 | 2022-10-28 | 重庆大学 | 基于同态加密的电量预测方法及系统 |
| CN115622685A (zh) * | 2022-12-16 | 2023-01-17 | 成方金融科技有限公司 | 隐私数据同态加密方法、装置及系统 |
| CN115828277A (zh) * | 2022-10-25 | 2023-03-21 | 国家计算机网络与信息安全管理中心 | 数据预测方法、装置、电子设备及存储介质 |
| CN115907231A (zh) * | 2023-01-04 | 2023-04-04 | 国网商用大数据有限公司 | 一种电网数据预测的方法及装置 |
| CN115996119A (zh) * | 2022-12-23 | 2023-04-21 | 青岛大学 | 一种具有隐私保护的模型预测方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245659B (zh) * | 2019-05-21 | 2021-08-13 | 北京航空航天大学 | 基于前背景相互关系的图像显著对象分割方法及装置 |
| US20220156576A1 (en) * | 2020-11-13 | 2022-05-19 | Amir RASOULI | Methods and systems for predicting dynamic object behavior |
-
2023
- 2023-05-23 CN CN202310585263.2A patent/CN116383666B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113168554A (zh) * | 2018-12-29 | 2021-07-23 | 华为技术有限公司 | 一种神经网络压缩方法及装置 |
| CN114761974A (zh) * | 2019-09-24 | 2022-07-15 | 华为技术有限公司 | 用于量化神经网络的权重和输入的训练方法 |
| CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
| CN114722700A (zh) * | 2022-03-17 | 2022-07-08 | 西安电子科技大学 | 隐私保护的短期个人负载预测方法、系统、设备及终端 |
| CN115242372A (zh) * | 2022-06-30 | 2022-10-25 | 中国电子科技集团公司第三十研究所 | 一种基于批打包编码的密态纵向联邦逻辑回归训练方法 |
| CN115249090A (zh) * | 2022-07-04 | 2022-10-28 | 重庆大学 | 基于同态加密的电量预测方法及系统 |
| CN115828277A (zh) * | 2022-10-25 | 2023-03-21 | 国家计算机网络与信息安全管理中心 | 数据预测方法、装置、电子设备及存储介质 |
| CN115622685A (zh) * | 2022-12-16 | 2023-01-17 | 成方金融科技有限公司 | 隐私数据同态加密方法、装置及系统 |
| CN115996119A (zh) * | 2022-12-23 | 2023-04-21 | 青岛大学 | 一种具有隐私保护的模型预测方法、装置、设备及介质 |
| CN115907231A (zh) * | 2023-01-04 | 2023-04-04 | 国网商用大数据有限公司 | 一种电网数据预测的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Cryptography and Security Tools and Techniques for Networked Embedded Systems;Sijie Fan等;《Security and Communication Networks》;20191111;1-6 * |
| 基于Attention-CNN的加密流量应用类型识别;陈明豪等;《计算机科学》;20210413;第48卷(第04期);325-332 * |
| 基于联邦学习和同态加密的电力数据预测模型本地保护;陈嘉翊等;《信息安全研究》;第9卷(第3期);228-234 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116383666A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110753926B (zh) | 用于数据加密的方法、系统和计算机可读存储介质 | |
| CN109993296B (zh) | 量化实现方法及相关产品 | |
| CN101867474B (zh) | 数字签名方法 | |
| CN116383666B (zh) | 一种电力数据预测方法、装置及电子设备 | |
| US10635404B2 (en) | Mixed-coordinate point multiplication | |
| CN113746620B (zh) | 同态加密方法、设备、介质及计算机程序产品 | |
| CN109359588B (zh) | 一种新的隐私保护下非交互式的k近邻分类方法 | |
| Hu et al. | A high speed processor for elliptic curve cryptography over NIST prime field | |
| CN116432868B (zh) | 基于节点查询集的地铁客流量预测方法、装置及存储介质 | |
| CN116415744B (zh) | 基于深度学习的电力预测方法、装置及存储介质 | |
| Parihar et al. | Fast Montgomery modular multiplier for rivest–shamir–adleman cryptosystem | |
| Wang et al. | Two-layer feature reduction for sparse-group lasso via decomposition of convex sets | |
| WO2023163652A2 (en) | Privacy-preserving neural network model and privacy-preserving prediction using the privacy-preserving neural network model | |
| CN112149141A (zh) | 模型训练方法、装置、设备和介质 | |
| EP3972188A1 (en) | Low circuit depth homomorphic encryption evaluation | |
| CN115834020A (zh) | 同态加密自举方法和装置、处理器、片上系统以及计算设备 | |
| de Clercq et al. | Efficient software implementation of ring-LWE encryption | |
| US20120124114A1 (en) | Arithmetic device | |
| JP2022160985A (ja) | 同型暗号文に対する非多項式演算を行う装置及び方法 | |
| CN115918028A (zh) | 对同态密文执行统计操作的装置及其方法 | |
| Bin et al. | A Novel Hyper Chaotic Image Encryption Algorithm Using Four Directional Diffusion Based on Matrix | |
| CN116930973B (zh) | 一种场景自适应的声雷达风功率精确预测方法 | |
| CN102043606A (zh) | 处理有限域运算的方法与运算电路 | |
| Li et al. | A CKKS-based privacy preserving extreme learning machine | |
| CN115167641B (zh) | 一种惯性自适应温控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |