CN116761164B - 一种基于矩阵补全的隐私数据传输方法及系统 - Google Patents

一种基于矩阵补全的隐私数据传输方法及系统 Download PDF

Info

Publication number
CN116761164B
CN116761164B CN202311008554.1A CN202311008554A CN116761164B CN 116761164 B CN116761164 B CN 116761164B CN 202311008554 A CN202311008554 A CN 202311008554A CN 116761164 B CN116761164 B CN 116761164B
Authority
CN
China
Prior art keywords
matrix
data
module
noise
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311008554.1A
Other languages
English (en)
Other versions
CN116761164A (zh
Inventor
王继民
张纪峰
赵延龙
郭金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Academy of Mathematics and Systems Science of CAS
Original Assignee
University of Science and Technology Beijing USTB
Academy of Mathematics and Systems Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Academy of Mathematics and Systems Science of CAS filed Critical University of Science and Technology Beijing USTB
Priority to CN202311008554.1A priority Critical patent/CN116761164B/zh
Publication of CN116761164A publication Critical patent/CN116761164A/zh
Application granted granted Critical
Publication of CN116761164B publication Critical patent/CN116761164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/009Security arrangements; Authentication; Protecting privacy or anonymity specially adapted for networks, e.g. wireless sensor networks, ad-hoc networks, RFID networks or cloud networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12Detection or prevention of fraud
    • H04W12/121Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H04W12/122Counter-measures against attacks; Protection against rogue devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/66Trust-dependent, e.g. using trust scores or trust relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及电网数据处理技术领域,特别是指一种基于矩阵补全的隐私数据传输方法及系统,方法包括:数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;自相关矩阵估计模块根据原始数据构造当前矩阵,将当前矩阵发送给矩阵补全模块;矩阵补全模块对当前矩阵进行矩阵补全,将补全后的数据矩阵发送给自相关矩阵估计模块;自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将网络相关矩阵发送至加噪模块;加噪模块根据网络相关矩阵,生成与原始数据具有相同统计特性的噪声,使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理。采用本发明,可以避免数据被恶意重构,降低通信开销且减少数据缺失的影响。

Description

一种基于矩阵补全的隐私数据传输方法及系统
技术领域
本发明涉及电网数据处理技术领域,特别是指一种基于矩阵补全的隐私数据传输方法及系统。
背景技术
智能电网一般会高频采集电表数据,主要包括智能电表 IP 地址、用电实时数据等,并可能在此基础上做用户需求和使用习惯的进一步挖掘分析。隐私属性较强的是用电实时数据。
智能电网是建立在高速双向通信网络的基础之上的电网智能化。它将传统的电力系统和先进的智能通信系统、控制技术、采集技术与传感技术结合起来,配合全面完善的安全策略,实现电网用户与电力运营商之间的互动,以保证电网智能、可靠、安全、友好、高效地运行。因此,精确、高效、开放的信息系统是未来电网的特性,也是智能电网与传统电网的本质区别。
尤其是随着可再生能源等分布式发电资源数量不断增加以及各类智能化家居等智能终端设备的大量接入,电网企业与电力用户之间、电气设备与控制中心之间会产生大量的数据流。智能电网产生了空前数量的原始信息,这些信息可以准确评估态势感知,提高多个工业系统的智能、效率和可持续性。研究者普遍认为智能电网的真正价值不在于物理互联设备本身,而在于它们所包含的大量粗糙、未经提炼的信息,以及如何高效、快速、有意义地处理这些信息。因此,近年来智能电网中数据的分析和处理受到了广泛的关注,其中数据的隐私保护问题一直是研究的热点与难点。
由于海量数据的采集、传输和处理,智能电网中各类参与者之间的频繁通信导致了其数据隐私问题变得越来越严重,例如敏感数据会直接暴露用户的隐私信息。因此,需要通过隐私保护技术来对智能电网数据进行处理,以保障智能电网中数据的隐私安全,促进智能电网应用的实际开展。
为了最大限度地实现智能电网数据信息的采集获取,不同机构会在同一个物理区域中部署各自的数据采集网络。这些网络覆盖范围相互重叠,但在通信过程中属于不同的信任域。因此,分属不同信任域的网络节点获取的数据需要对其它信任域保持隐私性,但是,目前的隐私保护方法通常存在以下两种问题:
首先,智能电网的不同信任域在同一物理区域中采集数据并传输,但它们担心传输的原始数据可能会被不同信任域所窃听,因此要在传输前进行隐私保护处理。然而一般的数据扰动处理可能会遭受恶意重构导致原始数据泄露。
其次,在智能电网的数据采集过程中,由于节点无法抵抗内在因素(例如节点的功耗、链接故障、数据包丢失)以及外部因素(例如恶意攻击)会有大量的数据缺失,同时节点之间频繁的通信造成了较高的通信开销。
发明内容
本发明实施例提供了一种基于矩阵补全的隐私数据传输方法及系统,用于解决智能电网中不同信任域之间的数据隐私保护问题。所述技术方案如下:
一方面,提供了一种基于矩阵补全的隐私数据传输方法,该方法由基于矩阵补全的隐私数据传输系统实现,所述基于矩阵补全的隐私数据传输系统包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及采集模块;
所述方法包括:
S1、数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;
S2、所述自相关矩阵估计模块根据所述原始数据构造当前矩阵,将所述当前矩阵发送给矩阵补全模块;
S3、所述矩阵补全模块对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块;
S4、所述自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将所述网络相关矩阵发送至加噪模块;
S5、所述加噪模块根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声;
S6、所述采集模块采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给所述加噪模块,所述加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输。
可选地,所述S3的所述矩阵补全模块对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块,包括:
S31、设定迭代次数k,令k=0,初始值,/>,/>;其中,/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
S32、输入所述当前矩阵,/>,根据下述公式(1)和公式(2)计算公式(3):
(1)
(2)
(3)
根据下述公式(4)计算公式(5):
(4)
(5)
根据上述公式(3)和公式(5),计算下述公式(6):
(6)
其中,表示采样元素的索引集合,/>表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
可选地,所述S4的所述自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,包括:
S41、所述自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(7),计算网络相关矩阵/>
(7)。
可选地,所述S5的所述加噪模块根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声,包括:
S51、根据下式(8)计算原始噪声
(8)
S52、根据下述公式(9)对进行特征值分解,得到特征向量:
(9)
S53、根据原始噪声、所述特征向量以及下述公式(10),计算与所述原始数据具有相同统计特性的噪声/>
(10)。
可选地,所述S6的所述加噪模块使用生成的噪声对所述原始数据进行加噪处理,包括:
根据原始数据、与所述原始数据具有相同统计特性的噪声/>以及下述公式(11),计算得到加噪处理后的数据/>
(11)。
另一方面,提供了一种基于矩阵补全的隐私数据传输系统,该系统用于实现基于矩阵补全的隐私数据传输方法,所述基于矩阵补全的隐私数据传输系统包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及采集模块;其中:
所述数据接收模块,用于收集其他节点的原始数据,将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;
所述自相关矩阵估计模块,用于接收其他节点的原始数据,根据所述原始数据构造当前矩阵,将所述当前矩阵发送给矩阵补全模块;根据补全后的数据矩阵,计算网络相关矩阵,并将所述网络相关矩阵发送至加噪模块;
所述矩阵补全模块,用于接收所述当前矩阵,对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块;
所述加噪模块,用于根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声;使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理;
所述采集模块,用于采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给所述加噪模块。
可选地,所述矩阵补全模块,用于:
S31、设定迭代次数k,令k=0,初始值,/>,/>;其中,/>和/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
S32、输入所述当前矩阵,/>,根据下述公式(1)和公式(2)计算公式(3):
(1)
(2)
(3)
根据下述公式(4)计算公式(5):
(4)
(5)
根据上述公式(3)和公式(5),计算下述公式(6):
(6)
其中,表示采样元素的索引集合,/>表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
可选地,所述自相关矩阵估计模块,用于:
S41、所述自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(7),计算网络相关矩阵/>
(7)。
可选地,所述加噪模块,用于:
S51、根据下式(8)计算原始噪声
(8)
S52、根据下述公式(9)对进行特征值分解,得到特征向量:
(9)
S53、根据原始噪声、所述特征向量以及下述公式(10),计算与所述原始数据具有相同统计特性的噪声/>
(10)。
可选地,所述加噪模块,用于:
根据原始数据、与所述原始数据具有相同统计特性的噪声/>以及下述公式(11),计算得到加噪处理后的数据/>
(11)。
另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述基于矩阵补全的隐私数据传输方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述基于矩阵补全的隐私数据传输方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明实施例中,数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;自相关矩阵估计模块根据原始数据构造当前矩阵,将当前矩阵发送给矩阵补全模块;矩阵补全模块对当前矩阵进行矩阵补全,将补全后的数据矩阵发送给自相关矩阵估计模块;自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将网络相关矩阵发送至加噪模块;加噪模块根据网络相关矩阵,生成与原始数据具有相同统计特性的噪声;采集模块采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给加噪模块,加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输。基于本发明的一种基于矩阵补全的数据隐私保护方法,可以解决智能电网中不同信任域之间的数据隐私保护问题。该方案通过给原始数据添加与原始数据具有相同统计特性的噪声,这种噪声难以去除,因此可以避免数据被恶意重构,保证了数据隐私。另外,本发明实施例利用不精确ALM算法进行网络相关矩阵的补全,降低了通信开销并且减少了数据缺失的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种具有多个信任域的智能电网通信环境示意图的结构示意图;
图2是本发明实施例提供的一种基于矩阵补全的隐私数据传输方法流程图;
图3是本发明实施例提供的模拟数据集部分数据的示意图;
图4是本发明实施例提供的节点连通其他节点的个数对隐私性的影响示意图;
图5是本发明实施例提供的节点个数对隐私性的影响示意图;
图6是本发明实施例提供的本发明实施例与不使用矩阵补全方案的通信开销对比示意图;
图7是本发明实施例提供的一种基于矩阵补全的隐私数据传输系统框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于矩阵补全的隐私数据传输方法,该方法可以由基于矩阵补全的隐私数据传输系统实现,基于矩阵补全的隐私数据传输系统可以包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及数据采集节点。
本发明实施例中的一种基于矩阵补全的隐私数据传输方法,主要针对存在多个信任域的智能电网应用场景,即在同一个物理区域的智能电网中有多个属于不同信任域的信息采集传输网络,这些分数不同信任域的网络负责不同种类数据信息的采集和传输,由于是在同一物理区域和时间范围内,所以同一个信任域中数据采集节点收集的数据具有一定相关性。
如图1所示,一个智能电网中有分属于三个不同信任域的信息采集网络,其中每个圆圈、三角和矩形分别代表不同信任域中的节点,同一种形状的节点属于同一个信任域。在通信过程中,每个数据接收节点只与属于同一信任域的相邻节点通信,如在信任域1中的节点z只与相邻的节点z1和z2进行通信。
智能电网中的每个信任域都担心自己的原始数据被其他信任域所获得,同时不希望采集的数据缺失。因此在安全模型中,假设在该智能电网通信环境中具有一些外部攻击和内部因素。外部攻击主要有两种类型:
(1)第一种是攻击者试图攻击智能电网中的智能设备。它可以通过物理攻击和网络攻击来实现。在物理攻击中,攻击者用磁铁等工具使智能设备无法使用在网络攻击中,攻击者使用恶意代码来影响智能设备的正常工作。这类攻击破坏正常节点的通信过程,使得无法发送或接收数据包。
(2) 第二种是恶意重构攻击。攻击者窃听到其他信任域传输的加噪信息然后通过线性过滤技术来获取原始数据。
内部因素主要是由于智能设备自身的故障(如能量耗尽、硬件故障),而导致采集的电力信息丢失。虽然无线通信是智能电网中各个节点之间传输数据的一种更灵活的方式,但也给数据通信的过程带来了不稳定性,导致数据传输的失败。
本发明实施例既要保障数据的隐私安全,防止外部攻击者通过恶意重构手段来或原始数据;同时又要保证在通信后硬件出现意外的情况下,采集的电力数据仍是完整的。
如图2所示的基于矩阵补全的隐私数据传输方法流程图,该方法的处理流程可以包括如下的步骤:
S1、数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块。
一种可行的实施方式中,数据接收模块收集到的原始数据为相邻其他节点的原始数据。
S2、自相关矩阵估计模块根据原始数据构造当前矩阵,将当前矩阵发送给矩阵补全模块。
一种可行的实施方式中,自相关矩阵估计模块接收到原始数据后,根据各个节点接收到的与它相邻的其它节点的数据构成矩阵,例如节点1接收到节点2的数据,作为矩阵第一行第二个数字,节点2接收到节点3的数据,作为矩阵第二行的第三个数字,以此类推,构造当前矩阵。
S3、矩阵补全模块对当前矩阵进行矩阵补全,将补全后的数据矩阵发送给自相关矩阵估计模块。
一种可行的实施方式中,下面先对矩阵补全技术的背景进行简单介绍:
在智能电网环境中,能观察到的数据矩阵元素的数量通常很少。例如在推荐系统中,用户被推荐以评级数字的形式提交反馈,然而用户并不想留下反馈,因此评分矩阵会有很多缺失的元素。而且在物联网中,传感器节点的无线通信范围有限或在断电情况下无法工作,因此收集到的矩阵只有一小部分元素可以用。为了将缺失数据补全,因此提出了矩阵补全技术。
矩阵补全(Matrix Completion,MC)技术指的是通过采样矩阵中的部分元素回复出原始的完整矩阵,其标准形式如下:
(1.1)
其中X和M都是m×n维的矩阵,X是待求的矩阵,M是不完整的矩阵,rank(X)是矩阵X的秩,为采样元素的索引集合,采样符号/>的定义为:
(1.2)
其中,为采样元素。然而上述式子(1.1)是一个NP-hard问题,想要直接求解比较困难。可以通过将秩函数松弛为核范数,将秩函数最小化问题松弛为如下凸优化问题:
(1.3)
其中是矩阵X的核范数,它等于矩阵X的奇异值之和(一个秩为r的矩阵X有r个非零的奇异值,它们的和等于该矩阵的核范数/>),即
(1.4)
其中是X的第k大的奇异值。
为了从不完整的测量矩阵中补全矩阵,本发明实施例采用了一种不精确ALM算法。该方法是对拉格朗日乘子法(Augmented Lagrange Multiplier,ALM)的一种改进算法,它的收敛速度几乎与ALM算法一样快,但所需的部分奇异值分解的数目要少得多。通过这种方法补全矩阵,可以减少通信开销。
不精确ALM算法将矩阵补全问题视为Robust PCA问题的特例,将矩阵补全问题建模为如下形式:
(1.5)
其中,,D为观测矩阵,即自相关矩阵估计模块根据原始数据构造出的当前矩阵。
式子(1.5)中最优化问题的部分增广拉格朗日函数如式子(1.6)所示:
(1.6)
其中,正则化参数u >0。
,/>时 , ALM 算 法 使 用 交 替 方 法 求 解 优 化 问题 :/>。然而不精确 ALM 算法改善了 ALM 算法,它不需要求的精确解。
可选地,基于上述理论,S3的具体操作可以包括下述步骤S31-S34:
S31、设定迭代次数k,令k=0,初始值,/>,/>;输入当前矩阵/>,/>
S32、根据下述公式(2)和公式(3)计算公式(4):
(2)
(3)
(4)
其中,表示采样元素的索引集合,/>和/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
根据下述公式(5)计算公式(6):
(5)
(6)
根据上述公式(4)和公式(6),计算下述公式(7):
(7)
其中,表示采样元素的索引集合,/>表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
一种可行的实施方式中,首先输入当前矩阵,/>
当不收敛时,循环计算A和E的迭代更新公式:为了解决问题,通过计算和/>。为了解决问题,通过计算。然后计算
每次循环要将和k分别更新为/>和k+1,当算法经过足够次迭代之后结果收敛,最后输出/>和/>
S4、自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将网络相关矩阵发送至加噪模块。
一种可行的实施方式中,假设信任域1由K个节点组成,并且第q个节点在时刻t记录的原始数据为,它可以被建模为离散时间广义平稳随机过程。原始数据若想发送给其他节点,则需要进行加噪处理。基于平均遍历定理,可以使用指数衰减窗口来估计网络相关矩阵/>
可选地,S4的具体操作可以如下:
S41、自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(8)以及公式(9),计算网络相关矩阵/>
(8)
S5、加噪模块根据网络相关矩阵,生成与原始数据具有相同统计特性的噪声。
一种可行的实施方式中,通过将生成的向量n(t)投影到R(t)的估计主成分上,可以在加噪模块出估计相关噪声,即通过R(t)的特征值分解:,其中U是由R(t)的K个特征向量组成,即/>,/>是特征值按降序排列的对角矩阵。那么所提出的投影可以表现为矩阵形式:/>,其中/>,/>是主要特征向量,它对应最大特征值为
可选地,S5的具体操作可以包括下述步骤S51-S53:
S51、根据下式(9)计算原始噪声
(9)
其中,是噪声协方差矩阵。
S52、根据下述公式(10)对进行特征值分解,得到特征向量:
(10)
S53、根据原始噪声、特征向量以及下述公式(11),计算与原始数据具有相同统计特性的噪声/>
(11)。
S6、数据采集节点采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给加噪模块,加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输。
一种可行的实施方式中,加噪模块对每个节点在t时刻的原始数据进行加噪处理后,将加噪处理后的数据发送给发送模块,由发送模块进行数据传输。
可选地,S6的加噪模块使用生成的噪声对原始数据进行加噪处理,包括:
根据数据采集节点采集的第q节点在t时刻的原始数据、与原始数据具有相同统计特性的噪声/>以及下述公式(12),计算得到第q节点在t时刻的加噪处理后的数据/>
(12)。
一种可行的实施方式中,数据采集节点是选择某个节点在t时刻的原始数据,然后通过上述公式(12)给该原始数据进行加噪,然后数据采集节点选择下一个节点在t时刻的原始数据,通过上述公式(12)给该原始数据进行加噪,循环该步骤直至给所有节点在t时刻的原始数据完成加噪,具体的循环过程可以如下:
S61、设定参数值q和N,q表示节点的次序,N表示节点的总数,q=0;
S62、数据采集节点采集第q节点在t时刻的原始数据,根据上述公式(12)计算得到第q节点在t时刻的加噪处理后的数据/>;/>
S63、判断q是否小于N-1,如果是,则q=q+1,转去执行S62;如果不是,则转去执行S64;
S64、停止循环,得到所有节点的加噪数据。
一种可行的实施方式中,加噪后的的网络相关矩阵主成分很好的对应于原始数据/>的数据自网络相关矩阵的主成分的估计结果。更重要的是,这种噪声不能被轻易过滤掉,因为它反映了时间序列的主要趋势。
根据本发明实施例的方法进行了实验,下面对实验过程以及实验结果进行说明:
1.1实验数据
实验采用模拟数据集对本发明实施例隐私保护方案的效果进行评估。模拟数据集模拟智能电网中结点采集到的电力数据,该电力数据集用矩阵表示,它是由构成的。尽管测量的电力数据值收到多种因素(例如节点的功耗、数据包的丢失、噪声的存在、恶意节点)影响而产生随机偏差,但是大量的真实数据仍然会满足一定的分布规律。所以我们规定该电力数据集中的数据具有高度相关性,这也是本次实验的前提。
模拟数据生成的方式如下:首先规定好整个数据矩阵左上角的三个数据,然后为了满足真是环境中数据的相关性,每个元素的值都受到了其相邻左方和上方元素的值的影响,最后每个元素再添加一个随机值。而由于现实中数据是缺失的,因此将模拟数据集中的一些元素改为0。根据上述操作,生成最终的模拟数据集。而该数据集的节点数(行数)和时刻数(列数)都可以自行设置,例如50行50列的模拟数据集部分数据如图3所示。
1.2评价指标
(1)隐私保护效果度量指标
假如不同信任域中的节点想要在未经授权的情况下获取其他信任域节点记录的原始数据,它们可以使用线性过滤操作。重构原始数据的操作可以表示为:,即使用低通滤波器来去除噪声。
有一种可实现去噪的方法是将数据投影到信号主成分的子空间上,以便在保留原始数据的同时消除大部分噪声,即使用PCA技术来进行数据重构。假设是原始数据,/>是加噪后的数据。不同信任域通过使用PCA方法来去除噪声,来对M进行未授权的重构处理,得到重构数据/>。这里的/>对应于一个具有自网络相关矩阵R(t)的K个主要特征向量的/>矩阵。
为了能准确分析该方案的效果,通过使用Frobenius范数(即F范数)来比较原始数据与重构数据之间的隐私差异。是矩阵数据的F范数,它是对矩阵元素的平方和再开平方。设A是一个/>矩阵,则A的F范数为:/>/>
为了不失一般性,本实验采用一种衡量隐私保护效果的指标PD:。其中/>是F范数的平方。若整个PD越接近0,说明恶意重构数据越接近原始数据,方案的隐私保护效果越不好。反之,PD越大,方案的隐私保护效果越好。
(2)数据可用性度量指标
为了保护数据的隐私,本发明实施例在原始数据中添加了噪声,同时也引入了误差。本小姐将详细讨论引入的误差的大小。现有技术中使用的一种常用的测量误差的方法是,其中M和/>分别是扰动后的数据和原始数据,该值代表扰动后数据和原始数据之间的误差,Error越小,数据可用性越高。
1.3隐私保护效果分析
(1)节点的连通数对隐私性的影响
本组实验研究节点连通数对隐私性的影响,采用固定节点数为50的模拟数据集进行实验,通过改变节点连通其他节点的个数,来判断节点间连通数对本方案隐私性的影响。
图4中横坐标轴代表单个节点的连通数,纵坐标轴代表PD值。本组实验分别计算本方案的隐私保护PD值和添加了加性噪声的隐私保护PD值。从图中可知,采用本方案的PD值随着节点的连通个数的增加有轻微的上升趋势,说明节点连通数增加会提高隐私保护效果。本方案的PD值都在0.8以上,而添加了加性噪声的PD值很小,一直在0.2附近。这是因为加性噪声机制本身的限制,噪声很容易被一些线性滤波器抵消,导致隐私保护效果下降。而本方案添加的是与原始数据具有相同统计特性的噪声,因此很难被滤波攻击消除。这说明该方案的隐私保护效果远好于添加加性噪声。
(2)节点个数对隐私性的影响
本组实验研究节点个数对隐私性的影响,采用固定连通率(即每个节点连通的节点数与总节点数的比值)为25%的模拟数据集进行实验,通过改变节点个数,来判断节点个数对本方案隐私性的影响。
图5中横坐标轴代表一个信任域中的节点数,纵坐标轴代表PD值。本组实验分别计算本方案的隐私保护PD值和添加了加性噪声的隐私保护PD值。从图中可知,随着节点数的增加,本方案的PD值仍保持一个稳定的数值,说明节点数不同不会影响本方案的隐私保护效果。这意味着我们可以将此方案应用于大规模的智能电网场景下,同时基本没有影响隐私保护的效果。而添加了加性噪声的数据在隐私保护方面的效果仍不如本方案,这与我们的预期结果一致,说明了此隐私保护方案是有效的。
1.4通信开销分析
本方案中若不使用矩阵补全,则需要节点之间频繁的通信。节点的通信开销主要由发送开销和接收开销构成。当一个节点的任意一个另据节点发送数据包时,该节点都会监听到并接收该数据包。所以每个节点接收数据包消耗的能量的上限是一个与该节点邻居节点数目相关的常量。每个节点的发送开销一般是由所发送的数据报个数决定。
假设在智能电网环境中的数据采集节点采用较为常用的CC2530通信芯片,节点间的连通率为25%,并且由于各种因素导致的丢包率会随着网络规模变大而变大。根据现有技术测量所得的数据,一次发送的能耗为0.00859mJ,一次接收的能耗为0.037316mJ。本方案与不使用矩阵补全的方案的通信开销对比如图6所示。
由此可见,本方案的网络通信开销远低于不使用矩阵补全的方案。随着网络规模变大,不使用矩阵补全的方案消耗的能量越多,而本方案可以大大减少通信产生的开销,并降低由于特殊情况导致的丢包问题所带来的影响。
本发明实施例中,数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;自相关矩阵估计模块根据原始数据构造当前矩阵,将当前矩阵发送给矩阵补全模块;矩阵补全模块对当前矩阵进行矩阵补全,将补全后的数据矩阵发送给自相关矩阵估计模块;自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将网络相关矩阵发送至加噪模块;加噪模块根据网络相关矩阵,生成与原始数据具有相同统计特性的噪声;采集模块采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给加噪模块,加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输。基于本发明的一种基于矩阵补全的数据隐私保护方法,可以解决智能电网中不同信任域之间的数据隐私保护问题。该方案通过给原始数据添加与原始数据具有相同统计特性的噪声,这种噪声难以去除,因此可以避免数据被恶意重构,保证了数据隐私。另外,本发明实施例利用不精确ALM算法进行网络相关矩阵的补全,降低了通信开销并且减少了数据缺失的影响。
图7是根据一示例性实施例示出的一种基于矩阵补全的隐私数据传输系统框图,该系统用于基于矩阵补全的隐私数据传输方法。参照图7,基于矩阵补全的隐私数据传输系统包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及采集模块;其中:
所述数据接收模块,用于收集其他节点的原始数据,将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;
所述自相关矩阵估计模块,用于接收其他节点的原始数据,根据所述原始数据构造当前矩阵,将所述当前矩阵发送给矩阵补全模块;根据补全后的数据矩阵,计算网络相关矩阵,并将所述网络相关矩阵发送至加噪模块;
所述矩阵补全模块,用于接收所述当前矩阵,对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块;
所述加噪模块,用于根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声;使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理;
所述采集模块,用于采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给所述加噪模块。
可选地,所述矩阵补全模块,用于:
S31、设定迭代次数k,令k=0,初始值,/>,/>;其中,/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
S32、输入所述当前矩阵,/>,根据下述公式(1)和公式(2)计算公式(3):
(1)
(2)/>
(3)
根据下述公式(4)计算公式(5):
(4)
(5)
根据上述公式(3)和公式(5),计算下述公式(6):
(6)
其中,表示采样元素的索引集合,/>表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
可选地,所述自相关矩阵估计模块,用于:
S41、所述自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(7),计算网络相关矩阵/>
(7)。
可选地,所述加噪模块,用于:
S51、根据下式(8)计算原始噪声
(8)
S52、根据下述公式(9)对进行特征值分解,得到特征向量:
(9)
S53、根据原始噪声、所述特征向量以及下述公式(10),计算与所述原始数据具有相同统计特性的噪声/>
(10)。
可选地,所述加噪模块,用于:
根据原始数据、与所述原始数据具有相同统计特性的噪声/>以及下述公式(11),计算得到加噪处理后的数据/>
(11)。
本发明实施例中,数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;自相关矩阵估计模块根据原始数据构造当前矩阵,将当前矩阵发送给矩阵补全模块;矩阵补全模块对当前矩阵进行矩阵补全,将补全后的数据矩阵发送给自相关矩阵估计模块;自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将网络相关矩阵发送至加噪模块;加噪模块根据网络相关矩阵,生成与原始数据具有相同统计特性的噪声;采集模块采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给加噪模块,加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输。基于本发明的一种基于矩阵补全的数据隐私保护方法,可以解决智能电网中不同信任域之间的数据隐私保护问题。该方案通过给原始数据添加与原始数据具有相同统计特性的噪声,这种噪声难以去除,因此可以避免数据被恶意重构,保证了数据隐私。另外,本发明实施例利用不精确ALM算法进行网络相关矩阵的补全,降低了通信开销并且减少了数据缺失的影响。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于矩阵补全的隐私数据传输方法,其特征在于,所述方法由基于矩阵补全的隐私数据传输系统实现,所述基于矩阵补全的隐私数据传输系统包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及采集模块;
所述方法包括:
S1、数据接收模块将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;
S2、所述自相关矩阵估计模块根据所述原始数据构造当前矩阵,将所述当前矩阵发送给矩阵补全模块;
S3、所述矩阵补全模块对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块;
S4、所述自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,并将所述网络相关矩阵发送至加噪模块;
S5、所述加噪模块根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声;
S6、所述采集模块采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给所述加噪模块,所述加噪模块使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理,使用加噪处理后的数据进行数据传输;
其中,所述S3的所述矩阵补全模块对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块,包括:
S31、设定迭代次数k,令k=0,初始值,/>,/>;输入所述当前矩阵;/>
S32、根据下述公式(1)和公式(2)计算公式(3):
(1)
(2)
(3)
其中,表示采样元素的索引集合,/>和/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
根据下述公式(4)计算公式(5):
(4)
(5)
根据上述公式(3)和公式(5),计算下述公式(6):
(6)
其中,表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
2.根据权利要求1所述的方法,其特征在于,所述S4的所述自相关矩阵估计模块根据补全后的数据矩阵,计算网络相关矩阵,包括:
S41、所述自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(7),计算网络相关矩阵/>
3.根据权利要求2所述的方法,其特征在于,所述S5的所述加噪模块根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声,包括:
S51、根据下式(8)计算原始噪声
(8)
S52、根据下述公式(9)对进行特征值分解,得到特征向量:
(9)
其中,T表示矩阵转置,
S53、根据原始噪声、所述特征向量以及下述公式(10),计算与所述原始数据具有相同统计特性的噪声/>
(10)。
4.根据权利要求3所述的方法,其特征在于,所述S6的所述加噪模块使用生成的噪声对所述原始数据进行加噪处理,包括:
根据原始数据、与所述原始数据具有相同统计特性的噪声/>以及下述公式(11),计算得到加噪处理后的数据/>
(11)。
5.一种基于矩阵补全的隐私数据传输系统,其特征在于,所述系统用于实现基于矩阵补全的隐私数据传输方法,所述基于矩阵补全的隐私数据传输系统包括数据接收模块、自相关矩阵估计模块、矩阵补全模块、加噪模块以及采集模块;其中:
所述数据接收模块,用于收集其他节点的原始数据,将收集到的其他节点的原始数据,发送给自相关矩阵估计模块;
所述自相关矩阵估计模块,用于接收其他节点的原始数据,根据所述原始数据构造当前矩阵,将所述当前矩阵发送给矩阵补全模块;根据补全后的数据矩阵,计算网络相关矩阵,并将所述网络相关矩阵发送至加噪模块;
所述矩阵补全模块,用于接收所述当前矩阵,对所述当前矩阵进行矩阵补全,将补全后的数据矩阵发送给所述自相关矩阵估计模块;
所述加噪模块,用于根据所述网络相关矩阵,生成与所述原始数据具有相同统计特性的噪声;使用生成的噪声对每个节点在t时刻的原始数据进行加噪处理;
所述采集模块,用于采集每个节点在t时刻的原始数据,将采集到的每个节点在t时刻的原始数据发送给所述加噪模块;
其中,所述矩阵补全模块,用于:
S31、设定迭代次数k,令k=0,初始值,/>,/>;其中,/>和/>表示使用拉格朗日乘子法时设置约束条件时定义的矩阵,/>表示正则化参数;
S32、输入所述当前矩阵,/>,根据下述公式(1)和公式(2)计算公式(3):
(1)
(2)
(3)
根据下述公式(4)计算公式(5):
(4)
(5)
根据上述公式(3)和公式(5),计算下述公式(6):
(6)
其中,表示采样元素的索引集合,/>表示奇异值分解函数,U和V分别表示二个相互正交矩阵,S表示一对角矩阵,/>表示下标取/>时S矩阵的值,T表示矩阵转置,/>表示特征值,/>表示狄利克雷L函数;
S33、判断计算结果是否收敛,如果未收敛,则令k=k+1,转去执行S32,如果计算结果收敛,则转去执行S34;
S34、停止循环,输出和/>,/>即为补全后的数据矩阵。
6.根据权利要求5所述的系统,其特征在于,所述自相关矩阵估计模块,用于:
S41、所述自相关矩阵估计模块接收到补全后的数据矩阵后,根据/>以及下述公式(7),计算网络相关矩阵/>
7.根据权利要求6所述的系统,其特征在于,所述加噪模块,用于:
S51、根据下式(8)计算原始噪声
(8)
S52、根据下述公式(9)对进行特征值分解,得到特征向量:
(9)
S53、根据原始噪声、所述特征向量以及下述公式(10),计算与所述原始数据具有相同统计特性的噪声/>
(10)。
8.根据权利要求7所述的系统,其特征在于,所述加噪模块,用于:
根据原始数据、与所述原始数据具有相同统计特性的噪声/>以及下述公式(11),计算得到加噪处理后的数据/>
(11)。
CN202311008554.1A 2023-08-11 2023-08-11 一种基于矩阵补全的隐私数据传输方法及系统 Active CN116761164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311008554.1A CN116761164B (zh) 2023-08-11 2023-08-11 一种基于矩阵补全的隐私数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311008554.1A CN116761164B (zh) 2023-08-11 2023-08-11 一种基于矩阵补全的隐私数据传输方法及系统

Publications (2)

Publication Number Publication Date
CN116761164A CN116761164A (zh) 2023-09-15
CN116761164B true CN116761164B (zh) 2023-11-14

Family

ID=87948075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311008554.1A Active CN116761164B (zh) 2023-08-11 2023-08-11 一种基于矩阵补全的隐私数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN116761164B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492428A (zh) * 2018-10-29 2019-03-19 南京邮电大学 一种面向主成分分析的差分隐私保护方法
CN112231764A (zh) * 2020-09-21 2021-01-15 北京邮电大学 一种时序数据隐私的保护方法及相关设备
CN112364372A (zh) * 2020-10-27 2021-02-12 重庆大学 一种有监督矩阵补全的隐私保护方法
CN113254988A (zh) * 2021-04-25 2021-08-13 西安电子科技大学 高维敏感数据隐私分级保护发布方法、系统、介质及设备
CN114780999A (zh) * 2022-06-21 2022-07-22 广州中平智能科技有限公司 一种深度学习数据隐私保护方法、系统、设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230161899A1 (en) * 2021-11-24 2023-05-25 Lemon Inc. Data processing for release while protecting individual privacy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492428A (zh) * 2018-10-29 2019-03-19 南京邮电大学 一种面向主成分分析的差分隐私保护方法
CN112231764A (zh) * 2020-09-21 2021-01-15 北京邮电大学 一种时序数据隐私的保护方法及相关设备
CN112364372A (zh) * 2020-10-27 2021-02-12 重庆大学 一种有监督矩阵补全的隐私保护方法
CN113254988A (zh) * 2021-04-25 2021-08-13 西安电子科技大学 高维敏感数据隐私分级保护发布方法、系统、介质及设备
CN114780999A (zh) * 2022-06-21 2022-07-22 广州中平智能科技有限公司 一种深度学习数据隐私保护方法、系统、设备和介质

Also Published As

Publication number Publication date
CN116761164A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Xie et al. Accurate recovery of internet traffic data: A sequential tensor completion approach
Xie et al. Recover corrupted data in sensor networks: A matrix completion solution
Chen et al. Robust network compressive sensing
Alam et al. Distribution grid state estimation from compressed measurements
Choi et al. Ramp-induced data attacks on look-ahead dispatch in real-time power markets
Zhu et al. Network latency estimation for personal devices: A matrix completion approach
Lopes et al. Distributed adaptive incremental strategies: Formulation and performance analysis
Chua et al. Network kriging
Li et al. Distributed set-membership filtering for discrete-time systems subject to denial-of-service attacks and fading measurements: A zonotopic approach
Coluccia et al. Distribution-based anomaly detection via generalized likelihood ratio test: A general maximum entropy approach
Park et al. Comparing static and dynamic measurements and models of the internet's AS topology
Li et al. Distributed filtering for delayed nonlinear system with random sensor saturation: A dynamic event-triggered approach
CN112769869A (zh) 一种基于贝叶斯攻击图的sdn网络安全预测方法及对应系统
Chen et al. Online distributed sparsity-aware canonical correlation analysis
Ghasemkhani et al. A regularized tensor completion approach for PMU data recovery
Yang et al. Blind false data injection attacks against state estimation based on matrix reconstruction
Hamdi et al. Tracking a Markov-modulated stationary degree distribution of a dynamic random graph
Jiang et al. A graph-based approach for missing sensor data imputation
Hashemipour et al. Optimal singular value decomposition based big data compression approach in smart grids
Stanković et al. Distributed macro calibration in sensor networks
CN116761164B (zh) 一种基于矩阵补全的隐私数据传输方法及系统
Khatua et al. Sparse Laplacian component analysis for internet traffic anomalies detection
Kekatos et al. PSSE redux: convex relaxation, decentralized, robust, and dynamic solvers
He et al. Data recovery in heterogeneous wireless sensor networks based on low-rank tensors
Nayak et al. Vulnerability assessment and defence strategy to site distributed generation in smart grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant