CN108470128A - 一种用电负荷数据的在线脱敏方法和装置 - Google Patents
一种用电负荷数据的在线脱敏方法和装置 Download PDFInfo
- Publication number
- CN108470128A CN108470128A CN201710099189.8A CN201710099189A CN108470128A CN 108470128 A CN108470128 A CN 108470128A CN 201710099189 A CN201710099189 A CN 201710099189A CN 108470128 A CN108470128 A CN 108470128A
- Authority
- CN
- China
- Prior art keywords
- power load
- load data
- desensitization
- data
- online
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Bioethics (AREA)
- Mathematical Optimization (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Computer Security & Cryptography (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明提供一种用电负荷数据的在线脱敏方法和装置,先提取用电负荷数据,并选择时频变换算法;然后根据选择的脱敏算法对提取的用电负荷数据进行脱敏;最后访问脱敏后的用电负荷数据,实现用电负荷数据的在线脱敏。本发明利用时频变换的手段,在频域对数据进行相应的筛选、过滤、删除、修改等处理,以达到数据脱敏的效果,脱敏过程保留了主要趋势等数据分析的必要信息,使得脱敏后的数据能够满足相关分析应用的需求,同时去掉了明细特征等敏感信息,有效保护了用户的隐私信息。并且由于时频变换拥有快速算法,脱敏过程的时间消耗较小。
Description
技术领域
本发明涉及一种数据脱敏技术,具体涉及一种用电负荷数据的在线脱敏方法和装置。
背景技术
大数据时代的到来,使得各界组织和企业都将数据作为未来发展的重要资源,并大力投入数据采集、传输、存储和分析应用的技术研发。在全球数据总量急剧增长的趋势下,电力行业信息化数据总量也呈现爆发式上升。
电网企业利用长期积累的用电大数据,在公司各业务部门开展电能质量监测分析、窃电及违规用电分析、工商业发展分析、用电方案优化等工作,有力提升了电网内部的运营效率和客户服务水平;而且其数亿电力用户的用电信息采集数据已成为政府开展智慧城市建设,电信运营商、互联网企业和金融保险行业进行客户画像,以及零售娱乐企业辅助商业选址的重要数据来源。海量数据的不断积累,在为企业和社会不断创造价值的同时,也对企业保护数据的能力提出了更高的要求。
由于电网企业信息化高速推进,越来越多的组织和企业希望从电网和用户数据中分析得到有效信息,更好的提高自身效益。也有越来越多的人士呼吁电网企业向社会开放自己的数据,为社会提供更好的信息服务。但电力用户的用电负荷数据直接关乎用户隐私,某些特殊电力客户的用电负荷数据甚至关系到社会发展和国家秘密,对用电负荷数据的开放和分析应用必须经过技术性去隐私化处理。
通过完整的原始用电负荷数据,甚至能够分析出用户的作息规律、开关灯时间等不必要的信息,还可能给犯罪分子提供信息支持,这是大家不愿意看到的。因此,实现用电负荷数据脱敏已经成为电网大数据应用亟待解决的问题。
发明内容
为了克服上述现有技术的不足,本发明提供一种用电负荷数据的在线脱敏方法和装置,先提取用电负荷数据,并选择时频变换算法;然后根据选择的脱敏算法对提取的用电负荷数据进行脱敏;最后访问脱敏后的用电负荷数据,实现用电负荷数据的在线脱敏。
为了实现上述发明目的,本发明采取如下技术方案:
本发明提供一种用电负荷数据的在线脱敏方法,包括:
提取用电负荷数据,并选择时频变换算法;
根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
访问脱敏后的用电负荷数据。
所述提取用电负荷数据包括:
在线连接数据源,完成用电负荷数据的提取。
所述选择时频变换算法包括:
根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。
所述根据选择的脱敏算法对提取的用电负荷数据进行脱敏包括:
根据预设的不同用户权限,配置不同脱敏参数;
将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
所述访问脱敏后的用电负荷数据包括:
当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
本发明还提供一种用电负荷数据的在线脱敏装置,包括:
提取模块,用于提取用电负荷数据,并选择时频变换算法;
脱敏模块,用于根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
访问模块,用于访问脱敏后的用电负荷数据。
所述提取模块具体用于:
在线连接数据源,完成用电负荷数据的提取。
所述所述提取模块具体用于:
根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。
所述脱敏模块具体用于:
根据预设的不同用户权限,配置不同脱敏参数;
将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
所述访问模块具体用于:
当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
与最接近的现有技术相比,本发明提供的技术方案具有以下有益效果:
1)本发明提供的用电负荷数据的在线脱敏方法和装置,先提取用电负荷数据,并选择时频变换算法;然后根据选择的脱敏算法对提取的用电负荷数据进行脱敏;最后访问脱敏后的用电负荷数据,实现用电负荷数据的在线脱敏;
2)本发明利用时频变换的手段,在频域对数据进行相应的筛选、过滤、删除、修改等处理,以达到数据脱敏的效果,脱敏过程保留了主要趋势等数据分析的必要信息,使得脱敏后的数据能够满足相关分析应用的需求,同时去掉了明细特征等敏感信息,有效保护了用户的隐私信息。并且由于时频变换拥有快速算法,脱敏过程的时间消耗较小;
3)根据不同用户权限,配置不同算法参数,得到不同脱敏程度的用电负荷数据;
4)在用户访问时,能够利用网关判断用户权限,并对其提供相应的脱敏后的用电负荷数据,本功能在保护用户隐私数据的前提下,提供最优的数据给用户进行后续分析应用。
附图说明
图1是本发明实施例中用电负荷数据脱敏方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本实施例提供的用电负荷数据脱敏方法和装置,旨在对用电负荷数据进行处理,保留模糊的趋势信息和一些分析所必要的特征信息,剔除不必要的明细特征,在保护用户隐私的前提下,给予分析者尽可能优质的脱敏用电负荷数据。通过用电负荷数据脱敏,能够将隐私的数据转换为开放的数据,社会各界可以对这些信息加以利用分析,获取其有效信息,提高企业效益,提升社会生产效率。
用电负荷数据在线脱敏的核心思想如下:
通过在线访问抽取待脱敏的用电负荷数据,根据不同用户权限配置不同算法参数,利用一种基于时频变换的用电负荷数据脱敏方法为基础,对待脱敏的用电负荷数据进行脱敏工作,得到不同脱敏程度的用电负荷数据。用户访问时,通过网关识别用户权限,允许获取相应脱敏程度的用电负荷数据。
如图1,本实施例提供一种用电负荷数据的在线脱敏方法,包括:
S101:提取用电负荷数据,并选择时频变换算法;
S102:根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
S103:访问脱敏后的用电负荷数据。
S101中,提取用电负荷数据包括:
在线连接数据源,完成用电负荷数据的提取。
S101中,选择时频变换算法包括:
根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。不同变换算法拥有各自的特点,他们在频域的各成分含义不同,例如:傅立叶变换在删掉高频成分时,会产生吉普斯效应,逆变换后的信号具有剧烈震荡;小波变换在删掉细节成分后,逆变换后的信号会变得平滑。针对不同脱敏需求,选择合适的算法能够得到更好的效果。
S102中,根据选择的脱敏算法对提取的用电负荷数据进行脱敏包括:
1)根据预设的不同用户权限,配置不同脱敏参数;
2)将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
3)在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
4)对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
S103中,访问脱敏后的用电负荷数据包括:
当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
本实施例还提供一种用电负荷数据的在线脱敏装置,包括:
提取模块,用于提取用电负荷数据,并选择时频变换算法;
脱敏模块,用于根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
访问模块,用于访问脱敏后的用电负荷数据。
上述提取模块具体用于:在线连接数据源,完成用电负荷数据的提取。
所述提取模块还用于:根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。
上述脱敏模块具体用于:
根据预设的不同用户权限,配置不同脱敏参数;
将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
访问模块用于:当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (10)
1.一种用电负荷数据的在线脱敏方法,其特征在于,所述方法包括:
提取用电负荷数据,并选择时频变换算法;
根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
访问脱敏后的用电负荷数据。
2.根据权利要求1所述的用电负荷数据的在线脱敏方法,其特征在于,所述提取用电负荷数据包括:
在线连接数据源,完成用电负荷数据的提取。
3.根据权利要求2所述的用电负荷数据的在线脱敏方法,其特征在于,所述选择时频变换算法包括:
根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。
4.根据权利要求3所述的用电负荷数据的在线脱敏方法,其特征在于,所述根据选择的脱敏算法对提取的用电负荷数据进行脱敏包括:
根据预设的不同用户权限,配置不同脱敏参数;
将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
5.根据权利要求4所述的用电负荷数据的在线脱敏方法,其特征在于,所述访问脱敏后的用电负荷数据包括:
当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
6.一种用电负荷数据的在线脱敏装置,其特征在于,所述装置包括:
提取模块,用于提取用电负荷数据,并选择时频变换算法;
脱敏模块,用于根据选择的脱敏算法对提取的用电负荷数据进行脱敏;
访问模块,用于访问脱敏后的用电负荷数据。
7.根据权利要求6所述的用电负荷数据的在线脱敏装置,其特征在于,所述提取模块具体用于:
在线连接数据源,完成用电负荷数据的提取。
8.根据权利要求7所述的用电负荷数据的在线脱敏装置,其特征在于,所述所述提取模块具体用于:
根据提取的用电负荷数据的数据特性,选择相应的时频变换算法,其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。
9.根据权利要求8所述的用电负荷数据的在线脱敏装置,其特征在于,所述脱敏模块具体用于:
根据预设的不同用户权限,配置不同脱敏参数;
将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据;
在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理,保留分析必要信息,去掉敏感信息;所述分析必要信息包括主要趋势,所述敏感信息包括明细特征;
对处理后的频域数据进行时频逆变换,得到脱敏后的用电负荷数据。
10.根据权利要求9所述的用电负荷数据的在线脱敏装置,其特征在于,所述访问模块具体用于:
当用户请求访问用电负荷数据时,先利用网关识别用户权限,之后根据用户权限提供不同脱敏程度的用电负荷数据,权限越高的用户能够得到脱敏程度更低的用户负荷数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710099189.8A CN108470128B (zh) | 2017-02-23 | 2017-02-23 | 一种用电负荷数据的在线脱敏方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710099189.8A CN108470128B (zh) | 2017-02-23 | 2017-02-23 | 一种用电负荷数据的在线脱敏方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108470128A true CN108470128A (zh) | 2018-08-31 |
CN108470128B CN108470128B (zh) | 2021-12-03 |
Family
ID=63266905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710099189.8A Active CN108470128B (zh) | 2017-02-23 | 2017-02-23 | 一种用电负荷数据的在线脱敏方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108470128B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109388965A (zh) * | 2018-09-10 | 2019-02-26 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914659A (zh) * | 2014-03-12 | 2014-07-09 | 西安电子科技大学 | 基于频率的轨迹抑制数据发布隐私保护的系统及其方法 |
CN106295392A (zh) * | 2015-06-24 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 数据脱敏处理方法和装置 |
CN106407843A (zh) * | 2016-10-17 | 2017-02-15 | 深圳中兴网信科技有限公司 | 数据脱敏方法和数据脱敏装置 |
-
2017
- 2017-02-23 CN CN201710099189.8A patent/CN108470128B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914659A (zh) * | 2014-03-12 | 2014-07-09 | 西安电子科技大学 | 基于频率的轨迹抑制数据发布隐私保护的系统及其方法 |
CN106295392A (zh) * | 2015-06-24 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 数据脱敏处理方法和装置 |
CN106407843A (zh) * | 2016-10-17 | 2017-02-15 | 深圳中兴网信科技有限公司 | 数据脱敏方法和数据脱敏装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109388965A (zh) * | 2018-09-10 | 2019-02-26 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法及系统 |
CN109388965B (zh) * | 2018-09-10 | 2022-02-08 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108470128B (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105337928B (zh) | 用户身份识别方法、安全保护问题生成方法及装置 | |
CN112241543A (zh) | 一种基于数据中台的敏感数据梳理方法 | |
CN102982077B (zh) | 用户数据处理方法及装置 | |
CN103347009B (zh) | 一种信息过滤方法及装置 | |
CN110175154A (zh) | 一种日志记录的处理方法、服务器及存储介质 | |
CN104536983A (zh) | 一种预测广告点击率的方法和装置 | |
Shelatkar et al. | Web traffic time series forecasting using ARIMA and LSTM RNN | |
CN110162521A (zh) | 一种支付系统交易数据处理方法及系统 | |
Baraquet et al. | Geographic variation in the advertisement call of Hypsiboas cordobae (Anura, Hylidae) | |
CN109583228A (zh) | 一种隐私信息管理方法、装置和系统 | |
CN115514558A (zh) | 一种入侵检测方法、装置、设备及介质 | |
CN108470128A (zh) | 一种用电负荷数据的在线脱敏方法和装置 | |
CN114511330A (zh) | 一种基于改进的cnn-rf的以太坊庞氏骗局检测方法及系统 | |
Gunawardena et al. | Real-time Uber data analysis of popular Uber locations in Kubernetes environment | |
CN108241611B (zh) | 一种关键词提取方法以及提取设备 | |
CN108470127A (zh) | 一种用电负荷数据的离线脱敏方法和装置 | |
CN103902627A (zh) | 一种数据发布方法及装置 | |
CN111008078A (zh) | 数据的批量处理方法、装置、设备及计算机存储介质 | |
Knights et al. | Detecting topic drift with compound topic models | |
CN105786929A (zh) | 一种信息监测方法及装置 | |
Yue-sheng et al. | A new intelligent model for short time traffic flow prediction via emd and pso–svm | |
CN108737379A (zh) | 一种大数据传输处理算法 | |
CN110210518A (zh) | 提取降维特征的方法和装置 | |
CN113691567B (zh) | 一种动车组轮对检测数据的加密方法及系统 | |
Saenko et al. | An Approach to Early Computer Network Intrusion Detection Based on the Wavelet Transform Energy Spectra Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |