CN101694667A - 一种智能电网海量数据流的分布式数据挖掘方法 - Google Patents
一种智能电网海量数据流的分布式数据挖掘方法 Download PDFInfo
- Publication number
- CN101694667A CN101694667A CN200910217750A CN200910217750A CN101694667A CN 101694667 A CN101694667 A CN 101694667A CN 200910217750 A CN200910217750 A CN 200910217750A CN 200910217750 A CN200910217750 A CN 200910217750A CN 101694667 A CN101694667 A CN 101694667A
- Authority
- CN
- China
- Prior art keywords
- data
- electrical network
- intelligent electrical
- digging method
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明一种智能电网海量数据流的分布式数据挖掘方法，其特点是它包含有：将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。由于数据预处理与数据挖掘的并行处理，大大提高了海量数据流挖掘的效率，能有效满足智能电网中海量数据流挖掘的实时性要求。
Description
所属技术领域
本发明涉及一种智能电网海量数据流的分布式数据挖掘方法，能够有效的解决智能电网数据流挖掘的实时性问题。
背景技术
近年来，美、欧等不少国家都相继开展了智能电网的相关研究。一时间，智能电网一词成为国际上一个关于未来电网发展趋势的热门名词。智能电网是将电力与通信和计算机控制连接在一起，以获取在供电可靠性、传输容量和客户服务等方面的巨大效益。与传统电网相比，智能电网将进一步优化各级电网控制，构建结构扁平化、功能模块化、系统组态化的柔性体系架构，通过集中与分散相结合，灵活变换网络结构、智能重组系统架构、最佳配置系统效能、优化电网服务质量，实现与传统电网截然不同的电网构成理念和体系。
在这个完全自动化的供电网络中，每一个用户和节点都得到了实时的监控，并保证了从发电厂到用户端电器之间的每一点上的电流和信息的双向流动，将为电力系统的运行和管理提供空前海量的实时数据流，它们隐含着与故障及系统稳定有关的有用信息。虽然现代信息处理技术在电力系统得到了广泛应用，但系统多针对历史数据，对精度重视较多，而对响应时间关注较少，无法满足智能电网中信息快速实时处理的需求。因此对智能电网中数据挖掘系统的实时性提出了更为严格的要求。而通过对智能电网中的海量数据流进行分布式挖掘处理，能够为智能电网的实时运行与管理提供有效的决策支持。
发明内容
本发明所要解决的技术问题是，提供一种智能电网海量数据流的分布式数据挖掘方法，利用这种方法进行数据流挖掘时，能够避免由于数据流量巨大而降低整个系统的性能，提高运行效率，满足智能电网实时性的要求。
解决其问题所采用的技术方案是，一种智能电网海量数据流的分布式数据挖掘方法，其特征是，所述的方法包含有：将海量数据流按信息窗大小按序分割成不同的数据子流；发送各数据子流至各数据预处理器；将各数据预处理结果分别进行数据流挖掘；将挖掘得出的各个模式进行整合；输出整合后的模式结果。其中所述信息窗大小由具体的数据预处理以及数据挖掘算法确定。其中所述模式整合，将各模式按所述序列进行排序整合。
一种智能电网海量数据流的分布式数据挖掘方法所涉及的系统包含有：用以将海量数据流分割成各数据子流的一数据分流器；对数据子流分别进行数据预处理的若干个数据预处理器；对预处理后的数据进行数据流挖掘的若干个数据挖掘器；对挖掘后的模式进行整合的一模式整合器。
其中所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小的比值确定。
其中所述若干个数据预处理器，可采用相关的数据预处理算法，在其运行完成后需立即将结果传送至对应的数据挖掘器。
其中所述若干个数据挖掘器，可采用相关的数据挖掘算法，在其全部运行完成后将结果发送至模式整合器。
本发明的一种智能电网海量数据流的分布式数据挖掘方法首先通过数据分流器将实时到来的智能电网海量数据流分割成各数据子流，使用多台数据预处理器进行并行处理，然后并行进行数据流挖掘，最后将各个模式重新整合输出，由于数据预处理与数据挖掘的并行处理，大大提高了海量数据流挖掘的效率，可有效满足智能电网中海量数据流挖掘的实时性要求。
附图说明
图1为本发明的框架图；
图2为本发明中分流器的原理图；
图3为本发明中整合器的原理图；
具体实施方式
下面利用附图所示的实施例对本发明作进一步描述。
参照图1，本发明一种智能电网海量数据流的分布式数据挖掘方法，它包含有：将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。
所述信息窗大小由具体的数据预处理以及数据挖掘算法确定。
所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小的比值确定。
所述若干个数据预处理器采用数据预处理算法，在其运行完成后将结果传送至对应的数据挖掘器。
所述若干个数据挖掘器采用数据挖掘算法，在其全部运行完成后将结果发送至模式整合器。
参照图2和3，智能电网中海量数据流到来时，首先通过数据分流器分割成若干个数据包，假定智能电网数据流到来的速率为v(M/s)，所选取的数据流预处理与数据流挖掘的信息窗大小为d(M/s)，则数据分流器将到来的数据流平均分割成n＝v/d个，并将这若干个数据子流分别发送至若干个数据预处理器。
第i(i＝1...n)个数据预处理器在接收到第i个数据子流后采用有关的数据流预处理算法进行处理，并将结果发送至第i个数据流挖掘器。然后，等待下一时间第i个数据子流的到来。
第i(i＝1...n)个数据挖掘器在接收到第i个数据子流后采用有关的数据流挖掘算法进行数据流挖掘，并将挖掘所得出的模式发送至模式整合器。然后，等待下一时间第i个数据子流的到来。
模式整合器将接收到的各模式按序号重新排列，等待所有模式均挖掘完毕后再统一输出，此结果即是本时间段数据流挖掘的模式集合。
本发明的一种智能电网海量数据流的分布式数据挖掘方法所涉及的系统包含：用以将海量数据流分割成各数据子流的一数据分流器、对数据子流分别进行数据预处理的若干个数据预处理器、对预处理后的数据进行数据流挖掘的若干个数据挖掘器、对挖掘后的模式进行整合的一模式整合器。其中：本发明实施例采用的数据分流器为浪潮英信若干F5280服务器；数据预处理器为浪潮英信若干F5120服务器；数据挖掘器为浪潮英信若干F5120服务器；模式整合器为浪潮英信若干F5280服务器，均为市售产品。但分流器、数据预处理器、数据挖掘器和模式整合器并非唯一型号。数据分流器、数据预处理器、数据挖掘器和模式整合器的各软件程序依据各自的功能和用途，采用信息自动化、计算机处理等技术编制，其软件程序的编制是本领域技术人员所熟悉的技术。
Claims (5)
1.一种智能电网海量数据流的分布式数据挖掘方法，其特征是：它包含有：
(1)将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；
(2)将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；
(3)对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；
(4)将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。
2.根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征是：所述信息窗大小由具体的数据预处理以及数据挖掘算法确定。
3.根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征是：所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小的比值确定。
4.根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征是：所述若干个数据预处理器采用数据预处理算法，在其运行完成后将结果传送至对应的数据挖掘器。
5.根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征是：所述若干个数据挖掘器采用数据挖掘算法，在其全部运行完成后将结果发送至模式整合器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910217750A CN101694667A (zh) | 2009-10-19 | 2009-10-19 | 一种智能电网海量数据流的分布式数据挖掘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910217750A CN101694667A (zh) | 2009-10-19 | 2009-10-19 | 一种智能电网海量数据流的分布式数据挖掘方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101694667A true CN101694667A (zh) | 2010-04-14 |
Family
ID=42093640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910217750A Pending CN101694667A (zh) | 2009-10-19 | 2009-10-19 | 一种智能电网海量数据流的分布式数据挖掘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101694667A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136217A (zh) * | 2011-11-24 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种分布式数据流处理方法及其系统 |
| CN105677692A (zh) * | 2014-12-04 | 2016-06-15 | 知意图股份有限公司 | 实时提供信息查询的信息系统与方法 |
| CN103136217B (zh) * | 2011-11-24 | 2016-12-14 | 阿里巴巴集团控股有限公司 | 一种分布式数据流处理方法及其系统 |
| CN110309198A (zh) * | 2019-06-03 | 2019-10-08 | 东北电力大学 | 一种基于分布式数据流处理的局部节点挖掘方法 |
| CN116700939A (zh) * | 2023-08-08 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
-
2009
- 2009-10-19 CN CN200910217750A patent/CN101694667A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136217A (zh) * | 2011-11-24 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种分布式数据流处理方法及其系统 |
| CN103136217B (zh) * | 2011-11-24 | 2016-12-14 | 阿里巴巴集团控股有限公司 | 一种分布式数据流处理方法及其系统 |
| CN105677692A (zh) * | 2014-12-04 | 2016-06-15 | 知意图股份有限公司 | 实时提供信息查询的信息系统与方法 |
| CN110309198A (zh) * | 2019-06-03 | 2019-10-08 | 东北电力大学 | 一种基于分布式数据流处理的局部节点挖掘方法 |
| CN116700939A (zh) * | 2023-08-08 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
| CN116700939B (zh) * | 2023-08-08 | 2024-03-15 | 腾讯科技（深圳）有限公司 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101984533B (zh) | 一种基于模式的大规模中压配电网供电可靠性评估方法 | |
| Agrawal et al. | Simulation of network on chip for 3D router architecture | |
| WO2004077237A3 (en) | Method for scheduling videoconferences | |
| WO2004019556A8 (en) | Method and system for configuration control in telecommunications networks | |
| CN103617243A (zh) | 一种用于自动生成工程量及绘制cad图的系统和方法 | |
| CN105429886A (zh) | 一种基于sdn的综合统一流量调度系统及其调度方法 | |
| CN110310053A (zh) | 一种配网线路自动化可转供电能力统计方法及系统 | |
| CN102999674A (zh) | 基于应用集成的电力和通信系统耦合仿真平台及方法 | |
| CN103324179A (zh) | 基于无线网络的分散式风电场综合监控系统 | |
| CN101694667A (zh) | 一种智能电网海量数据流的分布式数据挖掘方法 | |
| CN105071947A (zh) | 一种sdn网络的链路优化方法 | |
| CN103856483A (zh) | 一种飞行模拟器通讯方法 | |
| CN110380512A (zh) | 含同步相量信息的智能配电网协调控制系统及方法 | |
| CN101436779B (zh) | 一种基于并行计算的暂态、动态稳定辅助决策自动搜索方法 | |
| CN106230737B (zh) | 一种状态感知的软件定义组网方法 | |
| CN104376220B (zh) | 一种多维度的电力通信接入网业务建模和需求分析方法 | |
| CN107221147A (zh) | 多表合一的双网融合采集系统 | |
| CN205050194U (zh) | 电力通信网络应急预案生成装置 | |
| CN104462329A (zh) | 一种适用于多样性环境的业务流程挖掘方法 | |
| CN110300055A (zh) | 异构现场总线用网关系统 | |
| CN104242993A (zh) | 中低压电力通信接入网带宽预测方法 | |
| CN111476547A (zh) | 一种配网线路环网点设置在用户资产分析方法 | |
| CN102833772B (zh) | 一种判断无线基站单路由及业务配置隐患的方法和装置 | |
| CN110262351A (zh) | 一种组态方法 | |
| CN105634850A (zh) | Ptn网络的业务流量建模方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100414 |