CN111639237B - 一种基于聚类和关联规则挖掘的电力通信网风险评估系统 - Google Patents
一种基于聚类和关联规则挖掘的电力通信网风险评估系统 Download PDFInfo
- Publication number
- CN111639237B CN111639237B CN202010264718.7A CN202010264718A CN111639237B CN 111639237 B CN111639237 B CN 111639237B CN 202010264718 A CN202010264718 A CN 202010264718A CN 111639237 B CN111639237 B CN 111639237B
- Authority
- CN
- China
- Prior art keywords
- database
- tree
- index
- communication network
- risk assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 54
- 238000012502 risk assessment Methods 0.000 title claims abstract description 46
- 238000005065 mining Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009412 basement excavation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Water Supply & Treatment (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于聚类和关联规则挖掘的电力通信网风险评估系统，方法包括以下步骤：收集历史风险数据，建立风险评估数据库并对数据进行预处理；基于每个指标的支持计数对数据库进行AP聚类，从数据库中删除不频繁的指标集，根据聚类后的集群获取频繁指标及其支持计数，并将剩余频繁的指标按数据量排序更新数据库；将更新后的数据库进行关联规则挖掘，找出对评估结果有重要影响的指标；采用层次分析法确定最终的指标体系及各因素的权重，并加权求得最终的综合风险评估指标。本发明解决了传统关联规则挖掘效率低下及层次分析法主观性过强的问题，有效提高了电力通信网风险评估的准确性和有效性。
Description
技术领域
本发明涉及电力通信网的风险评估领域，具体的是一种基于聚类和关联规则挖掘的电力通信网风险评估系统。
背景技术
近二十年来，随着智能电网建设速度加快，电力通信网作为电力系统的重要组成部分，其作用也越来越重要，其安全性直接影响了自身的稳定运行，且直接或间接对电力网的稳定运行产生影响，这也对大规模通信网络的整体管控和风险防范提出了更高管理要求。电力通信网是一个复杂的系统，其由多个传输和交换的子网组成，而每个子网又包括多个通信设备，任何一个通信设备或者子网发生故障或存在风险，都会整个电力通信网造成很大的影响，为了避免潜在的风险，建立具有有效性、可靠性的电力通信网风险评估指标体系具有重要的意义。
电力通信网的风险评估已从最初的基于确定性安全评估，向不确定性安全评估方向进行发展，风险评估的方法主要是基于风险、可靠性、有效性、模糊和时间裕度等理论。研究发现，国内电力通信网风险评估体系和方法还不完备，存在如下问题：
一、指标零碎，缺乏有效的数据分析能力。电力通信网的风险评估涉及电力通信网光缆层、传输层、业务层等各层级的多源异构信息，导致评估多而杂，尚未形成系统的体系，不同网省公司有各自的手段和指标，信息不能有效共享，未形成电力系统统一、高效的风险评估体系和方法；
二、风险评估准确性较低，事前预警能力较差。目前风险评估指标的选择大多通过专家咨询法和层次分析法来确定，使得评估结果在很大程度上受到专家权威和个人偏好等主观因素影响，降低了评估的客观性，导致隐患和风险未能及时发现，事前预警能力较差。
因此，有必要开发一种利用数据挖掘分析海量风险记录，从中挖掘出指标之间的关联关系的基于AP聚类和关联规则挖掘的电力通信网络风险评估方法。
发明内容
为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于聚类和关联规则挖掘的电力通信网风险评估系统，本发明提出的基于聚类和关联规则挖掘的电力通信网风险评估系统，包括对CAN-tree的查找效率和树结构的改进、对层次分析法指标体系的构建的改进等；具体地，通过对数据库进行AP聚类，删除不频繁的指标集来削减树的节点数以及给CAN-Tree增加一个哈希辅助的项头表，提高查找某个项的条件模式基速率；根据关联规则挖掘筛选得到对电力通信网络可靠性有影响的强关联指标对层次分析法指标体系的构建进行改进，降低专家权威和个人偏好等主观因素的影响；
同时，本发明解决了传统关联规则挖掘效率低下及层次分析法主观性过强的问题，有效提高了电力通信网风险评估的准确性和有效性。
本发明的目的可以通过以下技术方案实现：
一种基于聚类和关联规则挖掘的电力通信网风险评估系统，包括以下步骤：
一、收集历史风险数据，建立风险评估数据库并对数据进行预处理；
二、基于每个指标的支持计数对数据库进行AP聚类，从数据库中删除不频繁的指标集，根据聚类后的集群获取频繁指标及其支持计数，并将剩余频繁的指标按数据量排序更新数据库；
三、将更新后的数据库进行关联规则挖掘，找出对评估结果有重要影响的指标；
四、采用层次分析法确定最终的指标体系及各因素的权重，并加权求得最终的综合风险评估指标。
进一步地，所述步骤一的方法为：利用电力通信网络收集历史风险发生数据建立风险评估数据库，并对历史数据通过压缩，特征编码和标准化进行预处理。
进一步地，所述步骤二中的方法为：依据指标的支持计数进行AP聚类，具有类似支持计数指标被分到一个集群中，在计算最小支持计数阈值的位置执行修剪，删除小于最小支持计数阈值的集群，然后对数据库每一条事务的指标按支持计数从大到小的顺序重新排列。
进一步地，所述步骤三的方法为：将更新后的数据库导入CAN-tree快速构建算法进行关联规则挖掘，对CAN-tree的查找效率和树结构的改进。
进一步地，所述改进的具体流程如下：
在第一次扫描数据库的同时，为CAN-tree增加一个哈希辅助的项头表，通过计算该指标的哈希值得到该指标在该结构数组中的位置，大大提高了传统按顺序查找某个项的条件模式基速率；
基于指标的支持计数进行AP聚类修剪数据库并对修剪后的数据库进行增量排序，可以在构建CAN-tree时让尽量多的相同数据项使用同一个节点，而且不频繁的项也不会出现在树的结构中，解决了传统CAN-tree存储了所有数据导致树的节点数过多的问题，从而也提高了算法的挖掘效率；
引入AP聚类和哈希表后，新的CAN-tree构造算法如下：
CAN-tree(D,min_sup)
输入：原始事务集D，最小支持度min_sup；
输出：事务集D的CAN-tree；
一、对事务集D进行AP聚类，具有类似支持计数项目被分到一个集群中，将低于最小支持度项目的集群从事务集D中排除,得到新的事务集D1；
二、根据聚类后的集群，获取频繁项的集合F及其支持度；按照支持度降序的方式整理集合F，同时确定相应的哈希函数并且构建频繁项头表H；
三、新建一个CAN-tree的根结点R；
四、扫描事务集D1，按照H中的次序对D1中的每一条事务进行相应的排序，接着对每一个数据项x进行树的节点插入操作；
五、根据所构建的CAN-tree挖掘有强关联规则的频繁项目集。
进一步地，所述改进具体流程中的插入操作的具体流程为：依次遍历与x同名节点的路径，若x对应的已经建立的同名节点的父节点与执行插入的事务中项x的前项名相同，则将与x项同名的节点的计数增加，否则创建一个新的节点N1，新节点N1的父节点与插入事务中的x项的前项名相同，依次完成上述操作，直到所有的事务数据全部插入完成。
进一步地，所述步骤四中采用层次分析法确定最终的指标体系及各因素的权重的具体操作为：
一、首先基于关联规则筛选得到对电力通信网络可靠性有影响的强关联指标，确定AHP的层次模型及基础指标；
二、对底层的各指标进行两两比较判断，构造判断矩阵；
三、通过对判断矩阵的计算，进行层次单排序和一致性校验；
三、进行层次总排序，得到各因素的权重，建立电力通信网络风险评估模型后，即可对待评价的电力通信网络风险进行评估，输出评价结果。
本发明的有益效果：
1、本发明提出的基于聚类和关联规则挖掘的电力通信网风险评估系统，包括对CAN-tree的查找效率和树结构的改进、对层次分析法指标体系的构建的改进等；具体地，通过对数据库进行AP聚类，删除不频繁的指标集来削减树的节点数以及给CAN-Tree增加一个哈希辅助的项头表，提高查找某个项的条件模式基速率；根据关联规则挖掘筛选得到对电力通信网络可靠性有影响的强关联指标对层次分析法指标体系的构建进行改进，降低专家权威和个人偏好等主观因素的影响；
2、本发明解决了传统关联规则挖掘效率低下及层次分析法主观性过强的问题，有效提高了电力通信网风险评估的准确性和有效性。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明风险评估系统的流程示意图；
图2是本发明改进CAN-tree算法的流程示意图；
图3是本发明传统CAN-tree建树示意图；
图4是本发明改进CAN-tree建树示意图；
图5是本发明电力通信网初始风险评估指标集示意图；
图6是本发明改进后电力通信网风险评估指标集示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于聚类和关联规则挖掘的电力通信网风险评估系统，包括以下步骤：
一、收集历史风险数据，建立风险评估数据库并对数据进行预处理；
二、基于每个指标的支持计数对数据库进行AP聚类，从数据库中删除不频繁的指标集，根据聚类后的集群获取频繁指标及其支持计数，并将剩余频繁的指标按数据量排序更新数据库；
三、将更新后的数据库进行关联规则挖掘，找出对评估结果有重要影响的指标；
四、采用层次分析法确定最终的指标体系及各因素的权重，并加权求得最终的综合风险评估指标。
步骤一的方法为：利用电力通信网络收集历史风险发生数据建立风险评估数据库，并对历史数据通过压缩，特征编码和标准化进行预处理。
步骤二中的方法为：依据指标的支持计数进行AP聚类，具有类似支持计数指标被分到一个集群中，在计算最小支持计数阈值的位置执行修剪，删除小于最小支持计数阈值的集群，然后对数据库每一条事务的指标按支持计数从大到小的顺序重新排列。
步骤三的方法为：将更新后的数据库导入CAN-tree快速构建算法进行关联规则挖掘，对CAN-tree的查找效率和树结构的改进。
改进的具体流程如下：
在第一次扫描数据库的同时，为CAN-tree增加一个哈希辅助的项头表，通过计算该指标的哈希值得到该指标在该结构数组中的位置，大大提高了传统按顺序查找某个项的条件模式基速率；
基于指标的支持计数进行AP聚类修剪数据库并对修剪后的数据库进行增量排序，可以在构建CAN-tree时让尽量多的相同数据项使用同一个节点，而且不频繁的项也不会出现在树的结构中，解决了传统CAN-tree存储了所有数据导致树的节点数过多的问题，从而也提高了算法的挖掘效率；
引入AP聚类和哈希表后，新的CAN-tree构造算法如下：
CAN-tree(D,min_sup)
输入：原始事务集D，最小支持度min_sup；
输出：事务集D的CAN-tree；
一、对事务集D进行AP聚类，具有类似支持计数项目被分到一个集群中，将低于最小支持度项目的集群从事务集D中排除,得到新的事务集D1；
二、根据聚类后的集群，获取频繁项的集合F及其支持度；按照支持度降序的方式整理集合F，同时确定相应的哈希函数并且构建频繁项头表H；
三、新建一个CAN-tree的根结点R；
四、扫描事务集D1，按照H中的次序对D1中的每一条事务进行相应的排序，接着对每一个数据项x进行树的节点插入操作；
插入操作的具体流程为：依次遍历与x同名节点的路径，若x对应的已经建立的同名节点的父节点与执行插入的事务中项x的前项名相同，则将与x项同名的节点的计数增加，否则创建一个新的节点N1，新节点N1的父节点与插入事务中的x项的前项名相同，依次完成上述操作，直到所有的事务数据全部插入完成。
五、根据所构建的CAN-tree挖掘有强关联规则的频繁项目集。
步骤四中采用层次分析法确定最终的指标体系及各因素的权重的具体操作为：
一、首先基于关联规则筛选得到对电力通信网络可靠性有影响的强关联指标，确定AHP的层次模型及基础指标；
二、对底层的各指标进行两两比较判断，构造判断矩阵；
三、通过对判断矩阵的计算，进行层次单排序和一致性校验；
三、进行层次总排序，得到各因素的权重，建立电力通信网络风险评估模型后，即可对待评价的电力通信网络风险进行评估，输出评价结果。
实施例：
对CAN-tree的查找效率和树结构的改进：通过对数据库进行AP聚类，删除不频繁的指标集来削减树的节点数以及给CAN-Tree增加一个哈希辅助的项头表，提高查找某个项的条件模式基速率。如图3所示，为传统CAN-tree建树图。
对一个具有100000条事务870个项目的T10I4D100K.dat数据集，选择不同的最小支持度Supmin＝{5％，1％，0.5％}分别采用传统CAN-tree、FP-growth与改进CAN-tree算法进行关联规则挖掘测试，其测试对比结果如表1所示。
表1 T10I4D100K数据集测试对比表
测试对比结果表明：改进的HCAN-tree算法相较于传统的CAN-tree以及FP-growth算法在挖掘效率上均具有明显的提高，且随支持度的降低，挖掘效率的提升越明显。如图4所示，为改进CAN-tree建树图。
对层次分析法指标体系的构建的改进：根据关联规则挖掘筛选得到对电力通信网络可靠性有影响的强关联指标对层次分析法指标体系的构建进行改进，降低专家权威和个人偏好等主观因素的影响。
实验数据来自某省电力公司的电力通信网络风险评估数据库，该库包含了近五年电力通信网业务风险评估及实际运行情况记录，经过预处理后从中选取800条记录进行分析，数据中包含56个指标的电力通信网初始风险评估指标集如图2所示。
选取minsup＝0.1对其进行HCAN-tree挖掘，最终筛选出19个具有强关联规则的指标，电力通信网初始风险评估指标集和改进后的电力通信网风险评估指标集分别如图5和6所示。构造权重判断矩阵C-B时采用九标度法，而在构造权重判断矩阵C-B1、C-B2、C-B3和C-B4时根据C层每个指标的支持度计数所占比例。可见关联规则挖掘的引入，从根源上能够有效过滤掉大量无用的风险指标，从而使得改进的电力通信网风险评估指标体系在进行层次分析确定权重时的效率与有效性上均明显优于初始风险评估指标体系。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (3)
1.一种基于聚类和关联规则挖掘的电力通信网风险评估系统，其特征在于，包括以下步骤：
一、收集历史风险数据，建立风险评估数据库并对数据进行预处理；
二、基于每个指标的支持计数对数据库进行AP聚类，从数据库中删除不频繁的指标集，根据聚类后的集群获取频繁指标及其支持计数，并将剩余频繁的指标按数据量排序更新数据库；
所述步骤二中的方法为：依据指标的支持计数进行AP聚类，具有类似支持计数指标被分到一个集群中，在计算最小支持计数阈值的位置执行修剪，删除小于最小支持计数阈值的集群，然后对数据库每一条事务的指标按支持计数从大到小的顺序重新排列；
三、将更新后的数据库进行关联规则挖掘，找出对评估结果有重要影响的指标；
四、采用层次分析法确定最终的指标体系及各因素的权重，并加权求得最终的综合风险评估指标；
所述步骤三的方法为：将更新后的数据库导入CAN-tree快速构建算法进行关联规则挖掘，对CAN-tree的查找效率和树结构的改进；
改进的具体流程如下：
在第一次扫描数据库的同时，为CAN-tree增加一个哈希辅助的项头表，通过计算该指标的哈希值得到该指标在该结构数组中的位置；
基于指标的支持计数进行AP聚类，修剪数据库并对修剪后的数据库进行增量排序，在构建CAN-tree时让尽量多的相同数据项使用同一个节点，并使不频繁的项不会出现在树的结构中；
引入AP聚类和哈希表后，新的CAN-tree构造算法如下：
CAN-tree(D,min_sup)
输入：原始事务集D，最小支持度min_sup；
输出：事务集D的CAN-tree；
(一)、对事务集D进行AP聚类，具有类似支持计数项目被分到一个集群中，将低于最小支持度项目的集群从事务集D中排除,得到新的事务集D1；
(二)、根据聚类后的集群，获取频繁项的集合F及其支持度；按照支持度降序的方式整理集合F，同时确定相应的哈希函数并且构建频繁项头表H；
(三)、新建一个CAN-tree的根结点R；
(四)、扫描事务集D1，按照H中的次序对D1中的每一条事务进行相应的排序，接着对每一个数据项x进行树的节点插入操作；
(五)、根据所构建的CAN-tree挖掘有强关联规则的频繁项目集；
所述改进具体流程中的插入操作的具体流程为：依次遍历与x同名节点的路径，若x对应的已经建立的同名节点的父节点与执行插入的事务中项x的前项名相同，则将与x项同名的节点的计数增加，否则创建一个新的节点N1，新节点N1的父节点与插入事务中的x项的前项名相同，依次完成上述操作，直到所有的事务数据全部插入完成。
2.根据权利要求1所述的一种基于聚类和关联规则挖掘的电力通信网风险评估系统，其特征在于，所述步骤一的方法为：利用电力通信网络收集历史风险发生数据建立风险评估数据库，并对历史数据通过压缩，特征编码和标准化进行预处理。
3.根据权利要求1所述的一种基于聚类和关联规则挖掘的电力通信网风险评估系统，其特征在于，所述步骤四中采用层次分析法确定最终的指标体系及各因素的权重的具体操作为：
一、首先基于关联规则筛选得到对电力通信网络可靠性有影响的强关联指标，确定AHP的层次模型及基础指标；
二、对底层的各指标进行两两比较判断，构造判断矩阵；
三、通过对判断矩阵的计算，进行层次单排序和一致性校验；
进行层次总排序，得到各因素的权重，建立电力通信网络风险评估模型后，即可对待评价的电力通信网络风险进行评估，输出评价结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264718.7A CN111639237B (zh) | 2020-04-07 | 2020-04-07 | 一种基于聚类和关联规则挖掘的电力通信网风险评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264718.7A CN111639237B (zh) | 2020-04-07 | 2020-04-07 | 一种基于聚类和关联规则挖掘的电力通信网风险评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639237A CN111639237A (zh) | 2020-09-08 |
| CN111639237B true CN111639237B (zh) | 2023-04-07 |
Family
ID=72329552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010264718.7A Active CN111639237B (zh) | 2020-04-07 | 2020-04-07 | 一种基于聚类和关联规则挖掘的电力通信网风险评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639237B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270470B (zh) * | 2020-10-23 | 2023-12-05 | 中国科学院电工研究所 | 一种危险驾驶场景数据分析方法及系统 |
| CN112365152A (zh) * | 2020-11-10 | 2021-02-12 | 福州城建设计研究院有限公司 | 一种输水隧洞全生命周期风险影响评估方法及系统 |
| CN112418311A (zh) * | 2020-11-21 | 2021-02-26 | 安徽理工大学 | 一种通信网络风险评估的分布式随机森林方法 |
| CN112711601B (zh) * | 2021-03-29 | 2021-07-13 | 广州欧赛斯信息科技有限公司 | 一种针对高等教育专业数据指标的信息处理方法及系统 |
| CN113378978B (zh) * | 2021-07-02 | 2023-11-24 | 贵州电网有限责任公司 | 一种基于数据挖掘的试验数据智能分析方法 |
| CN113919694A (zh) * | 2021-10-11 | 2022-01-11 | 国网山西省电力公司信息通信分公司 | 一种电力通信光缆关键业务承载状态分析方法及系统 |
| CN114493077A (zh) * | 2021-11-05 | 2022-05-13 | 广西电网有限责任公司南宁供电局 | 电力行业计量标准装置有效性评估方法 |
| CN114358611A (zh) * | 2022-01-07 | 2022-04-15 | 华中科技大学同济医学院附属协和医院 | 一种基于学科发展的科研能力评估用数据采集系统 |
| CN114462506B (zh) * | 2022-01-10 | 2024-03-22 | 中国人民解放军国防科技大学 | 一种支持偏好策略的通信网络辅助规划方法及其应用 |
| CN116074127B (zh) * | 2023-04-03 | 2023-07-04 | 成都工业职业技术学院 | 一种基于大数据的自适应网络安全态势评估系统 |
| CN116703165B (zh) * | 2023-08-03 | 2024-01-19 | 国网山西省电力公司营销服务中心 | 一种电力计量数据安全风险评估方法及装置 |
| CN116775753B (zh) * | 2023-08-25 | 2023-11-17 | 北明成功软件(山东)有限公司 | 一种数据资产可视化方法及系统 |
| CN117036061B (zh) * | 2023-10-07 | 2023-12-12 | 国任财产保险股份有限公司 | 一种智能农险的智能化解决方案提供方法及系统 |
| CN117827937B (zh) * | 2024-03-05 | 2024-05-24 | 山东天大清源信息科技有限公司 | 基于多源数据整合与数据挖掘的监控方法、系统及存储介质 |
| CN118132326A (zh) * | 2024-05-07 | 2024-06-04 | 国网信通亿力科技有限责任公司 | 基于智能增强数据分析的多源异构数据分析方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201321565D0 (en) * | 2013-12-06 | 2014-01-22 | Cyberlytic Ltd | Profiling cyber threats detected in a target environment and automatically generating one or more rule bases for an expert system usable to profile cyber |
| CN109583796A (zh) * | 2019-01-08 | 2019-04-05 | 河南省灵山信息科技有限公司 | 一种用于物流园区运营分析的数据挖掘系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6278998B1 (en) * | 1999-02-16 | 2001-08-21 | Lucent Technologies, Inc. | Data mining using cyclic association rules |
| US20030037063A1 (en) * | 2001-08-10 | 2003-02-20 | Qlinx | Method and system for dynamic risk assessment, risk monitoring, and caseload management |
| CN103095494B (zh) * | 2012-12-31 | 2016-06-29 | 北京邮电大学 | 一种电力通信网风险评估方法 |
| CN108319658A (zh) * | 2018-01-04 | 2018-07-24 | 内蒙古物通天下网络科技有限责任公司 | 一种基于荒漠草原的改进Apriori算法 |
-
2020
- 2020-04-07 CN CN202010264718.7A patent/CN111639237B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201321565D0 (en) * | 2013-12-06 | 2014-01-22 | Cyberlytic Ltd | Profiling cyber threats detected in a target environment and automatically generating one or more rule bases for an expert system usable to profile cyber |
| CN109583796A (zh) * | 2019-01-08 | 2019-04-05 | 河南省灵山信息科技有限公司 | 一种用于物流园区运营分析的数据挖掘系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639237A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639237B (zh) | 一种基于聚类和关联规则挖掘的电力通信网风险评估系统 | |
| CN106095639A (zh) | 一种集群亚健康预警方法及系统 | |
| CN105404944A (zh) | 一种面向电力系统重过载预警的大数据分析方法 | |
| CN115497272A (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
| CN117078048B (zh) | 基于数字孪生的智慧城市资源管理方法及系统 | |
| CN109242170A (zh) | 一种基于数据挖掘技术的城市道路管理系统及方法 | |
| CN110690701A (zh) | 一种异常线损影响因素的分析方法 | |
| CN111709668A (zh) | 基于数据挖掘技术的电网设备参数风险识别方法及装置 | |
| CN113689004A (zh) | 基于机器学习的地下管网承载力评价方法及系统 | |
| CN114417802A (zh) | 一种智能化报表生成系统 | |
| CN116090819A (zh) | 一种基于关联规则的配电网风险态势预测方法 | |
| CN116307352A (zh) | 一种基于机器学习的工程量指标估算方法及系统 | |
| Si et al. | Optimization of regional forestry industrial structure and economic benefit based on deviation share and multi-level fuzzy comprehensive evaluation | |
| CN115409264A (zh) | 基于馈线故障预测的配电网抢修驻点位置优化方法 | |
| CN116226103A (zh) | 一种基于FPGrowth算法进行政务数据质量检测的方法 | |
| CN113688870A (zh) | 一种采用混合算法的基于用户用电行为的群租房识别方法 | |
| CN113421037A (zh) | 一种多源协同建设规划编制方法和装置 | |
| CN106815320B (zh) | 基于拓展三维直方图的调研大数据可视化建模方法及系统 | |
| CN115481841A (zh) | 基于特征提取和改进随机森林的物资需求预测方法 | |
| KR101985961B1 (ko) | 국가연구개발과제 유사도 정량화 시스템 및 이를 이용한 국가연구개발과제 협업 제안 방법 | |
| CN115600913A (zh) | 一种用于智能矿山的主数据识别方法 | |
| CN112488805B (zh) | 基于多元回归时间序列分析的长租市场预警方法 | |
| CN115545543A (zh) | 多灾种集成的自然灾害风险评估分析系统 | |
| CN112052549B (zh) | 一种小网眼聚集区道路选取方法 | |
| CN114691744A (zh) | 传播力约束下的微地图用户关联规则挖掘方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |