CN113537734A - 基于最大相关最小冗余的能源数据应用目录提取方法 - Google Patents

Abstract

本发明提供了一种基于最大相关最小冗余的能源数据应用目录提取方法，包括：一、对能源数据目录项下的各类数据进行归一化处理；二、基于信息论近似计算某一能源数据目录项的数据及数据类别的信息熵；三、基于信息熵计算得到该能源数据目录项下数据所包含的信息熵均值指标；四、基于联合熵和互信息构建能源数据目录项的相关性指标；五、基于斯皮尔曼相关系数构建能源数据目录项的冗余性指标；六、求解得到提取后的能源数据目录项。本发明能够高效提取出精简且有效的目录项集合，提取结果基本符合实际情况，说服力高。同时，面对数字化转型下能源数据目录收集的大量数据，本发明能够帮助从业人员掌握关键信息，为决策和服务改进提供信息支持。

Description

基于最大相关最小冗余的能源数据应用目录提取方法

技术领域

本发明涉及能源数据应用目录提取技术领域，特别涉及一种基于最大相关最小冗余的能源数据应用目录提取方法。

背景技术

能源目录项的公开项目可为相关行业从业人员提供方便、快捷、可靠的能源数据获取途径，从而促进能源管理体系建设工作，提高能源管理工作的精细化程度。但随着能源技术的不断发展，能源目录层级变多，包含的数据种类众多，数据量越来越庞大。这种发展趋势，一方面，庞大的目录项在调取数据时会存在不便，且目录内众多项目项可能存在冗余；另一方面，在进行数据分析时，特征提取困难，导致数据分析算法结果不准确。因此，需要对能源数据目录项进行提取，提升能源目录的实用性。

特征选择算法能够降低特征空间的维度、加速学习算法的执行、提高学习算法的预测精度、改善特征的可视化和可理解性。特征选择是一个从原始特征集中选出特征子集的过程，其最主要任务是去除不相关特征及冗余特征，保留相关特征。目前，特征选择可以通过定性分析和定量分析实现。定性分析是通过主观赋权方法，对候选特征进行重要性分析排序，进一步筛选特征，例如采用层次分析法、专家打分法得到筛选后的特征集合。定量分析是对单个特征所含信息量和特征之间的关联性进行量化分析排序，进一步筛选特征，例如灰色关联分析及其衍生聚类方法、基于互信息的特征提取方法等。

虽然上述研究能够对能源行业数据目录项进行提取，但是仍存在以下问题：1.定性分析方法实质上仍是凭借经验对数据目录集进行精简，主观性太强且仅适用于特征数量较少的情况，不适用于能源数据目录项的提取；2.定量有效性指标单一，局限性较强，没有构建数据目录所含信息量、冗余度评价分析模型，提取结果缺乏说服力。

发明内容

针对上述技术问题，本发明提供了一种基于最大相关最小冗余的能源数据应用目录提取方法。

本发明采用的技术方案如下：

基于最大相关最小冗余的能源数据应用目录提取方法，包括以下步骤：

步骤S1：对能源数据目录项下的各类数据进行归一化处理；

步骤S2：基于信息论近似计算某一能源数据目录项的数据及数据类别的信息熵；

步骤S3：基于信息熵计算得到该能源数据目录项下数据所包含的信息熵均值指标；

步骤S4：基于联合熵和互信息构建能源数据目录项的相关性指标；

步骤S5：基于斯皮尔曼相关系数构建能源数据目录项的冗余性指标；

步骤S6：综合步骤S3～S5所获得的指标，通过编码将能源数据目录项提取过程转化为0-1规划问题，并求解得到提取后的能源数据目录项。

具体地，本发明中，所述步骤S1中，归一化的计算公式为：

式中，x′_ij为第i类数据目录项第j个原始数据；x′_i,max和x′_i,min分别为第i类数据目录项原始数据能达到的最大值和最小值。

具体地，本发明中，所述步骤S2中，信息熵近似计算公式为：

式中，N_x为数据概率分布区间数；D为总样本数；D_k为处于第k个区间内的样本数。

具体地，本发明中，所述步骤S3中，信息熵均值指标计算公式为：

式中，S为提取后的能源数据项目；N_S为其包含数据项目的个数；X_i为S中第i个数据项；H(X_i)_max为数据项X_i的信息熵的最大值。

具体地，本发明中，所述步骤S4中，能源数据目录项的相关性指标具体是指最优能源目录项与它包含的某一类数据类别的相关性指标，其相关性指标计算公式为：

式中，S为提取后的能源数据项目；Y_i为数据类别；N_S为其包含数据项目的个数；X_i为S中第i个数据项；MI(X_i；Y_i)为第i个数据项与Y_i数据类别的互信息。

具体地，本发明中，所述步骤S5中，能源数据目录项冗余性指标计算公式为：

式中，S为提取后的能源数据项目；N_S为其包含数据项目的个数；

为斯皮尔曼相关系数计算公式，其中，d_i为两变量数据X_i和Y_i之间的等级差，即两个数在各自数据列中从大到小排序后的位置之差。

具体地，本发明中，所述步骤S6包括以下步骤：

步骤S601：综合步骤S3～S5所获得的指标，得到由最大相关最小冗余准则制定的提取指标为：

Z＝C(S,Y_i)+I(S)-αR(S)

式中，α为调节系数，0＜α＜1时表示削弱冗余度指标的影响，防止冗余度指标占比过大导致提取到的目录项过于精简；α＞1时表示加强冗余度指标的影响，获取精简的目录项；

步骤S602：将提取能源数据目录项问题转化为0-1规划问题，该规划问题的目标函数为：

max Z＝C(f_i·G,Y_i)+I(f_i·G)-αR(f_i·G)

式中，G为能源数据目录项全集，f_i·G表示对全集进行提取后的新目录项集合；

步骤S603：采取隐枚举法求取得到使Z最大的向量f，解码之后便得到基于最大相关最小冗余准则提取的最终能源数据目录项。

与现有技术相比，本发明具有以下有益效果：

本发明在对能源行业数据目录项提取过程中，构建了能源数据目录项包含的信息量指标数据目录项内数据与类别之间的相关性指标和能源数据目录项之间的冗余性指标；同时，以信息量、相关性、冗余性指标作为目标函数，将能源行业数据目录项提取过程转换为规划问题的求解过程，从而构建了能源行业数据目录项提取模型。本发明的主要特点在于：(1)以互信息作为相关性指标弥补了传统提取方法主观性过强的弊端，能够基于历史数据反应能源行业的传统认知；(2)采用斯皮尔曼相关系数从整体上反映数据的冗余度，体现了变化趋势上的相关性。

因此，该提取方法对冗余度较大的能源数据目录较灵敏，能够高效提取出精简且有效的目录项集合，提取结果基本符合实际情况，具有很高的说服力。同时，面对数字化转型下能源数据目录收集的大量数据，该提取方法能够帮助从业人员掌握关键信息，为决策和服务改进提供信息支持。

附图说明

图1为本发明的流程示意图。

图2为本发明-实施例中电动汽车充电站运行数据项目示意图。

图3为本发明-实施例中能源数据目录项中的数据分类情况示意图。

图4为本发明-实施例中两种方法得到最终的能源数据目录项的信息量指标、相关性指标和冗余性指标计算结果对比示意图。

具体实施方式

本发明提供了一种基于最大相关最小冗余的能源数据应用目录提取方法，其首先依据最大相关最小冗余准则提出衡量能源数据目录项信息量、相关性和冗余性定量分析指标；然后通过三个定量分析指标构建优化求解模型；最后，通过编码将能源数据目录项提取过程转化为规划问题，并通过求解规划问题得到提取后的最优能源数据目录项。本发明整体流程如图1所示，具体分为六个步骤，分别为：一、对能源数据目录项下的各类数据进行归一化处理；二、基于信息论近似计算某一能源数据目录项的数据及数据类别的信息熵；三、基于信息熵计算得到该能源数据目录项下数据所包含的信息熵均值指标；四、基于联合熵和互信息构建能源数据目录项的相关性指标；五、基于斯皮尔曼相关系数构建能源数据目录项的冗余性指标；六、通过编码将能源数据目录项提取过程转化为0-1规划问题，并求解得到提取后的能源数据目录项。

下面对上述步骤进行一一阐述。

一、对能源数据目录项下的各类数据进行归一化处理：

由于能源数据目录项下的各类数据量纲不一，首先要对各类数据进行归一化，归一化的计算公式为：

二、基于信息论近似计算某一能源数据目录项的数据及数据类别的信息熵：

能源目录中的所有项目即为总特征集合，由于能源目录中各个项目的数据均为离散型数据，若要应用信息论相关理论，则还需将离散化变量的数值序列转化为概率分布区间，然后求取数据的信息熵。

将离散化变量的数值序列转化为概率分布区间，可得到某一能源数据目录项X_i的信息熵近似计算公式为：

假设某数据目录项下的数据可以分为y类，则对于Y_i类别对应的信息熵计算公式为：

式中，D_n为被评为第n个类别的样本数。

三、基于信息熵计算得到该能源数据目录项下数据所包含的信息熵均值指标：

为防止目录项数量级差异对提取结果造成影响，需要再对信息熵进行归一化处理，衡量数据目录项信息量的信息熵均值指标计算公式为：

四、基于联合熵和互信息构建能源数据目录项的相关性指标：

能源数据目录收集到的历史数据隐含了数据项重要程度和分类的相关信息。因此，根据历史数据，对于第i个数据目录项与它包含的第Y_i类数据的联合熵计算公式为：

式中，D_ki为第i个数据目录项同时属于第k个区间、第n类的样本数量。

互信息用来衡量两个随机变量之间共同拥有的信息量，即给定某一变量后对另一变量的不确定性削减程度。数据目录项X_i与类别Y_i之间的互信息如下所示：

MI(X_i；Y_i)＝H(X_i)+H(Y_i)-H(X_i,Y_i)

经过提取得到的最优能源目录项与Y_i类数据类别的相关性指标计算公式为：

五、基于斯皮尔曼相关系数构建能源数据目录项的冗余性指标：

斯皮尔曼相关系数计算公式为：

能源数据目录项冗余性指标为：

六、通过编码将能源数据目录项提取过程转化为0-1规划问题，并求解得到提取后的能源数据目录项：

综合上述三、四、五获得的三个指标，可以得到由最大相关最小冗余准则制定的提取指标为：

Z＝C(S,Y_i)+I(S)-αR(S)

将提取能源数据目录项问题转化为0-1规划问题。首先令f_i为目录项X_i的集合隶属度指示函数，然后对其进行0-1编码，f_i＝0表示目录项X_i不存在最终的能源数据目录项中，f_i＝1表示目录项X_i存在最终的能源数据目录项中。则规划问题的目标函数可写为：

max Z＝C(f_i·G,Y_i)+I(f_i·G)-αR(f_i·G)

采取隐枚举法求取得到使Z最大的向量f，解码之后便得到基于最大相关最小冗余准则提取的最终能源数据目录项。

下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于以下实施例。

实施例

以能源目录中电动汽车充电站下的运行数据为例，该级目录包含的项目如图2所示，项目总数为11个，样本总数为5000个。

根据目录收录情况将所有样本分为3类，分类总体情况如图3所示。

计算得到的数据信息熵、类别信息熵、数据与类别的联合熵和互信息如表1所示：

表1指标计算结果

通过求解得到最优解为f＝[1 0 0 0 0 0 0 0 0 0 1]，解码可以得到提取后的最优数据目录集为{日售电量，充电负荷率}。

本实施例采用的方法为方法1；方法2为目标函数采用不包含信息量指标I(S)的提取方法，其优化结果为{日售电量，充电拥堵情况}。两种方法得到最终的能源数据目录项的信息量指标、相关性指标和冗余性指标计算结果如图4所示。

由图4可知，通过方法1计算得到数据目录项的平均信息熵为2.4846，较方法2得到的1.4514高出71.19％。说明新的数据目录项的数据所含的信息量更大。互信息指标略低于方法2，说明该方法损失了一定的数据内相关性。提取后的平均冗余度指标为0.0112，低于方法2的0.1390，极大减小了冗余度。

综上，本发明有效解决了传统提取方法所存在的主观性强、提取限制大、提取结果说服力不高的问题，相比现有技术来说，本发明技术进步十分明显，具有突出的实质性特点和显著的进步。

上述仅为本发明的一种优选实施方式，凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (7)

1.基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，包括以下步骤：

步骤S1：对能源数据目录项下的各类数据进行归一化处理；

步骤S2：基于信息论近似计算某一能源数据目录项的数据及数据类别的信息熵；

步骤S3：基于信息熵计算得到该能源数据目录项下数据所包含的信息熵均值指标；

步骤S4：基于联合熵和互信息构建能源数据目录项的相关性指标；

步骤S5：基于斯皮尔曼相关系数构建能源数据目录项的冗余性指标；

步骤S6：综合步骤S3～S5所获得的指标，通过编码将能源数据目录项提取过程转化为0-1规划问题，并求解得到提取后的能源数据目录项。

2.根据权利要求1所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S1中，归一化的计算公式为：

式中，x′_ij为第i类数据目录项第j个原始数据；x′_i,max和x′_i,min分别为第i类数据目录项原始数据能达到的最大值和最小值。

3.根据权利要求2所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S2中，信息熵近似计算公式为：

式中，N_x为数据概率分布区间数；D为总样本数；D_k为处于第k个区间内的样本数。

4.根据权利要求3所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S3中，信息熵均值指标计算公式为：

式中，S为提取后的能源数据项目；N_S为其包含数据项目的个数；X_i为S中第i个数据项；H(X_i)_max为数据项X_i的信息熵的最大值。

5.根据权利要求4所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S4中，能源数据目录项的相关性指标具体是指最优能源目录项与它包含的某一类数据类别的相关性指标，其相关性指标计算公式为：

式中，S为提取后的能源数据项目；Y_i为数据类别；N_S为其包含数据项目的个数；X_i为S中第i个数据项；MI(X_i；Y_i)为第i个数据项与Y_i数据类别的互信息。

6.根据权利要求5所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S5中，能源数据目录项冗余性指标计算公式为：

式中，S为提取后的能源数据项目；N_S为其包含数据项目的个数；

为斯皮尔曼相关系数计算公式，其中，d_i为两变量数据X_i和Y_i之间的等级差，即两个数在各自数据列中从大到小排序后的位置之差。

7.根据权利要求6所述的基于最大相关最小冗余的能源数据应用目录提取方法，其特征在于，所述步骤S6包括以下步骤：

步骤S601：综合步骤S3～S5所获得的指标，得到由最大相关最小冗余准则制定的提取指标为：

Z＝C(S,Y_i)+I(S)-αR(S)

式中，α为调节系数，0＜α＜1时表示削弱冗余度指标的影响，防止冗余度指标占比过大导致提取到的目录项过于精简；α＞1时表示加强冗余度指标的影响，获取精简的目录项；

步骤S602：将提取能源数据目录项问题转化为0-1规划问题，该规划问题的目标函数为：

max Z＝C(f_i·G,Y_i)+I(f_i·G)-αR(f_i·G)

式中，G为能源数据目录项全集，f_i·G表示对全集进行提取后的新目录项集合；

步骤S603：采取隐枚举法求取得到使Z最大的向量f，解码之后便得到基于最大相关最小冗余准则提取的最终能源数据目录项。

Images