CN115687899A - 基于高维度纺纱数据的混合特征选择方法 - Google Patents

Abstract

本发明涉及一种基于高维度纺纱数据的混合特征选择方法，首先采用一种网络去卷积算法进行去除链式噪声所造成的噪声关联，之后再采用直接关联互信息值通过预筛选目标函数进行筛选一组最大相关、最大互补、最小冗余的关初选键参数子集。最后采用预测精度以及辨识度共同作为评估标准采用遗传算法进行搜索，并得到两者之间的最优占比，进而得到最终关键参数子集。本发明所提出的方法额外考虑的参数之间的互补性，以及纺纱生产过程中真实存在的噪声误差影响等，以提高纺纱能耗的预测精度。本发明提供的方法也可以应用到工况多变的类似工业场景中，帮助制造企业节能降耗，实现绿色生产。

Description

基于高维度纺纱数据的混合特征选择方法

技术领域

本发明涉及一种纺纱参数提取方法，具体涉及一种基于高维度纺纱数据的混合特征选择方法，属于纺纱能耗预测领域。

背景技术

纺纱是典型的能耗密集型民生行业。随着人工智能以及数据感知的发展，大量的纺纱制造过程参数被保留并用于质量预测，采用质量预测方法，能够对纺纱制造过程进行质量回溯，找出能耗异常的根源，是抑制能耗异常最有效的手段之一。但是环锭纺纱生产工艺流程长，影响生产能耗的影响参数多，并且关键参数不显著，这将影响能耗预测的精确度。采用大数据关联分析通过海量数据拟合参数间的作用关系，揭示参数间的作用规律，可进一步识别影响生产能耗的关键参数，是准确实现纺纱能耗预测的基础。然而，纺纱数据存在典型的高维度特性，影响成纱能耗的潜在因素达1000多个，这对参数间的关联分析提出了挑战。

为了解决这一问题，有些学者提出了混合特征选择方法，通过信息熵的方法进行初步确定关键参数子集，然后采用遗传算法以上一步选择的参数作为最大搜索范围进行精选参数，以得到尽可能少的冗余参数，并得到与目标变量高度相关的关键参数子集。例如，吕佑龙副教授提出的针对晶圆允收测试参数的混合式特征选择方法。该方法首先采用利用互信息计算各晶圆允收测试参数与良率的相关性与冗余性，并依据最大相关、最小冗余性初步筛选关键参数子集，之后再以最少参数个数以及预测精度作为评估标准采用遗传算法进行筛选参数，最后得到关键参数子集。

发明内容

本发明的目的是：实现纺纱能耗预测的关键参数提取，通过混合特征选择的方法得到一组冗余变量尽可能少、能够有效分辨能耗正常与异常且预测精度的参数子集，辅助进行进一步智能调控，以帮助降低纺纱能耗。

为了达到上述目的，本发明的技术方案是提供了一种基于高维度纺纱数据的混合特征选择方法，能够消除由于纺纱工序加工产生的传递误差并挑选出对于纺纱能耗异常有重要影响的参数，进而准确识别影响纺纱能耗的关键参数，其特征在于，包括以下步骤：

步骤一：收集并记录不同纺纱能耗下环锭纺纱生产过程中对纺纱能耗有潜在影响的候选参数数据，将所有潜在候选参数数据整合为一个完整的数据集；

步骤二：基于步骤一得到的数据集生成训练数据集，对混合特征选择算法模型进行训练，混合特征选择算法模型采用以下步骤生成最终的关键参数子集：

步骤201：计算各个候选参数与纺纱能耗相关的互信息值；

步骤202：基于步骤201获得的互信息值构建与观测到的关联关系对应的观测矩阵G_obs，有：

式中，I(x_K；x_K)表示步骤201计算得到的第K个候选参数x_K与第K个候选参数x_K的互信息值；

步骤203、基于直接关联矩阵G_dir的特征值λ_dir与观测矩阵G_obs的特征值λ_obs之间的关系，利用网络去卷积算法由观测矩阵G_obs计算到剔除了噪声关联的直接关联矩阵G_dir，其中：

直接关联矩阵G_dir的特征值λ_dir与观测矩阵G_obs的特征值λ_obs之间的关系表示为下式：

直接关联矩阵G_dir表示为：

I′(x_K；x_K)表示第K个候选参数x_K与第K个候选参数x_K的直接关联互信息值；

步骤204：将各个候选参数相互之间的直接关联互信息值由高到底排序，依据排序结果后从候选参数中选出候选关键特征参数组成预选的关键特征子集；

步骤205：在剔除了噪声关联关系之后，计算各个候选参数与预选的关键特征子集的相关性、冗余性、互补性，并通过测度函数判定待选参数是否为关键参数，最终确定初选的关键参数子集；

步骤206：初选的关键参数子集为最大搜索范围，通过遗传算法并以预测精度以及辨识度作为评估每次迭代生成的新的关键参数子集，以进行关键参数子集的精选；达到终止条件后，评估结果最优的关键参数子集即为最终的关键参数子集。

优选地，所述潜在候选参数包括环境参数、工艺参数、设备参数、原料参数、人员参数。

优选地，步骤201中，

两个参数x、y之间的相关性用互信息值I(x；y)来度量，则有：

式中，x_i表示参数x的第i个参数值，p(x_i)表示参数x的值为x_i的概率，y_j表示参数y的第j个参数值，p(y_j)表示参数y的值为y_j的概率，p(x_i,y_j)表示参数x的值为x_i且参数y的值为y_j的概率。

优选地，在所述步骤202之后，并所述步骤203之前，还包括以下步骤：

对观测矩阵G_obs进行线性缩放，如下式所示：

G′_obs＝αG_obs

式中，G′_obs为经过线性缩放后的观测矩阵，α为线性系数，且

和

分别是G_obs的特征值中最大正值和最小负值，β为预先确定的权重系数。

优选地，步骤205中，所述测度函数如下式所示：

式中，α、β是权值参数，且满足(α+β)∈[0,1]；|S|表示预选的关键特征子集S中的参数个数；CT表示性能指标；x_k表示第k个候选参数；I(x_k；f_s|CT)表示已知性能指标CT的情况下，第k个候选参数x_k与预选的关键特征子集S中的第s个参数f_s之间的互信息值。

优选地，步骤206中，采用下式评估每次迭代生成的新的关键参数子集：

式中，θ、η分别表示预测精度以及辨识度在适应度值函数中各占的比重，θ＝sigmoid(MSE)，且θ+η＝1；MSE表示预测精度，

m代表的是测试样本集中测试样本的数目，ytesti代表的是测试样本集中的第i个标签样本，

表示

所对应的混合特征选择算法模型的预测结果；μ_i1、σ_i1以及μ_i2、σ_i2分别代表的是一个特征中非能耗异常以及能耗异常一类的均值以及方差；L为一组特征子集的总个数；

随着遗传算法的不断迭代，θ、η的变化如下式：

η＝1-θ

式中，pace代表的是步长；

为θ对应函数的导数。

本发明提出了基于高维度纺纱数据的混合特征选择方法，采用信息熵理论与遗传算法相结合的方法。首先采用一种网络去卷积算法进行去除链式噪声所造成的噪声关联，之后再采用直接关联互信息值通过预筛选目标函数进行筛选一组最大相关、最大互补、最小冗余的关初选键参数子集。最后采用预测精度以及辨识度共同作为评估标准采用遗传算法进行搜索，并得到两者之间的最优占比，进而得到最终关键参数子集。

与前人提出混合特征选择方法不同的是，本发明所提出的方法额外考虑的参数之间的互补性，以及纺纱生产过程中真实存在的噪声误差影响等，以提高纺纱能耗的预测精度。在实际的纺纱能耗数据上实验结果表明，本发明所提出的方法表现出更高的准确性并能够准确识别出对于能耗正常与异常由关键影响的工序步骤，意味着更大的节能潜力。本发明提供的方法也可以应用到工况多变的类似工业场景中，帮助制造企业节能降耗，实现绿色生产。综上，与最新方法相比，本发明提供的方法能够更加准确、全面的筛选关键参数。

附图说明

图1是方法实现流程图；

图2是直接关联网络与观测到的关联网络演化图，图2最左边是各个具有直接相关关系的纺纱制造参数所形成关联网络，表示为G_dir；图2中间部分表示的是由于制造过程中因为加工误差或其他因素导致各个参数会产生一些噪声关联网络，表示为G_indir，图中虚线所示；最终就会形成我们所观测到的关联关系网络，表示为G_obs，如图2最右边所示；

图3是网络去卷积方法。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明受吕佑龙副教授提出的针对晶圆允收测试参数的混合式特征选择方法的启发，本发明在去除传递误差所造成参数之间的关系噪声的影响下，考虑参数间的相关性与冗余性，还考虑参数之间的互补性，并以最大相关、最大互补、最小冗余作为评估标准，并设计目标函数进行初选参数。之后，本发明再以辨识度、预测精度两者共同作为评估标准并以遗传算法进行精选参数，最终得到关键参数子集。

具体而言，本发明提供的一种基于高维度纺纱数据的混合特征选择方法通过深度迁移学习来监测纺纱过程中的能效异常，包括以下步骤：

步骤一：数据采集

从新建纺纱厂收集目标数据集，本实施例中，每5秒钟从连接到细纱机的智能电表收集其记录的能效时间序列。

同时，收集环锭纺纱生产过程中对纺纱能耗有潜在影响的候选参数数据(包括环境参数、工艺参数、设备参数、原料参数、人员参数等1000多个候选参数数据)，将所有潜在候选参数数据整合为一个完整的训练集。

步骤二：建立模型

使用Python编程语言和sklearn工具包建立如附图1所示的混合特征选择算法模型，固件应高于以下配置：Core i7 CPU@2.20GHz和8GB RAM。

混合特征选择算法模型采用以下步骤生成最终的关键参数子集：

步骤201：计算各个候选参数与纺纱能耗相关的互信息值。

两个参数x、y之间的相关性用互信息值I(x；y)来度量，x＝{x₁,x₂,…x_n}， y＝{y₁,y₂,…y_m}，其计算方式如公式(1)所示：

I(x；y)＝H(x)-H(x|y) (1)

式(1)中，H(x)指参数x的信息熵，

x_i表示参数x的第i个参数值，p(x_i)表示参数x的值为x_i的概率；H(x|y)指参数x相对于已知的参数y的条件熵，其度量方法如公式(2)所示。

H(x|y)＝H({x,y})-H(y) (2)

式(2)中，H(y)指参数y的信息熵，H({x,y})指参数x和参数y的联合熵，其度量方法见公式(3)。

式(2)中，y_j表示参数y的第j个参数值，p(x_i,y_j)表示参数x的值为x_i且参数y 的值为y_j的概率。

由公式(3)，可推导出公式(1)用公式(4)表示。

步骤202：基于步骤201获得的互信息值构建与观测到的关联关系对应的观测矩阵G_obs，并建立观测矩阵G_obs与直接关联矩阵G_dir的关系，如公式(5)、(6) 所示。

G_obs＝G_dir+G_indir (6)

式中：x_k表示第k个候选参数，k＝1,2,3,....,K，共K个候选参数；利用网络去卷积算法，将矩阵G_indir用直接关联网络矩阵G_dir的n次方和来表示，n∈(1,∞)，如公式(7)所示。

将公式(7)代入公式(6)可得观测矩阵G_obs与直接关联矩阵G_dir的关系式，如公式(8)所示。

若公式(8)中直接关联矩阵G_dir元素经过线性缩放可以变换到(0,1)区间，那么上述等比序列可以化为如公式(9)所示形式。

公式(9)中，I为单位矩阵，维数与观测矩阵G_obs及直接关联矩阵G_dir与一致。

步骤203：分别对直接关联矩阵G_dir及观测矩阵G_obs进行特征值分解，假设直接关联矩阵G_dir及观测矩阵G_obs可以分别分解并表示成如公式(10)所示形式。

公式(10)中：U为特征向量，通过对直接关联矩阵G_dir及观测矩阵G_obs进行特征值分解获得；

Δ_dir和Δ_obs分别为由直接关联矩阵G_dir的特征值λ_dir和观测矩阵G_obs的特征值λ_obs构成的对角矩阵，如公式(11)所示。

表示观测矩阵G_obs的第L个特征值，

表示直接关联矩阵G_dir的第L个特征值。

将公式(11)代入公式(10)中，可得：

由此可得λ_dir和λ_obs的关系如公式(13)所示。

这样就得到了直接关联矩阵G_dir与观测矩阵G_obs的对应关系，如附图3所示。

为保证公式(7)中等比数列收敛，直接关联矩阵G_dir的特征值需要满足 |λ_dir|<1，则需要对观测矩阵G_obs进行如公式(14)所示的线性缩放。

G′_obs＝αG_obs (14)

公式(14)中，G′_obs为经过线性缩放后的观测矩阵，α为线性系数，且

和

分别是G_obs的特征值中最大正值和最小负值，β为权重系数，本实施例中选为0.5。

最终得到通过观测矩阵与直接关联矩阵特征值之间的对应关系得到了剔除了噪声关联的直接关联矩阵G_dir，如公式(15)所示。

式中，I′(x_n；x_n)表示第K个候选参数x_K与第K个候选参数x_K的直接关联互信息值。

步骤204：将各个候选参数相互之间的直接关联互信息值由高到底排序，依据排序结果后从候选参数中选出候选关键特征参数组成预选的关键特征子集。

步骤205：在剔除了噪声关联关系之后，计算各个候选参数与预选的关键特征子集的相关性、冗余性、互补性，并通过测度函数判定待选参数是否为关键参数，最终确定初选的关键参数子集。

步骤205具体包括以下步骤：

在已知目标参数——纺纱能耗z的情况下，z＝{z₁,z₂,…z_l}，候选参数x与候选参数y的互补性用条件互信息I(x；y|z)表示，其度量方法见公式(16)。

p(x_i,y_j|z_k)表示当纺纱能耗z的值为z_k时，候选参数x的值取为x_i且候选参数 y的值取为y_j的概率；p(x_i|z_k)表示当纺纱能耗z的值为z_k时，候选参数x的值取为x_i的概率；p(y_j|z_k)表示当纺纱能耗z的值为z_k时，候选参数y的值取为y_j的概率。

纺纱能耗z为性能指标CT，在纺纱能耗等关键影响参数的识别中，第k个候选参数x_k和性能指标CT之间的相关性用两者之间的互信息I(x_k；CT)来描述。第k 个候选参数x_k与步骤204获得的预选的关键特征子集S之间的冗余性用候选参数和关键参数之间的互信息I(x_k；S)来描述。在本发明中，I(x_k；S)由第k个候选参数 x_k与预选的关键特征子集S中的参数之间的平均互信息值来近似，其度量方法见公式(17)所示。第k个候选参数x_k与预选的关键特征子集S之间的互补性可以用条件互信息I(x_k；S|CT)来描述，其由已知性能指标CT的情况下，第k个候选参数x_k与预选的关键特征子集S中的参数之间的平均互信息值来近似，其度量方法见公式 (18)。

式中，f_s表示预选的关键特征子集S中的第s个参数。

最终，本发明所确定的关键参数影响力指标充分考虑了候选参数与性能指标 CT之间的相关性、候选参数与预选的关键特征子集S之间的冗余性与互补性，入选测度的详细描述见公式(19)。

公式(19)中，α、β是权值参数，且满足(+β)∈[0,1]；|S|表示预选的关键特征子集S中的参数个数。

通过公式(19)所示的测度函数判定各个候选参数是否为关键参数，所有被判定为关键参数的候选参数组成初选的关键参数子集。

步骤206：初选的关键参数子集为最大搜索范围，通过遗传算法并以预测精度以及辨识度作为评估每次迭代生成的新的关键参数子集，以进行关键参数子集的精选。达到终止条件后，评估结果最优的关键参数子集即为最终的关键参数子集。

步骤206具体包括以下步骤：

通过遗传算法并以预测精度以及辨识度作为评估每次迭代生成的新的关键参数子集，以进行关键参数子集的精选采用公式(20)。

式中，θ、η分别表示预测精度以及辨识度在适应度值函数中各占的比重，θ＝sigmoid(MSE)，且θ+η＝1；MSE表示预测精度，

m代表的是测试样本集中测试样本的数目，ytesti代表的是测试样本集中的第i个标签样本，

表示

所对应的混合特征选择算法模型的预测结果；μ_i1、σ_i1以及μ_i2、σ_i2分别代表的是一个特征中非能耗异常以及能耗异常一类的均值以及方差；L为一组特征子集的总个数。

随着遗传算法的不断迭代，θ、η的变化如公式(21)，(22)所示。

η＝1-θ (22)

式中，pace代表的是步长，本实施例中设置为0.01；

为θ对应函数的导数。

步骤三：训练模型

将目标数据集分为两部分：将采集得到目标数据集中80％的样本作为用于训练的目标数据集，20％的样本作为用于测试的目标数据集。在训练部分，将训练集以及对应的目标数据集用于混合特征选择算法模型的训练，并得到一组关键参数子集。

步骤四：参数验证

首先通过专家验证的方法，判断所提取的关键参数子集中的参数是否为影响能耗的关键参数。此外，为了更加全面地验证被选取的参数，统计参数准确度 Accuracy、G-Mean等评价指标，对提取的关键参数子集进行性能评估。定义如下：

式中，TP表示真阳：预测为正常值，实际为正常值；FP表示假阳：预测为正常值，实际为异常值；FN表示假阴：预测为异常值，实际为正常值；TN表示真阴：预测为异常值，实际为异常值。

Recall值越高，将实际正常数据识别为异常的误报越少。Specificity值越高，将异常数据识别为正常数据的漏报越少。G-Mean是由Specificity和Recall形成的综合度量指标，它综合反映了模型对于误报和漏报的性能。

Claims (6)

1.一种基于高维度纺纱数据的混合特征选择方法，能够消除由于纺纱工序加工产生的传递误差并挑选出对于纺纱能耗异常有重要影响的参数，进而准确识别影响纺纱能耗的关键参数，其特征在于，包括以下步骤：

步骤一：收集并记录不同纺纱能耗下环锭纺纱生产过程中对纺纱能耗有潜在影响的候选参数数据，将所有潜在候选参数数据整合为一个完整的数据集；

步骤二：基于步骤一得到的数据集生成训练数据集，对混合特征选择算法模型进行训练，混合特征选择算法模型采用以下步骤生成最终的关键参数子集：

步骤201：计算各个候选参数与纺纱能耗相关的互信息值；

步骤202：基于步骤201获得的互信息值构建与观测到的关联关系对应的观测矩阵G_obs，有：

式中，I(x_K；x_K)表示步骤201计算得到的第K个候选参数x_K与第K个候选参数x_K的互信息值；

步骤203、基于直接关联矩阵G_dir的特征值λ_dir与观测矩阵G_obs的特征值λ_obs之间的关系，利用网络去卷积算法由观测矩阵G_obs计算到剔除了噪声关联的直接关联矩阵G_dir，其中：

直接关联矩阵G_dir的特征值λ_dir与观测矩阵G_obs的特征值λ_obs之间的关系表示为下式：

直接关联矩阵G_dir表示为：

I′(x_K；x_K)表示第K个候选参数x_K与第K个候选参数x_K的直接关联互信息值；

步骤204：将各个候选参数相互之间的直接关联互信息值由高到底排序，依据排序结果后从候选参数中选出候选关键特征参数组成预选的关键特征子集；

步骤205：在剔除了噪声关联关系之后，计算各个候选参数与预选的关键特征子集的相关性、冗余性、互补性，并通过测度函数判定待选参数是否为关键参数，最终确定初选的关键参数子集；

步骤206：初选的关键参数子集为最大搜索范围，通过遗传算法并以预测精度以及辨识度作为评估每次迭代生成的新的关键参数子集，以进行关键参数子集的精选；达到终止条件后，评估结果最优的关键参数子集即为最终的关键参数子集。

2.如权利要求1所述的一种基于高维度纺纱数据的混合特征选择方法，其特征在于，所述潜在候选参数包括环境参数、工艺参数、设备参数、原料参数、人员参数。

3.如权利要求1所述的一种基于高维度纺纱数据的混合特征选择方法，其特征在于，步骤201中，

两个参数x、y之间的相关性用互信息值I(x；y)来度量，则有：

式中，x_i表示参数x的第i个参数值，p(x_i)表示参数x的值为x_i的概率，y_j表示参数y的第j个参数值，p(y_j)表示参数y的值为y_j的概率，p(x_i，y_j)表示参数x的值为x_i且参数y的值为y_j的概率。

4.如权利要求1所述的一种基于高维度纺纱数据的混合特征选择方法，其特征在于，在所述步骤202之后，并所述步骤203之前，还包括以下步骤：

对观测矩阵G_obs进行线性缩放，如下式所示：

G′_obs＝αG_obs

式中，G′_obs为经过线性缩放后的观测矩阵，α为线性系数，且

和

分别是G_obs的特征值中最大正值和最小负值，β为预先确定的权重系数。

5.如权利要求1所述的一种基于高维度纺纱数据的混合特征选择方法，其特征在于，步骤205中，所述测度函数如下式所示：

式中，α、β是权值参数，且满足(α+β)∈[0，1]；|S|表示预选的关键特征子集S中的参数个数；CT表示性能指标；x_k表示第k个候选参数；I(x_k；f_s|CT)表示已知性能指标CT的情况下，第k个候选参数x_k与预选的关键特征子集S中的第s个参数f_s之间的互信息值。

6.如权利要求1所述的一种基于高维度纺纱数据的混合特征选择方法，其特征在于，步骤206中，采用下式评估每次迭代生成的新的关键参数子集：

式中，θ、η分别表示预测精度以及辨识度在适应度值函数中各占的比重，θ＝sigmoid(MSE)，且θ+η＝1；MSE表示预测精度，

m代表的是测试样本集中测试样本的数目，ytesti代表的是测试样本集中的第i个标签样本，

表示

所对应的混合特征选择算法模型的预测结果；μ_i1、σ_i1以及μ_i2、σ_i2分别代表的是一个特征中非能耗异常以及能耗异常一类的均值以及方差；L为一组特征子集的总个数；

随着遗传算法的不断迭代，θ、η的变化如下式：

η＝1-θ

式中，pace代表的是步长；

为θ对应函数的导数。

Images