CN115063165A - 一种基于特征筛选和注意力机制的制造装备价格预测方法 - Google Patents

一种基于特征筛选和注意力机制的制造装备价格预测方法 Download PDF

Info

Publication number
CN115063165A
CN115063165A CN202210596308.1A CN202210596308A CN115063165A CN 115063165 A CN115063165 A CN 115063165A CN 202210596308 A CN202210596308 A CN 202210596308A CN 115063165 A CN115063165 A CN 115063165A
Authority
CN
China
Prior art keywords
data
price prediction
follows
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210596308.1A
Other languages
English (en)
Inventor
张川东
周佳瑞
王伟
廖伟智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210596308.1A priority Critical patent/CN115063165A/zh
Publication of CN115063165A publication Critical patent/CN115063165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于特征筛选和注意力机制的制造装备价格预测方法，包括（1）进行装备价格数据集的特征筛选；（2）构建基于注意力机制的价格预测模型；（3）训练价格预测模型；（4）使用训练好的价格预测模型进行制造装备的价格预测。通过使用基于决策树生成算法的特征筛选方法，提升了特征点对待预测值的表征效果；通过三个独立的神经网络并行采集输入数据不同维度的特征信息，多角度、多维度地进行数据挖掘；通过注意力机制最大限度地综合每个神经网络所采集到的最有价值的特征数据，提高最终预测结果的准确性。

Description

一种基于特征筛选和注意力机制的制造装备价格预测方法
技术领域
本发明涉及制造装备企业的价格预测技术领域，具体是一种基于特征筛选和注意力机制的制造装备价格预测方法。
背景技术
装备制造业是国民经济发展的根本，是为各行业进行生产和扩大再生产提供技术装备的产业，同时也是国家综合国力的重要标志，其具有技术密集、工业附加值高、成长空间大、资本密集和带动其他产业发展能力强等特点。制造装备则是装备制造业的核心，其以激光装备、智能数控机床等装备为代表，集成和融合了先进制造技术、信息技术和智能技术，是高端装备制造领域中的重点方向。其中，价格因素成为影响制造装备企业销售和发展的关键，在如今制造业转型升级的背景下，许多制造企业依托云ERP系统追踪制造装备全生命周期数据，而如何正确利用与挖掘制造装备相关数据中的有效信息成为科学定价的关键因素，也是当前制造装备价格预测方法中的难点问题。
制造装备作为装备制造业的核心，已广泛应用于工业生产、医疗卫生、通信、科研等领域，随着制造装备的智能化及核心技术的革新，对下游应用领域及产业链的传统生产方式产生了颠覆性的变革，如新能源汽车、PCB、电路加工、电子产品制造等细分行业。在制造装备的整个产业链中，下游细分行业由于市场的需求以及在技术升级背景下行业平均生产成本的降低，倒逼企业必须对自身制造装备进行及时的更新换代，因此制造装备的市场需求处于不断增长中，行业发展势头极好。其中，价格因素成为影响其销售和发展的关键。因此，如何对制造装备的价格进行科学且合理地确定，实现制造装备企业与下游应用领域客户双方利润的最大化也成为装备制造企业迫切的需求。
国内外学者对装备价格的预测方法已开展了大量的研究工作，主要包括基于成本的价格预测与基于参数的价格预测两类方法。其中，基于成本的价格预测方法通过计算各种详细成本进行装备价格的预测，该方法具有较高的准确性，但工作量大、速度慢。而基于参数的价格预测方法则通过建立装备特性、工艺信息、资源需求和成本之间的关系，采用参数化估算方法进行装备价格的预测。该方法在预测速度方面有所提升，但对恰当的成本驱动参数的选择困难。基于订单的价格预测方法，通过对企业的装备销售订单信息进行标准化和索引，建立完整的案例库，并基于案例库建立装备结构、所需资源和成本之间的关系模型。以此为基础，就能快速匹配出与待定价装备近似的案例，对该案例的价格进行修订后即可作为该装备的预测。但该类方法对装备案例的依赖性大，且装备级粒度的差异较大是价格预测的准确性降低。计算机辅助预测方法是近十年兴起的解决价格预测问题的新兴方案，属于两种价格预测方法的结合应用，其主要思想是通过计算机集成信息系统对装备全生命周期的各阶段进行跟踪管控，计算对装备价格有影响的各类详细成本，在此基础上增加一定的利润后作为装备的最终预测价格。因此，在装备全生命周期的成本信息可以被完整记录时，该方法具有较高的准确性。但全生命周期成本信息的记录需要跨流程、跨部门进行相关数据的整合，导致该方法存在实现难度大、响应速度慢、价格预测周期长等问题。
随着人工智能技术的发展，深度学习方法被广泛应用于各类预测问题领域。但现有的研究主要集中在对类型预测问题的求解，而装备价格预测属于数值预测问题，由于数值预测问题对数据集的完整性、分布程度和特征相关度等方面都有着较高的要求，因此深度学习方法被应用于数值预测问题领域的研究较少。
现有技术主要存在以下缺点：
(1)基于成本的价格预测对设备的各种详细成本的计算准确性要求高，并且预测计算量大、速度慢。
(2)基于参数和案例库的价格预测对设备事例的依赖性大，而且设备级别的类比粒度同样影响了价格预测结果的准确性和速度。
(3)基于机器学习的产品价格预测方法对数据集的完整性、分布程度和特征相关度等方面都有着较高的要求，如果数据集质量较差，可能在实际数据上会出现明显的准确性下降问题。
发明内容
本发明的目的在于克服上述背景技术中提出的问题，提供了一种基于特征筛选和注意力机制的制造装备价格预测方法。
本发明的目的主要通过以下技术方案实现：
一种基于特征筛选和注意力机制的制造装备价格预测方法，包括以下步骤：
(1)进行装备价格数据集的特征筛选；
(2)构建基于注意力机制的价格预测模型；
(3)训练价格预测模型；
(4)使用训练好的价格预测模型进行制造装备的价格预测。
步骤(1)中计算每个特征的信息增益值，并将其排序进行筛选，其计算方法如下式所示：
Figure RE-GDA0003803970540000021
式中，
Figure RE-GDA0003803970540000031
和
Figure RE-GDA0003803970540000032
其中gi和hi分别表示损失函数的一阶和二阶导数，Ij表示叶子结点j的实例集，
Figure RE-GDA0003803970540000033
控制叶子结点权重，
Figure RE-GDA0003803970540000034
和
Figure RE-GDA0003803970540000035
分别是左右子树得分，γ是新加入叶子结点的复杂度表；
同时为了排除单一方法所造成的误差影响，利用若干种方法分别计算特征的权重，并根据各个方法在训练集上的效果计算相应的softmax值，并以此为标准对特征权重进行加权平均重排序，重新构造数据集，softmax计算公式如下式所示，其中ei表示第i个方法的效果得分：
Figure RE-GDA0003803970540000036
步骤(2)主要包括输入层、神经网络编码层、注意力提取层以及结果输出层四部分。
输入层接收经过特征筛选之后的数据，其输入的处理过程为：首先对数据进行处理，将所有数据统一映射成为原始的字符串编码，然后，将转换后的数据进行向量化，使字符串编码转换成神经网络能够处理的数字信息。
神经网络编码层使用BP神经网络、LSTM网络和卷积神经网络三个不同结构的神经网络对相同数据同时进行学习，其中：
1)BP神经网络：
假设单条数据为
Figure RE-GDA0003803970540000037
将其输入到BP神经网络中，得到其对应的输出 Yc＝(y1,…,ym)，其计算过程如下：
Yb＝Wo⊙(φ(Wk⊙wc+bk)+bo)
其中，⊙表示元素乘法，Wh,Wo分别表示隐藏层和输出层的权重参数矩阵，bh和bo分别表示隐藏层和输出层的偏差参数；
2)LSTM网络：
将单条数据
Figure RE-GDA0003803970540000038
输入到LSTM网络对其进行序列编码，从而捕获其整体的数据特征，其中每个数据对应的两个方向的隐藏状态的序列分别是
Figure RE-GDA0003803970540000039
和
Figure RE-GDA00038039705400000310
其中dh为其隐藏状态的维度，将其两个方向隐藏状态进行拼接，得到该条数据整体数据特征的向量表示，如下：
Figure RE-GDA00038039705400000311
3)卷积神经网络：
卷积神经网络采用卷积核对数据
Figure RE-GDA0003803970540000041
进行扫描，取一个长度为l的卷积核
Figure RE-GDA0003803970540000042
在数据wc的任何一个单项数据
Figure RE-GDA0003803970540000043
处，都有窗口矩阵Wi:i+l-1来拼接从
Figure RE-GDA0003803970540000044
到
Figure RE-GDA0003803970540000045
处的数据向量，其计算过程如下：
Figure RE-GDA0003803970540000046
使卷积核k滑过数据wc，取得其对应的特征图p∈Rn-l+1，下式展示了p中的每一个元素 pi的计算过程。
pi＝φ(Wii+l-1 T⊙l+b)
其中，φ为非线性激活函数，接着对h个长度为l的卷积核进行相同的卷积操作，获得同样数量大小的长度相同的特征图，将其按行拼接后进行转置得到网络输出Yc，其计算过程如下：
Yc＝[p1；…；ph]T。
注意力提取层利用注意力提取机制来计算单个位置上所有数据的权重，首先，对三个神经网络的输出结果进行拼接，构建拼接矩阵Mc，其计算如下，其中Wb、Wl、Wc保证了三个神经网络输出能映射到相同的向量空间：
Mc＝[Wb⊙Yb；Wl⊙Hw；Wc⊙Yc]
为了计算单个位置上每个神经网络所采集到的数据的权重，给拼接矩阵Mc乘以一个可训练的参数矩阵Wa，并且使用激活函数φ进行非线性映射，其计算过程如下：
Mac＝φ(McWa),Mac∈Rn×m
然后对矩阵Mac的列方向进行softmax计算得到相关性权重
Figure RE-GDA0003803970540000047
计算过程如下所示：
Figure RE-GDA0003803970540000048
接着，将计算得到的相关性权重
Figure RE-GDA0003803970540000049
和相对应位置的Mij c进行乘积和计算，得到单个位置上最有价值特征数据
Figure RE-GDA00038039705400000410
将每个位置上的特征数据进行拼接，从而得到经过注意力提取后的特征信息M，其计算过程如下所示：
Figure RE-GDA0003803970540000051
Figure RE-GDA0003803970540000052
结果预测层是将上层输出的特征信息M输入到全连接层，将这个最终特征信息映射为装备的价格预测结果，其计算过程如下所示，其中Wo为可训练的参数矩阵，bo为偏置参数：
Yo＝Wo⊙M+bo
在模型训练过程中，需要寻找合适的参数来衡量预测值和真实值之间的误差，选用平方误差函数作为损失函数，其计算过程和最终的训练目标如下所示，
Figure RE-GDA0003803970540000053
Figure RE-GDA0003803970540000054
优化算法迭代过程如下所示，其中|β|表示批量大小，η为学习率，均为人为设置的超参数：
Figure RE-GDA0003803970540000055
Figure RE-GDA0003803970540000056
步骤(3)中模型的训练流程如下：
Step1：对数据进行处理，将所有数据向量化；
Step2：使用BP神经网络、LSTM网络以及CNN对相同数据同时进行学习；
Step3：使用注意力机制进行权重的计算，提取最有价值的数据特征，记录损失；
Step4：将提取后的数据特征输入到最终预测矩阵，记录损失；
Step5：将两个损失合并成最终模型的损失，使用小批量随机梯度下降算法进行模型的参数更新；
Step6：每次将一个批次的训练数据训练完成后，对训练集数据进行测试，记录准确率。并且按照指定的轮数重复步骤3-6；
Step7：输出最优准确率，保存最优准确率下的模型参数。
训练价格预测模型的评价指标采用常用于数值回归预测任务定量评价的均方误差MSE、均方对数误差MSLE和确定系数R方值这三个指标，其中，均方误差表示预测数据和原始数据对应点误差的平方和的均值；均方对数误差计算预测值与真实值的平方对数误差或损失的期望，相较于均方误差MSE，该指标对于低于真实值的预测更加敏感；R方值则表示回归模型对实际值的拟合程度，其计算过程如下所示：
Figure RE-GDA0003803970540000061
Figure RE-GDA0003803970540000062
Figure RE-GDA0003803970540000063
综上，本发明与现有技术相比具有以下有益效果：
1、通过使用基于决策树生成算法的特征筛选方法，提升了特征点对待预测值的表征效果；
2、通过三个独立的神经网络并行采集输入数据不同维度的特征信息，多角度、多维度地进行数据挖掘；
3、通过注意力机制最大限度地综合每个神经网络所采集到的最有价值的特征数据，提高最终预测结果的准确性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的流程示意图。
图2为本发明权重计算示意图。
图3为注意力机制的制造装备价格预测模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本发明的技术方案如下：
(1)进行装备价格数据集的特征筛选；
(2)构建基于注意力机制的价格预测模型；
(3)训练价格预测模型；
(4)使用训练好的价格预测模型进行制造装备的价格预测。
下面结合附图和具体实施步骤对本发明做详细说明。该方法分为四个步骤，其实施流程见图1：
步骤1：进行装备价格数据集的特征筛选：
从数据集的全部特征项中筛选出最重要的特征，去除冗余或不相关的特征，从而使模型性能最佳。其原理为计算每个特征的信息增益值，并将其排序进行筛选，其计算方法如下式所示：
Figure RE-GDA0003803970540000071
式中，
Figure RE-GDA0003803970540000072
和
Figure RE-GDA0003803970540000073
其中gi和hi分别表示损失函数的一阶和二阶导数，Ij表示叶子结点j的实例集，
Figure RE-GDA0003803970540000074
控制叶子结点权重，
Figure RE-GDA0003803970540000075
和
Figure RE-GDA0003803970540000076
分别是左右子树得分，γ是新加入叶子结点的复杂度表。
同时为了排除单一方法所造成的误差影响，具体实施时利用KNeighborsRegressor(K近邻回归)、RandomForestRegressor(随机森林回归)、ExtraTreesRegressor(极端树回归)、 AdaBoostRegressor(Ada提升回归)、GradientBoostingRegressor(梯度提升回归)、XGBoostRegressor(XG提升回归)这六种方法分别计算特征的权重，并根据各个方法在训练集上的效果计算相应的softmax值，并以此为标准对特征权重进行加权平均重排序，重新构造数据集。softmax计算公式如下式所示，其中ei表示第i个方法的效果得分，具体结构见图2。
Figure RE-GDA0003803970540000077
其中KNeighborsRegressor计算方法：
Figure RE-GDA0003803970540000078
其中yi为单个测试样本的目标值， K为计算因子，一般用多个K值进行计算，选出效果最好的一个。
RandomForestRegressor计算方法：
Figure RE-GDA0003803970540000079
其中pt(y/x)是每棵树的概率分布，T为训练集样本，y为数据x的对应计算值。
ExtraTreesRegressor计算方法与RandomForestRegressor一致，但该方法计算使用所有样本，RandomForestRegressor中是采用随机采样方式进行计算。
AdaBoostRegressor计算方法：
Figure RE-GDA0003803970540000081
其中
Figure RE-GDA0003803970540000082
是每棵树的输出函数，θj是每棵树的权重，b表示基估计器的个数。
GradientBoostingRegressor计算方法：
Figure RE-GDA0003803970540000083
其中fk是样本到树输出的映射。
XGBoostRegressor计算方法：
Figure RE-GDA0003803970540000084
其中ft(xi)是每一棵树的输出函数。
步骤2：构建基于注意力机制的制造装备价格预测模型：
结构如图3所示，主要包括输入层、神经网络编码层、注意力提取层以及结果输出层四部分。具体的：
(1)输入层：输入层接收经过特征筛选之后的数据，其输入的处理过程为：首先对数据进行处理，将所有数据统一映射成为原始的字符串编码，然后，将转换后的数据进行向量化，使字符串编码转换成神经网络可以处理的数字信息。以一条数据为例，首先将其转换成字符串编码，其表现形式为，经过向量化处理之后，该条数据转化为，其中n为该条数据特征项的个数，为数据向量空间的维度。
(2)神经网络编码层：为了能充分的挖掘出待预测数据的多维度特征数据，此处使用 BP神经网络、LSTM网络和卷积神经网络三个不同结构的神经网络对相同数据同时进行学习，其具体原理如下：
1)BP神经网络：
假设单条数据为
Figure RE-GDA0003803970540000085
将其输入到BP神经网络中，得到其对应的输出 Yc＝(y1,…,ym)，其计算过程如下：
Yb＝Wo⊙(φ(Wk⊙wc+bk)+bo)
其中，⊙表示元素乘法，Wh,Wo分别表示隐藏层和输出层的权重参数矩阵，bh和bo分别表示隐藏层和输出层的偏差参数。
2)LSTM网络：
将单条数据
Figure RE-GDA0003803970540000086
输入到LSTM网络对其进行序列编码，从而捕获其整体的数据特征。其中每个数据对应的两个方向的隐藏状态的序列分别是
Figure RE-GDA0003803970540000087
和
Figure RE-GDA0003803970540000088
其中dh为其隐藏状态的维度，将其两个方向隐藏状态进行拼接，得到该条数据整体数据特征的向量表示，如下：
Figure RE-GDA0003803970540000091
3)卷积神经网络：
卷积神经网络采用卷积核对数据
Figure RE-GDA0003803970540000092
进行扫描，取一个长度为l的卷积核
Figure RE-GDA0003803970540000093
在数据wc的任何一个单项数据
Figure RE-GDA0003803970540000094
处，都有窗口矩阵Wi:i+l-1来拼接从
Figure RE-GDA0003803970540000095
到
Figure RE-GDA0003803970540000096
处的数据向量，其计算过程如下：
Figure RE-GDA0003803970540000097
使卷积核k滑过数据wc，取得其对应的特征图p∈Rn-l+1，下式展示了p中的每一个元素 pi的计算过程。
pi＝φ(Wii+l-1 T⊙l+b)
其中，φ为非线性激活函数，接着对h个长度为l的卷积核进行相同的卷积操作，获得同样数量大小的长度相同的特征图，将其按行拼接后进行转置得到网络输出Yc，其计算过程如下。
Yc＝[p1；…；ph]T
(3)注意力提取层：为了能够捕捉每个位置上不同神经网络所采集到的最有价值特征，最大限度地提高数据利用率，利用注意力提取机制来计算单个位置上所有数据的权重，从而提高模型的效果。
首先，对三个神经网络的输出结果进行拼接，构建拼接矩阵Mc，其计算如下，其中Wb、 Wl、Wc保证了三个神经网络输出能映射到相同的向量空间。
Mc＝[Wb⊙Yb；Wl⊙Hw；Wc⊙Yc]
为了计算单个位置上每个神经网络所采集到的数据的权重，给拼接矩阵Mc乘以一个可训练的参数矩阵Wa，并且使用激活函数φ进行非线性映射，其计算过程如下。
Mac＝φ(McWa),Mac∈Rn×m
然后对矩阵Mac的列方向进行softmax计算得到相关性权重
Figure RE-GDA0003803970540000098
计算过程如下所示。
Figure RE-GDA0003803970540000101
接着，将计算得到的相关性权重
Figure RE-GDA0003803970540000102
和相对应位置的Mij c进行乘积和计算，得到单个位置上最有价值特征数据
Figure RE-GDA0003803970540000103
将每个位置上的特征数据进行拼接，从而得到经过注意力提取后的特征信息M，其计算过程如下所示。
Figure RE-GDA0003803970540000104
Figure RE-GDA0003803970540000105
(4)结果预测层：将上层输出的特征信息M输入到全连接层，将这个最终特征信息映射为装备的价格预测结果，其计算过程如下所示，其中Wo为可训练的参数矩阵，bo为偏置参数。
Yo＝Wo⊙M+bo
在模型训练过程中，需要寻找合适的参数来衡量预测值和真实值之间的误差，由于本方案工作主要着眼于装备价格的预测，对于这类型的数值预测问题，一般选用平方误差函数作为损失函数，其计算过程和最终的训练目标如下所示，
Figure RE-GDA0003803970540000106
Figure RE-GDA0003803970540000107
优化算法迭代过程如下所示。其中|β|表示批量大小，η为学习率，均为人为设置的超参数。
Figure RE-GDA0003803970540000108
Figure RE-GDA0003803970540000109
步骤3：训练制造装备价格预测模型：
(1)模型的训练流程如下：
Figure RE-GDA00038039705400001010
Figure RE-GDA0003803970540000111
(2)模型超参数设置及评价指标：
使用pytorch框架搭建神经网络，在特征筛选的实验过程中，所有方法均先在10000条小样本中使用随机搜索进行超参数的预选，得到每个方法的最优超参数，再使用最优超参数进行模型训练，输出权重。在神经网络预测的实验过程中，设置了不同的超参数，具体如下表所示，其中BP神经网络的隐藏层数量设置为5层，隐藏层神经元数分别为350、250、150、 100、70，每层的丢弃率分别是0.3、0.3、0.4、0.5、0.5；LSTM的隐藏层设置为4层，batch_size 设置为256，激活函数为sigmoid；CNN设置为一维卷积，并且分别采用最大池化和平均池化来进行特征降维，batch_size设置为64。实验超参数设置如下表所示：
实验超参数设置
Figure RE-GDA0003803970540000112
评价指标采用常用于数值回归预测任务定量评价的均方误差MSE、均方对数误差MSLE和确定系数R2值这三个指标。其中，均方误差表示预测数据和原始数据对应点误差的平方和的均值；均方对数误差计算预测值与真实值的平方对数误差或损失的期望，相较于均方误差MSE，该指标对于低于真实值的预测更加敏感；R2值则表示回归模型对实际值的拟合程度，其计算过程如下所示。
Figure RE-GDA0003803970540000121
Figure RE-GDA0003803970540000122
Figure RE-GDA0003803970540000123
(3)训练结果：
设置了一系列对比实验进行分析说明，与提出模型进行对比的基准模型主要如下：
XGBoost：该方法是基于回归树的机器学习算法，通过多颗回归树组成的回归森林来预测结果；
BP-a：该方法通过多层隐藏网络来建模价格预测模型，通过隐藏层的输出来进行价格的预测；
BP-b：该方法是BP-a的实验组，结构与BP-a完全相同，区别在于BP-b的输入经过特征筛选；
CNN：该方法通过一维卷积来进行数据提取，然后通过初始化的全连接层和激活函数来得到最终的价格预测结果；
LSTM：该方法通过循环神经网络的改进版LSTM进行正方向的数据采集，通过隐藏层的输出来进行预测结果的输出。
通过基准模型与本方案模型在装备价格数据集上的实验，得到如下表所示的对比情况。
不同模型的结果比较
Figure RE-GDA0003803970540000124
从上表中可以看出：XGBoost方法在训练集上取得了次好的效果，R方值和MSLE值分别达到了0.959和0.143，与普通神经网络模型的结果相比优势明显，但该方法的泛化能力弱，在验证集上的结果是所有方法中最差的。BP-b模型的预测结果与BP-a模型相比，在训练集和验证集上的效果分别提高了4％和2.6％左右，说明在神经网络处理数据前用特征筛选的方法重构数据集对神经网络模型的预测效果有一定的提升；同时从BP-a和BP-b模型在训练集和验证集上的结果来看，相比较于XGBoost方法，神经网络模型在训练集和验证集的结果偏差较小，说明神经网络模型在建模数据间隐藏关系方面较为优势。CNN模型的预测结果虽然整体较差，但其在测试集和验证集上的结果基本无偏差，说明CNN模型在该数据集上的泛化能力是最好的，但是由于经过特征筛选后数据集中仍然存在一些以平均值填充的缺项，因此CNN 的效果并未达到预期。对于LSTM方法，由于LSTM模型将该回归预测任务作为序列任务处理，同时使用了门控机制来控制信息的流入与流出，在一定程度上可以提取到更深层次的信息，因此LSTM的效果是单神经网络模型中最好的。而本方案提出的模型相比较基准模型在各个指标上都取得了最好的效果，其中在验证集上相对效果次好LSTM模型在R2值指标上高出了近 4.1％。这是因为本方案模型分别使用三个独立的神经网络方法来分别采集输入数据不同维度的特征信息，且将采集到的信息通过注意力机制进行建模，使得输入给下层的数据综合了不同神经网络方法挖掘到的多角度的隐藏信息，因此取得了最好的预测效果。
步骤4：使用训练好的制造装备价格预测模型进行价格预测：
为验证提出方法在实际数据上的有效性，采用实际数据进行装备价格的预测，其中部分原始数据如下所示，基于数据提供方要求，部分数据特征隐去，以特征1、特征2表示。
部分实际数据
Figure RE-GDA0003803970540000131
对实际数据进行处理后，输入训练好的模型中，并将价格预测结果以表格文件进行保存，部分结果如下表所示。对比真实价格数据和预测价格数据可以看出，模型能够做到较高的预测准确度。
实际预测结果
Figure RE-GDA0003803970540000132
Figure RE-GDA0003803970540000141
综上，本发明通过使用基于决策树生成算法的特征筛选方法，提升了特征点对待预测值的表征效果；通过三个独立的神经网络并行采集输入数据不同维度的特征信息，多角度、多维度地进行数据挖掘；通过注意力机制最大限度地综合每个神经网络所采集到的最有价值的特征数据，提高最终预测结果的准确性。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于，包括以下步骤：
(1)进行装备价格数据集的特征筛选；
(2)构建基于注意力机制的价格预测模型；
(3)训练价格预测模型；
(4)使用训练好的价格预测模型进行制造装备的价格预测。
2.根据权利要求1所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述步骤(1)中计算每个特征的信息增益值，并将其排序进行筛选，其计算方法如下式所示：
Figure RE-FDA0003803970530000011
式中，
Figure RE-FDA0003803970530000012
和
Figure RE-FDA0003803970530000013
其中gi和hi分别表示损失函数的一阶和二阶导数，Ij表示叶子结点j的实例集，
Figure RE-FDA0003803970530000014
控制叶子结点权重，
Figure RE-FDA0003803970530000015
和
Figure RE-FDA0003803970530000016
分别是左右子树得分，γ是新加入叶子结点的复杂度表；
同时为了排除单一方法所造成的误差影响，利用若干种方法分别计算特征的权重，并根据各个方法在训练集上的效果计算相应的softmax值，并以此为标准对特征权重进行加权平均重排序，重新构造数据集，softmax计算公式如下式所示，其中ei表示第i个方法的效果得分：
Figure RE-FDA0003803970530000017
3.根据权利要求1所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述步骤(2)主要包括输入层、神经网络编码层、注意力提取层以及结果输出层四部分。
4.根据权利要求3所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述输入层接收经过特征筛选之后的数据，其输入的处理过程为：首先对数据进行处理，将所有数据统一映射成为原始的字符串编码，然后，将转换后的数据进行向量化，使字符串编码转换成神经网络能够处理的数字信息。
5.根据权利要求3所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述神经网络编码层使用BP神经网络、LSTM网络和卷积神经网络三个不同结构的神经网络对相同数据同时进行学习，其中：
1)BP神经网络：
假设单条数据为
Figure RE-FDA0003803970530000021
将其输入到BP神经网络中，得到其对应的输出Yc＝(y1,…,ym)，其计算过程如下：
Yb＝Wo⊙(φ(Wh⊙wc+bh)+bo)
其中，⊙表示元素乘法，Wh,Wo分别表示隐藏层和输出层的权重参数矩阵，bh和bo分别表示隐藏层和输出层的偏差参数；
2)LSTM网络：
将单条数据
Figure RE-FDA0003803970530000022
输入到LSTM网络对其进行序列编码，从而捕获其整体的数据特征，其中每个数据对应的两个方向的隐藏状态的序列分别是
Figure RE-FDA0003803970530000023
和
Figure RE-FDA0003803970530000024
其中dh为其隐藏状态的维度，将其两个方向隐藏状态进行拼接，得到该条数据整体数据特征的向量表示，如下：
Figure RE-FDA0003803970530000025
3)卷积神经网络：
卷积神经网络采用卷积核对数据
Figure RE-FDA0003803970530000026
进行扫描，取一个长度为l的卷积核
Figure RE-FDA0003803970530000027
在数据wc的任何一个单项数据
Figure RE-FDA0003803970530000028
处，都有窗口矩阵Wi:i+l-1来拼接从
Figure RE-FDA0003803970530000029
到
Figure RE-FDA00038039705300000210
处的数据向量，其计算过程如下：
Figure RE-FDA00038039705300000211
使卷积核k滑过数据wc，取得其对应的特征图p∈Rn-l+1，下式展示了p中的每一个元素pi的计算过程，
pi＝φ(Wii+l-1 T⊙l+b)
其中，φ为非线性激活函数，接着对h个长度为l的卷积核进行相同的卷积操作，获得同样数量大小的长度相同的特征图，将其按行拼接后进行转置得到网络输出Yc，其计算过程如下：
Yc＝[p1；…；ph]T。
6.根据权利要求3所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述注意力提取层利用注意力提取机制来计算单个位置上所有数据的权重，首先，对三个神经网络的输出结果进行拼接，构建拼接矩阵Mc，其计算如下，其中Wb、Wl、Wc保证了三个神经网络输出能映射到相同的向量空间：
Mc＝[Wb⊙Yb；Wl⊙Hw；Wc⊙Yc]
为了计算单个位置上每个神经网络所采集到的数据的权重，给拼接矩阵Mc乘以一个能够训练的参数矩阵Wa，并且使用激活函数φ进行非线性映射，其计算过程如下：
Mac＝φ(McWa),Mac∈Rn×m
然后对矩阵Mac的列方向进行softmax计算得到相关性权重
Figure RE-FDA0003803970530000031
计算过程如下所示：
Figure RE-FDA0003803970530000032
接着，将计算得到的相关性权重
Figure RE-FDA0003803970530000033
和相对应位置的Mij c进行乘积和计算，得到单个位置上最有价值特征数据
Figure RE-FDA0003803970530000034
将每个位置上的特征数据进行拼接，从而得到经过注意力提取后的特征信息M，其计算过程如下所示：
Figure RE-FDA0003803970530000035
Figure RE-FDA0003803970530000036
7.根据权利要求3所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述结果预测层是将上层输出的特征信息M输入到全连接层，将这个最终特征信息映射为装备的价格预测结果，其计算过程如下所示，其中Wo为能够训练的参数矩阵，bo为偏置参数：
Yo＝Wo⊙M+bo
在模型训练过程中，需要寻找合适的参数来衡量预测值和真实值之间的误差，选用平方误差函数作为损失函数，其计算过程和最终的训练目标如下所示，
Figure RE-FDA0003803970530000037
Figure RE-FDA0003803970530000041
优化算法迭代过程如下所示，其中|β|表示批量大小，η为学习率，均为人为设置的超参数：
Figure RE-FDA0003803970530000042
Figure RE-FDA0003803970530000043
8.根据权利要求1所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述步骤(3)中模型的训练流程如下：
Step1：对数据进行处理，将所有数据向量化；
Step2：使用BP神经网络、LSTM网络以及CNN对相同数据同时进行学习；
Step3：使用注意力机制进行权重的计算，提取最有价值的数据特征，记录损失；
Step4：将提取后的数据特征输入到最终预测矩阵，记录损失；
Step5：将两个损失合并成最终模型的损失，使用小批量随机梯度下降算法进行模型的参数更新；
Step6：每次将一个批次的训练数据训练完成后，对训练集数据进行测试，记录准确率。并且按照指定的轮数重复步骤3-6；
Step7：输出最优准确率，保存最优准确率下的模型参数。
9.根据权利要求1所述的一种基于特征筛选和注意力机制的制造装备价格预测方法，其特征在于：所述训练价格预测模型的评价指标采用常用于数值回归预测任务定量评价的均方误差MSE、均方对数误差MSLE和确定系数R2值这三个指标，其中，均方误差表示预测数据和原始数据对应点误差的平方和的均值；均方对数误差计算预测值与真实值的平方对数误差或损失的期望，相较于均方误差MSE，该指标对于低于真实值的预测更加敏感；R2值则表示回归模型对实际值的拟合程度，其计算过程如下所示：
Figure RE-FDA0003803970530000044
Figure RE-FDA0003803970530000045
Figure RE-FDA0003803970530000051
CN202210596308.1A 2022-05-26 2022-05-26 一种基于特征筛选和注意力机制的制造装备价格预测方法 Pending CN115063165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210596308.1A CN115063165A (zh) 2022-05-26 2022-05-26 一种基于特征筛选和注意力机制的制造装备价格预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210596308.1A CN115063165A (zh) 2022-05-26 2022-05-26 一种基于特征筛选和注意力机制的制造装备价格预测方法

Publications (1)

Publication Number Publication Date
CN115063165A true CN115063165A (zh) 2022-09-16

Family

ID=83197967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210596308.1A Pending CN115063165A (zh) 2022-05-26 2022-05-26 一种基于特征筛选和注意力机制的制造装备价格预测方法

Country Status (1)

Country Link
CN (1) CN115063165A (zh)

Similar Documents

Publication Publication Date Title
Sun et al. Evolving deep convolutional neural networks for image classification
CN109960759B (zh) 基于深度神经网络的推荐系统点击率预测方法
Xuan et al. Multi-model fusion short-term load forecasting based on random forest feature selection and hybrid neural network
US20200167659A1 (en) Device and method for training neural network
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN108647226B (zh) 一种基于变分自动编码器的混合推荐方法
CN109242223B (zh) 城市公共建筑火灾风险的量子支持向量机评估与预测方法
CN113159239B (zh) 一种量子图卷积神经网络处理图数据的方法
Salvador et al. Automatic composition and optimization of multicomponent predictive systems with an extended auto-WEKA
CN113688869B (zh) 一种基于生成对抗网络的光伏数据缺失重构方法
CN112308115A (zh) 一种多标签图像深度学习分类方法及设备
CN110428015A (zh) 一种模型的训练方法及相关设备
CN112086144A (zh) 分子生成方法、装置、电子设备及存储介质
Wang et al. Objective-hierarchy based large-scale evolutionary algorithm for improving joint sparsity-compression of neural network
CN114463596A (zh) 一种超图神经网络的小样本图像识别方法、装置及设备
CN107743071A (zh) 一种网络节点的增强表示方法及装置
CN115063165A (zh) 一种基于特征筛选和注意力机制的制造装备价格预测方法
CN116054144A (zh) 分布式光伏接入的配电网重构方法、系统及存储介质
CN114283903A (zh) 基于量子门控循环神经网络预测蛋白质药物结合力的方法
CN114254199A (zh) 基于二分图投影和node2vec的课程推荐方法
Grando et al. Computing vertex centrality measures in massive real networks with a neural learning model
CN110162704B (zh) 基于多因子遗传算法的多规模关键用户提取方法
CN111680846A (zh) 一种基于l1和l2范数的简化宽度学习系统
CN113517045A (zh) 一种基于路径生成的电子病历icd代码预测方法及预测系统
CN117648646B (zh) 基于特征选择和堆叠异构集成学习的钻采成本预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination