CN110717148A - 一种融合经验的数据驱动回归预测算法 - Google Patents
一种融合经验的数据驱动回归预测算法 Download PDFInfo
- Publication number
- CN110717148A CN110717148A CN201910904026.1A CN201910904026A CN110717148A CN 110717148 A CN110717148 A CN 110717148A CN 201910904026 A CN201910904026 A CN 201910904026A CN 110717148 A CN110717148 A CN 110717148A
- Authority
- CN
- China
- Prior art keywords
- neural network
- function
- data
- mathematical equation
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 58
- 108010014173 Factor X Proteins 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 5
- 235000000332 black box Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种融合经验的数据驱动回归预测算法,将业务经验或数据观察分析表达为与目标对应的数学方程式,利用神经网络函数对数学方程式中的自变量系数进行预测,并结合数学方程式中的自变量得出预测值,然后将该预测值和实际值进行对比,通过预测值和实际值间的损失函数反向传播,令损失函数最小,不断迭代更新自变量系数,最终得出准确的预测结果,从而实现对目标符合经验或观察分析地预测。本方法在预测未见数据时,使得训练样本在分布稀疏处可以实现良好的泛化能力,满足实际需要,并能得到相关敏感度,具有极大的市场应用价值。
Description
技术领域
本专利申请属于数据预测技术领域,更具体地说,是涉及一种融合经验的数据驱动回归预测算法。
背景技术
现有数据驱动的统计机器学习方法在训练样本分布稀疏处无法实现良好的泛化能力。例如,对于不同型号电池的放电预测过程中,训练集在不同型号有不同的放电记录区间,由此得到的训练模型在放电区间外不具备精准预测的能力。或者在不同的影响因子下,销量的预测也无法做到准确。
发明内容
本发明需要解决的技术问题是提供一种融合经验的数据驱动回归预测算法,使得训练样本在分布稀疏处可以实现良好的泛化能力,满足实际需要。
为了解决上述问题,本发明所采用的技术方案是:
一种融合经验的数据驱动回归预测算法,将业务经验或数据观察分析表达为与目标对应的数学方程式,利用神经网络函数对数学方程式中的自变量系数进行预测,并结合数学方程式中的自变量得出预测值,然后将该预测值和实际值进行对比,通过预测值和实际值间的损失函数反向传播,令损失函数最小,不断迭代更新自变量系数,最终得出准确的预测结果,从而实现对目标符合经验或观察分析地预测。
本发明技术方案的进一步改进在于:具体过程为:
步骤a、构建数学方程式:对于任意回归数据集,从业务经验或数据观察分析得知已知数据集{影响因子,目标}存在可以数学化表示的关系,那么可以将该回归数据集中的每个样本表示为:ypred=∑W(Xi)xi‘+W0,其中x为样本的主要影响因子,ypred为预测值,X为样本中除x的其他影响因子,Xi为第i个样本的标记,i’是主要影响因子x的次幂,W(X)指的是通过输入其他影响因子X输出的预测系数,W0是主要影响因子x和ypred之间的线性系数;
步骤b、令损失函数值最小:使用神经网络预测W0和W(X),迭代更新自变量系数,使得损失函数Loss(ypred,y)最小,损失函数表示为:其中:ypred为预测值,y为真实值,ypred_i为第i个样本的预测值,ytrue_i为第i个样本的真实值。
本发明技术方案的进一步改进在于:涉及到的数学化表示的关系为线性相关或满足概率分布函数,线性相关包括正相关、负相关、指数相关或对数相关,概率分布函数包括高斯分布、二项分布、卡方分布或正态分布。
本发明技术方案的进一步改进在于:数学方程式包括多元多项式、指数函数或对数函数的一种或多种。
本发明技术方案的进一步改进在于:数学方程式为多元多项式(比如为泰勒公式),通过神经网络函数fk(x)对多元多项式内的多项式进行预测,将预测系数W(X)和线性系数W0均表示为神经网络函数fk(x),其中fk(x)为神经网络的输出,为神经网络的倒数第二层(第L-1层),表示第k层神经网络函数,k取值为1~10;fk(x)中的x为神经网络的输入,表示数据集中某一样本的影响因子(影响因子中的其他影响因子用x1......xn表示,主要影响因子用xn+1......xm表示)。
本发明技术方案的进一步改进在于:当业务经验或数据观察为销量预测时,由于销量随着价格增加成下凹状,销量随着排面增加成上凸状,因此销量和排面面积作为主要影响因子x,其他影响因子X包括节假日、天气、历史销量、版面,神经网络函数fk(x)中的k=5,则销量的多元多项式表示为:
销量=f1(X)*价格2+f2(X)*价格+f3(X)*排面2+f4(X)*价格+f5(X),X为其他影响因子。
本发明技术方案的进一步改进在于:数学方程式为指数函数,当业务经验或数据观察为销量和价格时,则销量=b*exp(-a/价格),其中的a、b均为通过神经网络函数fk(x)来表示的指数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
本发明技术方案的进一步改进在于:数学方程式为对数函数,当业务经验或数据观察为销量和曝光面积时,则销量=a*log(b*曝光面积),其中的a、b均为通过神经网络函数fk(x)来表示的对数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
由于采用了上述技术方案,本发明取得的有益效果是:
1,对于训练集上分布稀疏点具有更好的泛化性能。例如,放电测试中电流和电压基本成正相关,使用该方法,电流作为x,其他影响因子X用于学习系数(斜率),在预测未见电流时可以保持良好的泛化性能。
2,模型可解释性更强。例如,销量预测中价格和销量成负相关,使用该方法,价格作为主要影响因子x,其他影响因子X用于学习训练系数(斜率),可以获取各商品在某价格位上,销量对价格的敏感度,可用于定价调节。
附图说明
图1为本发明神经网络预测的流程示意图。
具体实施方式
下面结合实施例对本发明做进一步详细说明。
本发明公开了一种融合经验的数据驱动回归预测算法,过程为:将业务经验或数据观察分析表达为与目标对应的数学方程式,利用神经网络函数对数学方程式中的自变量系数进行预测,并结合数学方程式中的自变量得出预测值,然后将该预测值和实际值进行对比,通过预测值和实际值间的损失函数反向传播,令损失函数最小,不断迭代更新自变量系数,最终得出准确的预测结果,从而实现对目标符合经验或观察分析地预测。
具体步骤为:
步骤a、构建数学方程式:对于任意回归数据集,从业务经验或数据观察分析得知已知数据集{影响因子,目标}存在可以数学化表示的关系,那么可以将该回归数据集中的每个样本表示为:ypred=∑W(Xi)xi‘+W0,其中x为样本的主要影响因子,ypred为预测值,X为样本中除x的其他影响因子,Xi为第i个样本的标记,i’是主要影响因子x的次幂,W(X)指的是通过输入其他影响因子X输出的预测系数,W0是主要影响因子x和ypred之间的线性系数;
步骤b、令损失函数值最小:使用神经网络预测W0和W(X),迭代更新自变量系数,使得损失函数Loss(ypred,y)最小,损失函数表示为:其中:ypred为预测值,y为真实值,ypred_i为第i个样本的预测值,ytrue_i为第i个样本的真实值。
涉及到的数学化表示的关系为线性相关或满足概率分布函数,线性相关包括正相关、负相关、指数相关或对数相关,概率分布函数包括高斯分布、二项分布、卡方分布或正态分布。数学方程式包括多元多项式、指数函数或对数函数的一种或多种,可以为任一种,也可以为多种之间的组合。
比如,当数学方程式为多元多项式(比如为泰勒公式,泰勒公式,应用于数学、物理领域,是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差),则神经网络函数fk(x)对多元多项式内的多项式进行预测,将预测系数W(X)和线性系数W0均表示为神经网络函数fk(x),其中fk(x)为神经网络的输出,为神经网络的倒数第二层(第L-1层),表示第k层神经网络函数,k取值为1~10;fk(x)中的x为神经网络的输入,表示数据集中某一样本的影响因子(影响因子中的其他影响因子用x1......xn表示,主要影响因子用xn+1......xm表示)。
当业务经验或数据观察为销量预测时,由于销量随着价格增加成下凹状,销量随着排面增加成上凸状,因此销量和排面面积作为主要影响因子x,其他影响因子X包括节假日、天气、历史销量、版面,神经网络函数fk(x)中的k=5,则销量的多元多项式表示为:
销量=f1(X)*价格2+f2(X)*价格+f3(X)*排面2+f4(X)*价格+f5(X),X为其他影响因子。根据样本量进行逐一计算(比如Xi可表示第i个样本,fk(X)表示某一个样本的第k个神经网络函数,k取值为1~5)。
由于经验的形式是多种多样的,有的是通过观察而来的。例如:特征集中的某一特征x和Target呈线性相关或满足某一分布,例如:高斯分布、二项分布等,以及在物理、化学等领域的问题中,有具体公式的先验知识,我们可以通过神经网络训练x和Target之间的方程系数。而有些经验没有固定的形式,例如:通过CNN识别印刷版上的文字,我们根据现有的大多数印刷版上的文字形状定制扫描窗口的样式,以此来提高模型的识别能力,这也是经验的一种。
再如当数学方程式为指数函数,当业务经验或数据观察为销量和价格时,则销量
=b*exp(-a/价格),其中的a、b均为通过神经网络函数fk(x)来表示的指数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
或者例如y=xa,可以写成具体公式,且公式包含自变量x和自变量系数a,我们可以通过神经网络预测自变量系数a,然后结合x得出预测结果y。然后通过ypred和ytrue间的损失函数反向传播,不断迭代更新自变量系数a,最终得出准确的预测结果ypred。
又如数学方程式为对数函数,当业务经验或数据观察为销量和曝光面积时,则销量=a*log(b*曝光面积),其中的a、b均为通过神经网络函数fk(x)来表示的对数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
或者数学方程式为多元多项式、指数函数、对数函数的任意多种,按照前述段落的描述进行多元多项式、指数函数、对数函数的任意组合。
本专利中涉及到的人工神经网络是一个黑盒模型(black-box)。黑盒模型,通常具有很高的准确性。然而,这些模型的内部工作机制却难以理解,也无法估计每个特征对模型预测结果的重要性,更不能理解不同特征之间的相互作用关系。因此,我们通常只关注神经网络的输入和输出。fi(X),i=1~5,即1个神经网络模型的5个输出而非5个公式。其整体是一个黑盒模型,没有具体的公式。其中,在本专利中,5个输出并非指经典神经网络的输出层L,而是指输出层的前一层L-1。
数据集里有多条样本,每条样本都包含特征向量和标签,特征向量包括主要特征向量和其他特征向量,标签是预测值。以销量预测为例,在图1中,特征向量里包含节假日,天气,价格,库存,曝光面积等,标签就是未来销量,其中的价格和曝光面积等为主要影响因子x(记作xn+1…xm),节假日、天气和库存为其他影响因子X(记作X1…Xn),也就是在图1中的神经网络中,神经网络的输入是同一个样本的不同特征向量,写成x1、x2…xm,(可能容易和第1,2,i个样本混淆,这里表示第1,2,…,m维特征)。w1、w2…wn对应上述公式里的fk(X)(也就是其他影响因子X)。
之所以k是5个而非4个或6个,其个数并没有明确限制。正如上段所述,fi(X)是神经网络的第L-1层,是神经网络的一部分。如同神经网络的层数、神经元数等参数是由使用者根据经验设置的一样,i=5是算法工程师通过分析数据和个人业务经验设置的,并没有明确的规定。
Claims (8)
1.一种融合经验的数据驱动回归预测算法,其特征在于:将业务经验或数据观察分析表达为与目标对应的数学方程式,利用神经网络函数对数学方程式中的自变量系数进行预测,并结合数学方程式中的自变量得出预测值,然后将该预测值和实际值进行对比,通过预测值和实际值间的损失函数反向传播,令损失函数最小,不断迭代更新自变量系数,最终得出准确的预测结果,从而实现对目标符合经验或观察分析地预测。
2.根据权利要求1所述的一种融合经验的数据驱动回归预测算法,其特征在于:具体过程为:
步骤a、构建数学方程式:对于任意回归数据集,从业务经验或数据观察分析得知已知数据集{影响因子,目标}存在可以数学化表示的关系,那么可以将该回归数据集中的每个样本表示为:ypred=∑W(Xi)xi‘+W0,其中ypred为预测值,Xi为第i个样本的标记,x为样本的主要影响因子,X为样本中除x的其他影响因子,i’是主要影响因子x的次幂,W(X)指的是通过输入其他影响因子X输出的预测系数,W0是主要影响因子x和ypred之间的线性系数;
3.根据权利要求2所述的一种融合经验的数据驱动回归预测算法,其特征在于:涉及到的数学化表示的关系为线性相关或满足概率分布函数,线性相关包括正相关、负相关、指数相关或对数相关,概率分布函数包括高斯分布、二项分布、卡方分布或正态分布。
4.根据权利要求3所述的一种融合经验的数据驱动回归预测算法,其特征在于:数学方程式包括多元多项式、指数函数或对数函数的一种或多种。
5.根据权利要求4所述的一种融合经验的数据驱动回归预测算法,其特征在于:数学方程式为多元多项式,通过神经网络函数fk(x)对多元多项式内的多项式进行预测,将预测系数W(X)和线性系数W0均表示为神经网络函数fk(x),其中fk(x)为神经网络的输出,为神经网络的倒数第二层,fk(x)表示第k层神经网络函数,k取值为1~10;fk(x)中的x为神经网络的输入,表示数据集中某一样本的影响因子。
6.根据权利要求5所述的一种融合经验的数据驱动回归预测算法,其特征在于:当业务经验或数据观察为销量预测时,由于销量随着价格增加成下凹状,销量随着排面增加成上凸状,因此销量和排面面积作为主要影响因子x,其他影响因子X包括节假日、天气、历史销量、版面,神经网络函数fk(x)中的k=5,则销量的多元多项式表示为:
销量=f1(X)*价格2+f2(X)*价格+f3(X)*排面2+f4(X)*价格+f5(X),X为其他影响因子。
7.根据权利要求4所述的一种融合经验的数据驱动回归预测算法,其特征在于:数学方程式为指数函数,当业务经验或数据观察为销量和价格时,则销量=b*exp(-a/价格),其中的a、b均为通过神经网络函数fk(x)来表示的指数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
8.根据权利要求4所述的一种融合经验的数据驱动回归预测算法,其特征在于:数学方程式为对数函数,当业务经验或数据观察为销量和曝光面积时,则销量=a*log(b*曝光面积),其中的a、b均为通过神经网络函数fk(x)来表示的对数参数,即fk(X)=a,b,其中X表示某一个样本的其他影响因子,fk(X)表示第k个神经网络函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904026.1A CN110717148A (zh) | 2019-09-24 | 2019-09-24 | 一种融合经验的数据驱动回归预测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904026.1A CN110717148A (zh) | 2019-09-24 | 2019-09-24 | 一种融合经验的数据驱动回归预测算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110717148A true CN110717148A (zh) | 2020-01-21 |
Family
ID=69210030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910904026.1A Pending CN110717148A (zh) | 2019-09-24 | 2019-09-24 | 一种融合经验的数据驱动回归预测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717148A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330079A (zh) * | 2021-01-07 | 2021-02-05 | 四川大汇大数据服务有限公司 | 地表信息预测方法及装置 |
-
2019
- 2019-09-24 CN CN201910904026.1A patent/CN110717148A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330079A (zh) * | 2021-01-07 | 2021-02-05 | 四川大汇大数据服务有限公司 | 地表信息预测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khosravi et al. | Constructing optimal prediction intervals by using neural networks and bootstrap method | |
Bagheri et al. | Financial forecasting using ANFIS networks with quantum-behaved particle swarm optimization | |
Dash et al. | A self adaptive differential harmony search based optimized extreme learning machine for financial time series prediction | |
Chang et al. | Integrating a piecewise linear representation method and a neural network model for stock trading points prediction | |
Khaled et al. | TFGAN: Traffic forecasting using generative adversarial network with multi-graph convolutional network | |
Gu et al. | A novel active multi-source transfer learning algorithm for time series forecasting | |
KR20050007309A (ko) | 자동 신경망 모델 생성 및 유지 | |
US20220383127A1 (en) | Methods and systems for training a graph neural network using supervised contrastive learning | |
Hajizadeh et al. | A new NN-PSO hybrid model for forecasting Euro/Dollar exchange rate volatility | |
Ludwig Jr et al. | Applications of information theory, genetic algorithms, and neural models to predict oil flow | |
Tyagi et al. | Multi-step training of a generalized linear classifier | |
CN115146844A (zh) | 一种基于多任务学习的多模式交通短时客流协同预测方法 | |
Abreu et al. | Currency exchange prediction using machine learning, genetic algorithms and technical analysis | |
Chen et al. | Volatility forecasts of stock index futures in China and the US–A hybrid LSTM approach | |
CN110717148A (zh) | 一种融合经验的数据驱动回归预测算法 | |
CN117273125A (zh) | 基于强化学习的多模型在线自适应择优技术驱动的进化算法 | |
Kaplarević-Mališić et al. | Identifying optimal architectures of physics-informed neural networks by evolutionary strategy | |
Kao et al. | Inter-purchase time prediction based on deep learning. | |
Hovhannisyan et al. | Data-Driven Schedule Risk Forecasting for Construction Mega-Projects | |
CN112115243A (zh) | 通过对时序时间相关性建模的会话表示学习方法 | |
Kirubakaran et al. | A Brief Assessment on Stock Market Forecast using Long Short Term Memory (LSTM) Algorithm | |
Hartvigsen et al. | Learning to Selectively Update State Neurons in Recurrent Networks | |
Pandey et al. | Framework for stock market prediction using deep learning technique | |
Arani et al. | A State-of-the-Art Survey on Advanced Electromagnetic Design: A Machine-Learning Perspective | |
Dudek | Stacking for Probabilistic Short-term Load Forecasting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |