CN102855584B

CN102855584B - 一种基于线性插补与自适应滑动窗口的商品价格预测方法

Info

Publication number: CN102855584B
Application number: CN201110423015.5A
Authority: CN
Inventors: 朱全银; 胡蓉静; 曹苏群; 周培; 周泓; 金鹰; 孔庆霞; 刘丽娟; 尹永华; 陈婷
Original assignee: Huaiyin Institute of Technology
Current assignee: Huaiyin Institute of Technology
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2015-07-01
Anticipated expiration: 2031-12-16
Also published as: CN102855584A

Abstract

本发明公开了一种基于线性插补与自适应滑动窗口的商品价格预测方法，将线性插补数据方法与自适应滑动窗口结合的新型商品价格预测方法，并将该商品价格预测方法应用于手机与黄金价格的预测，解决了现有销售商只有历史销售价格数据没有基于多个销售商的预测价格问题，同时还提高了网页商品价格数据抽取的抗噪性能，获得了更高的预测准确率，具有很高的实用价值。

Description

一种基于线性插补与自适应滑动窗口的商品价格预测方法

技术领域

本发明属于商品市场预测技术领域，特别涉及一种商品价格的预测方法，可应用于商品市场预测分析与商品销售决策支持系统。

背景技术

商品价格的预测方法是市场预测分析与商品生产销售决策的基础，是市场预测领域中的一个重要问题，在商品生产、销售等很多问题中起着关键作用。由于网络技术的发展与网络商店的普及，因此近年来，人们越来越重视对商品价格的预测方法的研究。商品价格的预测问题可以看作是基于时间序列的数据处理与数据分析问题，分为数据获取、数据处理与预测模型三个方面。股票市场、期货市场、电力市场等公开价格数据获取较为容易，用于价格预测的模型主要有最小二乘回归、神经网络、灰色马尔科夫链、小波理论和GM(1，1)模型等。针对消费类商品价格数据的获取方法与动态价格预测，2010年和2011年，朱全银等给出了商品销售数据抽取与数据挖掘的方法以及基于Web的非修补数据情况下商品价格的动态预测方法(Quanyin Zhu，Yunyang Yan，Jin Ding and Yu Zhang.The Commodities Price Extracting for Shop Online，2010 International Conference on Future Information Technology and Management Engineering，Changzhou，Jiangsu，Chian，Dec.2010，Vol.2，pp.317-320；Quanyin Zhu，Yunyang Yan，Jin Ding and Jin Qian.The Case Study for Price Extracting of Mobile Phone Sell Online.IEEE 2nd International Conference on Software Engineering and Service Science，Beijing，Chian，July.2011，pp.281-295；Quanyin Zhu，Sunqun Cao，Jin Ding and Zhengyin Han.Research on the Price Forecast without Complete Data based on Web Mining，2011 Distributed Computing and Applications to Business，Engineering and Science，Wuxi，Jiangsu，Chian，Oct.2011，pp.120-123；Quanyin Zhu，Hong Zhou，Yunyang Yan，Jin Qian and Pei Zhou.Commodities Price Dynamic Trend Analysis Based on Web Mining.The International Conference on Multimedia Information Networking and Security，Shanghai，Chian，Nov.2011，pp.524-527；Jianping Deng，Fengwen Cao，Quanyin Zhu，and Yu Zhang.The Web Data Extracting and Application for Shop Online Based on Commodities Classified.Communications in Computer and Information Science，Vol.234(4)：189-197；王红艳，朱全银，严云洋，钱进.商品价格数据的两种WEB挖掘算法比较.微电子学与计算机.2011.Vol.28(19)：168-172)。

滑动窗口算法的基本思路如下：

定义：

设周期在时间观测周期t内的时间序列为x₁，x₂，…，x_t，…，f_t，1为t+1即下一时刻的预测值；

f_t，1＝最新预测均值＝x_t，x_t-1，…，x_t-N+1的平均值，N为给定的参数，即预测窗口，又称步长；N决定着预测精度，一般有实验数据根据经验获得。

定义：

x_t为t时刻的实际值，为t时刻的预测值，

预测误差

e_{t} = x_{t} - {\hat{x}}_{t}, t = 1,2, . . ., n - - - (1)

相对预测误差：

{\tilde{e}}_{t} = \frac{e_{t}}{x_{t}} = \frac{x_{t} - {\hat{x}}_{t}}{x_{t}}, t = 1,2, . . ., n - - - (2)

绝对平均误差：

MAE = \frac{1}{n} Σ_{t = 1}^{n} | e_{t} | = \frac{1}{n} Σ_{t = 1}^{n} | x_{t} - {\hat{x}}_{t} | - - - (3)

绝对平均百分误差：

MAPE = \frac{1}{n} Σ_{t = 1}^{n} \frac{| e_{t} |}{x_{t}} = \frac{1}{n} Σ_{t = 1}^{n} \frac{| x_{t} - {\hat{x}}_{t} |}{x_{t}} - - - (4)

滑动窗口的预测理论为：

下一时刻的预测值

{\hat{x}}_{t + 1} = f_{t, 1} = \frac{x_{t} + x_{t - 1} + x_{t - 2} + . . . + x_{t - (N - 1)}}{N} - - - (5)

其观测周期t内的绝对平均误差为：

MSE = \frac{1}{t - N} Σ_{t - N + 1}^{t} {(x_{t} - {\hat{x}}_{t})}^{2} - - - (6)

以上算法是滑动窗口用于价格预测，但其只适用于数据正常情况，且为同一种类商品，将其用于有缺陷数据或不同品牌的商品时，具有很大的局限性。由于日常生活中的商品，如消费类产品，其每天的销售价格数据获取非常困难，采用基于网页的数据挖掘方法获取时，由于网络噪声的影响，会造成比较严重的数据缺陷问题。针对缺失数据的修补方法，常见的有均值替代法，Hedonic插补法、Kriging插值法、回归预测法等。除均值替代法外，其他算法计算复杂，效率低，而广大的销售商对不同消费种类商品市场预测分析与商品销售决策有迫切的需求，因此，需要找到一种能够对缺陷数据进行修补的方法和对不同种类商品价格的预测方法，以获得更高的预测准确率。

发明内容

本发明的目的是将线性插补方法与自适应滑动窗口预测方法结合，以提供一种对缺陷数据且为不同品牌商品有效的价格预测方法，进而实现一种新的商品价格预测方法，以提高商品价格预测的准确率。

本发明的技术方案是通过线性插值方法将网页挖取的数据进行预处理，在实现修补后的数据集上进行不同商品不同窗口下预测值的均方差分析，进而完成商品的市场价格预测。

为便于理解本发明方案，首先对本发明的理论基础进行描述如下：

一般理论上用于修补数据的方法中，最简单的是使用缺陷数据在时间上或空间上左右的值，求平均值后回填丢失之处，或者使用Hedonic插补法、Kriging插值法。但是对于商品价格数据的趋势性，及趋大、趋小或不变化，均值回填法带来的误差往往较大，Hedonic插补、Kriging插值都是计算复杂，效率低，用于商品价格预测时误差较大，在应用于价格预测分析上都存在较大的局限性。线性插补算法能够满足这样的需求。另外，由于基于滑动窗口的预测存在预测商品的单一性的缺点，本发明方案采取自适应窗口法，针对不同种类或不同品牌，利用历史数据训练的方法，选取均方误差最小的预测值自适应调整窗口宽度。

具体的说，本发明方案通过如下各步骤实现线性插补与自适应滑动窗口的商品价格预测：

步骤A、抽取网页中商品的名称、型号、类型与价格数据，建立数据集X＝{A₁，A₂，…，A_k}，设定需要预测价格的商品为A_f＝{x₁，x₂，…x_n}，x₁，x₂，…，x_n指第A_f个商品从抽取的第1日至第n日的价格数据；查找A_f中异常数据，得到异常数据集B_j＝{b₁，b₂，…b_m}，分别统计B_j中属于时间上连续的异常数据段，设共有s个日期连续的异常数据段，每段日期上连续异常的数据个数为p；

步骤B、当s的值为零时，直接执行步骤F，当s的值不为零时重复执行步骤C到步骤E；

步骤C、设第s个日期连续的异常数据段中的数据在A_f中的位置为：{x_i，x_i+1，…，x_i+p-1}；

步骤D、求

Δp = \frac{x_{i + m} - x_{i - 1}}{p}

和

x_{i + k} = Σ_{k = 0}^{p - 1} (x_{i - 1} + (k + 1) Δp);

步骤E、s＝s-1，返回步骤B；

步骤F、针对不同的商品A_i经过步骤B到步骤E后可以得到插补后的数据集

\hat{X} = {{\hat{A}}_{1}, {\hat{A}}_{2}, . . . {\hat{A}}_{k}},

设

{\hat{A}}_{i} = {{\hat{x}}_{1}, {\hat{x}}_{2}, . . . {\hat{x}}_{n}};

步骤G、设定商品价格观测窗口宽度为L，定义f_L，1为观测窗口后一天的预测值；定义用于预测的滑动窗口宽度为N_L，r；

步骤H、选取预先设定的不同的r值，求

步骤I、计算不同r值的均方误差，找到MSE_t，r最小时的r值和

步骤J、第n+1天的预测值

步骤K、重复步骤B到步骤J，可以得到数据集X中所有商品的预测值。

步骤A到步骤K说明：

步骤A中所述抽取网页中商品的名称、型号、类型与价格数据是指：利用任意Web数据抽取算法，抽取商品在网页上显示的名称、型号、类型与价格数据。其中x₁，x₂，…，x_n可以是第A_f个商品从一个网页中抽取的第1日至第n日的价格数据，也可以是从多个网页中抽取的第1日至第n日的平均价格数据；步骤A中异常数据集B_j的数据个数不大于A_f的总数据量的百分之十。

步骤B到步骤E是针对任意一个商品在一个网页中不同日期的价格数据的插补。

步骤G到步骤J是针对任意一个商品在一个网页中不同日期的价格数据的预测值，或多个网页中不同日期的平均值价格数据的预测值。

步骤G中观测窗口宽度L的取值一般为三个月，设为13周，91天。

步骤H中预先设定的不同的r值一般为3天，5天，7天，10天，15天和30天。

相比现有技术的各种价格预测方法，本发明针对网页商品的价格数据挖掘，通过线性插补方法，将缺陷数据修复，提高对商品价格预测的准确率，改变了现有价格预测方法只能对完整无缺陷数据的预测，提高了数据挖掘的抗噪性能，通过自适应滑动窗口，自动选取不同商品的最佳滑动窗口值，可以达到更高的商品价格预测准确率。

附图说明

图1为本发明具体实施方式的流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

如附图1所示，本发明实施方案按照以下步骤进行：

步骤D、求

Δp = \frac{x_{i + m} - x_{i - 1}}{p}

和

x_{i + k} = Σ_{k = 0}^{p - 1} (x_{i - 1} + (k + 1) Δp);

步骤E、s＝s-1，返回步骤B；

步骤F、针对不同的商品A_f经过步骤B到步骤E后可以得到插补后的数据集

\hat{X} = {{\hat{A}}_{1}, {\hat{A}}_{2}, . . . {\hat{A}}_{k}}

设

{\hat{A}}_{f} = {{\hat{x}}_{1}, {\hat{x}}_{2}, . . . {\hat{x}}_{n}};

步骤H、选取预先设定的不同的r值，求

步骤I、计算不同r值的均方误差，找到MSE_t，r最小时的r值和

步骤J、第n+1天的预测值

步骤A到步骤K说明：

为了更好地说明本方法的有效性，利用从2011年8月1日至2011年11月1日从不同网页中抽取的5种不同商品的价格数据，采取人为丢失数据的方法来验证一种基于线性插补与自适应滑动窗口的价格预测方法的有效性，先求得每一种商品的周价格平均值，其中选取人为丢弃的商品数据都为价格正好发生变动的日期，保证了数据具有较好的典型性，并进行2011年11月1日的价格预测，最后算的平均误差为0.81％，而如果没有人为丢失数据，其预测的平均误差为0.82％，即修补数据预测的准确率比利用原始数据预测的准确率反而提高了0.01个百分点。

为了比较平均值修补法和线性插补法对预测准确率的影响，采用相同时间区间不同商品的价格数据进行实验，实验结果显示采用原始数据预测的误差率为0.82％，采用线性插补预测的误差率为0.81％，而采用均值修补法预测的误差率为2.74％。结论是线性插补预测的误差率比均值修补法预测的误差率下降了1.66个百分点。

采用自适应滑动窗口与定值滑动窗口进行实验结果进行比较，结果是，在利用2011年8月1日至2011年10月30日的二个不同网站抽取的数据预测11月1日一款手机商品飞利浦V816价格预测中，采用定值为7天的滑动窗口的预测的误差率为0.82％，而采用自适应滑动窗口后，求得的最佳预测窗口值为5天，其预测的误差率为0.19％；在利用2011年11月1日至27日的纽约商品交易所黄金交易价格数据进行11月28日的价格预测中，若采用7天的定值滑动窗口的预测误差率为1.20％，而采用自适应滑动窗口后，求得的最佳预测窗口值为10天，其预测的误差率为0.49％。结论是采用自适应滑动窗口的误差率比采用定值滑动窗口预测的误差率平均下降了0.63个百分点。

由于网络的噪声等原因，在利用网页抽取价格数据的过程中，在每天抽取大量的数据的情况下，无法做到人工的数据确认修补，为了更进一步说明本发明的实际应用价值，利用抽取的商品价格数据所进行的修补后预测价格与实际价格的比较，选择了网页抽取价格数据中存在缺陷的5种商品价格进行实验，实验结果是缺陷数据下经过线性插补后，采用自适应窗口预测的平均准确率达到99.47％。

本发明可与计算机系统结合，从而自动完成商品价格的预测。

本发明创造性的提出了将线性插补方法结合自适应滑动窗口预测的新型商品价格预测方法，并将该商品价格预测方法应用于手机、黄金等商品价格的预测，解决了现有销售商只有历史销售价格数据没有基于多个销售商的预测价格问题，同时还提高了网页商品价格数据抽取的抗噪性能，获得了更高的预测准确率，具有很高的实用价值。

本发明提出的商品价格预测方法不但可以用于手机生产与销售领域，也可以用于其他消费类商品价格预测、数据修补与数据处理等领域。

Claims

1.一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：通过线性插补网页挖掘的缺陷数据，进而利用自适应滑动窗口算法实现商品价格的预测，具体包括以下步骤：

步骤D、求和

步骤E、s＝s-1，返回步骤B；

步骤F、针对不同的商品A_f经过步骤B到步骤E后可以得到插补后的数据集设

步骤H、选取预先设定的不同的r值，求

步骤I、计算不同r值的均方误差，找到MSE_t，r最小时的r值和

步骤J、第n+1天的预测值

2.根据权利要求1所述的一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：步骤A中所述抽取网页中商品的名称、型号、类型与价格数据是指，利用任意Web数据抽取算法，抽取商品在网页上显示的名称、型号、类型与价格数据；其中x₁，x₂，…，x_n可以是第A_f个商品从一个网页中抽取的第1日至第n日的价格数据，也可以是从多个网页中抽取的第1日至第n日的平均价格数据；步骤A中异常数据集B_j的数据个数不大于A_f的总数据量的百分之十。

3.根据权利要求1所述的一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：步骤B到步骤E是针对任意一个商品在一个网页中不同日期的价格数据的插补。

4.根据权利要求1所述的一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：步骤G到步骤J是针对任意一个商品在一个网页中不同日期的价格数据的预测值，或多个网页中不同日期的平均值价格数据的预测值。

5.根据权利要求1所述的一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：步骤G中观测窗口宽度L的取值一般为三个月，设为13周，91天。

6.根据权利要求1所述的一种基于线性插补与自适应滑动窗口的商品价格预测方法，其特征在于：步骤H中预先设定的不同的r值一般为3天，5天，7天，10天，15天和30天。