CN108805254A - 用于时序预测的参数优化系统 - Google Patents

Abstract

本发明属于时序预测技术领域，具体提供了一种时序预测的参数优选系统，旨在解决现有技术对先验知识要求高、可拓展途径较低、时间复杂度高、实际可行度低以及鲁棒性差的技术问题。为此目的，本发明提供的参数优化系统包括参数优化模块，参数优化模块配置为基于预先构建的参数优化模型对预先获取的时序预测模型进行参数优化。其中，参数优化模块包括空间调控单元以及收敛调控单元；空间调控单元配置为基于第一权重函数调控参数优化模块的空间搜索范围；收敛调控单元配置为基于第二权重函数调控参数优化模块的收敛速率。本发明的系统增加了分布式表现，各个个体可以高效交流、协作，且提高了算法的性能。

Description

用于时序预测的参数优化系统

技术领域

本发明属于时序预测技术领域，具体涉及一种用于时序预测的参数优选系统。

背景技术

随着技术的发展，人们在日常生活中将产生大量的数据，基于历史数据对未来的变化趋势进行预测和分析，能够大幅提升人们的生活质量，因此时序预测应运而生。时序预测是根据历史统计数据的时间序列，对未来的变化趋势进行预测和分析，其中，时序预测分析的方法主要是通过建立数学回归模型，数学回归模型的参数对回归精度和泛化性能具有决定性的影响，因此，数学回归模型的参数的优劣是决定时序预测的关键。

如何优化数学回归模型的参数是决定时序预测准确度的关键，现有的参数优化方法主要包括直接确定法、交叉验证法以及网络搜索法以及人工蜂群算法等，但是现有的参数优化方法都存在一些难以规避的问题，直接确定法对先验知识要求高，可拓展途径较低；交叉验证法的时间复杂度高，实际可行度低；网络搜索法计算耗费量大，且难以保证收敛到全局最优；人工蜂群算法受限于自身进化方式和选择策略，搜索精度不高、收敛速度慢以及容易早熟等，此外，部分传统智能算法的时间复杂度高、鲁棒性差、易陷入局部最优值。

因此，如何提出一种解决现有参数优化方法上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术的问题，本发明提供了一种用于时序预测的参数优化系统，包括：

参数优化模块，所述参数优化模块配置为基于预先构建的参数优化模型对预先获取的时序预测模型进行参数优化；

其中，所述参数优化模型是基于预设的训练集，并利用深度学习网络构建的模型；所述参数优化模块包括空间调控单元以及收敛调控单元；

所述空间调控单元配置为基于第一权重函数调控所述参数优化模块的空间搜索范围；

所述收敛调控单元配置为基于第二权重函数调控所述参数优化模块的收敛速率。

在上述方案的优选技术方案中，所述空间调控单元进一步配置为按如下所示公式调控所述参数优化模块的空间搜索范围：

其中，W_i ¹＝W_min+(W_max-W_min)·t/T_max表示第一权重函数，W_min、W_max分别表示最小惯性权重参数和最大惯性权重参数，t表示当前迭代次数，T_max表示最大循环次数，x_ij表示初始蜜源，表示区间[-1,1]上的均匀分布变量。

在上述方案的优选技术方案中，所述收敛调控单元进一步配置为按如下所示公式调控所述参数优化模块的收敛速率：

其中，W_i ²＝W_min+W_max·(W_max-W_min)·(T_max-t)/T_max表示第二权重函数，xb_j表示当前最优解，i＝(1,2,…,NP)表示蜜源的位置，j∈{1,2…D}表示引领蜂一维搜索的随机结果，k∈{1,2，…NP}且k≠i代表从蜜源中随机选取一个不等于i的蜜源，NP代表种群数量，D表示解空间的维数。

在上述方案的优选技术方案中，所述参数优化模块包括初始化单元，所述初始化单元配置为按如下所示公式初始化所述参数优化模块：

x_ij＝L_j+rand(0,1)(U_j-L_j)

其中，x_ij∈(L_j,U_j)，L_j,U_j分别表示搜索范围的下限和上限，rand()表示随机函数。

在上述方案的优选技术方案中，所述参数优化模块包括收益度计算单元，所述收益度计算单元配置为按如下所示公式计算所述参数优化模块的收益度：

其中，f_i表示目标函数，fit_i表示收益度，y_i表示样本空间的因变量。

在上述方案的优选技术方案中，所述收益度计算单元还包括收益度比较单元，所述收益度比较单元配置为按如下所示公式将所述收益度计算单元计算的收益度与预设目标收益度进行比较：

其中，表示目标蜜源，v_ij表示目标收益度。

与最接近的现有技术相比，本发明提供一种时序预测的参数优选系统，本发明的技术方案至少具有如下有益效果：

1、增强了分布式表现，通过对人工蜂群算法的改进，强化了角色分工的搜索效率，使蜂群工作社区尤其是引领蜂和跟随蜂的个体间保持独立寻解，并高效交流、协作，即使出现单个蜜蜂搜索失败的情况，也不会拖慢蜂群整体的收敛速度；

2、对引领蜂和跟随蜂搜索机制的改进增强了算法关键性特征的正、负反馈，使蜂群内个体间食物源信息的交流和共享程度更高，且不增加算法时间的复杂度，提高了算法的性能。

附图说明

图1为本发明实施例中一种用于时序预测的参数优化系统的主要结构示意图；

图2为本发明实施例中改进人工蜂群算法的主要步骤示意图；

图3为本发明实施例中采用传统算法与本发明提供的参数优化系统进行仿真得到的仿真结果示意图；

图4为本发明实施例中经典人工蜂群算法优化预测模型与实际新增病例数量的比较结果示意图；

图5为本发明实施例中改进人工蜂群算法优化预测模型与实际新增病例数量的比较结果示意图图；

图6为本发明实施例中遗传算法优化预测模型与实际新增病例数量的比较结果示意图；

图7为本发明实施例中粒子群算法优化预测模型与实际新增病例数量的比较结果示意图；

图8为本发明实施例的改进人工蜂群算法优化预测模型与传染病其他预测模型的比较结果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

参阅附图1，图1示例性的给出了本实施例中用于时序预测的参数优化系统的主要结构。如图1所示，本实施例中用于时序预测的参数优化系统可以包括参数优化模块1，参数优化模块1包括空间调控单元2和收敛调控单元3。

具体地，本实施例中参数优化模块1可以配置为基于预先构建的参数优化模型对预先获取的时序预测模型进行参数优化；参数优化模型是基于预设的训练集，并利用深度学习网络构建的模型。

在本发明实施例中，参数优化模型1可以是根据改进的人工蜂群算法构建的模型。在对“改进的人工蜂群算法”进行说明之前，首先对人工蜂群算法进行简单介绍，以便更清楚的说明“改进的人工蜂群算法”。

人工蜂群算法(artificial bee colony algorithm,ABC)是一种基于群智能的全局优化算法，其来源于蜂群的采蜜行为，蜜蜂根据各自的分工进行不同的活动，并实现蜂群信息的共享和交流，从而找到问题的最优解。人工蜂群算法通过模拟实际蜜蜂的采蜜机制将人工蜂群分为3类，引领蜂、跟随蜂和侦察蜂，整个蜂群的目标是寻找花蜜量最大的蜜源。其中，蜜源代表各种可能的解，蜜源度取决于多种因素，例如能量的大小和集中程度，提取该能量的容易程度，蜜源和蜂巢的接近度，为了说明的简易性，以数字量“收益度”来衡量蜜源的特点。

引领蜂的核心任务是分享挑选出的优良蜜源信息，增强引领蜂与其他个体的信息交流，跟随蜂则可以通过增加对应于优良蜜源的蜜蜂数量来提高算法的收敛速率。

在标准的ABC算法中，采蜜蜂利用先前的蜜源信息寻找新的蜜源并与观察蜂分享蜜源信息；观察蜂在蜂房中等待并依据采蜜蜂分享的信息寻找新的蜜源，侦察蜂的任务是寻找新的有价值的蜜源，在蜂房附件随机地寻找蜜源。其中，侦察蜂可以转变为采蜜蜂或者观察蜂，转变的原则包括三种：一是当采集的蜜源的收益度很低时，侦察蜂继续作为侦察蜂搜索附近的蜜源，并放弃上次采集的蜜源；二是蜜源的收益度小于临界值时，例如排名在后50％，侦察蜂则可以转变为跟随蜂，前往相应的蜜源采蜜；三是蜜源的收益度大于临界值，侦察蜂则转变为引领蜂，带领招募的蜂群继续在同一蜜源采蜜。

继续参阅图2，图2示例性地给出了改进的人工蜂群算法的主要步骤。如图2所示，本实施例中改进的人工蜂群算法可以包括下述步骤：

(1)参数初始化：本发明实施例以SVR(Support Vector Regression，支持向量回归)模型以及SVR模型的参数为惩罚参数C、损失函数ε以及核参数γ为例，在目标值的求解过程中，蜂群的每只蜜蜂的位置均由三维参数组(C,ε,γ)决定。

其中，惩罚参数C控制分类或回归超平面复杂程度与落在ε-带之外的样本点数量的平衡，并通过调整置信区间和经验风险间的比例影响模型的泛化性能：C过小，加诸于经验风险的惩罚力度减小，模型简单但训练误差大而“欠学习”；C太大，模型学习精度高、复杂，但泛化性能差而“过学习”；损失函数ε可以表达决策函数对预测误差不敏感区域(即ε-带)的宽度；宏观上，真实值与预测值之差值落在ε-带内，则认为无损失，反之则有损失；微观上，ε控制SV数量及SVR泛化性能：如果ε太小，SV的数量大致接近于训练集样本数量，SVR精度高但过于复杂，推广能力差；如果ε过大，SV数量太少，使SVR过于简单而学习不充分，精度低；核参数γ影响学习机器泛化效能。如果核参数产生变化，训练集子空间的复杂程度也会随之发生变化，因此，γ选择直接影响模型泛化性能高低。

首先对惩罚参数C、损失函数ε以及核参数γ进行初始化，初始化的方法可以为随机初始化。将三维参数组初始化的值作为初始蜜源，初始化蜂群规模、搜索放弃阈值、最大迭代次数、最大惯性权重参数、最小惯性权重参数。

(2)确定适应度函数：将量度SVR的均方误差作为适应度函数。

(3)计算所有蜜源的适应度值并挑选当前蜂群的目标值：基于训练集计算当前预测值与实际值的均方误差及ABC算法的适应度值，将所有蜜源的适应度值进行排序，并把最大值作为当前蜂群的目标值，然后保存该参数组合。

(4)通过分角色改进的蜜源搜索方式，模拟自然蜂群的觅食模式：通过分角色改进蜜源搜索方式，不断寻找蜜源，同时持续计算既得蜜源的适应度值，并逐步挑选并将当前最佳食物源不断替换为适应度更高的食物源，当搜索次数达到或超过放弃阈值limit时，而适应度值仍未有所改善，则丢弃，且随机生成一个新食物源。

(5)得到最优蜜源：获得(C,ε,γ)_best和最佳适应度值，并跳至(4)，直到满足终止条件，结束。

在本发明实施例中，在标准人工蜂群算法的基础上对其进行改进，具体地，在标准人工蜂群算法的基础上引入惯性权重函数以控制人工蜂群算法不同阶段的局部、全局的搜索行为，包括引领蜂和跟随蜂搜索机制，因为惯性权重函数的惯性权重参数是一种平衡算法局部、全局搜索能力的量，具体地，当惯性权重参数较小时，可精细化搜索当前小区域，有利于局部搜索，当惯性权重参数较大时，可最大化更优解的发现概率，有助于全局探测新区域。

本发明实施例中，空间调控单元2可以配置为基于第一权重函数调控参数优化模块1的空间搜索范围。

进一步地，为加强引领蜂将挑选所得优良蜜源信息通过交流传递给其他种群个体的能力，增加一个递增权重函数W_i ¹来表征信息共享，并控制引领蜂和跟随蜂领域搜索空间大小，具体方法如下公式(1)所示：

其中，W_i ¹＝W_min+(W_max-W_min)·t/T_max表示第一权重函数，t代表当前迭代次数，T_max代表最大循环代数；

随着迭代次数的增加，W_i ¹可以自适应地调控邻域搜索范围，以提高蜂群算法的收敛性和寻优精度。算法初期因食物源信息量相对较小，上述公式所产生的权值较小，可有效地避免遗漏优良蜜源的可能区域，随着邻近优良蜜源不断地被发现，后期其生成较大权值可以提高全局探测能力以发现更多的优良蜜源。

本发明实施例中，收敛调控单元3可以配置为基于第二权重函数调控参数优化模块1的收敛速率。

跟随蜂通过增加对应于优良蜜源的蜜蜂数量，来提高整个算法的收敛速率，同样地，引入权重递减函数W_i ²和当前最优解x_bj，具体方法如下公式(2)所示：

其中，W_i ²＝W_min+W_max·(W_max-W_min)·(T_max-t)/T_max表示第二权重函数，t代表当前迭代次数，T_max代表最大循环代数。

当前局部最优解x_bj增大了邻域搜索空间，加强了个体间信息交流，加快了了解的寻优效率，W_i ²则有效地平衡了蜜源信息的被继承能力，在算法初期产生较大的权重可以维持较强的全局搜索能力，而后期生成较小的权重可以进行精细化的局部区域搜索。

进一步地，本实施例中图1所示参数优化系统中的参数优化模块1可以包括初始化单元。

在实际应用中，本发明提供的参数优化系统可以应用于多个科学领域，采集待进行时序预测的领域的时序数据，根据该领域的统计特征，结合统计学或者机器学习理论，建立时序数据预测模型，进行后续预测。

具体地，以医疗领域为例，因传染病受多维因素影响，其产生的时序数据也表现出非线性特征，如手足口病受自然和社会因素的影响，具有明显的季节性和地域性，所以可以选用能适应非线性数据的支持向量机对手足口病时序数据进行回归建模，实际应用中，可以手机来自医院信息系统和临床信息系统的手足口病时序发病数据，根据其统计特征和传染病动力学特征，建立支持向量机回归模型，并进行后续发病率预测。

建立时序数据预测模型后，对时序数据预测模型进行初始化。

具体地，根据标准的人工蜂群算法，可以随机产生个解，即蜜源，其中，i＝(1,2,…,NP)，j∈{1,2…D}，NP代表种群数量，D为解空间的维数，蜜源的初始位置由如下公式(3)随机产生：

x_ij＝L_j+rand(0,1)(U_j-L_j) (3)

其中，x_ij∈(L_j,U_j),L_j,U_j分别表示搜索范围的下限和上限。

进一步地，本实施例中图1所示参数优化系统中的参数优化模块1还可以包括收益度计算单元。

具体地，蜜源的收益度决定侦察蜂是否进行转变以及转变的类型，本发明的收益度的计算方法如下公式(4)所示：

其中，f_i为目标函数，y_i表示样本空间的因变量，收益度fit_i越大，辨识或者优选参数的精度越高。

进一步地，本实施例中收益度计算单元可以包括收益度比较单元，该收益度比较单元可以配置为按如下公式(5)将收益度计算单元计算的收益度与预设目标收益度进行比较：

当新蜜源收益度优于目标蜜源根据贪婪选择策略以vi_j代替，否则，保持不变。

此外，在侦察蜂搜索过程中，当某个解的搜索次数大于放弃阈值而未有改善时，说明此解已经陷入局部最优，则丢弃该蜜源，相应地，雇佣蜂也会转变为侦察蜂，寻找新的蜜源，具体方法如公式(6)所示：。

求解当前最优解并进行记录，使种群进化到下一代并反复循环，直至T＝T_max，获得最优参数。

将优化参数导入支持向量机进行仿真实验，对时序预测模型的参数进行验证和修正。

具体地，以医疗领域为例，将手足口病作为研究对象，首先对采集到的手足口病时序发病数据进行数据预处理，对可能的影响因子利用主成分法等算法进行筛选，有利于加快支持向量机的收敛速度；

参阅附图3～8，图3示例性示出了本实施例中采用传统算法与本发明提供的参数优化系统进行仿真得到的仿真结果，图4示例性示出了本实施例中经典人工蜂群算法优化预测模型与实际新增病例数量的比较结果，图5示例性示出了改进人工蜂群算法优化预测模型与实际新增病例数量的比较结果，图6示例性示出了遗传算法优化预测模型与实际新增病例数量的比较结果，图7示例性示出了粒子群算法优化预测模型与实际新增病例数量的比较结果，图8示例性示出了改进人工蜂群算法优化预测模型与传染病其他预测模型的比较结果。通过上述结果示意图，可以得到本发明提供的参数优化系统具有良好的参数优化特性。

结合本发明中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本领域技术人员应该能够意识到，结合本发明中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种用于时序预测的参数优化系统，其特征在于包括：

参数优化模块，其配置为基于预先构建的参数优化模型对预先获取的时序预测模型进行参数优化；

其中，所述参数优化模型是基于预设的训练集，并利用深度学习网络构建的模型；所述参数优化模块包括空间调控单元以及收敛调控单元；

所述空间调控单元配置为基于预设的第一权重函数调控所述参数优化模块的空间搜索范围；

所述收敛调控单元配置为基于预设的第二权重函数调控所述参数优化模块的收敛速率。

2.根据权利要求1所述的系统，其特征在于，所述空间调控单元进一步配置为按如下所示公式调控所述参数优化模块的空间搜索范围：

其中，表示第一权重函数，W_min、W_max分别表示最小惯性权重参数和最大惯性权重参数，t表示当前迭代次数，T_max表示最大循环次数，x_ij表示初始蜜源，表示区间[-1,1]上的均匀分布变量。

3.根据权利要求2所述的系统，其特征在于，所述收敛调控单元进一步配置为按如下所示公式调控所述参数优化模块的收敛速率：

其中，表示第二权重函数，x_bj表示当前最优解，i＝(1,2,…,NP)表示蜜源的位置，j∈{1,2…D}表示引领蜂一维搜索的随机结果，k∈{1,2，…NP}且k≠i代表从蜜源中随机选取一个不等于i的蜜源，NP代表种群数量，D表示解空间的维数。

4.根据权利要求3所述的系统，其特征在于，所述参数优化模块还包括初始化单元，所述初始化单元配置为按如下所示公式初始化所述参数优化模块：

x_ij＝L_j+rand(0,1)(U_j-L_j)

其中，x_ij∈(L_j,U_j)，L_j,U_j分别表示搜索范围的下限和上限，rand()表示随机函数。

5.根据权利要求4所述的系统，其特征在于，所述参数优化模块还包括收益度计算单元，所述收益度计算单元配置为按如下所示公式计算所述参数优化模块的收益度：

其中，f_i表示目标函数，fit_i表示收益度，y_i表示样本空间的因变量。

6.根据权利要求5所述的系统，其特征在于，所述收益度计算单元还包括收益度比较单元，所述收益度比较单元配置为按如下所示公式将所述收益度计算单元计算的收益度与预设目标收益度进行比较：

其中，表示目标蜜源，v_ij表示目标收益度。