CN110633741A - 一种基于改进脉冲神经网络的时间序列分类方法 - Google Patents

Abstract

本发明公开了一种基于改进脉冲神经网络地时间序列分类方法，包括以下步骤：从原始时间序列数据中截取一维时间序列信号，使用改进型递归图将其转化为二维纹理图像，构建脉冲神经网络的整体结构框架，并根据二维纹理图像的尺寸大小合理使用下采样层对二维纹理图像进行缩放；将缩放后的二维纹理图像输入到网络的输入层，把二维纹理图像转化为泊松脉冲序列；使用循环学习率法确定网络的初始学习率以及循环学习率边界的最大值和最小值；使用突触前后踪迹学习规则不断更新网络各神经元之间的连接权重；完成网络训练后，通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类。

Description

一种基于改进脉冲神经网络的时间序列分类方法

技术领域

本发明属于时间序列信号分类领域，是一种基于改进型脉冲神经网络的时间序列信号分类方法。

背景技术

时间序列数据是日常生活中最为常见的一种数据类型，广泛地存在于几乎每一个人类认知领域内。随着智能化设备以及物联网检测技术的发展，生产和生活中采集了大量的时间序列数据。时间序列数据存在有序性、时效性等特点，其中蕴含着大量的直观信息以及潜在知识。作为时间序列研究领域的一个重要分支，时间序列分类已成为当前时间序列研究领域的热点课题。运用科学合理的方法实现对时间序列的快速准确分类具有十分重要的现实意义。

当前，人工神经网络在图像处理、文本分类以及语音识别等领域取得了很好的效果。因此，越来越多的学者使用人工神经网络获取时间序列数据的特征信息，进而实现对时间序列的有效分类。目前常用人工神经网络的主要有BP神经网络、卷积神经网络以及胶囊网络等有监督学习网络。但现实中很难获得大量有标签数据，更多的是没有标签的数据。如何使用无监督学习的方法对时间序列进行快速准确的分类，是当前人工神经网络在时间序列分类领域的研究热点。

发明内容

本发明所要解决的技术问题是提供一种无监督学习的方法对时间序列进行快速准确的分类。

为解决上述技术问题，本发明提供了一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，包括以下步骤：

1)考虑时间序列数据的一般特性，从原始时间序列数据中截取至少包含一个完整信号周期信息的一维时间序列信号(x₁,x₂,x₃,L,x_n)；

2)使用由灰度化处理替代阈值处理的递归图法将一维时间序列信号(x₁,x₂,x₃,L,x_n)转化为二维纹理图像；

3)构建脉冲神经网络的整体结构框架；

4)根据二维纹理图像的尺寸大小，使用下采样层对二维纹理图像进行缩放；

5)将缩放后的二维纹理图像输入脉冲神经网络的输入层，通过输入层神经元将二维纹理图像转化为泊松脉冲序列；

6)使用循环学习率法求出脉冲神经网络的初始学习率以及循环学习率边界的最大值和最小值；

7)将泊松脉冲序列输入到处理层，使用突触前后踪迹学习规则不断更新输入层神经元到兴奋性神经元以及兴奋性神经元与抑制性神经元之间的突触的连接权重；

8)完成网络训练后，通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类。

上述步骤3)中构建脉冲神经网络的整体结构的步骤如下：

31)确定脉冲神经网络的整体结构包括：下采样层、输入层以及处理层三部分；

32)根据训练样本的数量设置网络的训练迭代次数，训练样本数量越少，网络训练所需的迭代次数越多。

上述步骤4)中使用下采样层对二维纹理图像进行缩放的步骤如下：

41)读取步骤2)中的二维纹理图像数据；

42)根据二维纹理图像的尺寸确定是否需要使用下采样层对二维纹理图像进行缩放，若二维纹理图像尺寸大于60×60，则需要对其进行缩放，若二维纹理图像尺寸小于或等于60×60，则不需要对其进行缩放；

43)对于需要缩放的图像，设置一层下采样层，选定池化核的尺寸，以平均池化方式对二维纹理图像进行处理，将二维纹理图像缩放至尺寸小于或等于60×60。

上述步骤5)中通过输入层神经元将二维纹理图像转化为泊松脉冲序列的步骤如下：

51)读取步骤4)中缩放后的二维纹理图像数据；

52)将脉冲神经网络的输入层神经元个数设置成与缩放后的二维纹理图像的像素点个数相同；

53)将缩放后的二维纹理图像转化为一维阵列，其像素值范围是0到255；

54)将各像素点的像素值除以4，即得到泊松脉冲序列的发射率。

上述步骤6)中计算网络的初始学习率以及循环学习率边界的最大值和最小值的步骤如下：

61)将训练样本输入给脉冲神经网络，使学习率随着样本的输入由0以指数的形式增加到1.5；

62)记录训练过程中各个时刻的突触前踪迹值x_pre以及突触后踪迹值x_post；

63)计算突触前踪迹值x_pre与突触后踪迹值x_post之间的差值x_pp，其计算方法如公式(1)所示；

x_pp＝x_pre-x_post (1)

64)对x_pp进行求导运算，进而选择相对合理的初始学习率；

65)选取出x_pp下降速度较快的两个学习率数值；

66)将两个学习率的值中较低的作为循环学习率边界的最小值；

67)将两个学习率的值中较高的作为循环学习率边界的最大值；

68)将最小值和最大值之间的范围设置为学习率变化的范围，在网络训练过程中，学习率以三角窗口的形式在设定范围内逐渐变化。

上述步骤7)中使用突触前后踪迹学习规则不断更新神经元之间的连接权重的步骤如下：

71)读取步骤5)中输入层神经元的泊松脉冲序列；

72)在处理层中设置数量约为输入层神经元数量一半的兴奋性神经元；

73)在处理层中设置与兴奋性神经元相同数量的抑制性神经元；

74)将输入层神经元与兴奋性神经元进行全连接，兴奋性神经元与抑制性神经元进行一一对接，并且将抑制性神经元与除去与其对接的兴奋性神经元之外的其他兴奋性神经元进行全连接；

75)通过循环学习率法设定突触后脉冲的学习率η_post；

76)使用突触前踪迹学习规则计算突触后脉冲触发时的连接权重变化值Δw₁，其计算方法如公式(2)所示；

Δw₁＝η_postx_pre (2)

77)通过循环学习率法设定突触前脉冲的学习率η_pre；

78)使用突触后踪迹学习规则计算突触前脉冲触发时的连接权重变化值Δw₂，其计算方法如公式(3)所示；

Δw₂＝-η_prex_post (3)

79)计算连接权重变化值Δw，实现对连接权重的更新，其计算方法如公式(4)所示：

Δw＝Δw₁+Δw₂ (4)。

上述步骤8)中通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类的步骤如下：

81)将测试样本转化的二维纹理图像输入训练后的脉冲神经网络；

82)统计兴奋性神经元的脉冲触发情况，二维纹理图像触发的哪种兴奋性神经元个数最多就将二维纹理图像判定为哪种类别，从而实现对时间序列的分类。

本发明所达到的有益效果：

本发明提出了一种基于改进脉冲神经网络的时间序列分类方法，使用脉冲神经网络对时间序列信号进行分类，可以实现无监督学习，从而降低了对训练数据的要求。针对脉冲神经网络容易陷入局部最优的问题，使用循环学习率法确定学习率的上下限，使得学习率在合理的范围内循环变化，有效地提升了网络的全局寻优能力。使用突触前后踪迹学习规则对网络中各神经元之间的连接权重进行更新，提高了脉冲神经网络的分类准确率。同时根据二维纹理图像的尺寸大小合理地设置下采样层的数量及其参数，有效地减少了网络中的参数数量，降低了计算的复杂度，使得脉冲神经网络能够适应不同长度的时间序列。

附图说明

图1基于改进型脉冲神经网络的时间序列分类流程图；

图2是实施例中脉冲神经网络训练过程中的分类准确率。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于改进脉冲神经网络的时间序列分类方法，使用改进型脉冲神经网络对时间序列信号进行分类，包括以下步骤：

1)考虑时间序列数据的一般特性，从原始时间序列数据中截取至少包含一个完整信号周期信息的一维时间序列信号(x₁,x₂,x₃,L,x_n)。

2)使用由灰度化处理替代阈值处理的递归图法将一维时间序列信号(x₁,x₂,x₃,L,x_n)转化为二维纹理图像。

3)构建脉冲神经网络的整体结构框架；

31)确定脉冲神经网络的整体结构包括：下采样层、输入层以及处理层三部分；

32)根据训练样本的数量设置网络的训练迭代次数，训练样本数量越少，网络训练所需的迭代次数越多。

4)根据二维纹理图像的尺寸大小，使用下采样层对二维纹理图像进行缩放；

41)读取步骤2)中的二维纹理图像数据；

42)根据二维纹理图像的尺寸确定是否需要使用下采样层对二维纹理图像进行缩放，若二维纹理图像尺寸大于60×60，则需要对其进行缩放，若二维纹理图像尺寸小于或等于60×60，则不需要对其进行缩放；

43)对于需要缩放的图像，设置一层下采样层，选定池化核的尺寸，以平均池化方式对二维纹理图像进行处理，将二维纹理图像缩放至尺寸小于或等于60×60。

5)将缩放后的二维纹理图像输入脉冲神经网络的输入层，通过输入层神经元将二维纹理图像转化为泊松脉冲序列；

51)读取步骤4)中缩放后的二维纹理图像数据；

52)将脉冲神经网络的输入层神经元个数设置成与缩放后的二维纹理图像的像素点个数相同；

53)将缩放后的二维纹理图像转化为一维阵列，其像素值范围是0到255；

54)将各像素点的像素值除以4，即得到泊松脉冲序列的发射率。

6)使用循环学习率法求出脉冲神经网络的初始学习率以及循环学习率边界的最大值和最小值；

61)将训练样本输入给脉冲神经网络，使学习率随着样本的输入由0以指数的形式增加到1.5；

62)记录训练过程中各个时刻的突触前踪迹值x_pre以及突触后踪迹值x_post；

63)计算突触前踪迹值x_pre与突触后踪迹值x_post之间的差值x_pp，其计算方法如公式(1)所示；

x_pp＝x_pre-x_post (1)

64)对x_pp进行求导运算，进而选择相对合理的初始学习率；

65)选取出x_pp下降速度较快的两个学习率数值；

66)将两个学习率的值中较低的作为循环学习率边界的最小值；

67)将两个学习率的值中较高的作为循环学习率边界的最大值；

68)将最小值和最大值之间的范围设置为学习率变化的范围，在网络训练过程中，学习率以三角窗口的形式在设定范围内逐渐变化。

7)将泊松脉冲序列输入到处理层，使用突触前后踪迹学习规则不断更新输入层神经元到兴奋性神经元以及兴奋性神经元与抑制性神经元之间的突触的连接权重；

71)读取步骤5)中输入层神经元的泊松脉冲序列；

72)在处理层中设置数量约为输入层神经元数量一半的兴奋性神经元；

73)在处理层中设置与兴奋性神经元相同数量的抑制性神经元；

74)将输入层神经元与兴奋性神经元进行全连接，兴奋性神经元与抑制性神经元进行一一对接，并且将抑制性神经元与除去与其对接的兴奋性神经元之外的其他兴奋性神经元进行全连接；

75)通过循环学习率法设定突触后脉冲的学习率η_post；

76)使用突触前踪迹学习规则计算突触后脉冲触发时的连接权重变化值Δw₁，其计算方法如公式(2)所示；

Δw₁＝η_postx_pre (2)

77)通过循环学习率法设定突触前脉冲的学习率η_pre；

78)使用突触后踪迹学习规则计算突触前脉冲触发时的连接权重变化值Δw₂，其计算方法如公式(3)所示；

Δw₂＝-η_prex_post (3)

79)计算连接权重变化值Δw，实现对连接权重的更新，其计算方法如公式(4)所示：

Δw＝Δw₁+Δw₂ (4)。

8)完成网络训练后，通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类；

81)将测试样本转化的二维纹理图像输入训练后的脉冲神经网络；

82)统计兴奋性神经元的脉冲触发情况，二维纹理图像触发的哪种兴奋性神经元个数最多就将二维纹理图像判定为哪种类别，从而实现对时间序列的分类。

实施例：

为评估改进型脉冲神经网络对时间序列的分类效果，现使用UCR(University ofCalifornia,Riverside)时间序列分类档案文件中的TwoPatterns数据集对网络性能进行验证。TwoPatterns数据集共含有1000个训练样本以及4000个测试样本，其中每个样本序列得长度为128。TwoPatterns数据集含有四类模拟波形序列。

在将1×128得时间序列转化为二维纹理图像时，为了计算方便适当舍弃某些值，得到尺寸大小为120×120的二维纹理图像。

设置一个下采样层，对二维纹理图像的每2×2大小的四个点进行一次像素值的平均，将尺寸大小为120×120的二维纹理图像转化为尺寸大小为60×60的图像。

设置输入层中输入神经元的个数为60×60，处理层中兴奋性神经元的个数为40×40，抑制性神经元的个数与兴奋性神经元相同。

将脉冲神经网络训练的迭代次数设置为100，对网络进行训练。

TwoPatterns数据集下，脉冲神经网络训练过程中的分类准确率如图2所示，其中横坐标代表迭代次数，纵坐标代表分类准确率。

由图2可以看出，将改进型脉冲神经网络应用于TwoPatterns数据集时，网络的分类准确率随着迭代次数的增加稳步上升。当网络迭代次数达到100时，脉冲神经网络对TwoPatterns数据集的分类准确率能够达到90％以上，具有较好的分类效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于改进脉冲神经网络的时间序列分类方法，其特征是使用改进型脉冲神经网络对时间序列数据进行分类识别，包括以下步骤：

1)考虑时间序列数据的一般特性，从原始时间序列数据中截取至少包含一个完整信号周期信息的一维时间序列信号(x₁,x₂,x₃,L,x_n)；

2)使用由灰度化处理替代阈值处理的递归图法将一维时间序列信号(x₁,x₂,x₃,L,x_n)转化为二维纹理图像；

3)构建脉冲神经网络的整体结构框架；

4)根据二维纹理图像的尺寸大小，使用下采样层对二维纹理图像进行缩放；

5)将缩放后的二维纹理图像输入脉冲神经网络的输入层，通过输入层神经元将二维纹理图像转化为泊松脉冲序列；

6)使用循环学习率法求出脉冲神经网络的初始学习率以及循环学习率边界的最大值和最小值；

7)将泊松脉冲序列输入到处理层，使用突触前后踪迹学习规则不断更新输入层神经元到兴奋性神经元以及兴奋性神经元与抑制性神经元之间的突触的连接权重；

8)完成网络训练后，通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类。

2.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤3)中构建脉冲神经网络的整体结构的步骤如下：

31)确定脉冲神经网络的整体结构包括：下采样层、输入层以及处理层三部分；

32)根据训练样本的数量设置网络的训练迭代次数，训练样本数量越少，网络训练所需的迭代次数越多。

3.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤4)中使用下采样层对二维纹理图像进行缩放的步骤如下：

41)读取步骤2)中的二维纹理图像数据；

42)根据二维纹理图像的尺寸确定是否需要使用下采样层对二维纹理图像进行缩放，若二维纹理图像尺寸大于60×60，则需要对其进行缩放，若二维纹理图像尺寸小于或等于60×60，则不需要对其进行缩放；

43)对于需要缩放的图像，设置一层下采样层，选定池化核的尺寸，以平均池化方式对二维纹理图像进行处理，将二维纹理图像缩放至尺寸小于或等于60×60。

4.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤5)中通过输入层神经元将二维纹理图像转化为泊松脉冲序列的步骤如下：

51)读取步骤4)中缩放后的二维纹理图像数据；

52)将脉冲神经网络的输入层神经元个数设置成与缩放后的二维纹理图像的像素点个数相同；

53)将缩放后的二维纹理图像转化为一维阵列，其像素值范围是0到255；

54)将各像素点的像素值除以4，即得到泊松脉冲序列的发射率。

5.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤6)中计算网络的初始学习率以及循环学习率边界的最大值和最小值的步骤如下：

61)将训练样本输入给脉冲神经网络，使学习率随着样本的输入由0以指数的形式增加到1.5；

62)记录训练过程中各个时刻的突触前踪迹值x_pre以及突触后踪迹值x_post；

63)计算突触前踪迹值x_pre与突触后踪迹值x_post之间的差值x_pp，其计算方法如公式(1)所示；

x_pp＝x_pre-x_post (1)

64)对x_pp进行求导运算，进而选择相对合理的初始学习率；

65)选取出x_pp下降速度较快的两个学习率数值；

66)将两个学习率的值中较低的作为循环学习率边界的最小值；

67)将两个学习率的值中较高的作为循环学习率边界的最大值；

68)将最小值和最大值之间的范围设置为学习率变化的范围，在网络训练过程中，学习率以三角窗口的形式在设定范围内逐渐变化。

6.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤7)中使用突触前后踪迹学习规则不断更新神经元之间的连接权重的步骤如下：

71)读取步骤5)中输入层神经元的泊松脉冲序列；

72)在处理层中设置数量约为输入层神经元数量一半的兴奋性神经元；

73)在处理层中设置与兴奋性神经元相同数量的抑制性神经元；

74)将输入层神经元与兴奋性神经元进行全连接，兴奋性神经元与抑制性神经元进行一一对接，并且将抑制性神经元与除去与其对接的兴奋性神经元之外的其他兴奋性神经元进行全连接；

75)通过循环学习率法设定突触后脉冲的学习率η_post；

76)使用突触前踪迹学习规则计算突触后脉冲触发时的连接权重变化值Δw₁，其计算方法如公式(2)所示；

Δw₁＝η_postx_pre (2)

77)通过循环学习率法设定突触前脉冲的学习率η_pre；

78)使用突触后踪迹学习规则计算突触前脉冲触发时的连接权重变化值Δw₂，其计算方法如公式(3)所示；

Δw₂＝-η_prex_post (3)

79)计算连接权重变化值Δw，实现对连接权重的更新，其计算方法如公式(4)所示：

Δw＝Δw₁+Δw₂ (4)。

7.根据权利要求1中所述的一种基于改进脉冲神经网络的时间序列分类方法，其特征在于，所述步骤8)中通过统计兴奋性神经元的脉冲触发情况对时间序列进行分类的步骤如下：

81)将测试样本转化的二维纹理图像输入训练后的脉冲神经网络；

82)统计兴奋性神经元的脉冲触发情况，二维纹理图像触发的哪种兴奋性神经元个数最多就将二维纹理图像判定为哪种类别，从而实现对时间序列的分类。

Images