CN103559538A - Bp神经网络结构优化方法 - Google Patents

Abstract

本发明提供了一种BP神经网络结构优化方法，包括如下步骤：（a）首先确定输入层神经元数目（N_in）和输出神经元数（N_out）；（b）利用所述输入层神经元数目和所述输出神经元数确定所述神经网络的隐含层单元数（N_hid）的取值范围；及（c）获得所述取值范围中各值的最小均方误差（Mse），并以所述最小均方误差所对应的所述隐含层单元数（N_hid）为最佳隐含层单元数（N_hid）。本发明通过采取的在确定范围内比较均方误差来寻找最佳隐含层单元数，解决了设计三层BP神经网络结构的盲目性，避免了大量的无范围地试凑，不仅简化了繁琐的试凑过程和节省大量的训练时间，而且更具有科学性和实用性。

Description

BP神经网络结构优化方法

技术领域

本发明涉及智能计算领域，尤其涉及对三层BP人工神经网络隐含层单元数确定方法的优化设计。

背景技术

随着科学技术的飞速发展，人工神经网络也迅速发展，它是智能领域中的一个重要组成部分，BP神经网络是人工智能网络中的一个典型算法，是目前研究最为成熟的神经网络结构之一，因其具有超强的自学习、自组织、自适应、联想记忆及容错能力，在信号处理、模式识别、机器控制、专家系统等、故障诊断、预测等领域中有广泛地应用。而且它本身具有很强的非线性映射能力，解决一些非线性问题更是它最突出的特点，有一个隐含层的BP网络可以逼近任何一个闭区间内的连续函数。因此三层BP神经网络是应用最为广泛的神经网络模型。

然而，BP神经网络在应用时仍存在一个难以突破的问题：难以快速精确地确定最优的隐含层单元数。目前BP神经网络单隐含层单元数确定方法主要有经验公式法和试凑法，但通过经验公式法确定的隐含层单元数并不一定是最佳的单元数，而通过试凑法确定没有一定的范围，导致训练过程繁琐又费时。

发明内容

为了解决三层BP神经网络隐含层单元数确定方法没有确定的理论依据，导致盲目设计BP神经网络结构，耗费大量的时间和精力确定隐含层单元数的问题。为此，本发明旨在提供一种能够快速且精确确定最佳隐含层单元数的优化方法。

由此，本发明提供了一种BP神经网络结构优化方法，包括如下步骤：（a）首先确定输入层神经元数目（N_in）和输出神经元数（N_out）；（b）利用所述输入层神经元数目和所述输出神经元数确定所述神经网络的隐含层单元数（N_hid）的取值范围；及（c）获得所述取值范围中各值的最小均方误差（Mse），并以所述最小均方误差所对应的所述隐含层单元数（N_hid）为最佳隐含层单元数（N_hid）。

一些实施例中，以经验公式为基础确定的隐含层单元数的取值范围n₁≤N_hid≤n₂，n₁为隐含层单元数最小取值，n₂为隐含层单元数最大取值。

一些实施例中，所述经验公式为N_hid＝log₂N_in，N_hid≤p/[R+(N_in+N_out)]，和N_hid≤2N_in+1，其中_p是训练样本集的总体数目，5≤R≤10。

一些实施例中，首先确定一个三层BP神经网络模型，然后通过训练所构建的网络模型得到所述网络模型的所述均方误差（Mse）。

一些实施例中，所述步骤（c）包括如下步骤：（c1）根据所述取值范围中的最小取值（n₁）确定所述隐含层单元数为，以确定一个三层BP神经网络模型，并且通过训练所构建的网络模型得到相应的第一均方误差（Mse₁）；（c2）令所述隐含层单元数为N_hid＝n₁+1，按照步骤（c2）得到相应的第二均方误差（Mse₂）；及（c3）比较第一均方误差（Mse₁）和所述第二均方误差（Mse₂）的大小，若第一均方误差（Mse₁）小于所述第二均方误差（Mse₂），则令所述隐含层单元数（N_hid）为与所述第一均方误差（Mse₁）对应的所述最小值（n₁），若所述第二均方误差（Mse₂）小于所述第一均方误差（Mse₁），则令所述隐含层单元数（N_hid）为与所述第二均方误差（Mse₂）对应的所述最小值（n₁+1）。

一些实施例中，所述步骤（c3）中，若所述第二均方误差（Mse₂）小于所述第一均方误差（Mse₁），则将所述第二均方误差（Mse₂）赋值给所述第一均方误差（Mse₁）后保存所述第一均方误差（Mse₁）的值，再令所述隐含层单元数（N_hid）为与所述第一均方误差（Mse₁）对应的所述最小值（n₁）。

一些实施例中，还包括步骤（c4），比较所述隐含层单元数N_hid和所述隐含单元数最大取值（n₂）的大小，如果N_hid＜n₂则返回步骤（c2），并依次循环直到满足条件N_hid≥n₂，退出循环。

本发明通过采取的在确定范围内比较均方误差来寻找最佳隐含层单元数，解决了设计三层BP神经网络结构的盲目性，避免了大量的无范围地试凑，不仅简化了繁琐的试凑过程和节省大量的训练时间，而且更具有科学性和实用性。

结合附图，根据下文的通过示例说明本发明主旨的描述可清楚本发明的其它方面和优点。

附图说明

结合附图，通过下文详细说明，可更清楚地理解本发明的上述及其他特征和优点，其中：

图1为根据本发明实施例的BP神经网络结构优化方法所应用的三层BP神经网络结构示意图；及

图2为根据本发明实施例的BP神经网络结构优化方法的流程图。

具体实施方式

参见本发明实施例的附图，下文将更详细地描述本发明。然而，本发明可以以许多不同形式实现，并且不应解释为受在此提出之实施例的限制。相反，提出这些实施例是为了达成充分及完整公开，并且使本技术领域的技术人员完全了解本发明的范围。这些附图中，为清楚起见，可能对层及区域的尺寸及相对尺寸进行了放大或变形。

应理解，本发明的描述/图示为单个单元的部分可存在于两个或两个以上的物理上独立但合作实现所描述/图示之功能的实体。此外，描述/图示为两个或两个以上物理上独立的部分可集成入一个单独的物理上实体以进行所描述/图示的功能。

现参考附图详细说明根据本发明实施例的BP神经网络结构优化方法。

请参阅图1，图1所示为三层BP神经网络结构示意图。三层BP神经网络由输入层、隐含层和输出层组成，各层神经元单元数都可根据不同应用情况设定。在输入层和输出层神经元数确定的条件下，参照图2BP神经网络隐含层单元数确定优化方法流程图来确定隐含层单元数的数量。

本发明以BP神经网络训练后得到的均方误差Mse作为选取最佳隐含层单元数的性能评价参数，

其中N_out对应的是输出端神经元数，p是训练样本集的总体数目，y_pj是网络的期望输出，y_pj是网络输出端实际输出值。在以经验公式N_hid＝log₂N_in、N_hid≤p/[R+(N_in+N_out)]、N_hid≤2N_in+1为基础确定的隐含层单元数的取值范围n₁≤N_hid≤n₂，其中p是训练样本集的总体数目，5≤R≤10，n₁为隐含层单元数最小取值，n₂为隐含层单元数最大取值。在确定的范围内计算和比较不同隐含层单元数构成的BP神经网络的均方误差，最后得到最小值均方误差所对应的隐含层单元数。

根据本发明实施例的BP神经网络结构优化方法，包括步骤（a）首先确定根据实际工程的需求首先确定输入层神经元数目N_in和输出神经元数N_out。在国内外学者提出的经验公式的基础上确定三层BP神经网络隐含层单元数N_hid的取值范围。以N_hid所取范围的最小值作为隐含层单元数的初始，通过训练网络得到其均方误差Mse，按照所取范围计算第二个隐含层单元数所构成网络的均方误差，比较两个所得均方误差的大小，保存小的均方误差Mse和其对应的隐含层单元数N_hid。依据顺序在N_hid取值范围内依次比较各个不同隐含层单元数训练后得到的均方误差Mse，最后通过比较得到的最小均方误差所对应的隐含层单元数便是最佳的隐含层单元数N_hid。

输入层神经元数目N_in和输出神经元数N_out。本实施例中，根据实际工程的需求首先确定输入层神经元数目N_in和输出神经元数N_out，此为业界常见的确定方法，在此不赘述。

根据本发明实施例的BP神经网络结构优化方法，包括步骤（b）利用所述输入层神经元数目和所述输出神经元数确定所述神经网络的隐含层单元数N_hid取值范围。

本实施例中，以经验公式为基础确定的隐含层单元数的取值范围n₁≤N_hid≤n₂，n₁为隐含层单元数最小取值，n₂为隐含层单元数最大取值。

具体地，所述经验公式为N_hid＝log₂N_in，N_hid≤p/[R+(N_in+N_out)]，和N_hid≤2N_in+1，其中p是训练样本集的总体数目，5≤R≤10。

根据本发明实施例的BP神经网络结构优化方法，还包括步骤（c）获得所述取值范围中各值的最小均方误差Mse，并以所述最小均方误差所对应的所述隐含层单元数N_hid为最佳隐含层单元数N_hid。

本实施例中，首先确定一个三层BP神经网络模型，然后通过训练所构建的网络模型得到所述网络模型的所述均方误差Mse。

具体地，最小均方误差Mse确定方法如下。

首先根据所述取值范围中的最小取值n₁确定所述隐含层单元数为，以确定一个三层BP神经网络模型，并且通过训练所构建的网络模型得到相应的第一均方误差Mse₁。此后，令所述隐含层单元数为N_hid＝n₁+1，按照前述步骤得到相应的第二均方误差Mse₂。再者，比较第一均方误差Mse₁和所述第二均方误差Mse₂的大小，若第一均方误差Mse₁小于所述第二均方误差Mse₂，则令所述隐含层单元数N_hid为与所述第一均方误差Mse₁对应的所述最小值n₁，若所述第二均方误差Mse₂小于所述第一均方误差Mse₁，则令所述隐含层单元数N_hid为与所述第二均方误差Mse₂对应的所述最小值n₁+1。最后，比较所述隐含层单元数N_hid和所述隐含单元数最大取值n₂的大小，如果N_hid＜n₂则返回步骤前述，并依次循环直到满足条件N_hid≥n₂，退出循环。

较佳实施例中，若所述第二均方误差Mse₂小于所述第一均方误差Mse₁，则也可将所述第二均方误差Mse₂赋值给所述第一均方误差Mse₁后保存所述第一均方误差Mse₁的值，再令所述隐含层单元数N_hid为与所述第一均方误差Mse₁对应的所述最小值n₁。

现参考图2详细描述根据本发明实施例的优化方法流程图。

在输入层和输出层神经元数确定的条件下，参照图2BP神经网络隐含层单元数确定优化方法流程图来确定隐含层单元数的数量。根据图2流程图可以分为以下几个步骤：

步骤1，根据工程实例确定输入层神经元数目N_in和输出神经元数N_out。

步骤2，在以经验公式N_hid＝log₂N_in、N_hid≤p/[R+(N_in+N_out)]、N_hid≤2N_in+1为基础确定的隐含层单元数的取值范围n₁≤N_hid≤n₂，其中p是训练样本集的总体数目，5≤R≤10，n₁为隐含层单元数最小取值，n₂为隐含层单元数最大取值。

步骤3，取隐含层单元数为n₁，确定一个三层BP神经网络模型。通过训练所构建的网络模型得到其均方误差Mse₁。

步骤4，令隐含层单元数N_hid＝n₁+1，按照步骤2的方法计算得到均方误差Mse₂。

步骤5，比较Mse₁和Mse₂的大小，如果Mse₁＜Mse₂，则保存Mse₁的值。如果Mse₁＞Mse₂，则将Mse₂赋值给Mse₁后保存Mse₁的值。然后令n₁＝N_hid。

步骤6，比较隐含层单元数N_hid和隐含单元数最大取值n₂的大小，如果N_hid＜n₂则返回步骤4，并依次循环直到满足条件N_hid≥n₂，退出循环。

通过图2的流程图，最后得到的N_hid值就是最佳的隐含层单元数。该发明在实际工程中用来确定未知三层BP神经网络隐含层单元数有很好的实用性。

本发明通过采取的在确定范围内比较均方误差来寻找最佳隐含层单元数，解决了设计三层BP神经网络结构的盲目性，避免了大量的无范围地试凑，不仅简化了繁琐的试凑过程和节省大量的训练时间，而且更具有科学性和实用性。

因本技术领域的技术人员应理解，本发明可以以许多其他具体形式实现而不脱离本发明的精神或范围。尽管业已描述了本发明的实施例，应理解本发明不应限制为这些实施例，本技术领域的技术人员可如所附权利要求书界定的本发明精神和范围之内作出变化和修改。

Claims (7)

1.一种BP神经网络结构优化方法，其特征在于，包括如下步骤：

（a）首先确定输入层神经元数目（N_in）和输出神经元数（N_out）；

（b）利用所述输入层神经元数目和所述输出神经元数确定所述神经网络的隐含层单元数（N_hid）的取值范围；及

（c）获得所述取值范围中各值的最小均方误差（Mse），并以所述最小均方误差所对应的所述隐含层单元数（N_hid）为最佳隐含层单元数（N_hid）。

2.根据权利1所述的优化方法，其特征在于，以经验公式为基础确定的隐含层单元数的取值范围n₁≤N_hid≤n₂，n₁为隐含层单元数最小取值，n₂为隐含层单元数最大取值。

3.根据权利2所述的优化方法，其特征在于，所述经验公式为N_hid＝log₂N_in，N_hid≤p/[R+(N_in+N_out)]，和N_hid≤2N_in+1，其中p是训练样本集的总体数目，5≤R≤10。

4.根据权利3述的优化方法，其特征在于，首先确定一个三层BP神经网络模型，然后通过训练所构建的网络模型得到所述网络模型的所述均方误差（Mse）。

5.根据权利3述的优化方法，其特征在于，所述步骤（c）包括如下步骤：

（c1）根据所述取值范围中的最小取值（n₁）确定所述隐含层单元数为，以确定一个三层BP神经网络模型，并且通过训练所构建的网络模型得到相应的第一均方误差（Mse₁）；

（c2）令所述隐含层单元数为N_hid＝n₁+1，按照步骤（c2）得到相应的第二均方误差（Mse₂）；及

（c3）比较第一均方误差（Mse₁）和所述第二均方误差（Mse₂）的大小，若第一均方误差（Mse₁）小于所述第二均方误差（Mse₂），则令所述隐含层单元数（N_hid）为与所述第一均方误差（Mse₁）对应的所述最小值（n₁），若所述第二均方误差（Mse₂）小于所述第一均方误差（Mse₁），则令所述隐含层单元数（N_hid）为与所述第二均方误差（Mse₂）对应的所述最小值（n₁+1）。

6.根据权利5述的优化方法，其特征在于，所述步骤（c3）中，若所述第二均方误差（Mse₂）小于所述第一均方误差（Mse₁），则将所述第二均方误差（Mse₂）赋值给所述第一均方误差（Mse₁）后保存所述第一均方误差（Mse₁）的值，再令所述隐含层单元数（N_hid）为与所述第一均方误差（Mse₁）对应的所述最小值（n₁）。

7.根据权利5述的优化方法，其特征在于，还包括步骤（c4），

比较所述隐含层单元数N_hid和所述隐含单元数最大取值（n₂）的大小，如果N_hid＜n₂则返回步骤（c2），并依次循环直到满足条件N_hid≥n₂，退出循环。

Images