CN109409507A - 神经网络构建方法及设备 - Google Patents

Abstract

本发明提供一种神经网络构建方法及设备，所述方法包括如下步骤：利用神经网络根据输入数据输出对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据；根据所述分类结果判断是否需要更新所述神经网络的结构；当需要更新所述神经网络的结构时，根据所述调整数据更新所述神经网络的结构。

Description

神经网络构建方法及设备

技术领域

本发明涉及人工智能领域，具体涉及一种神经网络构建方法及设备。

背景技术

以深度学习为代表的机器学习(Machine Learning,ML)技术近年来已经在多个领域取得突破性的进展，越来越多行业领域使用深度学习开发新技术。构建机器学习模型通常包括如下流程：预处理数据、选择或设计适当的模型系列、优化模型超参数、后处理机器学习模型、严格分析所得的结果。

目前的机器学习应用仍然具有一定的门槛，非机器学习专家难以处理以上复杂的流程。随着深度学习应用的快速增长对自动化应用深度学习方法产生了需求。自动化的深度学习方法，可以使非深度学习专家快速掌握上述流程，加速深度学习的应用，降低深度学习的使用成本。

在以上流程中，难度较大的是选择或设计适当的深度学习模型。对深度学习的模型设计对知识背景和经验的要求非常高，而且往往耗时非常长，使得针对应用场景设计专业化的深度学习模型难度特别大。为了避免这个问题，目前人们往往使用现有的开源网络结构，这样可以降低使用成本。虽然通过大量的训练数据对选用的模型进行训练可以使其具有一定的性能，但是常规的训练并不会改变模型本身的结构，所以由于网络结构对待识别数据的针对性不足，导致模型的性能无法得到有效提升。

发明内容

有鉴于此，本发明提供一种神经网络构建方法，包括如下步骤：

利用神经网络根据输入数据输出对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据；

根据所述分类结果判断是否需要更新所述神经网络的结构；

当需要更新所述神经网络的结构时，根据所述调整数据更新所述神经网络的结构。

可选地，所述利用神经网络根据输入数据输出对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据，包括：

向神经网络提供由多个输入数据组成的输入数据集；

利用神经网络根据所述输入数据集输出结果集，所述结果集中的每一个结果分别包括对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据。

可选地，所述根据所述分类结果判断是否需要更新所述神经网络的结构，包括：

根据所述结果集中的分类结果确定所述神经网络的性能；

根据所述性能判断是否需要更新所述神经网络的结构。

可选地，在所述根据所述调整数据更新所述神经网络的结构的步骤中，所采用的调整数据是所述结果集中的最后一个结果中的调整数据。

可选地，所述调整数据包括子网络类型信息和子网络位置信息。

可选地，所述根据所述调整数据更新所述神经网络的结构，包括：

根据所述子网络类型信息在多个预设子网络中选定子网络；

根据所述子网络位置信息从所述神经网络中确定更新子网络的位置；

利用选定的子网络更新所述位置。

可选地，所述利用选定的子网络更新所述位置，包括：

判断所述位置上是否存在子网络；

当所述位置上存在子网络时，利用选定的子网络替换之前存在的子网络；

当所述位置上不存在子网络时，将选定的子网插入所述位置。

可选地，所述多个预设子网络分别对应多个数值区间，并且多个数值区间组成连续的数值区间；所述子网络类型信息为所述连续的数值区间中的值；

所述根据所述子网络类型信息在多个预设子网络中选定子网络，包括：

确定所述子网络类型信息所落入的数值区间；

根据确定的数值区间确定对应的预设子网络。

可选地，所述神经网络中的各个位置分别对应多个数值区间，并且多个数值区间组成连续的数值区间；所述子网络位置信息为所述连续的数值区间中的值；

根据所述子网络位置信息从所述神经网络中确定更新子网络的位置，包括：

确定所述子网络位置信息所落入的数值区间；

根据确定的数值区间确定对应的更新子网络位置。

相应地，本发明还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述神经网络构建方法。

根据本发明提供的神经网络构建方法及设备，通过使神经网络在输出分类结果的同时输出对自身结构的调整数据，在神经网络的性能未达到预期时，利用该调整数据更新其自身的结构，以此在训练网络的同时完成自身进化的操作，由此构建出的神经网络更加适合用户所需的应用场景，并且整个过程由神经网络自身执行，不依赖人工经验，不受外界因素的制约，能够有效提升神经网络的性能。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的神经网络构建方法的流程图；

图2为本发明实施例中的一种具体的神经网络构建方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种神经网络(或称为深度学习模型)构建方法，本方案需要选定一个初始的神经网络，并且可以预先对其进行一定的训练。初始的神经网络包括输入层、隐层和输出层，其中隐层可包括多个卷积层、池化层(采样层)等等，每个层(Layer)中分别包括若干个单元(或称为核，Kernel)。首先可以使用一些样本数据和标签数据对神经网络进行训练使其具备一定的分类(识别)能力，训练过程不是必须的，而且这种常规的训练不会改变神经网络的结构。

本方法将基于训练数据对这些层或单元进行更新和优化，也即改变网络结构，以建立性能更好的神经网络。本方法可以由计算机或服务器来执行，如图1所示，包括如下步骤：

S11,利用神经网络根据输入数据输出对输入数据的分类结果和用于调整神经网络结构的调整数据。

作为一个示例，本方案构建的是用于识别图像的神经网络，则在构建时所使用的输入数据即为图像数据。神经网络对输入数据进行识别，输出识别结果即分类结果，例如可以是图像中的内容。

调整数据可以是多种形式，例如可以是对神经网络的某一层或多层的调整方式，或者是对具体某层中的某个单元的调整方式。其中的调整方式可以是增加一个层或单元，或者增大或减小一个层或一个单元的尺寸等等。

每向神经网络输入一个数据，其都会输出上述两个数据，例如有X1……Xn这n个输入数据，则针对X1则有分类结果Y1和调整数据Z1……针对Xn则有分类结果Yn和调整数据Zn。

S12,根据分类结果判断是否需要更新神经网络的结构。作为一个举例，可以针对每个输出结果执行判断步骤，例如在向神经网络输入X1得到分类结果Y1和调整数据Z1时，可以针对分类结果Y1这一个数据判断是否需要更新。

作为另一个举例，可以针对多个输出结果执行此判断步骤，例如在向神经网络输入X1……Xn得到分类结果Y1……Yn和调整数据Z1……Zn时，可以针对分类结果Y1……Yn这n个数据判断是否需要更新。

本方案所使用的输入数据是一种训练数据，或称为样本数据，这些数据的实际类别(标签)是已知的。例如针对一个分类结果判断是否需要更新神经网络时，可以将输出的分类结果与已知的实际类别进行比对，当输出的分类结果与实际类别不符时，也即神经网络识别的结果不正确时，则可以判定需要进行更新；

作为另一个举例，可以统计神经网络输出的多个分类结果的正确率是否足够高，当其正确率不满足设定要求时，则可以判定需要进行更新；

作为第三个举例，本方案可以基于ROC(receiver operating characteristic，受试者工作特征)曲线来判断神经网络是否需要更新。具体地，首先可以根据多个分类结果确定当前的神经网络模型的ROC曲线，然后计算ROC曲线的AUC(Area Under Curve，曲线下的面积)值。因为是在1x1的方格里求面积，所以AUC的数值在0-1之间，AUC值越大则表示神经网络的输出结果的正确率越高。预先可以设定一个阈值，例如0.8，当计算出当前的AUC值小于该阈值时，判定需要进行更新。

当需要更新神经网络的结构时执行步骤S13,否则认为当前的神经网络的性能已经足够好，此时可以停止执行本方法，将当前的神经网络作为最终的结果。

S13,根据调整数据更新神经网络的结构。例如按照调整数据内容的指示，增加一个或多个层或单元，或者增大或减小层或单元的尺寸等等。此后可以返回步骤S11重新基于更新的神经网络执行本方法，以此方式反复执行本方法直至步骤S12中判定不需要更新为止。

在首次执行本方法时，步骤S11中输出的调整数据可以是随机的，或者是人为给定的初始数据。在反复执行本方法的过程中，由于神经网络的结构被更新，新的神经网络通常会输出与前一次不同的调整数据，随着反复执行本方法神经网络将会不断尝试输出各种调整数据，以使神经网络整体性能得到优化，直至满足预期性能要求为止。

根据本发明实施例提供的神经网络构建方法，通过使神经网络在输出分类结果的同时输出对自身结构的调整数据，在神经网络的性能未达到预期时，利用该调整数据更新其自身的结构，以此在训练网络的同时完成自身进化的操作，由此构建出的神经网络更加适合用户所需的应用场景，并且整个过程由神经网络自身执行，不依赖人工经验，不受外界因素的制约，能够有效提升神经网络的性能。

在一个具体的实施例中，如图2所示，神经网络构建方法包括如下步骤：

S21，向神经网络提供由多个输入数据组成的输入数据集。例如X1……Xn这n个输入数据组成的数据集。

S22，利用神经网络根据输入数据集输出结果集，结果集中的每一个结果分别包括对输入数据的分类结果和用于调整神经网络结构的调整数据。在n个结果集中，第一个结果集包括分类结果Y1和调整数据Z1、……第n个结果集包括分类结果Yn和调整数据Zn。

S23，根据结果集中的分类结果确定当前神经网络的性能。在本实施例中则根据分类结果Y1……Yn确定当前的神经网络的性能；

S24，根据确定的性能判断是否需要更新神经网络的结构。在本实施例中采用AUC值判断是否需要更新，如需要更新则执行步骤S25，否则结束执行本方法，将当前的神经网络作为结果。

S25，采用结果集中的最后一个结果中的调整数据更新神经网络的结构。在本实施例中则根据Zn调整网络结构，之后可以返回步骤S21，基于更新后的神经网络重新执行本方法，直至步骤S24中判定不需要更新网络结构为止。

在本实施例中，调整数据包括子网络类型信息和子网络位置信息。其中子网络可以是神经网络的一个层，或者一个单元(核)。本实施例以神经网络中的单元为更新对象，预先准备多个类型的预设单元，包括尺寸为5x5的平均池化(average pooling)单元、尺寸为5x5的最大池化(max pooling)单元和尺寸为3x3的卷积(convolution)单元。在本实施例中，神经网络具有预设最大尺寸10x10(高度和宽度)，所以此网络共有100个可以放入单元(子网络)的位置。

在本实施例中，多个预设子网络分别对应多个数值区间，并且多个数值区间组成连续的数值区间。例如本实施例中有4种预设单元，则第一种预设单元对应于[0,0.25)、第二种预设单元对应于[0.25,0.5)、第三种预设单元对应于[0.5,0.75)、第四种预设单元对应于[0.75,1]。它们对应的4个数值区间组成区间[0,1]。

神经网络中的各个位置分别对应多个数值区间，并且多个数值区间组成连续的数值区间。例如本实施例中有100个位置，则第一个位置对应于[0,0.01)、第二个位置对应于[0.01,0.02)……最后一个位置对应于[0.99,1]。这100个位置对应的数值区间组成区间[0,1]。

由此，本实施例的步骤S22中神经网络输出的是三个数据，第一个数据是对输入数据的分类结果、第二和第三个数据分别是[0,1]中的一个数值。

步骤S25具体包括如下步骤：

S251，根据子网络类型信息在多个预设子网络中选定子网络。作为一个示例，可以先确定子网络类型信息所落入的数值区间，然后根据确定的数值区间确定对应的预设子网络。假设子网络信息为0.4，则落入区间[0.25,0.5)，可确定对应的是第二种预设单元，例如尺寸为5x5的最大池化(max pooling)单元。

作为另一个示例，可以先按照预设规则，利用子网络类型信息计算得到一个数值，预设规则可以考虑AUC的值，也即根据子网络类型信息和当前神经网络的AUC值计算出该数值。然后确定计算出的数值所落入的数值区间，再确定对应的预设子网络。

S252，根据子网络位置信息从神经网络中确定更新子网络的位置。作为一个示例，可以先确定子网络位置信息所落入的数值区间，然后根据确定的数值区间确定对应的更新子网络位置。假设子网络位置信息为0.011，则落入区间[0.01,0.02)，可确定对应的是神经网络中的第二个位置。

作为另一个示例，可以先按照预设规则，利用子网络位置信息计算得到一个数值，预设规则可以考虑AUC的值，也即根据子网络位置信息和当前神经网络的AUC值计算出该数值。然后确定计算出的数值所落入的数值区间，再确定对应的更新子网络的位置。

S253，利用选定的子网络更新确定的位置，即利用第二种预设单元更新神经网络的第二个可放入单元(子网络)的位置。

在反复执行本方法的过程中，特别是在初始时，当前的神经网络并非每个位置都有单元存在。所以关于更新，可以是插入或者替换。

在步骤S25中可以根据网络当前的情况选择插入或者替换操作，例如可以判断当前选定的更新位置上是否存在子网络(单元)，如果存在，则利用选定的子网络替换之前存在的子网络；如果不存在，在将选定的子网插入该位置。

本实施例提供的神经网络构建方法可以适用于多种应用场景，如文字识别、视音频识别和图像识别等等。例如当用户需要构建一个用于识别高分辨率图像的神经网络时，用户可以先选择一个开源的图像识别网络，但是该网络的设计者可能是针对普通分辨率的图像设计的网络结构，所以该网络在应用于识别大分辨率图像时的性能可能不像识别普通分辨率图像时一样优秀。应用本发明提供的技术方案，使用大分辨率图像作为训练数据对此网络进行优化，该网络将针对大分辨率数据对自身的结构进行改进，以使其适应该应用场景，明显提示自身的性能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种神经网络构建方法，其特征在于，包括如下步骤：

利用神经网络根据输入数据输出对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据；

根据所述分类结果判断是否需要更新所述神经网络的结构；

当需要更新所述神经网络的结构时，根据所述调整数据更新所述神经网络的结构。

2.根据权利要求1所述的方法，其特征在于，所述利用神经网络根据输入数据输出对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据，包括：

向神经网络提供由多个输入数据组成的输入数据集；

利用神经网络根据所述输入数据集输出结果集，所述结果集中的每一个结果分别包括对所述输入数据的分类结果和用于调整所述神经网络结构的调整数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述分类结果判断是否需要更新所述神经网络的结构，包括：

根据所述结果集中的分类结果确定所述神经网络的性能；

根据所述性能判断是否需要更新所述神经网络的结构。

4.根据权利要求2或3所述的方法，其特征在于，在所述根据所述调整数据更新所述神经网络的结构的步骤中，所采用的调整数据是所述结果集中的最后一个结果中的调整数据。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述调整数据包括子网络类型信息和子网络位置信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述调整数据更新所述神经网络的结构，包括：

根据所述子网络类型信息在多个预设子网络中选定子网络；

根据所述子网络位置信息从所述神经网络中确定更新子网络的位置；

利用选定的子网络更新所述位置。

7.根据权利要求6所述的方法，其特征在于，所述利用选定的子网络更新所述位置，包括：

判断所述位置上是否存在子网络；

当所述位置上存在子网络时，利用选定的子网络替换之前存在的子网络；

当所述位置上不存在子网络时，将选定的子网插入所述位置。

8.根据权利要求6所述的方法，其特征在于，所述多个预设子网络分别对应多个数值区间，并且多个数值区间组成连续的数值区间；所述子网络类型信息为所述连续的数值区间中的值；

所述根据所述子网络类型信息在多个预设子网络中选定子网络，包括：

确定所述子网络类型信息所落入的数值区间；

根据确定的数值区间确定对应的预设子网络。

9.根据权利要求6所述的方法，其特征在于，所述神经网络中的各个位置分别对应多个数值区间，并且多个数值区间组成连续的数值区间；所述子网络位置信息为所述连续的数值区间中的值；

根据所述子网络位置信息从所述神经网络中确定更新子网络的位置，包括：

确定所述子网络位置信息所落入的数值区间；

根据确定的数值区间确定对应的更新子网络位置。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-9中任意一项所述的神经网络构建方法。