CN114881225A - 输变电巡检模型网络结构搜索方法、系统及存储介质 - Google Patents

Abstract

一种输变电巡检模型网络结构搜索方法、系统及存储介质，属于深度神经网络结构设计技术领域，搜索方法包括根据输变电巡检任务需求设计多个基础网络模块；从多个基础网络模块中选择若干数量的模块构建超网络；采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将选择出的所有基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。本发明基于超网络剪枝策略实现神经网络结构搜索，通过基础网络模块设计、超网络构建、超网络剪枝训练三个步骤实现神经网络结构的自动化搜索，能够便捷高效的自动设计性能优异的神经网络结构，避免过多算力消耗，提高深度学习模型的研发效率，降低研发成本，减少人力消耗。

Description

输变电巡检模型网络结构搜索方法、系统及存储介质

技术领域

本发明属于深度神经网络结构设计技术领域，具体涉及一种输变电巡检模型网络结构搜索方法、系统及存储介质。

背景技术

随着计算机与GPU(graphics processing unit)算力的增长，深度神经网络不仅在语音识别、图像理解以及自然语言处理等人工智能领域得到广泛应用，而且在癌症检测、自动驾驶和复杂游戏等复杂系统中也得到应用。深度神经网络在识别任务中已经超越了人类的准确度，对比传统算法有着巨大的突破，如手工设计的方向梯度直方图(histogram oforiented gradient,HOG)特征(Dalal和Triggs,2005)和尺度不变特征变换(scale-invariantfeature transform,SIFT)特征(Lowe,2004)等。这些性能的提升主要是由于深度神经网络能够提取很高层次的特征，从而得到对输入数据更加有效的表示。除此之外，GPU算力的提升使得神经网络的层数进一步增加，表征能力进一步增强。神经网络的结构从AlexNet进化到VGGNe，再到GoogLeNet和ResNet，神经网络的结构变得越来越复杂。

深度神经网络之所以能取得很好的性能，很大程度上是由于优秀的网络结构设计。神经网络结构搜索即对于给定任务，自动捜索出合适的神经网络结构，期望它的性能(在目标任务上的精度)超过人类专家设计的网络结构。通常神经网络结构搜索可以分成3个维度：搜索空间(search space)、搜索策略(search strategy)和性能评估策略(performance estimation strategy)。搜索策略是指从搜索空间A中选取某个神经网络结构a，然后用性能评估策略来估计该网络结构的泛化性能，最后将估计的泛化性能反馈给搜索策略，进一步改进搜索策略。

目前常见的神经网络结构搜索是基于强化学习方法。其主要思想是先构造一个由循环神经网络(RNN)组成的控制器，由控制器逐步生成网络结构，在这个过程中通过强化学习策略进行指导。该方法使用一个递归神经网络作为控制器来生成模型描述：使用控制器生成它们的超参数来作为令牌序列。一旦控制器RNN结束生成一个架构，一个带着此架构的神经网络被构造好和训练好。在收敛时，在外设的验证集上的网络精度被记录，控制器RNN的参数θ然后被优化，从而最大化所提出架构的期望验证精度。控制器预测的令牌列表可以被看作是为一个子网络设计体系架构的动作列表。在收敛阶段，子网络将在数据集上获得一个精度R，使用精度R作为奖励信号，然后使用强化学习来训练控制器。基于强化学习的神经网络搜索方法参数收敛困难，在训练过程中需要消耗大量的算力，难以在实际业务应用中推广。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种输变电巡检模型网络结构搜索方法、系统及存储介质，能够便捷高效的自动设计性能优异的神经网络结构，提高深度学习模型研发效率，降低研发成本，减少人力消耗。

为了实现上述目的，本发明有如下的技术方案：

第一方面，提供一种输变电巡检模型网络结构搜索方法，包括：

根据输变电巡检任务需求设计多个基础网络模块；

从多个基础网络模块中选择若干数量的模块构建超网络；

采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

作为所述输变电巡检模型网络结构搜索方法的一种优选方案，在所述根据输变电巡检任务需求设计多个基础网络模块的步骤中，采用以下原则设计基础网络模块：

在邻近输入的卷积层中，使用1×1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3×3大卷积核，捕获更多更高阶的抽象特征；

使用两个串联小卷积核来代替一个大卷积核；

使用1×1卷积核实现线性变换、输入输出channel变换；

将一个n×n的卷积拆分成一个1×n和一个n×1的非对称卷积核，实现相同卷积效果；

将大面积卷积核优化成Depthwise卷积与Pointwise卷积；

使用全局平均池化代替全连接层。

作为所述输变电巡检模型网络结构搜索方法的一种优选方案，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括计算基础网络模块的算力消耗；

所述计算基础网络模块的算力消耗包括以下步骤：

选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；

将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：

t_i＝T_i/(n*m)

式中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间，t_i表示第i类基础网络模块的算力消耗时间。

更进一步的，作为所述输变电巡检模型网络结构搜索方法的一种优选方案，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；

模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；

模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。

更进一步的，作为所述输变电巡检模型网络结构搜索方法的一种优选方案，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，选择方法包括以下几种方法中的任意一种：

将全部的基础网络模块都用于超网络构建；

根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；

根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

作为所述输变电巡检模型网络结构搜索方法的一种优选方案，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：

输入层结构根据目标业务和训练样本集进行确定；

隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；

连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。

作为所述输变电巡检模型网络结构搜索方法的一种优选方案，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：

将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。

作为所述输变电巡检模型网络结构搜索方法的一种优选方案，所述采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构的步骤包括：

确定算力消耗影响因子W_t；

设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

第二方面，提供一种输变电巡检模型网络结构搜索系统，包括：

基础网络模块设计模块，用于根据输变电巡检任务需求设计多个基础网络模块；

超网络构建模块，用于从多个基础网络模块中选择若干数量的模块构建超网络；

目标网络结构训练模块，用于采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述基础网络模块设计模块采用以下原则设计基础网络模块：

在邻近输入的卷积层中，使用1×1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3×3大卷积核，捕获更多更高阶的抽象特征；

使用两个串联小卷积核来代替一个大卷积核；

使用1×1卷积核实现线性变换、输入输出channel变换；

将一个n×n的卷积拆分成一个1×n和一个n×1的非对称卷积核，实现相同卷积效果；

将大面积卷积核优化成Depthwise卷积与Pointwise卷积；

使用全局平均池化代替全连接层。

作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述基础网络模块设计模块按以下步骤对基础网络模块的算力消耗进行计算；

选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；

将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：

t_i＝T_i/(n*m)

式中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间，t_i表示第i类基础网络模块的算力消耗时间。

更进一步的，作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述基础网络模块设计模块构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；

模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；

模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。

更进一步的，作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述超网络构建模块选择基础网络模块的方法包括以下几种方法中的任意一种：

将全部的基础网络模块都用于超网络构建；

根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；

根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述超网络构建模块构建超网络的方式为：

输入层结构根据目标业务和训练样本集进行确定；

隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；

连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。

作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述超网络构建模块构建超网络的方式为：

将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。

作为所述输变电巡检模型网络结构搜索系统的一种优选方案，所述目标网络结构训练模块获得输变电巡检模型目标网络结构的步骤包括：

确定算力消耗影响因子W_t；

设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的输变电巡检模型网络结构搜索方法。

相较于现有技术，本发明第一方面至少具有如下的有益效果：

本发明能够便捷高效的自动设计性能优异的神经网络结构，避免过多的算力消耗，有效提高深度学习模型的研发效率，降低研发成本，也减少人力消耗。搭建深度学习模型需要根据具体的任务设计相应的网络结构，涉及众多参数的设置，这既需要业务领域知识，又需要深度学习方面的知识，导致深度学习应用开发的门槛高，并且针对不同的问题需要设计不同的网络结构，模型开发效率低下。本发明基于超网络剪枝策略实现神经网络结构搜索，通过基础网络模块设计、超网络构建、超网络剪枝训练三个步骤实现神经网络结构的自动化搜索，显著提升了模型的研发效率。综上，本发明可用于电力人工智能模型训练过程，帮助开发人员自动设计最优网络结构，提高输变电巡检模型开发效率，极大的降低模型开发成本。

可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例的输变电巡检模型网络结构搜索方法流程图；

图2本发明实施例的超网络结构示意图；

图3本发明实施例的输变电巡检模型网络结构搜索系统框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请的实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参阅图1，本发明提出的一种输变电巡检模型网络结构搜索方法主要包括基础网络模块设计、超网络构建、超网络剪枝训练三个步骤，更进一步的，包括：

S1、根据输变电巡检任务需求设计多个基础网络模块；

S2、从多个基础网络模块中选择若干数量的模块构建超网络；

S3、采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

以下详细说明每个步骤的具体内容：

基础网络模块(Block)由若干层神经网络组成，是目标网络的最小组成单元。基础网络模块需要根据具体的任务进行设计，例如，对于计算机视觉类的业务领域，应设计包含卷积层的基础网络模块。基础网络模块通常由3-5层神经网络组成，但根据具体的业务需求也可以进行相应调整。为设计出性能优异的网络结构，通常需要设计多个基础网络模块，不同基础网络模块的网络层数、内部结构可以不同，但是其最后一层结构需要保持一致。

在一种可能的实施方式中，步骤S1基础网络模块设计包含以下步骤：

1、模块设计

针对电力输变电巡检业务领域业务场景，为减少模型参数量，提高模型的泛化性能，本实施例采用以下原则设计基础网络模块：

1)使用1×1小卷积核来代替3×3大卷积核。邻近输入的卷积层，使用小卷积核提取特征，即使用和的卷积核，可以有效减少模型参数量。而在邻近输出的卷积层中，优先使用的大面积的卷积核，用于捕获更多更高阶的抽象特征。

2)使用两个串联小卷积核来代替一个大卷积核。使用两个串联的小卷积核代替一个大面积的卷积核，在效果相同的情况下，参数量大大减小。

3)使用1×1卷积核。1×1卷积核在参数量为1的情况下，实现线性变换、输入输出channel变换等功能。

4)使用非对称卷积核。将一个n×n的卷积拆分成了一个1×n和一个n×1的非对称卷积核，能够实现卷积效果相同，并且大大减少了参数量，同时还提高了卷积的多样性。

5)使用Depthwise卷积与Pointwise卷积。将大面积卷积核优化成Depthwise卷积与Pointwise卷积，实现了特征提取效果相似，并减少了参数量，降低了运算成本。

6)使用全局平均池化代替全连接层。使用全局平均池化来代替隐藏层的全连接层，使得其在网络结构更深的情况下大大减少了参数量。

2、基础网络模块算力消耗计算

电力输变电巡检业务涉及大量边缘侧模型推理场景，边缘侧算力资源比较有限，因此需要考虑模型的算力消耗情况。基础网络模块算力消耗计算包括以下步骤：

1)选取算力测试设备

边缘侧计算设备与云端服务器设备架构差异较大，为了更好的反映实际计算消耗，应选取实际业务中的边缘侧计算设备进行测试。边缘侧计算设备种类众多，此处不规定具体采用何种设备进行测试，然而需要保证整个算力消耗测试过程中测试设备需要保持一致。

2)待测试基础网络模块堆叠

由于对单个基础网络模块直接测试误差较大，考虑采用将单个基础网络模块重复堆叠后进行测试再取平均值的方式，堆叠次数根据具体情况而定，不同模块的堆叠次数应保持一致。

3)算力消耗测试

在选取的测试设备上对堆叠好的待测试模块进行测试，假设t_i表示第i类基础网络模块的算力消耗时间，可表示为下式：

t_i＝T_i/(n*m)

其中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间。

3、构建模块评分表

构建基础网络模块评分表，为之后超网络构建提供依据。表格格式如下：

在一种可能的实施方式中，步骤S2构建超网络包含以下步骤：

1、网络层数确定

根据具体的业务场景确定网络的层数，可以给出一个确定的网络层数，也可以给出一组候选网络层数。

2、基础网络模块选取

从已经构造好的基础网络模块库中选取若干数量的模块来构造超网络，可以考虑以下三种选择方法：

1)全部选择。将基础网络模块库中所有模块都用于超网络构建，该方法优点为简便，易于自动化实现，缺点为模型结构搜索空间较大，搜索算力消耗大，搜索效率较低。

2)根据模块评分表选择。包括两种方式：(1)指定选取模块的数量，按评分的高低顺序分别选择每一层的模块；(2)指定选取模块的数量，按照评分构造概率分布模型，即评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

3、网络构建

存在两种网络构造方式：

1)全部由选取的模块构成

超网络整体都是由选取的基础网络模块构成，其整体由四部分组成，包括输入层、输出层、隐藏层和连接层，如图2所示，具体而言：

(1)输入层与传统神经网络作用一致，其结构需要根据目标业务和训练样本集进行确定；

(2)隐藏层的数量即之前确定的网络层数，隐藏层结构是由选取的基础结构模块以并联方式组成，每个隐藏层的结构不一定相同；

(3)连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

(4)输出层与传统神经网络作用一致，其结构需要根据目标业务进行确定，通常是由若干全连接层组成的网络。

2)将超网络嵌入到一个已知的网络结构中

这种方式可以复用固定的一部分网络结构，超网络本身的构造方法与上述方法一致，此处不再赘述。

在一种可能的实施方式中，步骤S3采用剪枝策略对超网络进行训练包含以下步骤：

构建超网络的目的是从每一个隐藏层选择出一个最优Block，将选择出的所有Block按顺序进行串联，即可得到最优神经网络结构。为达到上述目标，采用剪枝策略对超网络进行训练。通过对超网络进行训练得到目标网络结构，整体包含以下过程：

1、构建训练样本集

根据具体业务构建训练样本集，样本集中样本数量应尽量多，种类应尽量涵盖现实世界中的情况。

2、超网络训练

1)确定算力消耗影响因子W_t；

2)设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

3)进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

4)判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

5)判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

6)返回步骤3)再次进行num次训练过程，并执行步骤4)与步骤5)对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

7)剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

8)根据最终得到的网络结构，更新模块评分表。

实施例2

请参阅图3，本发明实施例还提出一种输变电巡检模型网络结构搜索系统，包括：

基础网络模块设计模块1，用于根据输变电巡检任务需求设计多个基础网络模块；

超网络构建模块2，用于从多个基础网络模块中选择若干数量的模块构建超网络；

目标网络结构训练模块3，用于采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

在一种可能的实施方式中，基础网络模块设计模块1采用以下原则设计基础网络模块：

在邻近输入的卷积层中，使用1×1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3×3大卷积核，捕获更多更高阶的抽象特征；

使用两个串联小卷积核来代替一个大卷积核；

使用1×1卷积核实现线性变换、输入输出channel变换；

将一个n×n的卷积拆分成一个1×n和一个n×1的非对称卷积核，实现相同卷积效果；

将大面积卷积核优化成Depthwise卷积与Pointwise卷积；

使用全局平均池化代替全连接层。

基础网络模块设计模块1按以下步骤对基础网络模块的算力消耗进行计算；

选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；

将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：

t_i＝T_i/(n*m)

式中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间，t_i表示第i类基础网络模块的算力消耗时间。

基础网络模块设计模块1构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；

模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；

模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。

在一种可能的实施方式中，超网络构建模块2选择基础网络模块的方法包括以下几种方法中的任意一种：

将全部的基础网络模块都用于超网络构建；

根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；

根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

超网络构建模块2构建超网络的一种方式为：

输入层结构根据目标业务和训练样本集进行确定；

隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；

连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。

超网络构建模块2构建超网络的另一种方式为：

将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。

在一种可能的实施方式中，目标网络结构训练模块3获得输变电巡检模型目标网络结构的步骤包括：

确定算力消耗影响因子W_t；

设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

实施例3

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的输变电巡检模型网络结构搜索方法。

所述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。为了便于说明，以上内容仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质是非暂时性的，可以存储在各种电子设备形成的存储装置当中，能够实现本发明实施例方法记载的执行过程。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (17)

1.一种输变电巡检模型网络结构搜索方法，其特征在于，包括：

根据输变电巡检任务需求设计多个基础网络模块；

从多个基础网络模块中选择若干数量的模块构建超网络；

采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

2.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在所述根据输变电巡检任务需求设计多个基础网络模块的步骤中，采用以下原则设计基础网络模块：

在邻近输入的卷积层中，使用1×1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3×3大卷积核，捕获更多更高阶的抽象特征；

使用两个串联小卷积核来代替一个大卷积核；

使用1×1卷积核实现线性变换、输入输出channel变换；

将一个n×n的卷积拆分成一个1×n和一个n×1的非对称卷积核，实现相同卷积效果；

将大面积卷积核优化成Depthwise卷积与Pointwise卷积；

使用全局平均池化代替全连接层。

3.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括计算基础网络模块的算力消耗；

所述计算基础网络模块的算力消耗包括以下步骤：

选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；

将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；

在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：

t_i＝T_i/(n*m)

式中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间，t_i表示第i类基础网络模块的算力消耗时间。

4.根据权利要求3所述的输变电巡检模型网络结构搜索方法，其特征在于，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；

模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；

模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。

5.根据权利要求4所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，选择方法包括以下几种方法中的任意一种：

将全部的基础网络模块都用于超网络构建；

根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；

根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

6.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：

输入层结构根据目标业务和训练样本集进行确定；

隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；

连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。

7.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：

将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。

8.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，所述采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构的步骤包括：

确定算力消耗影响因子W_t；

设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

9.一种输变电巡检模型网络结构搜索系统，其特征在于，包括：

基础网络模块设计模块，用于根据输变电巡检任务需求设计多个基础网络模块；

超网络构建模块，用于从多个基础网络模块中选择若干数量的模块构建超网络；

目标网络结构训练模块，用于采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。

10.根据权利要求9所述的输变电巡检模型网络结构搜索系统，其特征在于，所述基础网络模块设计模块采用以下原则设计基础网络模块：

在邻近输入的卷积层中，使用1×1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3×3大卷积核，捕获更多更高阶的抽象特征；

使用两个串联小卷积核来代替一个大卷积核；

使用1×1卷积核实现线性变换、输入输出channel变换；

将一个n×n的卷积拆分成一个1×n和一个n×1的非对称卷积核，实现相同卷积效果；

将大面积卷积核优化成Depthwise卷积与Pointwise卷积；

使用全局平均池化代替全连接层。

11.根据权利要求9所述的输变电巡检模型网络结构搜索系统，其特征在于，所述基础网络模块设计模块按以下步骤对基础网络模块的算力消耗进行计算；

选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；

将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；

在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：

t_i＝T_i/(n*m)

式中，n表示测试轮数，m表示堆叠次数，T_i表示第i类基础网络模块测试的总时间，t_i表示第i类基础网络模块的算力消耗时间。

12.根据权利要求11所述的输变电巡检模型网络结构搜索系统，其特征在于，所述基础网络模块设计模块构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；

模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；

模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。

13.根据权利要求12所述的输变电巡检模型网络结构搜索系统，其特征在于，所述超网络构建模块选择基础网络模块的方法包括以下几种方法中的任意一种：

将全部的基础网络模块都用于超网络构建；

根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；

根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。

14.根据权利要求9所述的输变电巡检模型网络结构搜索系统，其特征在于，所述超网络构建模块构建超网络的方式为：

输入层结构根据目标业务和训练样本集进行确定；

隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；

连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；

输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。

15.根据权利要求9所述的输变电巡检模型网络结构搜索系统，其特征在于，所述超网络构建模块构建超网络的方式为：

将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。

16.根据权利要求9所述的输变电巡检模型网络结构搜索系统，其特征在于，所述目标网络结构训练模块获得输变电巡检模型目标网络结构的步骤包括：

确定算力消耗影响因子W_t；

设定训练批次数量num、权重系数的上限阈值max和下限阈值min；

进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W^k _i代表第k层第i类基础网络模块的权重，令t^k _i表示代表第k层第i类基础网络模块的计算消耗时间；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；

判断各基础网络模块与连接模块的权重系数W^k _i-W_t*t^k _i是否小于下限阈值min，若有则剪枝该模块；

返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；

剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作为输变电巡检模型目标网络结构。

17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的输变电巡检模型网络结构搜索方法。

Images