CN112836428A - 一种用于诊断航空发动机锥齿轮故障的深度网络构建方法 - Google Patents

Abstract

本公开揭示了一种用于诊断航空发动机锥齿轮故障的深度网络构建方法，包括：采集航空发动机锥齿轮振动信号并划分为训练集D_train、验证集D_valid和测试集D_test；构建网络搜索空间O，根据搜索空间O构造超网络H(w)，基于训练集D_train并采用两种掩码矩阵Mask依次对超网络H(w)中的含参算子OP_5‑8进行预热训练和对超网络H(w)进行解耦训练，得到优化后的超网络H(w^*)；基于优化后的超网络H(w^*)构造可微性能评估器Λ，利用变分推断对评估器Λ进行优化获得优化后的变分后验分布族，并采样获得候选网络架构集合Set；利用训练集D_train和验证集D_valid对所述候选网络架构集合Set中的网络架构重新训练，并在测试集D_test上按照测试准确率从大到小排序，将测试准确率最高的网络架构作为最优的故障诊断深度网络架构。

Description

一种用于诊断航空发动机锥齿轮故障的深度网络构建方法

技术领域

本公开属于航空发动机故障诊断技术领域，具体涉及一种用于诊断航空发动机锥齿轮故障的深度网络构建方法。

背景技术

附件锥齿轮作为航空发动机传动系统的重要部件之一，其健康状态对航空发动机的运行可靠性评估十分关键。如今，随着机械故障诊断的智能化，深度网络在构建状态映射模型中占据了主导地位。在指定部件数据域的情况下，通过手工调整网络架构，特定的故障诊断任务可以被很好地解决。但域差异问题普遍存在于现实场景中，在多变环境下工作的航空发动机传动系统尤其如此。航空发动机传动系统部件众多、工作环境多变，其每个部件的数据域往往不一致，并很容易在多变环境下发生偏移。因此，针对每个部件数据域设计匹配的故障诊断模型是一种自然的策略。

虽然深度网络实现了特征工程的自动化，使得诊断模型可以从给定数据域中提取相应的特征，但特征质量受到了网络架构的影响，同一种网络架构很难在多个数据域下取得最佳的性能。而人工为每个数据域设计匹配的诊断模型十分耗时耗力，深度网络的架构参数是复杂的、离散的、无序的超参数，需要从多个维度进行调整，整个网络的设计空间十分庞大，其设计是一个不断试错的优化过程，采用人工手段为每个数据域设计匹配的诊断网络一般不具有可行性。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。

发明内容

针对现有技术中的不足，本公开的目的在于提供一种用于诊断航空发动机锥齿轮故障的深度网络构建方法，能够为每个部件数据域自动设计与之匹配的诊断网络。

为实现上述目的，本公开提供以下技术方案：

一种用于诊断航空发动机锥齿轮故障的深度网络构建方法，包括如下步骤：

S100：采集航空发动机锥齿轮振动信号并划分为训练集D_train、验证集D_valid和测试集D_test；

S200：构建网络搜索空间O，根据网络搜索空间O构造超网络H(w)，基于训练集D_train并采用两种掩码矩阵Mask依次对超网络H(w)中的含参算子OP_5-8进行预热训练和对超网络H(w)进行解耦训练，得到优化后的超网络H(w^*)；

S300：基于优化后的超网络H(w^*)构造基于变分后验分布族的可微性能评估器Λ，利用变分推断对可微性能评估器Λ进行优化，获得优化后的变分后验分布族，并对优化后的变分后验分布族通过采样获得候选网络架构集合Set；

S400：利用训练集D_train和验证集D_valid对所述候选网络架构集合Set中的网络架构重新训练，并在测试集D_test上按照测试准确率从大到小排序，将测试准确率最高的网络架构作为最优的航空发动机锥齿轮故障诊断深度网络架构。

优选的，步骤S200中，所述超网络H(w)表示为：

其中，OP_1-4为网络搜索空间O中的非参算子，OP_5-8为含参算子；系数矩阵A共有14行8列，每一行都代表超网络H(w)中的一条混合运算边，每一行中的8个值α₁...α₈分别为组成该条混合边的8种算子的系数，系数均设置为1；

代表系数矩阵A在搜索空间O上的作用，x为模型输入，w为含参算子的参数；网络搜索空间O＝{置零，最大池化，平均池化，残差连接，卷积核大小为3的分离卷积，卷积核大小为5的分离卷积，卷积核大小为3的扩张卷积，卷积核大小为5的扩张卷积}。

优选的，步骤S200中，对超网络H(w)中的含参算子OP_5-8进行预热训练通过以下方式进行：将Mask矩阵中{β_i ^j，j＝1，2…14，for i in[5，6，7，8]}设置为1，Mask矩阵的其他值设置为0；

对超网络H(w)进行解耦训练通过以下方式进行：Mask矩阵中的每一个值服从参数为p的伯努利分布，每个值以概率p设置为0，以概率1-p设置为1。

优选的，步骤S200中，所述优化后的超网络H(w^*)表示为：

H(w^*)＝arg min_wL_train(w)

其中，L_train(w)为交叉熵损失函数，w为在超网络中的网络参数，w^*为在超网络中优化后的网络参数。

优选的，步骤S300中，所述可微性能评估器Λ包括112个变分后验分布，即{Λ_i，i＝1，2…112}，其中，每一个变分后验分布设置为参数为θ_i的高斯分布。

优选的，步骤S300中，利用变分推断对可微性能评估器Λ进行优化包括如下步骤：

S301：通过重参数方法对可微性能评估器Λ中的变分后验分布进行初始化；

S302：利用初始化后的变分后验分布近似真实后验分布，并通过计算KL散度对初始化后的变分后验分布和真实后验分布的距离进行最小化，从而实现可微性能评估器Λ的变分推断优化；

S303：采用双峰先验分布P(Λ)对步骤S301和步骤S302进行软约束。

优选的，步骤S301包括如下步骤：

S3011：将评估器Λ中的每个变分后验分布设置为参数θ＝(μ，σ)的标准高斯分布，其中，μ为高斯分布的均值，高斯分布的标准差σ为log(1+exp(ρ))；

S3012：从标准高斯分布中采样出单点ε，进行变换得到变分后验的采样

其中，

为点乘。

优选的，步骤S302中，KL散度的计算公式如下：

其中，P(Λ)为Λ的先验分布，q(Λ|θ)为变分后验分布，P(D_valid，H(w^*)|Λ)为似然，P(Λ|D_valid，H(w^*)为真实后验分布，P(D_valid，H(w^*))为归一化常数。

优选的，步骤S300中，对优化后的变分后验分布族通过采样获得候选网络架构集合Set是指：从变分推断优化后的后验分布族中随机采样得到N个候选网络架构，按照验证准确率和稀疏度从大到小排序，选择验证准确率为前a％的候选网络架构作为备选，然后根据稀疏度从a％*N个候选网络架构中选择前b％个候选网络架构作为候选网络架构集合Set。

优选的，步骤S400中，对所述候选网络架构集合Set中的网络架构重新训练是指：将训练集D_train和验证集D_valid拼接后作为新的训练集输入至候选网络架构集合Set中，对每个候选子网络进行重新训练。

与现有技术相比，本公开带来的有益效果为：本公开能够高效地实现航空发动机锥齿轮故障诊断深度网络的自动化设计，能提高锥齿轮故障诊断准确率，减少多域诊断模型设计的人力物力，无需人为进行深度网络的架构工程。

附图说明

图1是本公开一个实施例提供一种用于诊断航空发动机锥齿轮故障的深度网络构建方法流程图；

图2是本公开另一个实施例提供的采用预热训练和解耦训练对超网络表示能力的影响示意图；

图3是本公开另一个实施例提供的双峰先验分布的示意图；

图4是本公开另一个实施例提供的多种模型在不同噪声水平下诊断准确率的示意图；

图5是本公开另一个实施例提供的架构集合诊断准确率的示意图；

图6是本公开另一个实施例提供的稀疏度对候选网络选择影响的示意图。

具体实施方式

下面将参照附图1至图6详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本公开的保护范围当视所附权利要求所界定者为准。

为便于对本公开实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本公开实施例的限定。

一个实施例中，如图1所示，一种用于诊断航空发动机锥齿轮故障的深度网络构建方法，包括如下步骤：

S100：采集航空发动机锥齿轮振动信号，并将所述信号划分为训练集D_train、验证集D_valid和测试集D_test；

该步骤中，将所采集的航空发动机锥齿轮振动信号依照测量时间先后和占比信号长度1∶1∶1依次划分为训练集

验证集、

和测试集

其中，x_i为单个输入样本，y_i为样本对应的标签，N_train、N_valid和N_test分别是训练集、验证集和测试集的样本数量。

S200：构建网络搜索空间O，根据搜索空间O构造超网络H(w)，基于训练集D_train并采用两种掩码矩阵Mask依次对超网络H(w)中的含参算子OP_5-8进行预热训练和对超网络H(w)进行解耦训练，得到优化后的超网络H(w^*)；

该步骤中，两种掩码矩阵Mask表示为：

其中，Mask矩阵共有14行8列，每一行都代表超网络H(w)中的一条混合运算边，每一行中的8个值β₁...β₈分别为组成该条混合边的8种算子的系数，Mask矩阵中的每个元素β_i ^j为0或1，0表示将对应的算子输出置零并冻结其梯度更新，1表示正常训练该算子。

S300：基于优化后的超网络H(w^*)构造基于变分后验分布族的可微性能评估器Λ，利用变分推断对可微性能评估器Λ进行优化，获得优化后的变分后验分布族，并从优化后的变分后验分布族中采样获得候选网络架构集合Set；

该步骤中，之所以利用变分推断对可微性能评估器Λ进行优化，原因在于：由于可微性能评估器Λ中是一个一个的分布，在无法知道真实后验分布形式的时候，无法用梯度的方法来更新分布的参数，于是假设每个分布都是高斯分布，高斯分布由均值和方差决定，只要优化“均值和方差”就能更新分布。于是先初始化一些均值和方差都已知的高斯分布(称为变分后验分布)，然后通过KL散度来最小化变分后验分布和真实后验分布的距离。

S400：利用训练集D_train和验证集D_valid对所述候选网络架构集合Set中的网络架构重新训练，并在测试集D_test上按照测试准确率从大到小排序，将测试准确率最高的网络架构作为最优的故障诊断深度网络架构。

该步骤中，测试准确率定义为：在测试集上正确分类的样本数除以总样本数，具体公式表示为：

其中1[·]为示性函数，括号内的成立则为1，不成立则为0；

为预测的第i个样本类别，y_i为真实的第i个样本类别，M为诊断数据集的样本数。

本公开实现了一种新型的神经架构搜索技术，通过构造超网络和可微性能评估器实现了深度网络的高效自动化设计，其中，超网络为候选网络提供了性能代理，而评估器将候选网络的搜索过程自动化，进一步的，评估器的可微特性将离散的搜索过程降级为连续的优化问题，提高了自动化的效率。

另一个实施例中，步骤S200中，所述超网络H(w)表示为：

其中，OP_1-4为网络搜索空间O中的非参算子，OP_5-8为含参算子；系数矩阵A共有14行8列，每一行都代表超网络H(w)中的一条混合运算边，每一行中的8个值α₁...α₈分别为组成该条混合边的8种算子的系数，系数均设置为1；

代表系数矩阵A在搜索空间O上的作用，x为模型输入，w为含参算子的参数；网络搜索空间O＝{置零，最大池化，平均池化，残差连接，卷积核大小为3的分离卷积，卷积核大小为5的分离卷积，卷积核大小为3的扩张卷积，卷积核大小为5的扩张卷积}。

另一个实施例中，步骤S200中，对超网络H(w)中的含参算子OP_5-8进行预热训练通过以下方式进行：将Mask矩阵中{β_i ^j，j＝1，2…14，for i in[5，6，7，8]}设置为1，Mask矩阵的其他值设置为0；

对超网络H(w)进行解耦训练通过以下方式进行：Mask矩阵中的每一个值服从参数为p的伯努利分布，每个值以概率p设置为0，以概率1-p设置为1。

本实施例中，伯努利分布的参数设置为0.2，即Mask矩阵的每个值以0.2的概率设置为0，以0.8的概率设置为1。

需要了解，通过预热训练能够增强随机初始化的含参算子的特征表达能力；通过解耦训练能够缓解超网络中多种算子的自适应优化问题。

另一个实施例中，步骤S200中，所述优化后的超网络H(w^*)表示为：

H(w^*)＝arg min_w L_train(w)

其中，L_train(w)为交叉熵损失函数，w为在超网络中的网络参数，w^*为在超网络中优化后的网络参数。

另一个实施例中，步骤S300中，所述可微性能评估器包括112个变分后验分布，即{Λ_i，i＝1，2…112}，其中，每一个后验分布设置为参数为θ_i的高斯分布。

另一个实施例中，步骤S300中，利用变分推断对可微性能评估器Λ进行优化包括如下步骤：

S301：通过重参数方法对可微性能评估器Λ中的变分后验分布进行初始化；

S302：利用初始化后的变分后验分布近似真实后验分布，并通过计算KL散度对初始化后的变分后验分布和真实后验分布的距离进行最小化，从而实现可微性能评估器Λ的变分推断优化；

S303：采用双峰先验分布P(Λ)对步骤S301和步骤S302进行软约束。

本实施例中，采用双峰先验分布P(Λ)对步骤S301和S302进行软约束通过以下方式进行：将P(Λ)设置为两个高斯分布的比例混合，定义为：

其中，N(Λ_i|μ，σ²)为均值为μ、方差为σ²的高斯分布在点Λ_i的概率密度，λ决定双峰高度的比例，μ₁、

μ₂和

分别是两个高斯分布的均值和方差。

通过软约束，能够让可微性能评估器Λ中的112个分布的均值能近似服从双峰分布，即112个分布被近似划分为两部分，一部分均值在左峰，另一部分在右峰。

另一个实施例中，步骤S301包括如下步骤：

S3011：将评估器Λ中的每个变分后验分布设置为参数θ＝(μ，σ)的标准高斯分布，其中，μ为高斯分布的均值，高斯分布的标准差σ为log(1+exp(ρ))；

S3012：从标准高斯分布中采样出单点ε，进行变换得到变分后验的采样

其中，

为点乘。

本实施例中，每次采样的评估器作用在超网络上可以表示为：

另一个实施例中，步骤S302中，KL散度的计算公式如下：

其中，P(Λ)为Λ的先验分布，q(Λ|θ)为变分后验分布，P(D_valid，H(w^*)|Λ)为似然，P(Λ|D_valid，H(w^*)为真实后验分布，P(D_valid，H(w^*))为归一化常数。

本实施例中，为了允许更灵活的先验和变分后验的组合，对KL散度计算公式进行近似，其近似表达式为：

另一个实施例中，步骤S300中，对优化后的变分后验分布族通过采样获得候选网络架构集合Set是指：从变分推断优化后的后验分布族中随机采样得到N个候选网络架构，按照验证准确率和稀疏度从大到小排序，选择验证准确率为前a％的候选网络架构作为备选，然后根据稀疏度从a％*N个候选网络架构中选择前b％个候选网络架构作为候选网络架构集合Set。

本实施例中，先随机采样N个候选网络架构，按照验证准确率和稀疏度从大到小排序。首先，按照验证准确率选择前a％个候选网络架构，再按照稀疏度从a％*N个候选网络架构中选择前b％个候选网络，构成候选集合Set，则该集合中共有b％*a％*N个候选网络架构。

需要说明的是，上述实施例中，稀疏度表示为：

其中，n为评估器中变分后验分布的个数，

为从评估器中的采样值，

为从第i个分布中的采样值。

还需要说明的是，上述实施例中，验证准确率定义为：在验证集上正确分类的样本数除以总样本数，N值的选择应该满足统计意义，a值和b值的选择需考虑计算资源的限制。

示例性的，总采样架构的个数N设置为2000，以充分满足统计意义；在认为具备高验证准确率的网络在测试阶段的准确率同样高的前提假设下，根据经验以及考虑到计算资源的限制，a的值不能太大，设置为2.5，即从2000个模型中按照高验证准确率选择前2.5％个网络架构，共50个；同样在计算资源的限制下，b的值设置为20，即从50个模型中按照高稀疏度选择前20％个网络架构，共10个。

另一个实施例中，步骤S400中，对所述候选网络架构集合Set中的网络架构重新训练是指：将训练集D_train和验证集D_valid拼接后作为新的训练集输入至候选网络架构集合Set中，对每个候选子网络进行重新训练。

下面结合图2至图4对本公开的技术方案进行进一步描述。

在某航空发动机锥齿轮故障测试试验台上设置四组不同状态的锥齿轮实验，每组分别在5种转速下运行，同一状态下的数据共享同一个分类标签，数据集如表1所示。

表1

其中，振动信号在多变的环境中易受不同噪声水平的影响，因此，不同分贝的高斯噪声被加入到原始振动信号中模拟多域问题，公式为

其中P_signal是原始信号的功率，P_noise是噪声的功率，共设置了五组噪声分贝，分别是{-10dB，-5dB，0dB，5dB，10dB}。

图2是采用预热训练和解耦训练对超网络表示能力的影响示意图。在噪声水平为0dB的情况下，分别采用普通训练、解耦训练和预热训练+解耦训练三种策略训练超网络；随后分别优化对应的贝叶斯可微评估器，从优化后的评估器分布中随机采样2000个候选架构，分别绘制其验证准确率分布的核密度估计图。由图2可以看到，预热训练和解耦训练可以显著提高超网络的表示能力。

图3是双峰先验分布的示意图。双峰先验分布的参数{λ，μ₁，σ₁，μ₂，σ₂}分别设置为{0.8，0.1，0.3，0.03，0.05}，变分后验分布初始化为均值为0.2，标准差为log(1+exp(-4))的高斯分布。为了避免KL散度在计算时为0，初始化的变分后验分布与双峰先验分布需有重叠部分。如图3所示，在最小化变分后验分布和双峰先验分布的KL散度的情况下，初始化的112个变分后验分布中的大部分会向双峰先验分布中的高峰移动，少部分会向低峰移动。

图4是关于多种模型在不同噪声水平下诊断准确率的示意图。BDAS为本公开提出的诊断模型自动化搭建方法，DARTS为可微神经架构搜索方法，Inception、ResNet18、VGG11和DCNN为四种主流的人工设计深度网络。由图4可以看出，BDAS在噪声为-10分贝的情况下的诊断准确率比DCNN高19.09％，比DARTS高4.44％；随着噪声分贝数的增大，BDAS的准确率下降速度比其他5种方法都要慢，从而说明本公开所提出的方案对噪声是鲁棒的，同时也说明了所提出的方案具有普遍适用性。

图5是架构集合诊断准确率的示意图。如图5所示，五角星为最佳的域匹配诊断模型测试准确率，方块为DARTS的测试准确率，箱线图为候选架构集合的测试准确率分布示意图。由图5可以看出，在六种噪声情况下，方块的位置都落在箱线图内部，这说明了本方法能显著提高可微神经架构搜索方法的性能；方块与五角星的距离越远，意味着本方法获得的候选架构集合中包含越多优于DARTS的深度网络结构；对架构集合按照诊断准确率从高到底进行排序，将诊断准确率最高的深度网络架构作为最终的结果，其最高诊断准确率如图5中的五角星所示。

图6是关于稀疏度对候选网络选择影响的示意图。为了获得候选架构集合，本实施例经历了两次排序和选择。先从优化后的评估器分布中采样了2000个候选架构，按照验证准确率从大到小排序，出于计算资源的限制，选择前50个候选架构；再按照稀疏度对这50个架构排序，出于计算资源的限制，选择前10个候选架构作为最后的搜索集合。图中的五边形为具有最高验证准确率的架构，三角形为搜索集合，方块为搜索集合中具有最高测试准确率的架构。图6中各五边形和方块的测试准确率和稀疏度如表2所示：

表2

由表2可知，在六种噪声情况下，具有最高验证准确率的网络架构的测试准确率没有经过稀疏度选择的网络架构高，一个平衡了验证准确率和稀疏度的网络在测试阶段的表现更好。

以上仅为本公开较佳的实施例，并非因此限制本公开的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本公开说明书内容做出的等同替换和显而易见的变化所得到的方案，均应当包含在本公开的保护范围内。

Claims (10)

1.一种用于诊断航空发动机锥齿轮故障的深度网络构建方法，包括如下步骤：

S100：采集航空发动机锥齿轮振动信号并划分为训练集D_train、验证集D_valid和测试集D_test；

S200：构建网络搜索空间O，根据网络搜索空间O构造超网络H(w)，基于训练集D_train并采用两种掩码矩阵Mask依次对超网络H(w)中的含参算子OP_5-8进行预热训练和对超网络H(w)进行解耦训练，得到优化后的超网络H(w^*)；

S300：基于优化后的超网络H(w^*)构造基于变分后验分布族的可微性能评估器Λ，利用变分推断对可微性能评估器Λ进行优化，获得优化后的变分后验分布族，并对优化后的变分后验分布族通过采样获得候选网络架构集合Set；

S400：利用训练集D_train和验证集D_valid对所述候选网络架构集合Set中的网络架构重新训练，并在测试集D_test上按照测试准确率从大到小排序，将测试准确率最高的网络架构作为最优的航空发动机锥齿轮故障诊断深度网络架构。

2.根据权利要求1所述的方法，其中，优选的，步骤S200中，所述超网络H(w)表示为：

其中，OP_1-4为网络搜索空间O中的非参算子，OP_5-8为含参算子；系数矩阵A共有14行8列，每一行都代表超网络H(w)中的一条混合运算边，每一行中的8个值α₁...α₈分别为组成该条混合边的8种算子的系数，系数均设置为1；

代表系数矩阵A在搜索空间O上的作用，x为模型输入，w为含参算子的参数；网络搜索空间O＝{置零，最大池化，平均池化，残差连接，卷积核大小为3的分离卷积，卷积核大小为5的分离卷积，卷积核大小为3的扩张卷积，卷积核大小为5的扩张卷积}。

3.根据权利要求1所述的方法，其中，步骤S200中，对超网络H(w)中的含参算OP_5-8进行预热训练通过以下方式进行：将Mask矩阵

设置为1，Mask矩阵的其他值设置为0；

对超网络H(w)进行解耦训练通过以下方式进行：Mask矩阵中的每一个值服从参数为p的伯努利分布，每个值以概率p设置为0，以概率1-p设置为1。

4.根据权利要求1所述的方法，其中，步骤S200中，所述优化后的超网络H(w^*)表示为：

H(w^*)＝arg min_wL_train(w)

其中，L_train(w)为交叉熵损失函数，w为在超网络中的网络参数，w^*为在超网络中优化后的网络参数。

5.根据权利要求1所述的方法，其中，步骤S300中，所述可微性能评估器Λ包括112个变分后验分布，即{Λ_i，i＝1，2…112}，其中，每一个变分后验分布设置为参数为θ_i的高斯分布。

6.根据权利要求1所述的方法，其中，步骤S300中，利用变分推断对可微性能评估器Λ进行优化包括如下步骤：

S301：通过重参数方法对可微性能评估器Λ中的变分后验分布进行初始化；

S302：利用初始化后的变分后验分布近似真实后验分布，并通过计算KL散度对初始化后的变分后验分布和真实后验分布的距离进行最小化，从而实现可微性能评估器Λ的变分推断优化；

S303：采用双峰先验分布P(Λ)对步骤S302进行软约束。

7.根据权利要求6所述的方法，其中，步骤S301包括如下步骤：

S3011：将评估器Λ中的每个变分后验分布设置为参数θ＝(μ，σ)的标准高斯分布，其中，μ为高斯分布的均值，高斯分布的标准差σ为log(1+exp(ρ))；

S3012：从标准高斯分布中采样出单点ε，进行变换得到变分后验的采样

其中，

为点乘。

8.根据权利要求6所述的方法，其中，步骤S302中，KL散度的计算公式如下：

其中，P(Λ)为Λ的先验分布，q(Λ|θ)为变分后验分布，P(D_valid，H(w^*)|Λ)为似然，P(Λ|D_valid，H(w^*)为真实后验分布，P(D_valid，H(w^*))为归一化常数。

9.根据权利要求1所述的方法，其中，步骤S300中，对优化后的变分后验分布族通过采样获得候选网络架构集合Set是指：从变分推断优化后的后验分布族中随机采样得到N个候选网络架构，按照验证准确率和稀疏度从大到小排序，选择验证准确率为前a％的候选网络架构作为备选，然后根据稀疏度从a％*N个候选网络架构中选择前b％个候选网络架构作为候选网络架构集合Set。

10.根据权利要求1所述的方法，其中，步骤S400中，对所述候选网络架构集合Set中的网络架构重新训练是指：将训练集D_train和验证集D_valid拼接后作为新的训练集输入至候选网络架构集合Set中，对每个候选子网络进行重新训练。

Images