CN109117491A - 一种融合专家经验的高维小数据的代理模型构建方法 - Google Patents

Abstract

本发明公开了一种融合专家经验的高维小数据的代理模型构建方法。使用本发明能够得到在高维小数据情况下的高精度代理模型。本发明利用神经网络反映设计模型中设计变量与设计目标之间的函数关系，并利用遗传算法对神经网络的权值进行训练，并在训练过程中，融入专家对于设计变量和设计目标间的对应关系式的经验认识，补充缺失的映射规律，从而成功克服了高维小数据条件下代理模型精度不高的问题。本发明没有增加样本量，不会带来数据噪音。

Description

一种融合专家经验的高维小数据的代理模型构建方法

技术领域

本发明涉及工程设计代理模型构建技术领域，具体涉及一种融合专家经验的高维小数据的代理模型构建方法。

背景技术

随着近几年科学技术的快速发展，对工程问题的研究也在逐渐深入。由于无法获知设计目标与设计变量之间的函数关系式，大多数工程设计问题，需要模拟实验来评估采用不同设计参数时的目标函数和约束函数。例如，为了找到最佳的机翼形状，常常针对不同的形状参数(长度，曲率，材料等)模拟机翼周围的气流。但是对于许多实际问题，单次模拟可能需要数分钟、数小时、甚至数天才能完成。类似设计优化、设计空间搜索、灵敏性分析和假设分析这种，需要进行数千、甚至数百万次的模拟，直接对原模型求解将耗费大量的时间与物力。改善这种情况的一个办法就是使用代理模型(也被称为响应曲面模型，元模型或模拟器)来模拟高精度模型。针对计算量过大、不容易求解的原模型，可以使用计算量较小、求解迅速的简化模型来代替原模型，加速优化过程。

但是在众多工程问题中，由于硬件设施和研究对象等问题，其中一部分工程问题面临着已有数据少、设计参数多、设计过程复杂，即高维小数据的特点，极大地增加了模型构建的难度。训练代理模型的目的是为了找到设计目标与设计变量之间的映射关系，并代替该映射关系，完成从设计变量到设计目标的转变。传统模式下，代理模型的构建过程往往基于大量数据，或者虽然是小量数据但是设计过程参数少、数据点较为规律。在大量数据的情况下，数据中已近似包含完整的映射关系，对数据进行迭代训练就可以找到该映射关系；而在小数据量情况下，尤其是高维小数据，映射关系复杂的情况下，小量样本无法包含完整的、复杂的映射关系，训练得到的代理模型的精度无法保障。

目前许多研究人员对高维小数据展开研究，解决方案主要分为三个方面：数据收集方法、数据集扩展方法、学习策略选择方法。第一种方法通过选择合适的采样方法，例如过采样或欠采样，保留数据中的有效信息，并降低噪声效应。第二种方法依赖于插值等方法获得额外的训练样本，从而增加样本量，提高模型精度。最后一种方法针对数据特征，选择适当的学习策略，如迁移学习或综合学习等方法，进而提高模型精度。

上述三种方法可以提高由高维小数据训练的代理模型的精度。但这三个方案都有自己的问题。第一，数据采集方法，虽然这种方法可以有效地减少样本噪声的影响，但数据蕴含的规律信息没有变化，当数据集的数据信息非常稀少时，该方法的效果并不显著；二是扩展方法，在扩展数据的过程中，通过插值得到扩展数据，增加了数据噪音，因此在模型中会出现偏差；最后是学习策略，这种方案选择契合数据特征的学习策略，没有从本质上解决问题，即小数据样本量不足导致规律信息匮乏的情况。因此，针对这些情况，亟需一种新的解决方案，在补充样本信息量的同时，提高代理模型的精度。

发明内容

有鉴于此，本发明提供了一种融合专家经验的高维小数据的代理模型构建方法，通过融合专家经验的方式，将总结所得的设计知识(设计变量和设计目标间的对应关系式)融入到训练过程中，补充缺失的映射规律，从而提高训练得到的模型精度，进而得到在高维小数据情况下的高精度代理模型。

本发明的融合专家经验的高维小数据的代理模型构建方法，包括如下步骤：

步骤1，咨询汇总专家对于设计变量和设计目标间的对应关系的专家经验；

步骤2，构建神经网络，其中，神经网络的输入为设计变量，输出为设计目标；

步骤3，采用遗传算法对步骤2构建的神经网络的权值进行训练，并以专家经验和拟合精度作为约束条件，训练得到的最优神经网络即为所求代理模型；具体包括如下子步骤：

步骤3.1，以神经网络为遗传算法中的种群个体，以神经网络的权值为个体基因，设定遗传算法种群大小，构建种群，设定交叉概率与变异概率；其中，初始种群中，各个体的初始权值为随机生成；

步骤3.2，针对当前种群，以样本集中的输入参数为作为各个体的输入，得到各个体的输出值；计算各个体的专家经验通过率和拟合精度；

所述专家经验通过率和拟合精度的计算方法如下：

针对各个体，针对其每次输入，改变输入值大小，判断其输出量的变化是否满足对应的专家经验，统计该个体在所有输入样本下的满足专家经验的百分比，获得该个体的专家经验通过率；

针对各个体，针对其的每次输入，计算其输出值与期望值之间的差值，统计该个体在所有输入样本下的输出值与期望值之间的差值，获得该个体的拟合精度；

步骤3.3，判断是否达到迭代次数要求，或者当前种群满足如下条件：种群中各个体的专家经验通过率均为100％且拟合精度均达到设定要求，若满足，则从当前种群中挑选出专家经验通过率最高且拟合精度也最高的个体所对应的神经网络作为代理模型输出；若不满足，则执行步骤3.4；

步骤3.4，以当前种群为父代种群，对父代种群实行遗传操作，得到子代种群；按照步骤3.2的方式，计算获得子代种群各个体的专家经验通过率和拟合精度；从父代种群和子代种群中挑选出专家经验通过率高的个体，组成新种群，其中，若专家经验通过率相同，则从中挑选出拟合精度高的个体，组成新种群；以新种群作为当前种群，执行步骤3.2～3.4，直到获得代理模型。

进一步的，所述步骤1中，对汇总的专家经验按照粒度进行分层，对于同一类型的专家经验，仅保留粒度最细的专家经验。

进一步的，所述专家经验分为如下四层：

第一层为对输入参数与输出参数之间函数基础特征的认识；第二层为输入与输出之间函数的单调性关系；第三层为输入参数与输出参数之间的倍数关系；第四层为输入参数与输出参数之间的完整关系式；层数越高，粒度越细。

进一步的，所述步骤2中，所述神经网络为全连接三层神经网络；其中，神经网络的激活函数为Sigmoid激活函数，神经网络的初始权值为-1到1之间的随机数；隐含层节点个数H由下式计算得到：

其中，m为输入层节点个数，n为输出层节点个数，a为1～10之间的调节常数。

进一步的，所述遗传操作包括交叉和变异。

有益效果：

本发明利用神经网络反映设计模型中设计变量与设计目标之间的函数关系，并利用遗传算法对神经网络的权值进行训练，在训练过程中，融入专家对于设计变量和设计目标间的对应关系式的经验认识，补充缺失的映射规律，从而成功克服了高维小数据条件下代理模型精度不高的问题，是一个面向高维小数据的工程问题的解决方法。本发明没有增加样本量，不会带来数据噪音。

附图说明

图1为本发明融合专家经验的高维小数据代理模型构建流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种融合专家经验的高维小数据的代理模型构建方法，将专家总结所得的设计知识(设计变量和设计目标间的对应关系式)融入到训练过程中，补充缺失的映射规律，从而提高由高维小数据训练的代理模型的精度。

本发明流程如图1所示，具体包括如下步骤：

步骤1：汇总设计相关的专家经验

本发明的专家经验特指设计人员或领域专家对输入参数(设计变量)与输出参数(设计目标)之间函数关系的认知，并且默认专家经验是完全正确的。咨询相关设计人员和有关专家，收集并总结专家经验。

为了更好更清楚地认识专家经验并减少模型计算量，可对专家经验进行分层，对于相同类型的经验(不同专家的对于相同的输入参数与输出参数的关系的经验)，选择层数较高、粒度较细的专家经验，减少不必要的经验数量，从而减轻模型训练所需工作量。

其中，可将专家经验分为如下4层：第一层指的是对输入参数与输出参数之间函数基础特征的认识，例如输入参数与输出参数之间函数是线性或非线性、连续或非连续、每个参数是否都对全部输出参数有影响等；第二层指输入与输出之间函数的单调性关系，即某个输入参数的大小变化所引起的某个输出参数的对应大小变化；第三层指输入参数与输出参数之间的倍数关系，即某个输入参数以某个倍数增大或减小会引起某个输出参数的一定倍数的大小变化；第四层指输入参数与输出参数之间的完整关系式，即某个输入参数与某个输出参数间存在着某个固定的关系式。

以简易机翼形状设计为例，对本步骤专家经验分层内容加以说明：

机翼形状设计中，输入参数为机翼长度、机翼宽度、重量形状参数，分别设为x₁，x₂，x₃；输出参数为升力系数，阻力系数分别设为y₁，y₂；

第一层经验：三个输入参数中，每个参数都会影响两个输出参数；输入参数与输出参数之间的关系是非线性的。

第二层经验：当输入参数中的x₂增大时，会导致y₂增大，即机翼宽度增大会导致阻力系数增大。

第三层经验：当输入参数中的x₂增大2倍时，会导致输出参数y₂大约增大3倍。

第四层经验：输入参数与输出参数y₂存在以下关系式：

根据4个层次，对收集到的专家经验依次分层，对于同类的输入-输出关系经验，仅保留层数较高、粒度较细的专家经验。例如：对于输入x₂与输出y₂之间的关系，存在：y₂随x₂增大而增大，以及3y₂＝2x₂，两种专家经验，则仅保留3y₂＝2x₂这一专家经验。

步骤2：构建神经网络，拟合设计模型中各输入输出间的关系

神经网络对非线性问题具有优秀的拟合能力，以设计模型的各输入参数为神经网络的输入，以设计模型的各输出参数为神经网络的输出，利用神经网络可以很好地反映设计模型中输入与输出之间的函数关系。理论上，本步骤适用于所有神经网络，对神经网络的具体结构未做限定。

本实施例以常用的全连接三层神经网络为例，进行说明。根据设计模型所对应的输入输出参数，设置神经网络输入层节点数、输出层节点数；

设置神经网络的激活函数为Sigmoid激活函数。

设置隐含层节点个数：隐含层节点个数可以根据经验公式大致确定最佳的隐含层单元的数目。将输入层神经元节点数和输出层神经元节点数带入得：

其中，H为隐含层节点数，m为输入层节点数，n为输出层节点数，a为1～10之间的调节常数。

设置神经网络的初始权值为-1到1之间的随机数。

训练样本为X＝[x₁,x₂,…,x_n-1,x_n]，n表示神经元连接权重总数。

构建完神经网络后，通过后续的进化算法对神经网络的权值进行训练，最后得到的神经网络模型即为所求的高精度的代理模型，本发明构建的神经网络不涉及误差反向传播的过程。

步骤3，采用遗传算法对步骤2构建的神经网络的权值进行训练，并以专家经验和拟合精度作为约束条件，得到最优的神经网络作为代理模型输出；

具体包括如下子步骤：

步骤3.1，以神经网络为遗传算法中的种群个体，以神经网络的权值为个体基因，设定遗传算法种群大小，构建种群，设定交叉概率与变异概率；其中，初始种群中，各个体(神经网络)的初始权值为随机生成。

步骤3.2，针对当前种群，以样本集中的输入参数为作为神经网络的训练样本输入X＝[x₁,x₂,…,x_n-1,x_n]，分别计算当前种群中各个体(神经网络)的输出值，得到各个体(神经网络)的输出；

计算各个体的专家经验通过率和拟合精度；其中，专家经验通过率和拟合精度的计算方法如下：

针对各个体，针对其每次训练输入样本，改变输入样本值大小，判断其输出量的变化是否满足对应的专家经验，验证该个体所对应的神经网络模型能否表现出该专家经验；统计该个体在所有输入样本下的满足专家经验的百分比，获得专家经验通过率；通过概率越高，则专家经验固化在模型的程度越高。

针对各个体，针对其的每次训练输入样本，计算其输出值与期望输出值之间的差值，差值越小则拟合精度越高；统计该个体在所有输入样本下的输出值与期望值之间的差值，获得拟合精度；

步骤3.3，判断是否达到迭代次数要求，或者当前种群满足如下条件：种群中各个体的专家经验通过率均为100％且拟合精度均达到设定要求，若满足，则从当前种群中挑选出拟合精度最高的个体所对应的神经网络作为代理模型输出，结束算法；若不满足，执行步骤3.4。若达到迭代次数要求但专家经验通过率不足100％时，则挑选专家经验通过率最高的个体所对应的神经网络作为代理模型输出；

步骤3.4，以当前种群为父代种群，对父代种群实行遗传操作，所述遗传操作包括交叉和变异，得到子代种群；按照步骤3.2的方式，计算获得子代种群各个体的专家经验通过率和拟合精度；对父代种群与子代种群中的各个体进行比较，保留专家经验通过率高且拟合精度高的个体，组成新种群，其中，首先挑选专家经验通过率高的个体，当专家经验通过率相同时，挑选拟合精度高的个体，组成新种群；以新种群作为当前种群，执行步骤3.2～3.4，直到获得代理模型，结束算法。

下面以简易机翼形状设计为例，对本发明各步骤加以说明：

机翼形状设计中，输入参数为机翼长度、机翼宽度、重量形状参数，分别设为x₁，x₂，x₃；输出参数为升力系数，阻力系数分别设为y₁，y₂。

步骤1，咨询相关设计人员和有关专家，收集并总结输入参数与输出参数之间关系的专家经验，并分级保存。对于类型相同的专家经验，仅保留层数高、粒度细的专家经验。

步骤2，构建全连接三层神经网络；所述神经网络的输入层节点个数为3，输出层节点个数为2，隐含层节点个数为7，激活函数为Sigmoid函数，初始权值为随机生成的-1到1之间的随机数。

步骤3，采用遗传算法对步骤2构建的神经网络的权值进行训练，并以专家经验和拟合精度作为约束条件，得到最优的神经网络作为代理模型输出；

步骤3.1，构建种群，种群规模为100，设定交叉概率为0.7，变异概率为0.3；初始种群中，个体编码方式为实数编码，各个体的初始权值为随机生成的-1到1之间的随机数；

步骤3.2，针对当前种群，计算各个体的专家经验通过率和拟合精度，个体评价方法为：专家经验通过率越高和拟合精度越高表明该个体更优，并优先考虑专家经验通过率。

针对各个体，针对其每次训练输入样本，改变输入样本值大小，判断其输出量的变化是否满足对应的专家经验，验证该个体所对应的神经网络模型能否表现出该专家经验；统计该个体在所有输入样本下的满足专家经验的百分比，获得专家经验通过率；通过概率越高，则专家经验固化在模型的程度越高。例如存在专家经验：输入参数x₂的增大会导致输出参数y₂增大。则设置100组输入样本，改变每组输入样本的x₂并比较改变后输出参数y₂的变化；验证该个体所对应的神经网络模型能否表现出该专家经验；统计该个体在100组输入样本下满足专家经验的组数，并除以总组数100，获得专家经验通过率。

针对各个体，针对其的每次训练输入样本，计算其输出值与期望输出值之间的差值，差值越小则拟合精度越高；统计该个体在所有输入样本下的输出值与期望值之间的差值，获得拟合精度；

步骤3.3，以当前种群为父代种群，对父代种群实行遗传操作，所述遗传操作包括交叉和变异，得到子代种群；按照步骤3.2的方式，计算获得子代种群各个体的专家经验通过率和拟合精度；对父代种群与子代种群中的各个体进行比较，保留专家经验通过率高且拟合精度高的个体，组成新种群，其中，首先挑选专家经验通过率高的个体，当专家经验通过率相同时，挑选拟合精度高的个体；以新种群作为当前种群，计算当前种群各个体的专家经验通过率和拟合精度。

步骤3.4，判断是否达到迭代次数要求，或者当前种群满足如下条件：种群中各个体的专家经验通过率均为100％且拟合精度均达到设定要求，若满足，则从当前种群中挑选出专家经验通过率最高且拟合精度最高的个体所对应的神经网络作为代理模型输出，结束算法；若不满足，则返回步骤3.3。若达到迭代次数要求但专家经验通过率不足100％时，则挑选专家经验通过率最高的个体所对应的神经网络作为代理模型输出。例如设定终止条件为迭代次数要求在100次以内或者专家经验通过率均为100％且拟合精度均大于或等于99.9％，当迭代100次时，或者专家经验通过率均为100％且拟合精度均大于或等于99.9％，则终止迭代，在最终种群中挑选专家经验通过率最高且拟合精度最高的个体(神经网络)作为输出；不满足终止条件则执行步骤3.3～3.4，直到获得代理模型，结束算法。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种融合专家经验的高维小数据的代理模型构建方法，其特征在于，包括如下步骤：

步骤1，咨询汇总专家对于设计变量和设计目标间的对应关系的专家经验；

步骤2，构建神经网络，其中，神经网络的输入为设计变量，输出为设计目标；

步骤3，采用遗传算法对步骤2构建的神经网络的权值进行训练，并以专家经验和拟合精度作为约束条件，训练得到的最优神经网络即为所求代理模型；具体包括如下子步骤：

步骤3.1，以神经网络为遗传算法中的种群个体，以神经网络的权值为个体基因，设定遗传算法种群大小，构建种群，设定交叉概率与变异概率；其中，初始种群中，各个体的初始权值为随机生成；

步骤3.2，针对当前种群，以样本集中的输入参数为作为各个体的输入，得到各个体的输出值；计算各个体的专家经验通过率和拟合精度；

所述专家经验通过率和拟合精度的计算方法如下：

针对各个体，针对其每次输入，改变输入值大小，判断其输出量的变化是否满足对应的专家经验，统计该个体在所有输入样本下的满足专家经验的百分比，获得该个体的专家经验通过率；

针对各个体，针对其的每次输入，计算其输出值与期望值之间的差值，统计该个体在所有输入样本下的输出值与期望值之间的差值，获得该个体的拟合精度；

步骤3.3，判断是否达到迭代次数要求，或者当前种群满足如下条件：种群中各个体的专家经验通过率均为100％且拟合精度均达到设定要求，若满足，则从当前种群中挑选出专家经验通过率最高且拟合精度也最高的个体所对应的神经网络作为代理模型输出；若不满足，则执行步骤3.4；

步骤3.4，以当前种群为父代种群，对父代种群实行遗传操作，得到子代种群；按照步骤3.2的方式，计算获得子代种群各个体的专家经验通过率和拟合精度；从父代种群和子代种群中挑选出专家经验通过率高的个体，组成新种群，其中，若专家经验通过率相同，则从中挑选出拟合精度高的个体，组成新种群；以新种群作为当前种群，执行步骤3.2～3.4，直到获得代理模型。

2.如权利要求1所述的融合专家经验的高维小数据的代理模型构建方法，其特征在于，所述步骤1中，对汇总的专家经验按照粒度进行分层，对于同一类型的专家经验，仅保留粒度最细的专家经验。

3.如权利要求2所述的融合专家经验的高维小数据的代理模型构建方法，其特征在于，所述专家经验分为如下四层：

第一层为对输入参数与输出参数之间函数基础特征的认识；第二层为输入与输出之间函数的单调性关系；第三层为输入参数与输出参数之间的倍数关系；第四层为输入参数与输出参数之间的完整关系式；层数越高，粒度越细。

4.如权利要求1所述的融合专家经验的高维小数据的代理模型构建方法，其特征在于，所述步骤2中，所述神经网络为全连接三层神经网络；其中，神经网络的激活函数为Sigmoid激活函数，神经网络的初始权值为-1到1之间的随机数；隐含层节点个数H由下式计算得到：

其中，m为输入层节点个数，n为输出层节点个数，a为1～10之间的调节常数。

5.如权利要求1所述的融合专家经验的高维小数据的代理模型构建方法，其特征在于，所述遗传操作包括交叉和变异。