CN113111308B - 基于数据驱动遗传编程算法的符号回归方法及系统 - Google Patents

Abstract

本发明涉及基于数据驱动遗传编程算法的符号回归方法与系统，其方法包括步骤：S1、通过输入元素集计算各个特征与输出之间的互信息值，计算各个特征与输出之间的MIC值；S2、通过生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量；S3、初始化多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。本发明通过选择重要终端元素和函数元素的机制，采用多染色体编码方法提高遗传编程算法的搜索性能，从而有效地解决符号回归问题。

Description

基于数据驱动遗传编程算法的符号回归方法及系统

技术领域

本发明涉及智能计算和特征工程技术领域，尤其涉及基于数据驱动遗传编程算法的符号回归方法及系统。

背景技术

符号回归是一种试图发现某种隐藏的数学公式，以此利用特征变量预测目标变量的监督学习方法。与传统的回归方法，如线性回归、多项式回归、人工神经网络等相比，符号回归不需要事先给定具体函数形式，不需要任何先验知识和模型，同时能够提供直观显式的函数表达式模型，有助于研究者理解和分析待研究系统的内在机理。因此，符号回归近年来被应用于诸如时间序列预测、数据挖掘、模式分类和系统设计优化等领域，目前已成为智能计算领域的一个研究热点。

现有的符号回归算法主要分为基于确定性优化技术的算法和基于启发式优化技术的遗传编程算法。由于确定性优化技术只适用于规模较小的问题，目前求解符号回归问题的主流算法是遗传编程算法。遗传编程算法是一类通过模拟自然界“适者生存，优胜劣汰”的进化现象实现计算机自主编程的智能计算优化算法。遗传编程算法求解符号回归问题主要具有两大优势：一是遗传编程算法编码机制灵活可变，很适合表示进化函数的结构；二是遗传编程算法的搜索过程基于随机启发式搜索，不需要建立复杂的优化模型，这使得其具有很强的通用性且可以同时优化多个目标。

然而，现阶段遗传编程算法在选择元素构建解的过程中仍存在着不足。如何选择合适的元素集是遗传编程算法中一个基本的而具有挑战性的问题，也制约着遗传编程算法更好地应用于实际问题中。

遗传编程算法的元素集由函数元素和终端元素(即特征元素)组成。函数元素(如*,sin)通过连接终端元素(如变量x,y)来构造解。因此函数元素和终端元素决定了遗传编程算法解的搜索空间，两者共同地影响着遗传编程算法的性能。一方面，为了确保找到高质量的解，函数元素集应当设置得足够大。但这将极大地增加搜索空间，降低搜索效率，使遗传编程算法容易陷入局部最优解。另一方面，选择有用的特征作为终端元素集也影响着遗传编程算法的性能。通过识别有用特征子集并去除不相关特征可以减少搜索空间，提高遗传编程算法搜索效率。

现有的元素选择方法主要是利用特征工程缩小终端元素集的空间，从而改进遗传编程算法的性能。然而，当函数集很大并且包含不相关的函数元素时，这些方法是不够有效的，同时往往没有考虑常数问题，因此导致了不准确的求解。

发明内容

为解决现有技术所存在的技术问题，本发明提供基于数据驱动遗传编程算法的符号回归方法及系统，通过选择重要终端元素和函数元素的机制，采用多染色体编码方法提高遗传编程算法的搜索性能，从而有效地解决符号回归问题。

本发明方法采用以下技术方案来实现：基于数据驱动遗传编程算法的符号回归方法，包括以下步骤：

S1、通过输入元素集计算各个特征与输出之间的互信息值，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集，并决定参与步骤S2的重要的特征集以及步骤S3的终端元素；

S2、利用步骤S1中找出的重要的特征集生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量；

S3、初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。

本发明系统采用以下技术方案来实现：基于数据驱动遗传编程算法的符号回归系统，包括基于过滤法的特征选择模块，基于CNN的函数元素选择模块以及遗传编程算法模块；

基于过滤法的特征选择模块，用于输入构建的元素集计算各个特征与输出之间的互信息值，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集并决定参与基于CNN的函数元素选择模块的重要的特征集和遗传编程算法模块的终端元素；

基于CNN的函数元素选择模块，用于根据重要的特征集生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量；

遗传编程算法模块，用于初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过选择重要终端元素和函数元素的机制，利用元素的选择概率来引导遗传编程算法高效地构造解。

2、本发明采用基于最小二乘估计的多染色体编码方法进一步提高了遗传编程算法的搜索性能，从而有效地解决符号回归问题。

3、本发明的符号回归方法能够充分利用数据信息，可以在数据拟合过程之前考虑特征和目标输出之间的互信息，从而有效地减少搜索空间，且在数据拟合过程中，能将原始数据与内部操作符联系起来，从而识别出有价值的函数操作符。

附图说明

图1是本发明方法的流程图；

图2是训练CNN网络的图像样例示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

设问题中含有T个终端元素和F个函数元素，这些终端元素与函数元素共同构成解的元素集。遗传编程算法在给定的构建元素集中找到满足训练数据与目标函数的最优公式。

如图1所示，本实施例基于数据驱动遗传编程算法的符号回归方法，主要包括以下步骤：

S1、输入构建的元素集计算各个特征与输出之间的互信息值(Mutualinformation)，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集，并决定参与步骤S2的重要的特征集以及步骤S3中构造解的终端元素，其中，只有最重要的特征元素会被用于函数选择。

本实施例中，找出重要的特征集是通过消除不相关和冗余的特征来降低输入维数，缩小算法的搜索空间，从而提高算法的性能。重要性越高的特征往往包含的有用信息就越多。具体地，输入的是一些包括相关变量和不相关变量的输入变量。因此，通过计算各个特征与输出之间的MIC值来评估各个特征的重要性。

本实施例中，根据MIC值来进行特征选择。MIC值能够找到具有最高互信息值的两个变量之间的关系，而不局限于特定的函数类型，如：线性、指数性函数或周期性函数。通过评估两个变量之间的MIC值，可有效地减少无关变量。互信息值是MIC值的一个基本概念，可以用来衡量两个关系变量之间的相关性。互信息值可以表示如下：

其中，x和y是一对关系变量。

本实施例中，MIC值使用散点图来表示在二维空间中两个离散变量之间的关系。MIC值将当前的二维空间在x和y方向上分割成若干网格，并计算落在每个网格上的点的数量，MIC值可以表示如下：

其中，a和b是在x和y方向上网格的数量；B是MIC值中的一个变量。如公式(2)所示，通过计算MIC值可以得出各个特征的重要性。

S2、利用步骤S1中找出的重要的特征集生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量。

本实施例中，从给定的特征中输出一个函数基元重要性的权值向量，其中，只有步骤S1中最重要的特征元素会被用于函数选择。通过这种方式，可识别出重要的函数元素。具体地，本实施例使用不同类别的函数图像用于CNN训练。

本实施例中，步骤S2中生成大量的随机函数，这些随机函数是由函数元素sin、cos、exp、log通过算子{+,-,*}连接而成。

如图2所示，本实施例中，通过给定的随机函数绘制函数的曲线，从而生成训练图像。具体地，这些函数曲线可以反映各种函数元素的特征，通过学习这些特征，可以成功地从对应的曲线中识别出函数元素，输出对每个函数元素的预测。

本实施例中，进行CNN训练需要给训练图像分配相应的标签，图像的标签就是生成的随机函数中相应的有效函数元素。例如，一个函数exp(cos(x))有两个标签：一个是exp，一个是cos。因此，CNN的训练过程是一个多标签分类问题的训练过程。本实施例基于Inception V3网络结构的CNN模型用于训练，一共有47层，其中，6个是卷积层，3个最大池化层，11个不对称卷积层，其中，不对称卷积层由若干个卷积层与池化层组成。

本实施例中，在获取了训练好的CNN之后，给定一系列的符号回归数据，将这些数据对应的曲线作为CNN的输入图像，获取函数元素重要性向量作为CNN的输出,通过对每个函数元素类别的预测，辅助步骤S3的演化。

S3、初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。

本实施例中，利用步骤S1中获取的重要的特征集以及步骤S2中获取的函数元素重要性向量，向步骤S3引入了额外的信息，从而影响初始种群构成以及后续的演化过程，提高求解符号回归问题的性能。通过获得这些信息，利用步骤S3可以在当前种群中自适应地调整终端元素与函数元素的选择概率，提高后续的演化过程。

本实施例中，设p_g是第g代种群中终端元素和函数元素的重要性向量，Q_g是当前种群中的频率向量，则权重向量可以用如公式(3)更新：

P_g+1＝αP_g+(1-α)Q_g (3)

其中，α是更新比例，取值范围为[0,1]，在本实施例中被设为一个较大的值(α＝0.9)。

此外，本实施例在传统遗传编程算法的基础上加入了多染色体的编码方式，这是因为在特征选择阶段被忽略的信息也可能对搜索过程有利，特别是对于那些真实世界的问题，CNN和MIC的基本假设可能在某种程度上并不适用。因此，在本实施例的框架中加入多染色体可以提高搜索性能的稳定性。

每一个个体，即整个染色体都可以被解码成一个多染色体结构，由几个子染色体组成。本实施例中，第一个染色体只包含重要的特征，第二个染色体包含重要的特征和部分不重要的特征，第三个包含所有的特征。然后，遗传编程算法的目标是从子染色体解码的公式中通过线性组合来学习最优拟合公式。一般来说，个体I的整个染色体具有p个子染色体，可描述为：

I＝L(C₁,C₂,...,C_p) (4)

其中，C_i代表第i个子染色体。因此，目标拟合公式f(x)可以通过个体I构建出：

f(x)＝β₀+β₁C₁+β₁C₁+...+β_pC_p (5)

其中，β₀，β₁，...，β_p是线性组合模型的参数。通过以上，完成了对给定数据最优公式的拟合，并给出适应值评估。

相应地，本发明的基于数据驱动遗传编程算法的符号回归系统，包括基于过滤法的特征选择模块，基于CNN的函数元素选择模块以及遗传编程算法模块。

基于过滤法的特征选择模块，通过输入构建的元素集计算各个特征与输出之间的互信息值，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集并决定参与基于CNN的函数元素选择模块和遗传编程算法模块的终端元素。

基于CNN的函数元素选择模块，根据终端元素生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性向量。

遗传编程算法模块，用于初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。

为了测试和评估本实施例的算法框架的性能，本实施例以9个数据集进行仿真测试，其中，6个为人工定制数据集，3个为实际问题中的数据，分别为红葡萄酒和白葡萄酒数据，以及游艇流体动力学数据。本实施例的算法的参数设置为：种群大小N＝50,T＝4，F＝4，α＝0.9。最终的结果显示，本实施例的算法在多次的仿真测试中在成功率，均方误差，及平均评估次数上都要明显优于现有的遗传编程算法。这充分说明本实施例在提高遗传编程算法的搜索能力上是十分有效的。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于数据驱动遗传编程算法的符号回归方法，其特征在于，包括以下步骤：

S1、通过输入元素集计算各个特征与输出之间的互信息值，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集，并决定参与步骤S2的重要的特征集以及步骤S3的终端元素；

S2、利用步骤S1中找出的重要的特征集生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量；

S3、初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件；

步骤S2中利用训练好的CNN，输入符号回归数据，将符号回归数据对应的函数曲线作为CNN的输入图像，获取函数元素重要性向量作为CNN的输出，通过对每个函数元素类别的预测，辅助步骤S3的演化；

权重向量如公式(3)更新：

P_g+1＝αP_g+(1-α)Q_g (3)

其中，p_g是第g代种群中终端元素和函数元素的重要性向量；Q_g是当前种群中的频率向量；α是更新比例，其取值范围为0到1；

每一个个体，即整个染色体都被解码成一个多染色体结构，由多个子染色体组成；第一个染色体只包含重要的特征，第二个染色体包含重要的特征和部分不重要的特征，第三个包含所有的特征；遗传编程算法的目标是从子染色体解码的公式中通过线性组合来学习最优拟合公式，个体I的整个染色体具有p个子染色体，可描述为：

I＝L(C₁,C₂,...,C_p) (4)

其中，C_i代表第i个子染色体；

目标拟合公式f(x)通过个体I构建出：

f(x)＝β₀+β₁C₁+β₁C₁+...+β_pC_p (5)

其中，β₀，β₁，...，β_p是线性组合模型的参数。

2.根据权利要求1所述的基于数据驱动遗传编程算法的符号回归方法，其特征在于，步骤S1中互信息值表示如下：

其中，x和y是一对关系变量。

3.根据权利要求2所述的基于数据驱动遗传编程算法的符号回归方法，其特征在于，步骤S1中MIC值利用散点图表示在二维空间中两个离散变量之间的关系，MIC值将当前的二维空间在x和y方向上分割成若干网格，并计算落在每个网格上的点的数量，MIC值表示如下：

其中，a和b分别是在x和y方向上网格的数量；B是MIC值中的一个变量。

4.根据权利要求1所述的基于数据驱动遗传编程算法的符号回归方法，其特征在于，步骤S2中生成的随机函数是由函数元素sin、cos、exp、log通过算子{+,-,*}连接而成的。

5.根据权利要求1所述的基于数据驱动遗传编程算法的符号回归方法，其特征在于，步骤S2中生成训练图像是通过随机函数绘制函数曲线生成的，函数曲线反映出各种函数元素的特征，通过学习这些特征，从对应的函数曲线中识别出函数元素，输出对每个函数元素的预测。

6.根据权利要求1所述的基于数据驱动遗传编程算法的符号回归方法，其特征在于，步骤S2中进行CNN训练需要给训练图像分配相应的标签，训练图像的标签为生成的随机函数中的有效函数元素。

7.根据权利要求1所述的基于数据驱动遗传编程算法的符号回归方法的系统，包括基于过滤法的特征选择模块，基于CNN的函数元素选择模块以及遗传编程算法模块；

基于过滤法的特征选择模块，用于输入构建的元素集计算各个特征与输出之间的互信息值，再计算各个特征与输出之间的MIC值，根据MIC值找出重要的特征集并决定参与基于CNN的函数元素选择模块的重要的特征集和遗传编程算法模块的终端元素；

基于CNN的函数元素选择模块，用于根据重要的特征集生成随机函数，再生成训练图像，进行CNN训练，由CNN生成函数元素重要性权重向量；

遗传编程算法模块，用于初始化遗传编程算法与多染色体编码方式的种群，若满足终止条件，则结束；否则，更新种群，进行突变与交叉变异，再进行染色体解码，并评估适应值，进行选择后再循环判断是否满足终止条件。