CN110322021B - 大规模网络表征学习的超参数优化方法和装置 - Google Patents

Abstract

本申请提出一种大规模网络表征学习的超参数优化方法和装置，其中，方法包括：对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参数，以便通过原始网络进行信息识别。该方法学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

Description

大规模网络表征学习的超参数优化方法和装置

技术领域

本申请涉及网络学习技术领域，尤其涉及一种大规模网络表征学习的超参数优化方法和装置。

背景技术

网络表征学习是一种有效处理网络数据的方式。为了取得良好的效果，网络表征学习通常需要人为仔细的调参。但是，现实网络的大规模给自动机器学习应用于网络表征学习方法带来困难。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请提出一种大规模网络表征学习的超参数优化方法，以解决现有技术中对大规模网络表征学习的超参数进行优化效率较低的技术问题。

本申请一方面实施例提出了大规模网络表征学习的超参数优化方法，包括：

对原始网络进行采样，得到多个子网络；

根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；

根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；

根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；

根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。

本申请实施例的大规模网络表征学习的超参数优化方法，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终结果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

本申请另一方面实施例提出了一种大规模网络表征学习的超参数优化装置，包括：

采样模块，用于对原始网络进行采样，得到多个子网络；

提取模块，用于根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；

拟合模块，用于根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；计算模块，用于根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；

生成模块，用于根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。

本申请实施例的大规模网络表征学习的超参数优化装置，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种大规模网络表征学习的超参数优化方法的流程示意图；

图2为本申请实施例提供的一种大规模网络表征学习的超参数优化装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

现有技术中，对大规模网络表征学习的超参数优化时，是直接在采样后的小图上调参，但是，在采样得到小图时破坏了网络节点之间的联系，使得采样小图上的最优解并不是大图的最优解。并且，现实网络数据通常由很多不同异构单元组成，采样可能造成某些单元的丢失而影响最优解的选择。

针对上述技术问题，本申请实施例提供了一种大规模网络表征学习的超参数优化方法，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。

下面参考附图描述本申请实施例的大规模网络表征学习的超参数优化方法和装置。

图1为本申请实施例提供的一种大规模网络表征学习的超参数优化方法的流程示意图。

如图1所示，该方法包括以下步骤：

步骤101，对原始网络进行采样，得到多个子网络。

其中，原始网络，是指用于网络表征学习的大规模网络。网络表征学习旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空间中具有表示以及推理的能力，从而可以更加灵活地应用于不同的数据挖掘任务中。

举例来说，节点的表示可以作为特征，送到类似支持向量机的分类器中。同时，节点表示也可以转化成空间坐标，用于可视化任务。

本申请实施例中，采用多源随机游走采样算法，对原始网络进行采样，得到多个子网络。具体地，从原始网络的多个节点出发，随机游走向它的邻节点，再从邻节点开始随机移动，直至达到预设次数，最后将游走到的所有节点构成的子图当作我们采样的子网络，从而生成多个子网络。

步骤102，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。

本实施例中，采用预设的信号提取算法对原始网络和多个子网络进行信号提取，得到原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。具体地，计算在拉普拉斯矩阵下原始网络的第一候选特征向量，和每个子网络的第二候选特征向量。进而，对第一特征向量和第二特征向量进行低通滤波，得到原始网络的第一特征向量和每个子网络的第二特征向量。

步骤103，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射。

其中，高斯过程回归研究的是变量与变量之间的关系，也就是通过建立因变量与自变量的关系，通过建立尽可能的回归函数，在不过拟合的情况下，获得最小均方误差。

本实施例中，通过高斯过程回归算法对采样得到的多个子网络中的每个子网络的第二图像特征和超参数到最终效果的映射。

步骤104，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度。

其中，网络相似度，为原始网络和子网络之间的网络结构相似度和超参相似度。

具体地，根据相似度函数对第一图像特征和每个第二图像特征计算，进而，得到原始网络和每个子网络之间的网络结构相似度和超参相似度。

需要说明的是，可以将相似度函数作为高斯过程的核函数，以保证子网络与原始网络越相似最终预测原始网络的最优超参越相似。其中，核函数指所谓径向基函数(RadialBasis Function简称RBF)，就是某种沿径向对称的标量函数。

步骤105，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。

本申请实施例中，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度之后。进而，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。

可以理解为，将多个子网络的超参数和第二图像特征到最终效果的映射，来最优原始网络的最优超参，该方法能够更快的对原始网络的超参数进行优化，得到原始网络的最优超参。进而，根据优化后的原始网络进行人脸识别与检测、异常检测、语音识别等等。

本申请实施例的大规模网络表征学习的超参数优化方法，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

为了实现上述实施例，本申请实施例还提出一种大规模网络表征学习的超参数优化装置。

图2为本申请实施例提供的一种大规模网络表征学习的超参数优化装置的结构示意图。

如图2所示，该大规模网络表征学习的超参数优化装置包括：采样模块110、提取模块120、拟合模块130、计算模块140以及生成模块150。

采样模块110，用于对原始网络进行采样，得到多个子网络。

提取模块120，用于根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。

拟合模块130，用于根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射。

计算模块140，用于根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度。

生成模块150，用于根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。

作为一种可能的实现方式，采样模块110，具体用于：

根据多源随机游走采样算法，在原始网络的节点中随机选取多个节点为起点；

根据预设的概率随机游走到所述多个节点的邻节点，再从邻节点开始随机移动，直至达到预设次数，生成多个子网络。

作为另一种可能的实现方式，拟合模块130，具体用于：

将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。

作为另一种可能的实现方式，计算模块140，具体用于：

获取原始网络和每个子网络的网络结构相似度和超参数相似度。

作为另一种可能的实现方式，提取模块120，具体用于：

计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；

对所述第一特征向量和所述第二特征向量进行低通滤波，获取所述原始网络的第一特征向量和所述每个子网络的第二特征向量。

本申请实施例的大规模网络表征学习的超参数优化装置，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种大规模网络表征学习的超参数优化方法，其特征在于，所述方法包括以下步骤：

对原始网络进行采样，得到多个子网络；

根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；

根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；

根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；

根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。

2.如权利要求1所述的方法，其特征在于，所述对原始网络进行采样，得到多个子网络，包括：

根据多源随机游走采样算法，在所述原始网络的节点中随机选取多个节点为起点；

根据预设的概率随机游走到所述多个节点的邻节点，再从所述邻节点开始随机移动，直至达到预设次数，生成所述多个子网络。

3.如权利要求1所述的方法，其特征在于，所述根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，包括：

将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。

4.如权利要求1所述的方法，其特征在于，所述获取所述原始网络和每个子网络的网络相似度，包括：

获取所述原始网络和每个子网络的网络结构相似度和超参相似度。

5.如权利要求1所述的方法，其特征在于，所述根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征，包括：

计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；

对所述第一候选特征向量和所述第二候选特征向量进行低通滤波，获取所述原始网络的第一图像特征和所述每个子网络的第二图像特征。

6.一种大规模网络表征学习的超参数优化装置，其特征在于，所述装置包括：

采样模块，用于对原始网络进行采样，得到多个子网络；

提取模块，用于根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；

拟合模块，用于根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；

计算模块，用于根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；

生成模块，用于根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。

7.如权利要求6所述的装置，其特征在于，所述采样模块，具体用于：

根据多源随机游走采样算法，在所述原始网络的节点中随机选取多个节点为起点；

根据预设的概率随机游走到所述多个节点的邻节点，再从所述邻节点开始随机移动，直至达到预设次数，生成所述多个子网络。

8.如权利要求6所述的装置，其特征在于，所述拟合模块，具体用于：

将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。

9.如权利要求6所述的装置，其特征在于，所述计算模块，具体用于：

获取所述原始网络和每个子网络的网络结构相似度和超参数相似度。

10.如权利要求6所述的装置，其特征在于，所述提取模块，具体用于：

计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；

对所述第一候选特征向量和所述第二候选特征向量进行低通滤波，获取所述原始网络的第一图像特征和所述每个子网络的第二图像特征。

Images