CN112559870B - 多模型融合方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了多模型融合方法、装置、电子设备和存储介质，涉及计算机视觉、深度学习技术等人工智能领域。多模型融合方法具体实现方案为：获取用于表征模型结构和模型性能之间的关系的概率模型；从超网络的搜索空间中搜索多组候选模型组，其中，超网络中包括用于构造模型结构的可选子结构，每组候选模型组中包括多个模型结构；根据概率模型的超参数分别评估每组候选模型组的信息熵；以及根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组，以便基于目标模型组中的模型结构进行多模型融合。

Description

多模型融合方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术、人工智能技术领域，具体涉及计算机视觉、深度学习技术等技术领域。尤其涉及多模型融合方法、装置、电子设备和存储介质。

背景技术

目前，计算机视觉和深度学习技术在很多方向上都取得了巨大的成功。在人工智能领域，人工神经网络结构的好坏对最终模型的效果具有重要的影响。人工设计网络拓扑结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合。

在相关技术中，一般采用人工设计单个模型结构，但在实现本申请的过程中发现，人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破。

发明内容

提供了一种多模型融合方法、装置、电子设备和存储介质。

根据第一方面，提供了一种多模型融合方法，包括：获取用于表征模型结构和模型性能之间的关系的概率模型；从超网络的搜索空间中搜索多组候选模型组，其中，上述超网络中包括用于构造模型结构的可选子结构，每组上述候选模型组中包括多个模型结构；根据上述概率模型的超参数分别评估每组上述候选模型组的信息熵；以及根据每组上述候选模型组的信息熵从上述多组候选模型组中确定用于多模型融合的目标模型组，以便基于所述目标模型组中的模型结构进行多模型融合。

根据第二方面，提供了一种多模型融合装置，包括：获取模块、第一搜索模块、第一计算模块和确定模块。

获取模块，用于获取用于表征模型结构和模型性能之间的关系的概率模型。第一搜索模块，用于从超网络的搜索空间中搜索多组候选模型组，其中，上述超网络中包括用于构造模型结构的可选子结构，每组上述候选模型组中包括多个模型结构。第一计算模块，用于根据上述概率模型的超参数分别评估每组上述候选模型组的信息熵。确定模块，用于根据每组上述候选模型组的信息熵从上述多组候选模型组中确定用于多模型融合的目标模型组，以便基于所述目标模型组中的模型结构进行多模型融合。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本申请上述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使上述计算机执行本申请上述的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现根据本申请上述的方法。

通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索多组候选模型组，根据概率模型的超参数分别评估每组候选模型组的信息熵，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组。在基于目标模型组中的模型结构进行多模型融合之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1示意性示出了根据本公开实施例的可以应用多模型融合方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的多模型融合方法的流程图；

图3示意性示出了根据本公开实施例的根据每组候选模型组的信息熵和每组候选模型组的性能信息，从多组候选模型组中确定用于多模型融合的目标模型组的流程图；

图4示意性示出了根据本公开实施例的从超网络的搜索空间中重新搜索新的多组候选模型组进行处理的示意图；

图5示意性示出了根据本公开实施例的确定概率模型的超参数的示意图；

图6示意性示出了根据本公开另一实施例的多模型融合方法的流程图；

图7示意性示出了根据本公开实施例的多模型融合装置的框图；以及

图8示意性示出了根据本公开实施例的适于实现多模型融合方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

神经网络架构搜索技术(Neural Architecture Search，简称NAS)成为研究热点。NAS是通过评估不同的网络结构的性能来自动搜索出最优的网络结果的技术。在实现本申请的过程中发现，早期的NAS工作一般需要独立的评估每个子网络的性能，搜索效率较低。为了提升搜索效率，可以训练一个超网络，超网络中所有网络结构可以共享超网络的参数。超网络可以较为快速的评估可选子结构的性能。

图1示意性示出了根据本公开实施例的可以应用多模型融合方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用多模型融合方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的多模型融合方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像或语音处理类应用、知识阅读类应用、搜索类应用、即时通信工具、邮箱客户端应用和/或社交平台软件应用等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以获取深度学习任务数据来构建训练样本，对用于执行深度学习任务的神经网络模型进行训练。服务器105可以是提供各种服务的服务器。例如，对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。以及/或者，服务器105可根据终端的运行环境搜索适合终端设备运行的神经网络模型结构，可以构建超网络，对超网络进行训练，并基于训练完成的超网络评估不同结构的神经网络模型的性能，进而确定出与终端设备匹配的神经网络模型的结构。服务器105还可以接收终端设备发送的待处理的数据，使用基于训练完成的超网络搜索出的神经网络模型对数据进行处理，并将处理结果返回至终端设备。

终端设备101、102、103和服务器105可以运行基于图像、视频、语音、文本、数字信号等数据的目标检测与识别、文本或语音识别、信号转换等服务。

需要说明的是，本公开实施例所提供的多模型融合方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的多模型融合装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的多模型融合方法一般也可以由服务器105执行。相应地，本公开实施例所提供的多模型融合装置一般可以设置于服务器105中。本公开实施例所提供的多模型融合方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的多模型融合装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的多模型融合方法的流程图。

如图2所示，该方法包括操作S210～S240。

在操作S210，获取用于表征模型结构和模型性能之间的关系的概率模型。

在操作S220，从超网络的搜索空间中搜索多组候选模型组，其中，超网络中包括用于构造模型结构的可选子结构，每组候选模型组中包括多个模型结构。

在操作S230，根据概率模型的超参数分别评估每组候选模型组的信息熵。

在操作S240，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组，以便基于目标模型组中的模型结构进行多模型融合。

根据本申请的实施例，概率模型例如可以包括但不限于多维高斯分布、卡方分布等等。

根据本申请的实施例，超网络可以是用于搜索用于执行数据处理任务的神经网络模型集合，数据处理任务例如可以包括处理图像处理任务、音频处理任务、文本处理任务等等。

根据本申请的实施例，可以基于数据处理中需要使用的神经网络的子结构构建超网络的搜索空间。可选子结构包括但不限于卷积结构、全连接结构、池化结构、归一化模块等等。搜索空间可以分为多层结构，每一层中可以包括不同的可选子结构，将搜索空间内每一层的各可选子结构与相邻层的各可选子结构分别连接，构成超网络。

根据本申请的实施例，在评估每组候选模型组的信息熵时，可以获取候选模型组中的每个模型结构的结构编码，根据概率模型的超参数和每个模型结构的结构编码确定协方差矩阵，根据协方差矩阵计算每组候选模型组的信息熵。需要说明的是，评估每组候选模型组的信息熵并不限于上述方式，还可以参考本领域相关技术评估每组候选模型组的信息熵，在此不再赘述。

根据本申请的实施例，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组可以包括：按照信息熵从大到小进行排序，选择信息熵最大的候选模型组确定为用于多模型融合的目标模型组，或者选择信息熵排名前5的候选模型组确定为用于多模型融合的目标模型组。需要说明的是，本申请不限定目标模型组的数量。

通过本申请的技术方案，提供了一种新的多模型融合方式，通过自动搜索的方式从超网络的搜索空间中搜索多组候选模型组，根据概率模型的超参数分别评估每组候选模型组的信息熵，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组。在基于目标模型组中的模型结构进行多模型融合之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。

根据本申请的实施例，在确定用于多模型融合的目标模型组时，可以根据每组候选模型组的信息熵和每组候选模型组的性能信息共同确定目标模型组，从而使得目标模型组还能满足性能约束条件。通过设置性能约束条件，可以保证用于多模型融合的目标模型组的性能优于单模型。

根据本申请的实施例，可以利用超网络对每组候选模型组的融合性能进行评估，以确定每组候选模型组的性能信息；根据每组候选模型组的信息熵和每组候选模型组的性能信息，从多组候选模型组中确定用于多模型融合的目标模型组。

下面参考图3～图6，结合具体实施例对上述方法做进一步说明。

图3示意性示出了根据本公开实施例的根据每组候选模型组的信息熵和每组候选模型组的性能信息，从多组候选模型组中确定用于多模型融合的目标模型组的流程图。

如图3所示，该方法包括操作S310～S320。

在操作S310，确定多组候选模型组中信息熵最大的候选模型组。

在操作S320，在信息熵最大的候选模型组的性能信息满足预设性能条件的情况下，将满足预设性能条件且信息熵最大的候选模型组确定为用于多模型融合的目标模型组。

根据本申请的实施例，可以根据信息熵的大小将多组候选模型组进行比较并排序，确定信息熵最大的候选模型组。

根据本申请的实施例，预设性能条件可以包括预设融合精度、预设时长、预设速度、预设存储量等等。

根据本申请的实施例，通过确定信息熵最大的候选模型组进行模型融合，可以提高模型融合效率，节省计算资源。

根据本申请的实施例，在信息熵最大的候选模型组的性能信息不满足预设性能条件的情况下，可以从超网络的搜索空间中重新搜索新的多组候选模型组进行处理。

图4示意性示出了根据本公开实施例的从超网络的搜索空间中重新搜索新的多组候选模型组进行处理的示意图。

如图4所示，从超网络401的搜索空间中搜索多组候选模型组402，例如，搜索出第一候选模型组、第二候选模型组至第n候选模型组。从多组候选模型组402中确定信息熵最大的候选模型组403。确定信息熵最大的候选模型组403的性能信息是否满足预设性能条件。

根据本申请的实施例，在信息熵最大的候选模型组403的性能信息满足预设性能条件的情况下，将信息熵最大的候选模型组403作为目标模型组404，并输出目标模型组404。

根据本申请的实施例，在信息熵最大的候选模型组403的性能信息不满足预设性能条件的情况下，从超网络401的搜索空间中重新搜索新的多组候选模型组；根据每组新的候选模型组的信息熵和每组新的候选模型组的性能信息，从新的多组候选模型组中确定用于多模型融合的目标模型组。

根据本申请的实施例，通过过滤掉不满足预设性能条件的模型，根据多个新的模型结构重新进行多模型融合，保证了模型的性能。

根据本申请实施例，利用超网络对每组候选模型组的融合性能进行评估，以确定每组候选模型组的性能信息包括如下操作。

将多媒体样本数据输入每组候选模型组中的每个模型结构，以便每个模型结构输出中间结果；将多个中间结果进行融合，得到融合结果；以及根据融合结果对候选模型组的融合性能进行评估，得到候选模型组的性能信息。

根据本申请的实施例，多媒体样本数据包括以下至少之一：图像样本数据、音频样本数据、文本样本数据。可以将图像样本数据、音频样本数据、文本样本数据输入搜索到的每个模型结构中。

根据本申请的实施例，可以采用不同的融合策略对多个中间结果进行融合。融合策略包括但不限于线性加权融合法、交叉融合法、瀑布融合法、特征融合法、预测融合法等等。上述融合策略仅是示例性实施例，但不限于此，还可以包括本领域已知的其他融合策略。

根据本申请的实施例，超网络中还可以包括至少一种融合策略，可以从超网络的搜索空间中确定用于融合多个模型结构的目标融合策略。例如，目标融合策略可以是上述的交叉融合法。需要说明的是，本申请并不限与此。

根据本申请的实施例从超网络的搜索空间中可以随机搜索或者按照预设规则搜索用于融合多个模型结构的目标融合策略。

根据本申请的实施例，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合包括：根据目标融合策略和每个模型结构输出的中间结果对多个模型结构进行多模型融合。

根据本申请的实施例，根据融合结果对候选模型组的融合性能进行评估，得到候选模型组的性能信息包括：根据融合结果确定候选模型组的融合精度；以及将融合精度作为候选模型组的性能信息。

根据本申请的实施例，多模型融合后的性能信息包括但不限于融合精度、运行速度(或者模型的计算延时)。根据本申请的实施例，进一步地，多模型融合后的性能信息还可以包括模型的大小，模型越大，所占用的存储空间越大，模型越小，所占用的存储空间越小。

根据本申请的实施例，通过对多个模型结构的融合性能进行评估，可以保证多个模型结构融合后的性能优于单模型。通过自动搜索的方式，搜索融合后收益最大的多个小模型，来进行多模型融合。可以提升模型在特定硬件上的速度和精度，提升产品的核心竞争力，同时降低产品的成本。

根据本申请的实施例，可以通过参数共享的方式训练初始超网络；在初始超网络满足收敛条件的情况下，输出训练完成的超网络。

根据本申请的实施例，超网络的训练样本数据可以是图像数据、音频数据、文本数据等等。

根据本申请的实施例，可以随机地初始化超网络的参数，或者将超网络的各个参数初始化为预设的值。超网络的参数可以包括各层的子结构之间的连接参数，可以是权重参数、偏置参数等等。

根据本申请的实施例，初始超网络中可以包括图像处理中常用的卷积层、池化层、全连接层、残差模块等等。

根据本申请的实施例，可以根据多个采样结构的性能信息确定概率模型的超参数。

图5示意性示出了根据本公开实施例的确定概率模型的超参数的示意图。

如图5所示，从超网络401’的搜索空间中搜索多个采样结构501，例如，第一采样模型、第二采样模型至第m采样模型。

根据本申请的实施例，可以利用超网络对多个采样结构501分别进行评估，得到每个采样结构的性能信息，例如，第一性能信息、第二性能信息至第m性能信息。将第一性能信息、第二性能信息至第m性能信息输入概率模型502中。根据多个采样结构的性能信息确定概率模型502的超参数。

根据本申请的实施例，根据多个采样结构的性能信息，可以利用最大似然估计方法估计确定概率模型502的超参数。

图6示意性示出了根据本公开另一实施例的多模型融合方法的流程图。

如图6所示，该多模型融合方法包括操作S601～S611。

在操作S601，设计多模型融合搜索空间。例如，mobilenet-like搜索空间。

在操作S602，通过参数共享的方式训练超网络直到超网络收敛，输出训练好的超网络待后续使用。

在操作S603，利用设计好的概率模型来建模模型结构和模型性能之间的关系。概率模型例如包括但不限于，多维高斯分布，卡方分布等。

在操作S604，基于搜索空间随机采样m个模型结构。根据本申请的实施例，m的数量不做限定，例如可以是500等。

在操作S605，基于超网络分别评估随机采样得到的m个模型结构的性能。

在操作S606，基于评估得到的m个模型结构的性能，按照最大似然估计的方式估计出设计好的概率模型的超参数。

在操作S607，随机采样n组候选模型组，每组都含有多个模型结构。

在操作S608，基于概率模型的超参数，分别评估n组候选模型组的信息熵。根据本申请的实施例，n的数量不做限定，例如可以是1万等。

在操作S609，确定信息熵最大的候选模型组的融合性能是否满足预设性能条件。根据本申请的实施例，也可以判断精度或延时是否达到预设精度条件或预设延时条件。

在操作S610，若融合性能不满足预设性能条件，则返回操作S607。

在操作S611，若融合性能满足预设性能条件，输出信息熵最大的候选模型组中的模型结构。

通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索多组候选模型组，根据概率模型的超参数分别评估每组候选模型组的信息熵，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组。在基于目标模型组中的模型结构进行多模型融合之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。

图7示意性示出了根据本公开实施例的多模型融合装置的框图。

如图7所示，多模型融合装置700包括：获取模块710、第一搜索模块720、第一计算模块730和确定模块740。

获取模块710，用于获取用于表征模型结构和模型性能之间的关系的概率模型；

第一搜索模块720，用于从超网络的搜索空间中搜索多组候选模型组，其中，超网络中包括用于构造模型结构的可选子结构，每组候选模型组中包括多个模型结构；

第一计算模块730，用于根据概率模型的超参数分别评估每组候选模型组的信息熵；以及

确定模块740，用于根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组，以便基于目标模型组中的模型结构进行多模型融合。

通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索多组候选模型组，根据概率模型的超参数分别评估每组候选模型组的信息熵，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组。在基于目标模型组中的模型结构进行多模型融合之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。

根据本申请的实施例，多模型融合装置700还包括：第二计算模块，用于利用超网络对每组候选模型组的融合性能进行评估，以确定每组候选模型组的性能信息。

根据本申请的实施例，确定模块还用于：根据每组候选模型组的信息熵和每组候选模型组的性能信息，从多组候选模型组中确定用于多模型融合的目标模型组。

根据本申请的实施例，确定模块包括：第一确定单元和第二确定单元。

第一确定单元，用于确定多组候选模型组中信息熵最大的候选模型组。

第二确定单元，用于在信息熵最大的候选模型组的性能信息满足预设性能条件的情况下，将信息熵最大的候选模型组确定为用于多模型融合的目标模型组。

根据本申请的实施例，第一搜索模块，还用于在信息熵最大的候选模型组的性能信息不满足预设性能条件的情况下，从超网络的搜索空间中重新搜索新的多组候选模型组。

根据本申请的实施例，确定模块，还用于根据每组新的候选模型组的信息熵和每组新的候选模型组的性能信息，从新的多组候选模型组中确定用于多模型融合的目标模型组。

根据本申请的实施例，第二计算模块包括：输入单元、融合单元和评估单元。

输入单元，用于将多媒体样本数据输入每组候选模型组中的每个模型结构，以便每个模型结构输出中间结果。

融合单元，用于将多个中间结果进行融合，得到融合结果。

评估单元，用于根据融合结果对候选模型组的融合性能进行评估，得到候选模型组的性能信息。

根据本申请的实施例，评估单元包括：第一确定子单元和第二确定子单元。

第一确定子单元用于根据融合结果确定候选模型组的融合精度。

第二确定子单元，用于将融合精度作为候选模型组的性能信息。

根据本申请的实施例，多模型融合装置700还包括：第二搜索模块、第三计算模块和第四计算模块。

第二搜索模块，用于从超网络的搜索空间中搜索多个采样结构。

第三计算模块，用于利用超网络对多个采样结构分别进行评估，得到每个采样结构的性能信息。

第四计算模块，用于根据多个采样结构的性能信息确定概率模型的超参数。

根据本申请的实施例，第四计算模块用于：根据多个采样结构的性能信息，利用最大似然估计装置估计确定概率模型的超参数。

根据本申请的实施例，多模型融合装置700还包括：训练模块和输出模块。

训练模块，用于通过参数共享的方式训练初始超网络。

输出模块，用于在初始超网络满足收敛条件的情况下，输出训练完成的超网络。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

图8示意性示出了根据本公开实施例的适于实现多模型融合方法的电子设备的框图。

如图8所示，是执行本申请实施例的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备800包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块(例如，附图7所示的获取模块710、第一搜索模块720、第一计算模块730和确定模块740)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据上述方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备800还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索多组候选模型组，根据概率模型的超参数分别评估每组候选模型组的信息熵，根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组。在基于目标模型组中的模型结构进行多模型融合之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。

本申请的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本申请实施例所提供的多模型融合方法。

在该计算机程序被处理器执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并被下载和安装，和/或从可拆卸介质被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种多模型融合方法，包括：

获取用于表征模型结构和模型性能之间的关系的概率模型；

从超网络的搜索空间中搜索多组候选模型组，其中，所述超网络中包括用于构造模型结构的可选子结构，每组所述候选模型组中包括多个模型结构；

根据所述概率模型的超参数分别评估每组所述候选模型组的信息熵，包括：获取所述候选模型组中的每个所述模型结构的结构编码，根据所述概率模型的超参数和每个所述模型结构的结构编码确定协方差矩阵，根据所述协方差矩阵计算每组所述候选模型组的信息熵；以及

根据每组所述候选模型组的信息熵从所述多组候选模型组中确定用于多模型融合的目标模型组，以便基于所述目标模型组中的模型结构进行多模型融合。

2.根据权利要求1所述的方法，还包括：

利用所述超网络对每组所述候选模型组的融合性能进行评估，以确定每组所述候选模型组的性能信息；

其中，所述根据每组所述候选模型组的信息熵从所述多组候选模型组中确定用于多模型融合的目标模型组包括：

根据每组所述候选模型组的信息熵和每组所述候选模型组的性能信息，从所述多组候选模型组中确定用于多模型融合的目标模型组。

3.根据权利要求2所述的方法，其中，根据每组所述候选模型组的信息熵和每组所述候选模型组的性能信息，从所述多组候选模型组中确定用于多模型融合的目标模型组包括：

确定所述多组候选模型组中信息熵最大的候选模型组；以及

在所述信息熵最大的候选模型组的性能信息满足预设性能条件的情况下，将所述信息熵最大的候选模型组确定为用于多模型融合的目标模型组。

4.根据权利要求3所述的方法，还包括：

在所述信息熵最大的候选模型组的性能信息不满足所述预设性能条件的情况下，从所述超网络的搜索空间中重新搜索新的多组候选模型组；以及

根据每组新的候选模型组的信息熵和每组所述新的候选模型组的性能信息，从所述新的多组候选模型组中确定用于多模型融合的目标模型组。

5.根据权利要求2所述的方法，其中，所述利用所述超网络对每组所述候选模型组的融合性能进行评估，以确定每组所述候选模型组的性能信息包括：

将多媒体样本数据输入每组所述候选模型组中的每个所述模型结构，以便每个所述模型结构输出中间结果；

将多个所述中间结果进行融合，得到融合结果；以及

根据所述融合结果对所述候选模型组的融合性能进行评估，得到所述候选模型组的性能信息。

6.根据权利要求5所述的方法，其中，所述根据所述融合结果对所述候选模型组的融合性能进行评估，得到所述候选模型组的性能信息包括：

根据所述融合结果确定所述候选模型组的融合精度；以及

将所述融合精度作为所述候选模型组的性能信息。

7.根据权利要求1所述的方法，还包括：

从所述超网络的搜索空间中搜索多个采样结构；

利用所述超网络对多个所述采样结构分别进行评估，得到每个所述采样结构的性能信息；

根据多个所述采样结构的性能信息确定所述概率模型的超参数。

8.根据权利要求7所述的方法，其中，所述根据多个所述采样结构的性能信息确定所述概率模型的超参数包括：

根据多个所述采样结构的性能信息，利用最大似然估计方法估计确定所述概率模型的超参数。

9.根据权利要求1所述的方法，还包括：

通过参数共享的方式训练初始超网络；以及

在所述初始超网络满足收敛条件的情况下，输出训练完成的超网络。

10.一种多模型融合装置，包括：

获取模块，用于获取用于表征模型结构和模型性能之间的关系的概率模型；

第一搜索模块，用于从超网络的搜索空间中搜索多组候选模型组，其中，所述超网络中包括用于构造模型结构的可选子结构，每组所述候选模型组中包括多个模型结构；

第一计算模块，用于根据所述概率模型的超参数分别评估每组所述候选模型组的信息熵，包括：获取所述候选模型组中的每个所述模型结构的结构编码，根据所述概率模型的超参数和每个所述模型结构的结构编码确定协方差矩阵，根据所述协方差矩阵计算每组所述候选模型组的信息熵；以及

确定模块，用于根据每组所述候选模型组的信息熵从所述多组候选模型组中确定用于多模型融合的目标模型组，以便基于所述目标模型组中的模型结构进行多模型融合。

11.根据权利要求10所述的装置，还包括：

第二计算模块，用于利用所述超网络对每组所述候选模型组的融合性能进行评估，以确定每组所述候选模型组的性能信息；

其中，所述确定模块还用于：根据每组所述候选模型组的信息熵和每组所述候选模型组的性能信息，从所述多组候选模型组中确定用于多模型融合的目标模型组。

12.根据权利要求11所述的装置，其中，所述确定模块包括：

第一确定单元，用于确定所述多组候选模型组中信息熵最大的候选模型组；以及

第二确定单元，用于在所述信息熵最大的候选模型组的性能信息满足预设性能条件的情况下，将所述信息熵最大的候选模型组确定为用于多模型融合的目标模型组。

13.根据权利要求12所述的装置，其中：

所述第一搜索模块，还用于在所述信息熵最大的候选模型组的性能信息不满足所述预设性能条件的情况下，从所述超网络的搜索空间中重新搜索新的多组候选模型组；以及

所述确定模块，还用于根据每组新的候选模型组的信息熵和每组所述新的候选模型组的性能信息，从所述新的多组候选模型组中确定用于多模型融合的目标模型组。

14.根据权利要求11所述的装置，其中，所述第二计算模块包括：

输入单元，用于将多媒体样本数据输入每组所述候选模型组中的每个所述模型结构，以便每个所述模型结构输出中间结果；

融合单元，用于将多个所述中间结果进行融合，得到融合结果；以及

评估单元，用于根据所述融合结果对所述候选模型组的融合性能进行评估，得到所述候选模型组的性能信息。

15.根据权利要求14所述的装置，其中，所述评估单元包括：

第一确定子单元，用于根据所述融合结果确定所述候选模型组的融合精度；以及

第二确定子单元，用于将所述融合精度作为所述候选模型组的性能信息。

16.根据权利要求10所述的装置，还包括：

第二搜索模块，用于从所述超网络的搜索空间中搜索多个采样结构；

第三计算模块，用于利用所述超网络对多个所述采样结构分别进行评估，得到每个所述采样结构的性能信息；

第四计算模块，用于根据多个所述采样结构的性能信息确定所述概率模型的超参数。

17.根据权利要求16所述的装置，其中，所述第四计算模块用于：根据多个所述采样结构的性能信息，利用最大似然估计装置估计确定所述概率模型的超参数。

18.根据权利要求10所述的装置，还包括：

训练模块，用于通过参数共享的方式训练初始超网络；以及

输出模块，用于在所述初始超网络满足收敛条件的情况下，输出训练完成的超网络。

19. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。