CN112580723A - 多模型融合方法、装置、电子设备和存储介质 - Google Patents
多模型融合方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112580723A CN112580723A CN202011513468.2A CN202011513468A CN112580723A CN 112580723 A CN112580723 A CN 112580723A CN 202011513468 A CN202011513468 A CN 202011513468A CN 112580723 A CN112580723 A CN 112580723A
- Authority
- CN
- China
- Prior art keywords
- model
- fusion
- model structures
- condition
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 135
- 238000000034 method Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000001172 regenerating effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000003062 neural network model Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了多模型融合方法、装置、电子设备和存储介质，涉及计算机视觉、深度学习技术等人工智能领域。多模型融合方法具体实现方案为：获取编码生成器生成的多组编码信息；根据多组编码信息中的每组编码信息，从超网络的搜索空间中搜索每组编码信息分别对应的模型结构，得到多个模型结构，其中，超网络中包括用于实现多个模型结构的可选子结构；将多媒体样本数据输入多个模型结构中的每个模型结构，以便每个模型结构输出中间结果；以及根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。
Description
技术领域
本申请涉及计算机技术、人工智能技术领域，具体涉及计算机视觉、深度学习技术等技术领域。尤其涉及多模型融合方法、装置、电子设备和存储介质。
背景技术
目前，计算机视觉和深度学习技术在很多方向上都取得了巨大的成功。在人工智能领域，人工神经网络结构的好坏对最终模型的效果具有重要的影响。人工设计网络拓扑结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合。
在相关技术中，一般采用人工设计单个模型结构，但在实现本申请的过程中发现，人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破。
发明内容
提供了一种多模型融合方法、装置、电子设备和存储介质。
根据第一方面，提供了一种多模型融合方法，包括：获取编码生成器生成的多组编码信息；根据多组编码信息中的每组编码信息，从超网络的搜索空间中搜索每组编码信息分别对应的模型结构，得到多个模型结构，其中，超网络中包括用于实现多个模型结构的可选子结构；将多媒体样本数据输入多个模型结构中的每个模型结构，以便每个模型结构输出中间结果；以及根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。
根据第二方面，提供了一种多模型融合装置，包括：获取模块、搜索模块、处理模块和融合模块。
获取模块用于获取编码生成器生成的多组编码信息；搜索模块用于根据所述多组编码信息中的每组所述编码信息，从所述超网络的搜索空间中搜索每组所述编码信息分别对应的模型结构，得到多个模型结构，其中，所述超网络中包括用于实现所述多个模型结构的可选子结构；处理模块用于将多媒体样本数据输入所述多个模型结构中的每个所述模型结构，以便每个所述模型结构输出中间结果；以及融合模块用于根据每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本申请上述的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使上述计算机执行本申请上述的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现根据本申请上述的方法。
通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索每组编码信息分别对应的多个模型结构，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。在融合多模型之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1示意性示出了根据本公开实施例的可以应用多模型融合方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的多模型融合方法的流程图；
图3示意性示出了根据本公开实施例的应用多模型融合方法的示意图；
图4示意性示出了根据本公开实施例的根据每个模型结构输出的中间结果对多个模型结构进行多模型融合的流程图；
图5示意性示出了根据本公开实施例的将多媒体样本数据输入每个模型结构并进行模型融合的示意图；
图6示意性示出了根据本公开另一实施例的多模型融合方法的流程图；
图7示意性示出了根据本公开实施例的多模型融合装置的框图；以及
图8示意性示出了根据本公开实施例的适于实现多模型融合方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
神经网络架构搜索技术(Neural Architecture Search，简称NAS)成为研究热点。NAS是通过评估不同的网络结构的性能来自动搜索出最优的网络结果的技术。在实现本申请的过程中发现，早期的NAS工作一般需要独立的评估每个子网络的性能，搜索效率较低。为了提升搜索效率，可以训练一个超网络，超网络中所有网络结构可以共享超网络的参数。超网络可以较为快速的评估可选子结构的性能。
图1示意性示出了根据本公开实施例的可以应用多模型融合方法及装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用多模型融合方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的多模型融合方法及装置。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像或语音处理类应用、知识阅读类应用、搜索类应用、即时通信工具、邮箱客户端应用和/或社交平台软件应用等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以获取深度学习任务数据来构建训练样本，对用于执行深度学习任务的神经网络模型进行训练。服务器105可以是提供各种服务的服务器。例如，对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。以及/或者，服务器105可根据终端的运行环境搜索适合终端设备运行的神经网络模型结构，可以构建超网络，对超网络进行训练，并基于训练完成的超网络评估不同结构的神经网络模型的性能，进而确定出与终端设备匹配的神经网络模型的结构。服务器105还可以接收终端设备发送的待处理的数据，使用基于训练完成的超网络搜索出的神经网络模型对数据进行处理，并将处理结果返回至终端设备。
终端设备101、102、103和服务器105可以运行基于图像、视频、语音、文本、数字信号等数据的目标检测与识别、文本或语音识别、信号转换等服务。
需要说明的是，本公开实施例所提供的多模型融合方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的多模型融合装置也可以设置于终端设备101、102、或103中。
或者，本公开实施例所提供的多模型融合方法一般也可以由服务器105执行。相应地，本公开实施例所提供的多模型融合装置一般可以设置于服务器105中。本公开实施例所提供的多模型融合方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的多模型融合装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的多模型融合方法的流程图。
如图2所示，该多模型融合方法包括操作S210～S240。
在操作S210，获取编码生成器生成的多组编码信息。
在操作S220，根据多组编码信息中的每组编码信息，从超网络的搜索空间中搜索每组编码信息分别对应的模型结构，得到多个模型结构，其中，超网络中包括用于实现多个模型结构的可选子结构。
在操作S230，将多媒体样本数据输入多个模型结构中的每个模型结构，以便每个模型结构输出中间结果。
在操作S240，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。
根据本申请的实施例，编码生成器可以是参数可调的神经网络模型。编码生成器可以实现为循环神经网络、长短期记忆模型、卷积神经网络等其他神经网络，或者可以实现为强化学习算法等机器学习算法。编码生成器可以输出表征搜索空间内各层对应的子结构的编码信息。例如，利用长短期记忆模型输出的编码信息可以包括超网络的搜索空间的编码和选择出的子网络结构的编码。
根据本申请的实施例，编码生成器具有对应的模型参数。可以在迭代训练过程中迭代调整编码生成器的参数、参数的数量或编码策略(或称之为编码规则)。
根据本申请的实施例，编码生成器可以通过随机编码、均衡编码等编码策略生成子网络结构的编码信息。
根据本申请的实施例，编码规则可以包括编码范围、编码算法和约束条件等。根据先验知识初始化编码规则，利用编码生成器根据编码规则进行编码。
根据本申请的实施例，编码生成器可以基于更优化的编码规则进行编码，直至编码次数达到预设阈值。其中，更新编码规则的方式可以是缩小编码范围、调整编码算法、增加约束条件等。
根据本申请的实施例，超网络可以是用于搜索用于执行数据处理任务的神经网络模型集合，数据处理任务例如可以包括处理图像处理任务、音频处理任务、文本处理任务等等。
根据本申请的实施例，可以基于数据处理中需要使用的神经网络的子结构构建超网络的搜索空间。可选子结构包括但不限于卷积结构、全连接结构、池化结构、归一化模块等等。搜索空间可以分为多层结构，每一层中可以包括不同的可选子结构，将搜索空间内每一层的各可选子结构与相邻层的各可选子结构分别连接，构成超网络。
根据本申请的实施例，多媒体样本数据包括以下至少之一：图像样本数据、音频样本数据、文本样本数据。可以将图像样本数据、音频样本数据、文本样本数据输入搜索到的每个模型结构中。
图3示意性示出了根据本公开实施例的应用多模型融合方法的示意图。
如图3所示，示意性示出了编码生成器301，超网络302和融合模型303。其中，融合模型303包括第一模型、第二模型和第三模型。需要说明的是，融合模型303中的模型数量仅是示例性实施例，但不限于此，还可以包括其他数量的模型。第一模型、第二模型和第三模型的类型可以是神经网络模型等其他类型。
根据本申请的实施例，例如，编码生成器301可以随机生成三组编码信息，即第一组编码信息、第二组编码信息和第三组编码信息。每组编码信息唯一对应于一个模型结构。
根据本申请的实施例，获取编码生成器301生成的多组编码信息包括：获取编码生成器301按照预设编码规则一次生成的多组编码信息。
根据本申请的实施例，预设编码规则可以包括随机编码规则和均衡编码规则等等。上述编码规则仅是示例性实施例，但不限于此，还可以包括本领域已知的其他编码规则。
根据本申请的实施例，编码生成器301可以一次性同时生成多组编码信息。
根据本申请的实施例，可以从超网络302的搜索空间中搜索每组编码信息分别对应的模型结构，即搜索第一组编码信息对应的第一模型、第二组编码信息对应的第二模型和第三组编码信息对应的第三模型。
根据本申请的实施例，多个模型结构的融合策略不做限定，例如，包括但不限于为每个模型结构分配对应的权重，将每个模型结构输出的中间结果与模型结构对应的权重相乘，最后将多个乘积进行求和，得到最终结果。上述融合策略仅是示例性实施例，但不限于此，还可以包括本领域已知的其他融合策略。
根据本申请的实施例，可以将图像样本数据或语音样本数据等分别输入第一模型、第二模型和第三模型，以便每个模型结构输出中间结果，然后根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。
通过本申请的技术方案，提供了一种新的模型融合方法，通过自动搜索的方式从超网络的搜索空间中搜索每组编码信息分别对应的多个模型结构，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。在融合多模型之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。
下面参考图4～图6，结合具体实施例对图2所示的方法做进一步说明。
图4示意性示出了根据本公开实施例的根据每个模型结构输出的中间结果对多个模型结构进行多模型融合的流程图。
如图4所示，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合包括操作S410～S430。
在操作S410，将多个中间结果进行融合，得到融合结果。
在操作S420，根据融合结果对多个模型结构的融合性能进行评估，得到性能信息。
在操作S430，在性能信息满足预设性能条件的情况下，输出多个模型结构。
根据本申请的实施例，可以采用不同的融合策略对多个中间结果进行融合。融合策略包括但不限于线性加权融合法、交叉融合法、瀑布融合法、特征融合法、预测融合法等等。上述融合策略仅是示例性实施例，但不限于此，还可以包括本领域已知的其他融合策略。
根据本申请的实施例，超网络中还可以包括至少一种融合策略，可以从超网络的搜索空间中确定用于融合多个模型结构的目标融合策略。例如，目标融合策略可以是上述的交叉融合法。需要说明的是，本申请并不限与此。
根据本申请的实施例从超网络的搜索空间中可以随机搜索或者按照预设规则搜索用于融合多个模型结构的目标融合策略。
根据本申请的实施例，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合包括：根据目标融合策略和每个模型结构输出的中间结果对多个模型结构进行多模型融合。
根据本申请的实施例，可以将融合结果与真实结果进行比较，从而确定多个模型结构的融合性能，得到多模型融合后的性能信息。当然，本申请并不限于上述评估方式，例如，还可以确定得到融合结果的时间和输入多媒体样本数据的时间之间的时间差，确定模型的运行速度。
根据本申请的实施例，根据融合结果对多个模型结构的融合性能进行评估，得到性能信息包括：根据融合结果确定多个模型结构的融合精度；以及将融合精度作为性能信息。通过本申请的实施例，从而保证融合精度，从而提升模型在特定硬件上的速度和精度。
根据本申请的实施例，多模型融合后的性能信息包括但不限于融合精度、运行速度(或者模型的计算延时)。根据本申请的实施例，进一步地，多模型融合后的性能信息还可以包括模型的大小，模型越大，所占用的存储空间越大，模型越小，所占用的存储空间越小。
根据本申请的实施例，预设性能条件可以包括预设融合精度、预设时长、预设速度、预设存储量等等。
根据本申请的实施例，通过对多个模型结构的融合性能进行评估，可以保证多个模型结构融合后的性能优于单模型。通过自动搜索的方式，搜索融合后收益最大的多个小模型，来进行多模型融合。可以提升模型在特定硬件上的速度和精度，提升产品的核心竞争力，同时降低产品的成本。
根据本申请的实施例，在多个模型结构融合后的性能信息不满足预设性能条件的情况下，将性能信息作为奖励反馈值；根据奖励反馈值更新编码生成器的参数；根据更新参数后的编码生成器重新生成新的多组编码信息；基于新的多组编码信息，从超网络的搜索空间中重新搜索每组新的编码信息分别对应的模型结构，得到多个新的模型结构；以及利用多媒体样本数据对多个新的模型结构重新进行多模型融合。
根据本申请的实施例，利用多媒体样本数据对多个新的模型结构重新进行多模型融合的方式可以参考上述操作S230～S240，在此不再赘述。
根据本申请的实施例，通过过滤掉不满足预设性能条件的模型，根据多个新的模型结构重新进行多模型融合，保证了模型的性能。
图5示意性示出了根据本公开实施例的将多媒体样本数据输入每个模型结构并进行模型融合的示意图。
如图5所示，将图像数据输入融合模型303’中的每个模型，以便第一模型输出第一中间结果、第二模型输出第二中间结果和第三模型输出第三中间结果。
根据本申请的实施例，将第一中间结果、第二中间结果和第三中间结果按照融合策略进行融合，在多个模型结构融合后的性能信息不满足预设性能条件的情况下，将性能信息作为奖励反馈值更新编码生成器301’的参数；基于更新参数后的编码生成器重新生成新的多组编码信息。
根据本申请的实施例，性能信息例如可以是融合精度和延时中的一种或多种。将融合精度和延时中的一种或多种作为奖励反馈值更新编码生成器301’。
根据本申请的实施例，以延时作为奖励反馈值为例。不同的延时奖励策略(也可以称之为延时惩罚策略)可以对应不同的标签。延时惩罚策略用于表征对于模型计算延时时长超过预设的时长之后，需要采取的处理策略，例如，延时惩罚策略可以为根据当前的模型处理的延时得到对应的延时奖励值的处理策略，又例如，可以为对模型的参数调整策略以使得调整后的模型的延时满足预设的时长要求等等。其中，预设的时长例如可以为10ms，当然本申请并不限与此，可以根据实际情况进行确定。另外，预设的时长还可以根据所要适用的场景相关，比如，应用于人脸识别场景中，类似识别人脸开机，或者识别人脸付费、或者识别人脸过安检等等场景中，需要较快的计算速度，可以将该预设的时长设置的较小，比如，5ms等等，上述延时惩罚策略仅是示例性实施例，但不限于此，还可以包括本领域已知的其他延时惩罚策略。
根据本申请的实施例，在性能信息满足预设性能条件的情况下，输出多个模型结构包括：在性能信息满足预设性能条件，并且迭代次数满足预设次数条件的情况下，输出多个模型结构。
根据本申请的实施例，可以使用迭代计算器计算迭代次数，每当多模型融合后的性能信息不满足预设性能条件的情况下，可以重新更新编码生成器的参数；根据更新参数后的编码生成器重新生成新的多组编码信息，并从超网络的搜索空间中重新搜索每组新的编码信息分别对应的模型结构，得到多个新的模型结构；以及利用多媒体样本数据对多个新的模型结构重新进行多模型融合。重新进行一次多模型融合，那么迭代计算器的计数值加1。
根据本申请的实施例，迭代次数的要求不做限定。例如，预设次数条件可以是500次，1000次等等。
根据本申请的实施例，在性能信息不满足预设性能条件，但迭代次数满足预设次数条件的情况下，也可以输出多个模型结构。
根据本申请的实施例，可以通过参数共享的方式训练初始超网络；在初始超网络满足收敛条件的情况下，输出训练完成的超网络。
根据本申请的实施例，超网络的训练样本数据可以是图像数据、音频数据、文本数据等等。
根据本申请的实施例，可以随机地初始化超网络的参数，或者将超网络的各个参数初始化为预设的值。超网络的参数可以包括各层的子结构之间的连接参数，可以是权重参数、偏置参数等等。
根据本申请的实施例，初始超网络中可以包括图像处理中常用的卷积层、池化层、全连接层、残差模块等等。
图6示意性示出了根据本公开另一实施例的多模型融合方法的流程图。
如图6所示，该多模型融合方法包括操作S601～S612。
在操作S601，设计多模型融合搜索空间，例如，mobilenet-like搜索空间。
在操作S602，通过参数共享的方式训练超网络直到超网络收敛，输出训练好的超网络待后续使用。
在操作S603，初始化编码生成器，该编码生成器用于生成模型结构的编码，该编码生成器可以一次生成多组编码，唯一对应多组模型结构。
在操作S604，基于编码生成器，生成多个模型结构的编码。
在操作S605，将上述多组编码，唯一解码成与之对应的多个模型结构。
在操作S606，基于上述训练好的超网络，分别进行前向传播，输出多个模型结构的中间结果。以图像分类任务为例，每个模型结构可以分别输出类别概率。
在操作S607，基于多个模型结构的中间结果进行多模型融合。
在操作S608，评估多模型融合的融合后精度或延时。
在操作S609，将融合后精度或延时作为奖励或惩罚，更新编码生成器的参数。以便多模型融合后的延时低于单模型。其中，延时指的是特定硬件的响应延时。
在操作S610，判断迭代次数是否达到预设值。预设值例如可以是700次，1000次等等。根据本申请的实施例，也可以判断精度或延时是否达到预设精度条件或预设延时条件。
在操作S611，若迭代次数未达预设值，则返回操作S604。
在操作S612，若迭代次数达到预设值，输出最优的多个模型结构。
根据本申请的实施例，多模型的个数可选为2个到3个，但也可以更多，具体取决于特定的硬件。
通过本申请的技术方案，可以解决人工设计单个模型结构后，通过自动搜索的方式搜索单个模型结构等方案中由于单模型的性能很容易达到上限，在一定范围内性能很难有所突破的问题。本申请通过自动搜索的方式，搜索融合后收益大的多个小模型，来进行多模型融合。由于融合后收益大的多个小模型在精度、速度、或者存储量等方面较佳，可以提升模型在特定硬件上的速度和精度，提升产品的核心竞争力，在不牺牲硬件的速度和精度的情况下，可以降低产品的成本。
图7示意性示出了根据本公开实施例的多模型融合装置的框图。
如图7所示，多模型融合装置700包括：获取模块710、搜索模块720、处理模块730和融合模块740。
获取模块710，用于获取编码生成器生成的多组编码信息；
搜索模块720，用于根据多组编码信息中的每组编码信息，从超网络的搜索空间中搜索每组编码信息分别对应的模型结构，得到多个模型结构，其中，超网络中包括用于实现多个模型结构的可选子结构；
处理模块730，用于将多媒体样本数据输入多个模型结构中的每个模型结构，以便每个模型结构输出中间结果；以及
融合模块740，用于根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。
通过本申请的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索每组编码信息分别对应的多个模型结构，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。在融合多模型之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。
根据本申请的实施例，融合模块包括：融合单元、评估单元和输出单元。
融合单元，用于将多个中间结果进行融合，得到融合结果。
评估单元，用于根据融合结果对多个模型结构的融合性能进行评估，得到性能信息。
输出单元，用于在性能信息满足预设性能条件的情况下，输出多个模型结构。
根据本申请的实施例，多模型融合装置700还包括：第一确定模块、更新模块、生成模块。
第一确定模块，用于在性能信息不满足预设性能条件的情况下，将性能信息作为奖励反馈值。
更新模块，用于根据奖励反馈值更新编码生成器的参数。
生成模块，用于根据更新参数后的编码生成器重新生成新的多组编码信息。
其中，搜索模块，还用于基于新的多组编码信息，从超网络的搜索空间中重新搜索每组新的编码信息分别对应的模型结构，得到多个新的模型结构；以及
融合模块，还用于利用多媒体样本数据对多个新的模型结构重新进行多模型融合。
根据本申请的实施例，评估单元包括：第一确定子单元和第二确定子单元。
第一确定子单元，用于根据融合结果确定多个模型结构的融合精度。
第二确定子单元，用于将融合精度作为性能信息。
根据本申请的实施例，输出单元用于：第一输出子单元和第二输出子单元。
第一输出子单元，用于在性能信息满足预设性能条件，并且迭代次数满足预设次数条件的情况下，输出多个模型结构。
第二输出子单元，用于在性能信息不满足预设性能条件，但迭代次数满足预设次数条件的情况下，输出多个模型结构。
根据本申请的实施例，超网络中还包括至少一种融合策略，装置还包括：第二确定模块。
第二确定模块，用于从超网络的搜索空间中确定用于融合多个模型结构的目标融合策略；
其中，融合模块用于：根据目标融合策略和每个模型结构输出的中间结果对多个模型结构进行多模型融合。
根据本申请的实施例，多模型融合装置700还包括：训练模块和输出模块。
训练模块，用于通过参数共享的方式训练初始超网络。
输出模块，用于在初始超网络满足收敛条件的情况下，输出训练完成的超网络。
根据本申请的实施例，多媒体样本数据包括以下至少之一：图像样本数据、音频样本数据、文本样本数据。
根据本申请的实施例，获取模块用于：获取编码生成器按照预设编码规则一次生成的多组编码信息。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是执行本申请实施例的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备800包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块(例如，附图7所示的获取模块710、搜索模块720、处理模块730和融合模块740)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据上述方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备800还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过自动搜索的方式从超网络的搜索空间中搜索每组编码信息分别对应的多个模型结构，根据每个模型结构输出的中间结果对多个模型结构进行多模型融合。在融合多模型之后，可以提升模型在特定硬件上的运行速度和在图像识别等方面的识别精度，提升了产品的核心竞争力，同时降低了产品的成本。解决了相关技术中人工设计的单模型的性能很容易达到上限，在一定范围内性能很难有所突破的技术问题。
本申请的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本申请实施例所提供的多模型融合方法。
在该计算机程序被处理器执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并被下载和安装，和/或从可拆卸介质被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (20)
1.一种多模型融合方法，包括：
获取编码生成器生成的多组编码信息；
根据所述多组编码信息中的每组所述编码信息，从所述超网络的搜索空间中搜索每组所述编码信息分别对应的模型结构，得到多个模型结构，其中，所述超网络中包括用于实现所述多个模型结构的可选子结构；
将多媒体样本数据输入所述多个模型结构中的每个所述模型结构，以便每个所述模型结构输出中间结果；以及
根据每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合。
2.根据权利要求1所述的方法，其中，所述根据每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合包括：
将多个所述中间结果进行融合，得到融合结果；
根据所述融合结果对所述多个模型结构的融合性能进行评估，得到性能信息；以及
在所述性能信息满足预设性能条件的情况下，输出所述多个模型结构。
3.根据权利要求2所述的方法，还包括：
在所述性能信息不满足所述预设性能条件的情况下，将所述性能信息作为奖励反馈值；
根据所述奖励反馈值更新所述编码生成器的参数；
根据更新参数后的编码生成器重新生成新的多组编码信息；
基于所述新的多组编码信息，从所述超网络的搜索空间中重新搜索每组新的编码信息分别对应的模型结构，得到多个新的模型结构；以及
利用所述多媒体样本数据对所述多个新的模型结构重新进行多模型融合。
4.根据权利要求2所述的方法，其中，所述根据所述融合结果对所述多个模型结构的融合性能进行评估，得到性能信息包括：
根据所述融合结果确定所述多个模型结构的融合精度；以及
将所述融合精度作为所述性能信息。
5.根据权利要求2所述的方法，其中，
所述在所述性能信息满足预设性能条件的情况下，输出所述多个模型结构包括：在所述性能信息满足预设性能条件，并且迭代次数满足预设次数条件的情况下，输出所述多个模型结构；
所述方法还包括：
在所述性能信息不满足所述预设性能条件，但所述迭代次数满足所述预设次数条件的情况下，输出所述多个模型结构。
6.根据权利要求1所述的方法，其中，所述超网络中还包括至少一种融合策略，所述方法还包括：
从所述超网络的搜索空间中确定用于融合所述多个模型结构的目标融合策略；
其中，所述根据每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合包括：
根据所述目标融合策略和每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合。
7.根据权利要求1所述的方法，还包括：
通过参数共享的方式训练初始超网络；以及
在所述初始超网络满足收敛条件的情况下，输出训练完成的超网络。
8.根据权利要求1所述的方法，其中，所述多媒体样本数据包括以下至少之一：图像样本数据、音频样本数据、文本样本数据。
9.根据权利要求1所述的方法，其中，所述获取编码生成器生成的多组编码信息包括：
获取所述编码生成器按照预设编码规则一次生成的多组编码信息。
10.一种多模型融合装置，包括：
获取模块，用于获取编码生成器生成的多组编码信息；
搜索模块，用于根据所述多组编码信息中的每组所述编码信息，从所述超网络的搜索空间中搜索每组所述编码信息分别对应的模型结构，得到多个模型结构，其中，所述超网络中包括用于实现所述多个模型结构的可选子结构；
处理模块，用于将多媒体样本数据输入所述多个模型结构中的每个所述模型结构，以便每个所述模型结构输出中间结果；以及
融合模块，用于根据每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合。
11.根据权利要求10所述的装置，其中，所述融合模块包括：
融合单元，用于将多个所述中间结果进行融合，得到融合结果；
评估单元，用于根据所述融合结果对所述多个模型结构的融合性能进行评估，得到性能信息；以及
输出单元，用于在所述性能信息满足预设性能条件的情况下，输出所述多个模型结构。
12.根据权利要求11所述的装置，还包括：
第一确定模块，用于在所述性能信息不满足所述预设性能条件的情况下，将所述性能信息作为奖励反馈值；
更新模块，用于根据所述奖励反馈值更新所述编码生成器的参数；
生成模块，用于根据更新参数后的编码生成器重新生成新的多组编码信息；
其中，所述搜索模块，用于基于所述新的多组编码信息，从所述超网络的搜索空间中重新搜索每组新的编码信息分别对应的模型结构，得到多个新的模型结构；以及
所述融合模块，用于利用所述多媒体样本数据对所述多个新的模型结构重新进行多模型融合。
13.根据权利要求11所述的装置，其中，所述评估单元包括：
第一确定子单元，用于根据所述融合结果确定所述多个模型结构的融合精度；以及
第二确定子单元，用于将所述融合精度作为所述性能信息。
14.根据权利要求11所述的装置，其中，所述输出单元用于：
第一输出子单元，用于在所述性能信息满足预设性能条件，并且迭代次数满足预设次数条件的情况下，输出所述多个模型结构；
第二输出子单元，用于在所述性能信息不满足所述预设性能条件，但所述迭代次数满足所述预设次数条件的情况下，输出所述多个模型结构。
15.根据权利要求10所述的装置，其中，所述超网络中还包括至少一种融合策略，所述装置还包括：
第二确定模块，用于从所述超网络的搜索空间中确定用于融合所述多个模型结构的目标融合策略；
其中，所述融合模块用于：根据所述目标融合策略和每个所述模型结构输出的中间结果对所述多个模型结构进行多模型融合。
16.根据权利要求10所述的装置，还包括：
训练模块，用于通过参数共享的方式训练初始超网络；以及
输出模块，用于在所述初始超网络满足收敛条件的情况下，输出训练完成的超网络。
17.根据权利要求10所述的装置，其中，所述多媒体样本数据包括以下至少之一：图像样本数据、音频样本数据、文本样本数据；
其中，所述获取模块用于：
获取所述编码生成器按照预设编码规则一次生成的多组编码信息。
18.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513468.2A CN112580723B (zh) | 2020-12-18 | 2020-12-18 | 多模型融合方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513468.2A CN112580723B (zh) | 2020-12-18 | 2020-12-18 | 多模型融合方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580723A true CN112580723A (zh) | 2021-03-30 |
| CN112580723B CN112580723B (zh) | 2023-09-22 |
Family
ID=75136337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011513468.2A Active CN112580723B (zh) | 2020-12-18 | 2020-12-18 | 多模型融合方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580723B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657465A (zh) * | 2021-07-29 | 2021-11-16 | 北京百度网讯科技有限公司 | 预训练模型的生成方法、装置、电子设备和存储介质 |
| CN114913402A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种深度学习模型的融合方法、装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826696A (zh) * | 2019-10-30 | 2020-02-21 | 北京百度网讯科技有限公司 | 超网络的搜索空间构建方法、装置以及电子设备 |
| CN110909877A (zh) * | 2019-11-29 | 2020-03-24 | 百度在线网络技术（北京）有限公司 | 神经网络模型结构搜索方法、装置、电子设备及存储介质 |
| WO2020108483A1 (zh) * | 2018-11-28 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 模型训练方法、机器翻译方法、计算机设备和存储介质 |
| CN111695698A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
| CN111767832A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 模型生成方法、装置、电子设备及存储介质 |
| WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
-
2020
- 2020-12-18 CN CN202011513468.2A patent/CN112580723B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108483A1 (zh) * | 2018-11-28 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 模型训练方法、机器翻译方法、计算机设备和存储介质 |
| WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
| CN110826696A (zh) * | 2019-10-30 | 2020-02-21 | 北京百度网讯科技有限公司 | 超网络的搜索空间构建方法、装置以及电子设备 |
| CN110909877A (zh) * | 2019-11-29 | 2020-03-24 | 百度在线网络技术（北京）有限公司 | 神经网络模型结构搜索方法、装置、电子设备及存储介质 |
| CN111695698A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
| CN111767832A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 模型生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 林杰;李如意;: "基于深度学习的图像识别处理", 网络安全技术与应用, no. 11 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657465A (zh) * | 2021-07-29 | 2021-11-16 | 北京百度网讯科技有限公司 | 预训练模型的生成方法、装置、电子设备和存储介质 |
| CN113657465B (zh) * | 2021-07-29 | 2024-04-09 | 北京百度网讯科技有限公司 | 预训练模型的生成方法、装置、电子设备和存储介质 |
| CN114913402A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种深度学习模型的融合方法、装置 |
| CN114913402B (zh) * | 2022-07-18 | 2022-10-18 | 深圳比特微电子科技有限公司 | 一种深度学习模型的融合方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580723B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7166322B2 (ja) | モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN110633797B (zh) | 网络模型结构的搜索方法、装置以及电子设备 | |
| CN111667056B (zh) | 用于搜索模型结构的方法和装置 | |
| CN110795569B (zh) | 知识图谱的向量表示生成方法、装置及设备 | |
| CN111667054A (zh) | 生成神经网络模型的方法、装置、电子设备以及存储介质 | |
| CN112559870B (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
| CN111582479B (zh) | 神经网络模型的蒸馏方法和装置 | |
| CN111667057B (zh) | 用于搜索模型结构的方法和装置 | |
| CN112035683A (zh) | 用户交互信息处理模型生成方法和用户交互信息处理方法 | |
| CN111753914A (zh) | 模型优化方法和装置、电子设备及存储介质 | |
| CN111563593B (zh) | 神经网络模型的训练方法和装置 | |
| CN111539479A (zh) | 生成样本数据的方法和装置 | |
| CN111639753B (zh) | 用于训练图像处理超网络的方法、装置、设备以及存储介质 | |
| CN111460384B (zh) | 策略的评估方法、装置和设备 | |
| CN111079945B (zh) | 端到端模型的训练方法及装置 | |
| CN111680517A (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
| CN110852379A (zh) | 训练样本生成方法、装置以及电子设备 | |
| CN111652354B (zh) | 用于训练超网络的方法、装置、设备以及存储介质 | |
| CN112580723B (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
| CN111461306B (zh) | 特征评估的方法及装置 | |
| CN112819497B (zh) | 转化率预测方法、装置、设备和存储介质 | |
| CN111553169A (zh) | 语义理解模型的剪枝方法、装置、电子设备和存储介质 | |
| CN111738325A (zh) | 图像识别方法、装置、设备以及存储介质 | |
| CN113366510A (zh) | 经由训练的原始网络与双网络来执行多目标任务 | |
| CN111160552A (zh) | 负采样处理方法、装置、设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |