CN114528990A - 一种神经网络搜索方法及系统 - Google Patents

一种神经网络搜索方法及系统 Download PDF

Info

Publication number
CN114528990A
CN114528990A CN202011322147.4A CN202011322147A CN114528990A CN 114528990 A CN114528990 A CN 114528990A CN 202011322147 A CN202011322147 A CN 202011322147A CN 114528990 A CN114528990 A CN 114528990A
Authority
CN
China
Prior art keywords
encoder
model
training
network
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011322147.4A
Other languages
English (en)
Inventor
何子健
张吉祺
彭杰锋
王广润
梁小丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMAI Guangzhou Co Ltd
Original Assignee
DMAI Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMAI Guangzhou Co Ltd filed Critical DMAI Guangzhou Co Ltd
Priority to CN202011322147.4A priority Critical patent/CN114528990A/zh
Publication of CN114528990A publication Critical patent/CN114528990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络搜索方法及系统，方法包括：在待搜索的超网络上随机采样两个不重叠的模型，两个模型在编码器和动量编码器各有一份，基于动量对比学习对编码器训练；固定编码器网络权重将其批规范化层设置为训练模式，在编码器后加上随机初始化的全连接分类头部并对其训练；在验证集计算模型的分类预测准确率作为采样模型的性能指标，重新搜索重复上述采样模型训练、分类头部训练及性能评价的步骤，获取性能指标最好的模型作为最终模型。本发明提供的搜索方法能自监督地对超网络训练，该流程无需数据标注，利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，使超网络的训练更高效和鲁棒性更高。

Description

一种神经网络搜索方法及系统
技术领域
本发明涉及神经网络搜索技术领域，具体涉及一种神经网络搜索方法及系统。
背景技术
神经网络结构搜索(NAS)旨在自动化设计神经网络结构，从而避免繁琐的人工设计。目前NAS搜索得到的神经网络已经在图像分类，目标检测，图像分割以及自然语言等任务上取得显著的成果。从手工设计离散模型空间和操作空间开始，NAS利用搜索技术探索预设的搜索领域并能找到对于单个或者多个目标(例如准确率，内存消耗等)的最佳结构，这些结构往往超过了人工设计的性能。
早期的NAS方法使用稠密的方法去进行神经网络的搜索，它们需要取样大量的网络结构并从头开始训练。庞大的计算成本使得它们不能应用在大型数据集上。最近的一些方法采用了权重共享的策略去减少计算成本，该策略的思想在于设计了一个包含了全部结构的超网络，采样的神经网络均是超网络的子网络。这样仅需进行一次对超网络的完整训练，而采样的子网络可继承和微调超网络的权重，计算成本大大降低。在这个过程中，大多数权重分配方法使用连续松弛来参数化搜索空间，但这样会导致在联合优化时，网络结构参数和超网络权重的耦合。基于梯度的方法的贪婪性将不可避免地在优化过程中引入偏差，误导网络结构的搜索。目前NAS的研究中对超网络的训练依然是传统的监督方法，这样训练的超网络参数在搜索微调时，未必有最好的泛化能力，因此得到的结果可能不是最优的。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中神经网络搜索方法泛化能力差，不能得到最优的搜索结果的缺陷，因此提供一种神经网络搜索方法及系统得到的网络在图片分类，语义分割和实例分割任务上达到了良好的效果。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种神经网络搜索方法，包括如下步骤：
在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器进行训练；
取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；
在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；
采用ActionSpace方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
在一实施例中，所述基于动量对比学习的方法对编码器进行训练的过程，包括：
使用与编码器相同的网络结构初始化动量编码器，在每一步训练迭代中，对批量的每张图片样本x进行四次随机数据增强，得到
Figure BDA0002793274940000031
作为网络输入；分别将
Figure BDA0002793274940000032
喂给编码器上随机采样的模型1和模型2，再经过共享的多层感知器得到特征向量
Figure BDA0002793274940000033
再分别将
Figure BDA0002793274940000034
喂给动量编码器上的模型1和模型2，得到
Figure BDA0002793274940000035
将
Figure BDA0002793274940000036
作为正样本对，将
Figure BDA0002793274940000037
作为另一对正样本对，分别与负样本队列计算对比损失得到两个损失
Figure BDA0002793274940000038
将两个损失相加，作为样本x的损失，对损失反向求导更新编码器，再对更新后的编码器的网络权重计算滑动平均来更新动量编码器；再对
Figure BDA0002793274940000039
求平均并更新到负样本队列中。
在一实施例中，固定训练后分类头部网络的网络权重，将所有批规范化层的滑动平均和滑动方差置零并设置为训练模式，用训练图片喂给超网络上的取样模型，更新批规范化层的参数，再将批规范化层设置为验证模式，用验证图片喂给超网络上的取样模型，用其在分类头部的分类预测准确率作为超网络上该模型的性能指标。
在一实施例中，所述分类头部为多个分类器共享。
在一实施例中，对分类头部网络进行训练的过程，包括：在每一步训练迭代中，将图片喂给在超网络上随机采样的模型，再经过共享的分类头部得到分类预测，计算分类预测结果与图片的真实标签的分类损失来训练分类头部。
第二方面，本发明实施例提供一种神经网络搜索系统，包括：采样模型训练模块，用于在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器和动量编码器进行训练；
分类头部训练模块，用于取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；
采样模型性能指标获取模块，用于在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；
最终模型确定模块，用于采用Action Space方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面的神经网络搜索方法。
第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面的神经网络搜索方法。
本发明技术方案，具有如下优点：
1、本发明提供了的神经网络搜索方法为一种自监督神经网络搜索方法，能够自监督地对超网络训练，该过程无需数据标注，首先在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器进行训练；取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；采用ActionSpace方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
2、本发明提供的一种神经网络搜索方法及系统，利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，并能得到足够多的对所有结构通用的负样本。交叉学习时正样本来自不同结构的输出，可以看做一种新型的数据增强，使超网络的训练更高效和鲁棒，本发明提供的神经网络搜索方法及系统得到的网络在图片分类、语义分割和示例分割任务上均可以达到良好的分类结果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明实施例中提供的神经网络搜索方法的一个具体示例的工作流程图；
图2为本发明实施例中提供的基于动量对比学习的方法对编码器进行训练的示意图；
图3本发明实施例中提供的神经网络搜索系统的一个具体示例的模块组成图；
图4为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种神经网络搜索方法，如图1所示，该方法包括如下步骤：
步骤S1：在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器进行训练。
在本发明实施例中，动量编码器与对应的编码器初始结构相同，在训练过程中，动量编码器参数的更新仅基于编码器的参数，通过动量对比学习对编码器进行无监督训练。具体的基于动量对比学习的方法对编码器进行训练的过程，如图2所示，使用与编码器相同的网络结构初始化动量编码器，在每一步训练迭代中，对批量的每张图片样本x进行四次随机数据增强，得到
Figure BDA0002793274940000071
作为网络输入；分别将
Figure BDA0002793274940000072
喂给编码器上随机采样的模型1和模型2，再经过共享的多层感知器得到特征向量
Figure BDA0002793274940000073
再分别将
Figure BDA0002793274940000074
喂给动量编码器上的模型1和模型2，得到
Figure BDA0002793274940000075
将
Figure BDA0002793274940000076
作为正样本对，将
Figure BDA0002793274940000077
作为另一对正样本对，分别与负样本队列计算对比损失得到两个损失
Figure BDA0002793274940000078
将两个损失相加，作为样本x的损失，对损失反向求导更新编码器，再对更新后的编码器的网络权重计算滑动平均来更新动量编码器；再对
Figure BDA0002793274940000079
求平均并更新到负样本队列中。这种利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，并能得到足够多的对所有结构通用的负样本。交叉学习时正样本来自不同结构的输出，为一种新型的数据增强，使超网络的训练更高效和鲁棒。
步骤S2：取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练。
本发明实施例，分类头部为多个分类器共享，多个分类器共享一个分类头部不仅可以减少训练时间，还可以更加公平的比较取样模型的评价指标。
步骤S3：在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标。
本发明实施例，固定训练后分类头部网络的网络权重，将所有批规范化层的滑动平均和滑动方差置零并设置为训练模式，用训练图片喂给超网络上的该取样模型，更新批规范化层的参数，再将批规范化层设置为验证模式，用验证图片喂给超网络上的该取样模型，用其在分类头部的分类预测准确率作为超网络上该模型的性能指标。
步骤S4：采用ActionSpace方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
本发明实施例采用Action Space方法采样模型，使得每个采样模型都不完全相同，通过对不同采样模型的分类准确率进行比较，将分类准确率最高的模型作为最终的模型来应用到具体的分类或分割任务中。
在本发明实施例提供的神经网络搜索方法，能够自监督地对超网络训练，无需数据标注，利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，并能得到足够多的对所有结构通用的负样本，交叉学习时正样本来自不同结构的输出，使超网络的训练更高效和鲁棒，本发明提供的神经网络搜索方法得到的网络在图片分类、语义分割和示例分割任务上均可以达到良好的分类结果。
实施例2
本发明实施例提供一种神经网络搜索系统，如图3所示，包括：
采样模型训练模块1，用于在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器和动量编码器进行训练；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
分类头部训练模块2，用于取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
采样模型性能指标获取模块3，用于在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
最终模型确定模块4，用于采用Action Space方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
本发明实施例提供的神经网络搜索系统，能够自监督地对超网络训练，无需数据标注，利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，并能得到足够多的对所有结构通用的负样本。交叉学习时正样本来自不同结构的输出，使超网络的训练更高效和鲁棒，本发明提供的神经网络搜索方法得到的网络在图片分类、语义分割和示例分割任务上均可以达到良好的分类结果。
实施例3
本发明实施例提供一种计算机设备，如图4所示，该设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图4以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)，还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的神经网络搜索方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。
一个或者多个模块存储在存储器52中，当被处理器51执行时，执行实施例1中的神经网络搜索方法。
上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种神经网络搜索方法，其特征在于，包括如下步骤：
在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器进行训练；
取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；
在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；
采用ActionSpace方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
2.根据权利要求1所述的神经网络搜索方法，其特征在于，所述基于动量对比学习的方法对编码器进行训练的过程，包括：
使用与编码器相同的网络结构初始化动量编码器，在每一步训练迭代中，对批量的每张图片样本x进行四次随机数据增强，得到
Figure FDA0002793274930000011
作为网络输入；分别将
Figure FDA0002793274930000012
喂给编码器上随机采样的模型1和模型2，再经过共享的多层感知器得到特征向量
Figure FDA0002793274930000013
再分别将
Figure FDA0002793274930000014
喂给动量编码器上的模型1和模型2，得到
Figure FDA0002793274930000015
将
Figure FDA0002793274930000016
作为正样本对，将
Figure FDA0002793274930000017
作为另一对正样本对，分别与负样本队列计算对比损失得到两个损失
Figure FDA0002793274930000021
将两个损失相加，作为样本x的损失，对损失反向求导更新编码器，再对更新后的编码器的网络权重计算滑动平均来更新动量编码器；再对
Figure FDA0002793274930000022
求平均并更新到负样本队列中。
3.根据权利要求1所述的神经网络搜索方法，其特征在于，在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标的过程，包括：
固定训练后分类头部网络的网络权重，将所有批规范化层的滑动平均和滑动方差置零并设置为训练模式，用训练图片喂给超网络上的取样模型，更新批规范化层的参数，再将批规范化层设置为验证模式，用验证图片喂给超网络上的取样模型，用其在分类头部的分类预测准确率作为超网络上该模型的性能指标。
4.根据权利要求3所述的神经网络搜索方法，其特征在于，所述分类头部为多个分类器共享。
5.根据权利要求4所述的神经网络搜索方法，其特征在于，对分类头部网络进行训练的过程，包括：
在每一步训练迭代中，将图片喂给在超网络上随机采样的模型，再经过共享的分类头部得到分类预测，计算分类预测结果与图片的真实标签的分类损失来训练分类头部。
6.一种神经网络搜索系统，其特征在于，包括：
采样模型训练模块，用于在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器和动量编码器进行训练；
分类头部训练模块，用于取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；
采样模型性能指标获取模块，用于在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；
最终模型确定模块，用于采用Action Space方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-5任一项所述的神经网络搜索方法。
8.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-5任一项所述的神经网络搜索方法。
CN202011322147.4A 2020-11-23 2020-11-23 一种神经网络搜索方法及系统 Pending CN114528990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011322147.4A CN114528990A (zh) 2020-11-23 2020-11-23 一种神经网络搜索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011322147.4A CN114528990A (zh) 2020-11-23 2020-11-23 一种神经网络搜索方法及系统

Publications (1)

Publication Number Publication Date
CN114528990A true CN114528990A (zh) 2022-05-24

Family

ID=81618999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011322147.4A Pending CN114528990A (zh) 2020-11-23 2020-11-23 一种神经网络搜索方法及系统

Country Status (1)

Country Link
CN (1) CN114528990A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972334A (zh) * 2022-07-19 2022-08-30 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN114994760A (zh) * 2022-08-08 2022-09-02 煤炭科学研究总院有限公司 基于Transformer和自监督算法的微震事件危险性分析方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972334A (zh) * 2022-07-19 2022-08-30 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN114972334B (zh) * 2022-07-19 2023-09-15 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN114994760A (zh) * 2022-08-08 2022-09-02 煤炭科学研究总院有限公司 基于Transformer和自监督算法的微震事件危险性分析方法
CN114994760B (zh) * 2022-08-08 2022-10-14 煤炭科学研究总院有限公司 基于Transformer和自监督算法的微震事件危险性分析方法

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
EP4167130A1 (en) Neural network training method and related device
CN110532417B (zh) 基于深度哈希的图像检索方法、装置及终端设备
CN112559784B (zh) 基于增量学习的图像分类方法及系统
US9754188B2 (en) Tagging personal photos with deep networks
WO2021089013A1 (zh) 空间图卷积网络的训练方法、电子设备及存储介质
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
WO2021139191A1 (zh) 数据标注的方法以及数据标注的装置
CN113222139B (zh) 神经网络训练方法和装置、设备，及计算机存储介质
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN113159283A (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN114528990A (zh) 一种神经网络搜索方法及系统
CN107563406B (zh) 一种自主学习的图像精细分类方法
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
US20220415023A1 (en) Model update method and related apparatus
WO2023051369A1 (zh) 一种神经网络的获取方法、数据处理方法以及相关设备
CN112307048B (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
KR20200063970A (ko) 신경망 재구성 방법 및 장치
WO2023125628A1 (zh) 神经网络模型优化方法、装置及计算设备
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
US20230094415A1 (en) Generating a target classifier for a target domain via source-free domain adaptation using an adaptive adversarial neural network
CN114358250A (zh) 数据处理方法、装置、计算机设备、介质及程序产品
Venkatraman et al. Learning compositional structures for deep learning: Why routing-by-agreement is necessary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination