CN110807480A - 一种卷积神经网络中的卷积核存储方法及装置 - Google Patents

一种卷积神经网络中的卷积核存储方法及装置 Download PDF

Info

Publication number
CN110807480A
CN110807480A CN201911023889.4A CN201911023889A CN110807480A CN 110807480 A CN110807480 A CN 110807480A CN 201911023889 A CN201911023889 A CN 201911023889A CN 110807480 A CN110807480 A CN 110807480A
Authority
CN
China
Prior art keywords
convolution kernel
convolution
storage space
kernel
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911023889.4A
Other languages
English (en)
Inventor
朱喻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Side Medical Technology Co Ltd
Original Assignee
Guangzhou Side Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Side Medical Technology Co Ltd filed Critical Guangzhou Side Medical Technology Co Ltd
Priority to CN201911023889.4A priority Critical patent/CN110807480A/zh
Publication of CN110807480A publication Critical patent/CN110807480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)

Abstract

本发明实施例提供一种卷积神经网络中的卷积核存储方法及装置，所述方法包括：在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；存储新增目标卷积核至所述开放卷积核存储空间；存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。所述装置执行上述方法。本发明实施例提供的卷积神经网络中的卷积核存储方法及装置，通过核空间划分出的锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间，对卷积核进行分类存储，实现了卷积核的记忆迁移，从而减少了训练卷积神经网络过程中的计算量，提高了训练收敛速度。

Description

一种卷积神经网络中的卷积核存储方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种卷积神经网络中的卷积核存储方法及装置。
背景技术
构建大规模标签集对于图像分类的监督学习任务来说，是极为关键的、也极具挑战性。
另一方面，卷积神经网络广泛应用于医疗检测行业，例如，对胶囊内窥镜图像进行分类。卷积神经网络在使用之前需要进行训练，然而，训练算法在计算上非常昂贵，一次训练可消耗数百甚至数千个GPU小时。卷积神经网络包含有数量庞大的卷积核，在实施本发明实施例的过程中，发明人发现，只有很少一部分卷积核对识别结果的贡献较大，如何利用这部分卷积核改进卷积神经网络的训练过程，因此，亟需一种卷积神经网络中的卷积核存储方法，以解决上述技术问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种卷积神经网络中的卷积核存储方法及装置。
本发明实施例提供一种卷积神经网络中的卷积核存储方法，包括：
在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
存储新增目标卷积核至所述开放卷积核存储空间；
存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
其中，所述锁定卷积核存储空间的确定，包括：
确定除所述全部目标卷积核以外的卷积核剩余存储空间；
按照预设比例将所述卷积核剩余存储空间划分为与所述锁定卷积核存储空间相对应的一部分存储空间；
将所述一部分存储空间与所述全部目标卷积核对应的存储空间之和作为所述锁定卷积核存储空间。
其中，所述存储新卷积核至所述新卷积核存储空间之后，所述卷积神经网络中的卷积核存储方法还包括：
输入所述新卷积核至所述卷积神经网络的分类器，并将所述分类器针对所述新卷积核的输出结果作为新特征分类类别；其中，所述分类器可识别未知分类类别；
根据所述新特征分类类别标注对应的样本数据，并训练所述卷积神经网络，并利用Kernel Retrace方法得到更新目标卷积核；
对锁定卷积核存储空间中的更新锁定卷积核进行锁定；所述更新锁定卷积核至少包含全部更新目标卷积核。
其中，预先构建预存储所述新卷积核的卷积核库，并根据所述新特征分类类别对应的新卷积核，更新所述卷积核库；相应的，在更新所述卷积核库之后，所述卷积神经网络中的卷积核存储方法还包括：
释放所述新卷积核存储空间中的、与所述新卷积核相对应的存储空间。
其中，所述卷积神经网络中的卷积核存储方法还包括：
在确定所述新增目标卷积核是否为新卷积核之后，释放所述开放卷积核存储空间中的、与所述新增目标卷积核相对应的存储空间。
其中，所述对锁定卷积核存储空间中的锁定卷积核进行锁定，包括：
对所述锁定卷积核增加干扰，并对增加干扰的锁定卷积核进行锁定。
本发明实施例提供一种卷积神经网络中的卷积核存储装置，包括：
锁定单元，用于在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
第一存储单元，用于存储新增目标卷积核至所述开放卷积核存储空间；
第二存储单元，用于存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述计算机程序时实现如下方法步骤：
在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
存储新增目标卷积核至所述开放卷积核存储空间；
存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
存储新增目标卷积核至所述开放卷积核存储空间；
存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本发明实施例提供的卷积神经网络中的卷积核存储方法及装置，通过核空间划分出的锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间，对卷积核进行分类存储，实现了卷积核的记忆迁移，从而减少了训练卷积神经网络过程中的计算量，提高了训练收敛速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明卷积神经网络中的卷积核存储方法实施例流程图；
图2为本发明卷积神经网络中的卷积核存储方法另一实施例流程图；
图3为本发明卷积神经网络中的卷积核存储装置实施例结构示意图；
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明卷积神经网络中的卷积核存储方法实施例流程图，如图1所示，本发明实施例提供的一种卷积神经网络中的卷积核存储方法，包括以下步骤：
S101：在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核。
具体的，在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核。执行该方法步骤的可以是计算机设备。图2为本发明卷积神经网络中的卷积核存储方法另一实施例流程图，如图2所示，椭圆形的步骤节点为对应预训练过程的节点，方形的步骤节点为对应训练过程的节点，Pre-training对应预训练样本数据、TrainingBatches对应训练样本数据，可以理解的是，相比于预训练样本数据，训练样本数据的数量较大。inceptionV3对应一种具体的原始卷积神经网络，Kernel Retrace即是核回溯，即回溯有效卷积核，其中，有效卷积核即上述目标卷积核，进一步地，可以为目标卷积核增加干扰，从而增强目标卷积核的泛化能力。预设值的具体数值可以根据实际情况自主设置，Kernel Retrace方法为本领域成熟技术，具体实现方式不再赘述。Slimmed inceptionV3对应瘦身卷积神经网络。可以根据预训练样本数据和原始卷积神经网络，确定瘦身卷积神经网络，预训练样本数据可以是经由人工挑选的、特征明显、代表性强的样本数据。本发明实施例中的卷积神经网络可以是原始卷积神经网络，也可以是瘦身卷积神经网络，瘦身卷积神经网络可以是保留全部目标卷积核、且保留可存储新卷积核的存储空间的卷积神经网络。
如图2所示，本发明实施例的核空间对应图2的Kernel Space，Kernel Space可以是卷积神经网络中的存储空间，Kernel Space可以包括Locked，对应锁定卷积核存储空间；Open对应开放卷积核存储空间、Novel对应新卷积核存储空间。具体说明如下：
对于锁定卷积核：可以对所述锁定卷积核增加干扰，并对增加干扰的锁定卷积核进行锁定。即锁定卷积核保持了稳定学习特性的记忆，即可以通过上一次训练任务、并利用Kernel Retrace方法获取的，同时，增加干扰的锁定卷积核增强了泛化能力。锁定卷积核可以导致新训练任务的快速收敛，锁定卷积核的数量越多，收敛的速度越快。
S102：存储新增目标卷积核至所述开放卷积核存储空间。
具体的，存储新增目标卷积核至所述开放卷积核存储空间。对于开放卷积核存储空间中的开放卷积核(即新增目标卷积核)：当初始化新的训练任务时，开放卷积核具有随机参数(可以从ImageNet等其他域转移)。在整个训练过程中，不会对开放卷积核产生任何影响，目的是为了找到新增目标卷积核(即待确定新卷积核)并保存在开放卷积核存储空间中。开放卷积核将导致新训练任务中的迭代次数增加，开放卷积核的数量越多，收敛的速度越慢。
S103：存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
具体的，存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核，对于新卷积核存储空间中的新卷积核：即新卷积核存储空间用于保存映射到新特征的新卷积核。开放卷积核被确定为具有新特征，它将被迁移至新卷积核存储空间，可以进一步在新卷积核存储空间中进行锁定，以供分类器进行分类。
本发明实施例提供的卷积神经网络中的卷积核存储方法，通过核空间划分出的锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间，对卷积核进行分类存储，实现了卷积核的记忆迁移，从而减少了训练卷积神经网络过程中的计算量，提高了训练收敛速度。
在上述实施例的基础上，所述锁定卷积核存储空间的确定，包括：
具体的，确定除所述全部目标卷积核以外的卷积核剩余存储空间；按照预设比例将所述卷积核剩余存储空间划分为与所述锁定卷积核存储空间相对应的一部分存储空间；将所述一部分存储空间与所述全部目标卷积核对应的存储空间之和作为所述锁定卷积核存储空间。预设比例可以根据实际情况自主设置，举例说明如下：卷积核剩余存储空间为10G，预设比例为60％，则上述一部分存储空间为6G，如果全部目标卷积核对应的存储空间为2G，则锁定卷积核存储空间为8G。可以理解的是，可以通过预设比例调整锁定卷积核存储空间在核空间的占比，进而可以自主、灵活地控制训练卷积神经网络的收敛速度。
本发明实施例提供的卷积神经网络中的卷积核存储方法，通过从卷积核剩余存储空间中划分出与锁定卷积核存储空间相对应的一部分存储空间，进而确定锁定卷积核存储空间，能够灵活控制锁定卷积核存储空间的大小，进而灵活控制训练收敛速度。
在上述实施例的基础上，所述存储新卷积核至所述新卷积核存储空间之后，所述卷积神经网络中的卷积核存储方法还包括：
具体的，输入所述新卷积核至所述卷积神经网络的分类器，并将所述分类器针对所述新卷积核的输出结果作为新特征分类类别；其中，所述分类器可识别未知分类类别。参照图2，Classifier对应分类器，需要说明的是，该分类器不同于softmax等仅可识别已知分类类别的分类器，可识别未知分类类别，例如，可以具体为openmax。需要说明的是，该分类器还可以识别已知分类类别，对应图2中的Know Category，新特征分类类别对应UnknowCategory。
具体的，根据所述新特征分类类别标注对应的样本数据，并训练所述卷积神经网络，并利用Kernel Retrace方法得到更新目标卷积核。需要说明的是，本发明实施例识别出的新特征分类类别可以用于区分已有分类类别，进一步可以针对该新特征分类类别进行标注训练样本数据等，以训练卷积神经网络，并可以再次利用Kernel Retrace方法得到更新目标卷积核。
具体的，对锁定卷积核存储空间中的更新锁定卷积核进行锁定；所述更新锁定卷积核至少包含全部更新目标卷积核。可以理解的是，通过不断更新锁定卷积核，实现了不断对卷积核进行记忆迁移。
本发明实施例提供的卷积神经网络中的卷积核存储方法，通过更新目标卷积核，保证了卷积核的记忆迁移的实时性，从而进一步减少了训练卷积神经网络过程中的计算量，提高了训练收敛速度。
在上述实施例的基础上，预先构建预存储所述新卷积核的卷积核库，并根据所述新特征分类类别对应的新卷积核，更新所述卷积核库；相应的，在更新所述卷积核库之后，所述卷积神经网络中的卷积核存储方法还包括：
具体的，释放所述新卷积核存储空间中的、与所述新卷积核相对应的存储空间。参照图2，卷积核库对应Kernel Lib，需要初始化卷积核库，即可以将首次利用所述KernelRetrace方法得到的所有目标卷积核作为初始化的卷积核库，此后，在卷积神经网络的循环迭代过程中，可以不断更新所述卷积核库。例如每当检测到一个新特征分类类别对应的一个新卷积核，就在原卷积核库的基础上增加该新卷积核，相应的，释放新卷积核存储空间Novel中的与该新卷积核相对应的存储空间。进一步地，卷积核库还可以包括卷积核和特征分类类别之间的对应关系。
本发明实施例提供的卷积神经网络中的卷积核存储方法，能够即时节约存储空间。
在上述实施例的基础上，所述卷积神经网络中的卷积核存储方法还包括：
具体的，在确定所述新增目标卷积核是否为新卷积核之后，释放所述开放卷积核存储空间中的、与所述新增目标卷积核相对应的存储空间。参照图2，无论新增目标卷积核是否为新卷积核，都释放所述开放卷积核存储空间Open中的、与该新增目标卷积核相对应的存储空间。
本发明实施例提供的卷积神经网络中的卷积核存储方法，能够即时节约存储空间。
在上述实施例的基础上，所述对锁定卷积核存储空间中的锁定卷积核进行锁定，包括：
具体的，对所述锁定卷积核增加干扰，并对增加干扰的锁定卷积核进行锁定。可参照上述说明，不再赘述。
本发明实施例提供的卷积神经网络中的卷积核存储方法，能够增加锁定卷积核的泛化能力，提高卷积神经网络的识别准确度。
图3为本发明卷积神经网络中的卷积核存储装置实施例结构示意图，如图3所示，本发明实施例提供了一种卷积神经网络中的卷积核存储装置，包括锁定单元301、第一存储单元302和第二存储单元303，其中：
锁定单元301用于在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；第一存储单元302用于存储新增目标卷积核至所述开放卷积核存储空间；第二存储单元303用于存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
具体的，锁定单元301用于在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；第一存储单元302用于存储新增目标卷积核至所述开放卷积核存储空间；第二存储单元303用于存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本发明实施例提供的卷积神经网络中的卷积核存储装置，通过核空间划分出的锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间，对卷积核进行分类存储，实现了卷积核的记忆迁移，从而减少了训练卷积神经网络过程中的计算量，提高了训练收敛速度。
本发明实施例提供的卷积神经网络中的卷积核存储装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图4为本发明实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备包括：处理器(processor)401、存储器(memory)402和总线403；
其中，所述处理器401、存储器402通过总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；存储新增目标卷积核至所述开放卷积核存储空间；存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；存储新增目标卷积核至所述开放卷积核存储空间；存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；存储新增目标卷积核至所述开放卷积核存储空间；存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种卷积神经网络中的卷积核存储方法，其特征在于，包括：
在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
存储新增目标卷积核至所述开放卷积核存储空间；
存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
2.根据权利要求1所述的卷积神经网络中的卷积核存储方法，其特征在于，所述锁定卷积核存储空间的确定，包括：
确定除所述全部目标卷积核以外的卷积核剩余存储空间；
按照预设比例将所述卷积核剩余存储空间划分为与所述锁定卷积核存储空间相对应的一部分存储空间；
将所述一部分存储空间与所述全部目标卷积核对应的存储空间之和作为所述锁定卷积核存储空间。
3.根据权利要求1或2所述的卷积神经网络中的卷积核存储方法，其特征在于，所述存储新卷积核至所述新卷积核存储空间之后，所述卷积神经网络中的卷积核存储方法还包括：
输入所述新卷积核至所述卷积神经网络的分类器，并将所述分类器针对所述新卷积核的输出结果作为新特征分类类别；其中，所述分类器可识别未知分类类别；
根据所述新特征分类类别标注对应的样本数据，并训练所述卷积神经网络，并利用Kernel Retrace方法得到更新目标卷积核；
对锁定卷积核存储空间中的更新锁定卷积核进行锁定；所述更新锁定卷积核至少包含全部更新目标卷积核。
4.根据权利要求3所述的卷积神经网络中的卷积核存储方法，其特征在于，预先构建预存储所述新卷积核的卷积核库，并根据所述新特征分类类别对应的新卷积核，更新所述卷积核库；相应的，在更新所述卷积核库之后，所述卷积神经网络中的卷积核存储方法还包括：
释放所述新卷积核存储空间中的、与所述新卷积核相对应的存储空间。
5.根据权利要求3所述的卷积神经网络中的卷积核存储方法，其特征在于，所述卷积神经网络中的卷积核存储方法还包括：
在确定所述新增目标卷积核是否为新卷积核之后，释放所述开放卷积核存储空间中的、与所述新增目标卷积核相对应的存储空间。
6.根据权利要求1所述的卷积神经网络中的卷积核存储方法，其特征在于，所述对锁定卷积核存储空间中的锁定卷积核进行锁定，包括：
对所述锁定卷积核增加干扰，并对增加干扰的锁定卷积核进行锁定。
7.一种卷积神经网络中的卷积核存储装置，其特征在于，包括：
锁定单元，用于在训练预设有核空间的卷积神经网络过程中，对锁定卷积核存储空间中的锁定卷积核进行锁定，以使其无法参与训练过程中的参数更新；其中，所述核空间包含所述锁定卷积核存储空间、开放卷积核存储空间和新卷积核存储空间、所述锁定卷积核至少包含全部目标卷积核，所述目标卷积核是利用Kernel Retrace方法得到的、权重值大于预设值的卷积核；
第一存储单元，用于存储新增目标卷积核至所述开放卷积核存储空间；
第二存储单元，用于存储新卷积核至所述新卷积核存储空间；其中，所述新卷积核是具有新特征的新增目标卷积核。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201911023889.4A 2019-10-25 2019-10-25 一种卷积神经网络中的卷积核存储方法及装置 Pending CN110807480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023889.4A CN110807480A (zh) 2019-10-25 2019-10-25 一种卷积神经网络中的卷积核存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023889.4A CN110807480A (zh) 2019-10-25 2019-10-25 一种卷积神经网络中的卷积核存储方法及装置

Publications (1)

Publication Number Publication Date
CN110807480A true CN110807480A (zh) 2020-02-18

Family

ID=69489148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023889.4A Pending CN110807480A (zh) 2019-10-25 2019-10-25 一种卷积神经网络中的卷积核存储方法及装置

Country Status (1)

Country Link
CN (1) CN110807480A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239814A (zh) * 2022-02-25 2022-03-25 杭州研极微电子有限公司 用于图像处理的卷积神经网络模型的训练方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239814A (zh) * 2022-02-25 2022-03-25 杭州研极微电子有限公司 用于图像处理的卷积神经网络模型的训练方法

Similar Documents

Publication Publication Date Title
US10810492B2 (en) Memory side acceleration for deep learning parameter updates
CN107220618B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
WO2021155706A1 (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
EP3620990A1 (en) Capturing network dynamics using dynamic graph representation learning
CN112153002B (zh) 告警信息分析方法、装置、计算机设备和存储介质
EP3620982B1 (en) Sample processing method and device
US11568212B2 (en) Techniques for understanding how trained neural networks operate
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN110490304A (zh) 一种数据处理方法及设备
CN113836804B (zh) 基于卷积神经网络的动物识别模型建立方法及其应用系统
CN116166812A (zh) 知识图谱补全方法、装置、电子设备和存储介质
CN109919043B (zh) 一种行人跟踪方法、装置及设备
US10643092B2 (en) Segmenting irregular shapes in images using deep region growing with an image pyramid
CN110807480A (zh) 一种卷积神经网络中的卷积核存储方法及装置
KR20200038072A (ko) 엔트로피 기반 신경망(Neural Networks) 부분학습 방법 및 시스템
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
WO2024027068A1 (zh) 评估目标检测模型鲁棒性的攻击方法和装置
CN115330579B (zh) 模型水印的构建方法、装置、设备及存储介质
CN116090522A (zh) 一种基于因果反馈的缺失数据集因果关系发现方法及系统
CN116052288A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN111898465B (zh) 一种人脸识别模型的获取方法和装置
CN115346072A (zh) 图像分类模型的训练方法及装置、电子设备和存储介质
CN115661847B (zh) 表格结构识别及模型训练方法、装置、设备和存储介质
CN114928477B (zh) 一种网络入侵检测方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200218