CN112001485A - 一种组卷积数目搜索方法和装置 - Google Patents
一种组卷积数目搜索方法和装置 Download PDFInfo
- Publication number
- CN112001485A CN112001485A CN202010858667.0A CN202010858667A CN112001485A CN 112001485 A CN112001485 A CN 112001485A CN 202010858667 A CN202010858667 A CN 202010858667A CN 112001485 A CN112001485 A CN 112001485A
- Authority
- CN
- China
- Prior art keywords
- subnet
- structures
- population
- preset
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012795 verification Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及神经网络技术领域，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置，其方法包括：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，可以在不同的部署情况下，选择其合适的子网，相较人工配置而言，本方法可以有效的减少了人工配置组卷积数目的时间，同时，通过修改子网的卷积核大小，重新训练子网，就可以进一步提高子网的精度，本方法实现简单，应用广泛，且精度更高。
Description
技术领域
本发明涉及神经网络技术领域，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置。
背景技术
随着深度学习方法的发展，卷积神经网络在计算机视觉、目标检测、语义分割等领域都取得了重大突破。为获取更高的准确率，卷积神经网络所涉及的参数量变得越来越庞大，则限制其在资源有限的平台上进行部署，例如，神经网络vgg16，参数量达到1.3亿个，需要300亿个乘加操作才能对单张尺寸为224x224的图片进行分类分析，导致绝大多数的平台无法对神经网络提供合理的计算空间和存储空间。
且目前依旧采用人工将卷积神经网络配置到应用场景中，在配置组卷积参数的时候，需要进行大量的尝试，且配置结果的准确率较低，当更换应用场景后则又需要重新对其参数进行配置，另外采用人工设定的方式在面对上千层卷积网络时就更显得低效，大大降低了卷积神经网络的部署效率。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种组卷积数目搜索方法和相应的一种组卷积数目搜索装置。
为了解决上述问题，本发明实施例公开了一种组卷积数目搜索的方法，包括：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
进一步地，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
进一步地，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。
进一步地，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群；
进一步地，确定包含满足预设精度条件的多个所述子网结构的种群，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
进一步地，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
进一步地，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
还提供了一种组卷积数目搜索装置，包括：
构建模块，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
验证模块，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定模块，用于确定包含满足预设精度条件的多个所述子网结构的种群；
训练模块，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本发明实施例包括以下优点：
通过训练好一个超网，就可以在不同的部署情况下，选择其合适的子网。相较人工配置而言，本方法可以有效的减少了人工配置组卷积数目的时间，同时，通过修改子网的卷积核大小，重新训练子网，就可以进一步提高子网的精度。本方法实现简单，应用广泛，且精度更高。
附图说明
图1是本发明的一种组卷积数目搜索方法实施例的步骤流程图；
图2是本发明的一种组卷积数目搜索装置实施例的结构框图；
图3是本发明的一种组卷积数目搜索方法的计算机设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的，本实施例中的组卷积数目搜索方法中的组卷积数目指示子网结构，在本实施例中，将卷积层融合与超网结构的每层选择层中，卷积的过程中，卷积层可被分组为多种数目，多层的分组数目串联即为组卷积数目，也就是与超网结构相对应的子网结构；根据分组数目的不同，则应用本方法于实际检测中的准确度也不同，即通过本方法搜索得到的组卷积数目，以该卷积数目确定子网的配置情况并将该配置情况应用于模型中，得以提高模型精度的同时，还能提高检测事项的准确度。
本方法主要应用于计算机视觉、目标检测、语义分割等领域。
参照图1，示出了本发明的一种组卷积数目搜索方法实施例的步骤流程图，具体可以包括如下步骤：
S1，基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
S2，采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
S3，确定包含满足预设精度条件的多个所述子网结构的种群；
S4，对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
上述实施例中，在已训练好的超网结构中，通过演化学习方法，搜索满足条件多个子网，将搜索到的多个子网结构根据超网结构的权重进行训练后通过验证得到最佳子网，即得到满足条件的组卷积数目。这里所满足的条件包括对所得到最佳子网的模型达到的精度要求、参数数量要求以及检测时间要求等。
对于不同的应用平台，需要不同的模型参数，这就意味着需要通过在超网结构的搜索空间中为不同的应用平台适配相应的子网结构。而不同的子网结构的参数量是不同的，参数量越大的子网结构所占用的存储空间便越大，则会影响模型搭载在平台的参数运行的速度。
具体地，在超网结构中获取到多个子网结构以及模型参数后，将各个子网集合为一个种群，通过交叉、变异对该种群进行逐代演化，直至得到包含满足预设精度条件的多个所述子网结构的种群，其实在这一步，通过查看种群中的各个子网结构便可得到里面精度最高的最佳子网，但为了进一步搜索到精度更高的子网结构，对种群中的多个所述子网进行模型训练，而再次训练后的多个子网结构其参数得到了改变，固仍需对已训练的多个子网结构进行再次验证，以得到精度最高的子网结构。
在一实施例中，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
超网结构实则是有多个选择层构成的，将多个卷积层融入每个选择层中，而每个选择层中的卷积层可进行多种分组，进而形成多种可采样的分组数目，各个选择层中的分组数目构成超网结构的搜索空间。
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
每层的分组数目则指示着由子网结构配置的模型在实际应用的具体配置情况，由于模型所搭载的平台参数要求不一样，则需要在多个子网结构中也就是超网结构中搜索与所搭载的平台相适配的最佳子网结构。
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
超网结构主要用于构建多个子网结构和对最佳子网形成搜索空间，可以看做是所包含的所有子网结构的集合。
获取各个所述子网结构的参数，以便于后续对各个子网结构的训练以及精度验证，同时，还要获取超网空间的权重以用于后续子网结构的训练，具体的，超网权重可记为：
其中，
表示超网，
表示超网的搜索空间，
表示超网结构的权重。
在一实施例中，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。
其中，超网结构中每层中所组成的多种分组数目在构成子网机构时，能应被选择，采用伯努利采样方法分组数目在构成子网时每一分组数目被选择的概率均等；当然，本实施例并不仅限于采用此方法进行均匀选样
在一实施例中，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群.
上述技术方案中，通过对各个子网结构中的分组数目进行编码对所述子网进行标识，然后通过交叉/或变异的验证方法，同步预设的交叉数、变异数以及变异概率进行逐代演化，以上一代种群迭代至下一代种群，直至得到包含验证精度最高的最佳子网的最终种群，以种群的遗传算法配合卷积概念来找到精度最高的最佳子网。
具体地，同步超网结构的权重，种群大小P，子网结构约束C，最大迭代次数T和验证数据集Dval，设定交叉数目为n＝P/2，变异数目m＝P/2和变异概率prob＝p，找到满足条件的初始化种群P0＝Initialize(P，C)。
在一实施例中，确定包含满足预设精度条件的多个所述子网结构的种群，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
根据上述中的最大迭代次数进行下一代种群的不断迭代，使最后得到包含精度最高的子网结构的种群，具体的：
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
在一实施例中，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次训练后的多个子网结构其参数得到了改变，固仍需对已训练的多个子网结构进行再次验证，以得到精度最高的子网结构。
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
在一实施例中，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，还包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
具体地，对于搜索到的最佳子网，即满足约束条件的组卷积数目配置，可以通过小幅修改提升该子网结构的性能。目前多使用的卷积核尺寸为3*3，确定好分组数目，每个分组的卷积核数目同样不变。但是，当采用更大的卷积核时，模型增大了感受野，进而可以有效的提高模型精度。因此，对于分组数为2n的卷积层，可以考虑将各个分组采用不同的卷积核。如分为4组时，前2个为3*3，后两个为5*5。卷积核候选有3*3,5*5,7*7和9*9，可以根据具体的约束情况选择卷积核。
通过结合卷积层构建超网结构，就可以在不同的部署情况下，选择其合适的子网。而人工配置各层的组卷积数目，首先需要大量的尝试，且得到的配置结果不一定能满足应用场景。本方法实现简单，应用广泛，且精度更高。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参阅图2，本发明还提供一种组卷积数目搜索装置，包括，
构建模块100，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
验证模块200，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定模块300，用于确定包含满足预设精度条件的多个所述子网结构的种群；
训练模块400，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网.
在一实施例中，所述构建模块100，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
在一实施例中，所述验证模块200，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
在一实施例中，所述确定模块300，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
在一实施例中，所述训练模块400，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
在一实施例中，所述训练模块400，还包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
参照图3，示出了本发明的一种组卷积数目搜索方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图3中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的组卷积数目搜索方法。
也即，上述处理单元16执行上述程序时实现：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的组卷积数目搜索方法：
也即，该程序被处理器执行时实现：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种组卷积数目搜索方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种组卷积数目搜索方法，其特征在于，包括：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
2.根据权利要求1所述方法，其特征在于，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
3.根据权利要求2所述的方法，其特征在于，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。
4.根据权利要求1所述的方法，其特征在于，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
5.根据权利要求4所述的方法，其特征在于，所述确定包含满足预设精度条件的多个所述子网结构的种群，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
6.根据权利要求1所述的方法，其特征在于，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
7.根据权利要求2所述的方法，其特征在于，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，还包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
8.一种组卷积数目搜索装置，包括：
构建模块，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
验证模块，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定模块，用于确定包含满足预设精度条件的多个所述子网结构的种群；
训练模块，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的组卷积数目搜索方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的组卷积数目搜索方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858667.0A CN112001485B (zh) | 2020-08-24 | 2020-08-24 | 一种组卷积数目搜索方法和装置 |
| PCT/CN2020/121833 WO2021151311A1 (zh) | 2020-08-24 | 2020-10-19 | 一种组卷积数目搜索方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858667.0A CN112001485B (zh) | 2020-08-24 | 2020-08-24 | 一种组卷积数目搜索方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001485A true CN112001485A (zh) | 2020-11-27 |
| CN112001485B CN112001485B (zh) | 2024-04-09 |
Family
ID=73470584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010858667.0A Active CN112001485B (zh) | 2020-08-24 | 2020-08-24 | 一种组卷积数目搜索方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112001485B (zh) |
| WO (1) | WO2021151311A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115034368A (zh) * | 2022-06-10 | 2022-09-09 | 小米汽车科技有限公司 | 车载模型训练方法、装置、电子设备、存储介质及芯片 |
| WO2024065535A1 (en) * | 2022-09-29 | 2024-04-04 | Intel Corporation | Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537399A (zh) * | 2021-08-11 | 2021-10-22 | 西安电子科技大学 | 多目标进化图卷积神经网络的极化sar图像分类方法及系统 |
| CN115984638B (zh) * | 2022-12-23 | 2024-01-16 | 苏州驾驶宝智能科技有限公司 | 一种基于神经架构搜索的稀疏无序3d点云特征提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190188537A1 (en) * | 2017-12-14 | 2019-06-20 | Robert Bosch Gmbh | Effective building block design for deep convolutional neural networks using search |
| CN110490320A (zh) * | 2019-07-30 | 2019-11-22 | 西北工业大学 | 基于预测机制和遗传算法融合的深度神经网络结构优化方法 |
| CN111144486A (zh) * | 2019-12-27 | 2020-05-12 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102276339B1 (ko) * | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Ｃｎｎ의 근사화를 위한 학습 장치 및 방법 |
| CN109299142B (zh) * | 2018-11-14 | 2020-10-27 | 中山大学 | 一种基于进化算法的卷积神经网络结构搜索方法及系统 |
| CN111414990B (zh) * | 2020-02-20 | 2024-03-19 | 北京迈格威科技有限公司 | 卷积神经网络处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-24 CN CN202010858667.0A patent/CN112001485B/zh active Active
- 2020-10-19 WO PCT/CN2020/121833 patent/WO2021151311A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190188537A1 (en) * | 2017-12-14 | 2019-06-20 | Robert Bosch Gmbh | Effective building block design for deep convolutional neural networks using search |
| CN110490320A (zh) * | 2019-07-30 | 2019-11-22 | 西北工业大学 | 基于预测机制和遗传算法融合的深度神经网络结构优化方法 |
| CN111144486A (zh) * | 2019-12-27 | 2020-05-12 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115034368A (zh) * | 2022-06-10 | 2022-09-09 | 小米汽车科技有限公司 | 车载模型训练方法、装置、电子设备、存储介质及芯片 |
| CN115034368B (zh) * | 2022-06-10 | 2023-09-29 | 小米汽车科技有限公司 | 车载模型训练方法、装置、电子设备、存储介质及芯片 |
| WO2024065535A1 (en) * | 2022-09-29 | 2024-04-04 | Intel Corporation | Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021151311A1 (zh) | 2021-08-05 |
| CN112001485B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110366734B (zh) | 优化神经网络架构 | |
| CN112001485A (zh) | 一种组卷积数目搜索方法和装置 | |
| EP3467723B1 (en) | Machine learning based network model construction method and apparatus | |
| US11550871B1 (en) | Processing structured documents using convolutional neural networks | |
| CN109522435B (zh) | 一种图像检索方法及装置 | |
| US20180275967A1 (en) | Neural network for program synthesis | |
| US10984319B2 (en) | Neural architecture search | |
| US11010664B2 (en) | Augmenting neural networks with hierarchical external memory | |
| CN111414987A (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| US11494614B2 (en) | Subsampling training data during artificial neural network training | |
| CN104346629A (zh) | 一种模型参数训练方法、装置及系统 | |
| CN111709493B (zh) | 对象分类方法、训练方法、装置、设备及存储介质 | |
| CN111563192A (zh) | 实体对齐方法、装置、电子设备及存储介质 | |
| CN109145107B (zh) | 基于卷积神经网络的主题提取方法、装置、介质和设备 | |
| US20200074277A1 (en) | Fuzzy input for autoencoders | |
| CN112101484B (zh) | 基于知识巩固的增量事件识别方法、系统、装置 | |
| CN111738226B (zh) | 一种基于cnn和rcnn模型的文本识别方法及装置 | |
| CN112069412A (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
| Uzun et al. | Deep learning based classification of time series of chaotic systems over graphic images | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN113434722B (zh) | 图像分类方法、装置、设备及计算机可读存储介质 | |
| CN113312445B (zh) | 数据处理方法、模型构建方法、分类方法及计算设备 | |
| CN113869398A (zh) | 一种不平衡文本分类方法、装置、设备及存储介质 | |
| CN112071331A (zh) | 语音文件修复方法、装置、计算机设备及存储介质 | |
| CN112825121A (zh) | 深度卷积神经网络初始化和训练方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |