CN110197258B - 神经网络搜索方法、图像处理方法及装置、设备和介质 - Google Patents
神经网络搜索方法、图像处理方法及装置、设备和介质 Download PDFInfo
- Publication number
- CN110197258B CN110197258B CN201910457280.1A CN201910457280A CN110197258B CN 110197258 B CN110197258 B CN 110197258B CN 201910457280 A CN201910457280 A CN 201910457280A CN 110197258 B CN110197258 B CN 110197258B
- Authority
- CN
- China
- Prior art keywords
- selectable
- candidate
- convolution
- network
- convolution operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 132
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000005070 sampling Methods 0.000 claims abstract description 81
- 238000001914 filtration Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种神经网络搜索方法、图像处理方法及装置、设备和介质，其中，对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合；基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合；基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数。
Description
技术领域
本申请实施例涉及机器学习领域，涉及但不限于神经网络搜索方法、图像处理方法及装置、设备和介质。
背景技术
卷积神经网络的设计是所有深度学习相关方法的基础工作。好的神经网络结构可以提高深度学习任务的效果。在一些网络结构搜索方法中，预先定义几种候选的块结构，每层网络只能在预定义的这几种块结构中进行选择，得到的神经网络性能有待进一步提高。
发明内容
本申请实施例提供一种神经网络搜索方案和图像处理方案。
本申请实施例提供一种神经网络搜索方法，所述方法包括：
对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，其中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数；基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合，其中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，其中，所述多个网络单元包括所述第一网络单元。
在本申请实施例中，所述对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，包括：根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
在本申请实施例中，所述对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，包括：对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合；其中，所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；其中，所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。
在本申请实施例中，所述基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合，包括：基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合；基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，所述基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合，包括：确定所述至少两个候选通道数对应的至少两个可选卷积操作；基于所述至少两个可选卷积操作，确定多个可选卷积操作组合，其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。
在本申请实施例中，所述基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合，包括：将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，在所述基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合之后，所述方法还包括：利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果；对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果；基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
在本申请实施例中，其中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。
在本申请实施例中，所述网络参数包括下列中的至少一个：所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；所述至少两个候选通道数的结构参数。
在本申请实施例中，所述基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，包括：基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失；基于所述第一损失，调整所述多个可选通道数的结构参数；还包括：基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失；基于所述第二损失，调整所述多个可选卷积操作的权重。
本申请实施例提供一种图像处理方法，所述方法包括：获取待处理图像；将所述待处理图像输入神经网络中，得到处理结果，其中，所述神经网络为基于上述神经网络搜索方法得到的。
本申请实施例提供一种神经网络搜索装置，所述装置包括：第一采样模块，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，其中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数；第二采样模块，用于基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合，其中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；第一调整模块，用于基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，其中，所述多个网络单元包括所述第一网络单元。
在本申请实施例中，所述第一采样模块，包括：第一采样子模块，用于根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
在本申请实施例中，所述第一采样模块，包括：第二采样子模块，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；第三采样子模块，用于响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合；其中，所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；其中，所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。
在本申请实施例中，所述第二采样模块，包括：第一确定子模块，用于基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合；第四采样子模块，用于基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，所述第一确定子模块，包括：第一确定单元，用于确定所述至少两个候选通道数对应的至少两个可选卷积操作；第二确定单元，用于基于所述至少两个可选卷积操作，确定多个可选卷积操作组合，其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。
在本申请实施例中，所述第四采样子模块，包括：第三确定单元，用于将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，所述装置还包括：第一处理模块，用于利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果；第一过滤模块，用于对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果；第一确定模块，用于基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
在本申请实施例中，其中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。
在本申请实施例中，所述网络参数包括下列中的至少一个：所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；所述至少两个候选通道数的结构参数。
在本申请实施例中，所述第一调整模块，包括：第一确定子模块，用于基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失；第一调整子模块，用于基于所述第一损失，调整所述多个可选通道数的结构参数；还包括：第一迭代子模块，用于基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失；第二调整子模块，用于基于所述第二损失，调整所述多个可选卷积操作的权重。
本申请实施例提供一种图像处理装置，所述装置包括：第一获取模块，用于获取待处理图像；第一输入模块，用于将所述待处理图像输入神经网络中，得到处理结果，其中，所述神经网络为基于上所述的神经网络搜索装置得到的。
对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述所述的任意方法。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述所述的任意方法。
本申请实施例提供的神经网络搜索方案，对于神经网络的某个网络单元，对多个可选卷积操作对应的多个可选通道数进行采样，得到网络单元的候选通道数集合，并基于上述候选通道数集合包括的候选通道数，对所述多个可选卷积操作进行采样，得到网络单元的候选卷积操作集合，这样可以得到神经网络的多个网络单元中每个网络单元的候选卷积操作集合，并基于具有当前结构的神经网络对输入的样本图像进行处理得到的处理结果，调整网络参数，能够提高神经网络的网络结构自由度，有利于提升搜索出的神经网络的性能。
附图说明
图1为本申请实施例神经网络搜索方法的流程示意图；
图2A为本申请实施例神经网络搜索方法的另一流程示意图；
图2B为本申请实施例图像处理方法的流程示意图；
图3A为其他神经网络搜索方法的示例图；
图3B为本申请实施例神经网络搜索方法的示例图；
图4为本申请实施例的可选卷积操作的示例图；
图5为本申请实施例神经网络搜索方法的另一流程示意图；
图6为本申请实施例的神经网络搜索装置的结构示意图；
图7为本申请实施例的图像处理装置的结构示意图；
图8为本申请实施例电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本申请实施例提出一种基于梯度的神经网络搜索方案，对网络整体结构和单元内部实现进行同时优化，并利用多分支搜索空间对网络进行逐层搜索。
本公开实施例提供的技术方案主要应用于卷积神经网络的搜索，但也可以应用于其他类型的神经网络的搜索，本公开实施例对此不做限定。
该方法应用于计算机设备，在一些实施例中，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。
本申请实施例提供一种神经网络搜索方法，下面结合图1进行详细描述。
步骤S101，对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合。
在一些可能的实现方式中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。神经网络可以分为多个单元(cell)，比如，输入单元、多个网络单元和输出单元；对于每一网络单元，确定该网络单元中包含的多个卷积操作，得到卷积操作集合。在本申请实施例中，每一卷积操作均包含三个部分，如图4所示，每一卷积操作包括：用于通道数转换的第一步的1×1卷积和最后一步的1×1卷积，中间部分的卷积随着卷积核和通道数的不同而不同；比如，卷积操作403的卷积过程为：首先进行第一步的1×1卷积，然后进行第二步的3×3卷积，最后进行1×1卷积，以完成该卷积操作403。
在一个具体例子中，该网络单元中包含7种类型的可选卷积操作，卷积操作集合就包括这7种类型的卷积操作；每一可选卷积操作均可以选择不同的通道数；如图5所示，卷积操作OP1501可以选择三种不同大小的通道数，通道数的结构参数分别为a1、a2或a3；对于卷积操作集合中的每一卷积操作，确定该卷积操作中通道数的结构参数。比如，在图5中，针对OP1501选择结构参数a1对应的通道数为候选通道数，针对OP2502选择结构参数a6对应的通道数为候选通道数，针对OPx503选择结构参数al-1对应的通道数为候选通道数，以此得到候选通道数集合。
步骤S102，基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合。
在一些可能的实现方式中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；在步骤S101中确定候选通道数之后，对该至少两个候选通道数对应的至少两个卷积操作，确定该至少两个卷积操作的联合伯努利概率，然后基于该联合概率和候选通道数的结构参数的大小进行多次采样，得到至少两个候选卷积操作集合；比如，进行两次采样，得到两个候选卷积操作集合。
在以上实施例中，通过采样得到第一网络单元的至少两个候选卷积操作集合。在一些实施例中，也可以通过采样得到第一网络单元的一个候选卷积操作集合，并基于这一个候选卷积操作集合对第一网络单元的输入信息进行处理，得到输出信息，其中，神经网络的输出结果是基于第一网络单元的输出结果得到的，但本公开实施例对此不做限定。
步骤S103，基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数。
可选地，可以通过类似的方式选择神经网络的多个网络单元的候选卷积操作集合，得到多个网络单元中每个网络单元的当前候选结构，从而可以得到神经网络的当前候选结构，并利用具有当前候选结构的神经网络对输入的样本图像进行处理，得到图像处理结果。
在一些可能的实现方式中，所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；所述至少两个候选通道数的结构参数；根据输出结果和样本的标注信息，确定该输出结果对应的损失，反馈到神经网络的每一层中，来调整该网络参数，这样类似地进行循环迭代，直到某一次迭代中神经网络的输出结果对应的损失满足迭代截止条件。比如，采用神经网络进行图像处理(比如，人脸识别)，对于该神经网络中的每一层的网络单元确定不同的卷积操作类型，这样，使得一定资源限制下搜索出的网络性能得到极大提升；从而不仅能够加快图像处理的速度，还可以有效的保证图像处理的正确率。
在本申请实施例中，对于神经网络的每一层，首先，基于结构参数为每一卷积操作选择合适的通道数，然后对多个卷积操作进行采样，最后将更适合该神经网络的卷积操作组合作为该神经网络的候选卷积操作集合，从而使得一定资源限制下搜索出的网络性能得到极大提升。
图2A为本申请实施例神经网络搜索方法的另一流程示意图。
步骤S201，根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
在一些可能的实现方式中，将最大的结构参数对应的通道数，作为候选通道数；如此，得到每一卷积操作的候选通道数。将结构参数集合中最大的结构参数作为候选结构参数；结构参数越大，说明该结构参数对应的通道数越适合该卷积操作。比如，如图5所示，卷积操作OP1501包含的通道数的结构参数分别为a1、a2和a3；卷积操作OP2502包含的通道数的结构参数分别为a4、a5和a6；卷积操作OPx503包含的通道数的结构参数分别为al-2、al-1和al。在一个具体例子中，假设OP1501的通道数对应的结构参数a1、a2和a3的数值分别为0.6、0.3和0.1；卷积操作OP2502包含的通道数的结构参数a4、a5和a6分别为0.3、0.2和0.5；卷积操作OPx503包含的通道数的结构参数al-2、al-1和al分别为0.3、0.5和0.2；那么OP1501的候选通道数为a1对应的通道数；OP2502的候选通道数为a6对应的通道数；OPx503的候选通道数为al-1对应的通道数。设定该神经网络包括输入单元、输出单元和多个网络单元，其中，第一网络单元为该多个网络单元中的任一个；所述输入单元用于输入样本的特征信息；所述输出单元用于输出所述网络单元的输出结果；所述网络单元包括：无降采样单元(Normal Cell，Ncell)和有降采样单元(Reduction Cell，Rcell)，对于无降采样单元的个数由用户自行设定；而有降采样单元由于需要对输入单元输入的样本进行降采样，然后将降采样结果从输出单元输出，所以需要根据输入单元和输出单元的卷积操作的类型对有降采样单元进行通道数变换，以使最后一个有降采样单元的输出结果的卷积操作的类型与输出单元的卷积操作的类型一致。比如，如图5所示，在本申请实施例中设定神经网络包括：输入单元51、5个无降采样单元52、4个有降采样单元53和输出单元54。这样，将神经网络分为多个单元，还可以称为是对神经网络构建多分支搜索空间，每一个单元可以认为是一个分支。每一个网络单元，均可以采用多种卷积操作，如图5所示，无降采样单元52可以采用的卷积操作有：OP1501、OP2502、···和OPx503。
步骤S202，基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合。
在一些可能的实现方式中，首先，确定所述至少两个候选通道数对应的至少两个可选卷积操作；比如，如图5所示，确定卷积操作：OP1501、OP2502、···和OPx503中至少包含两个卷积操作的组合。然后，基于所述至少两个可选卷积操作，确定多个可选卷积操作组合；其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。比如，有三个卷积操作分别为OP1、OP2和OP3，至少包含两个卷积操作的组合有：(OP1，OP2)、(OP1，OP3)、(OP2，OP3)和(OP1，OP2，OP3)。每一个候选通道数对应一个卷积操作，基于任意至少两个候选通道数，得到该候选通道数对应的卷积操作的组合；然后确定该卷积操作组合的联合概率。
步骤S203，基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合。
在一些可能的实现方式中，将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。确定可选卷积操作组合的联合概率可以是，首先得到每一可选卷积操作被选中为候选卷积操作的单一概率
然后，基于每一卷积操作的单一概率为pi，即可得到卷积操作组合的联合概率，该联合概率即为该单一概率的联合伯努利概率。在一个具体的例子中，K维伯努利随机变量的联合概率如公式(6)所示。
上述步骤S202和步骤S203给出了一种实现“基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合”的方式，在该方式中基于每一可选卷积操作的单一概率，确定可选卷积操作集合的联合伯努利概率，最后将联合伯努利概率较大的作为候选卷积操作集合；如此，通过独立伯努利概率，逐层采样并优化结构参数的数值，用很少的参数就可以完成对所有卷积操作的组合。
步骤S204，利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果。
在一些可能的实现方式中，采用每一候选卷积操作对第一网络单元中的输入信息进行卷积操作，得到处理结果。
步骤S205，对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果。
在一些可能的实现方式中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。所述第一候选卷积操作集合可以认为是，采用可选卷积操作组合的联合概率进行第一次采样得到的卷积操作集合，这样保证了第一卷积操作集合是联合概率最大的集合，说明该第一卷积操作集合最适合该神经网络；所述第二候选卷积操作集合可以认为是，采用可选卷积操作组合的联合概率进行第二次采样得到的卷积操作集合。对于第一候选卷积操作集合采用采用门函数(gate)的值(gate为1)，对处理结果进行过滤，得到的过滤结果仍然为处理结果；对于第二候选卷积操作集合采用采用门函数的值(gate为0)，对处理结果进行过滤，得到的过滤结果为0。而且对于每一候选卷积操作集合中的每一候选卷积操作，也是对应不同的门函数值，比如，候选卷积操作集合包括OP1、OP2、OP4和OP7，其中，OP1的门函数为0，OP2的门函数为1、OP4的门函数为0和OP7的门函数为1等；那么该候选卷积操作集合实际上包含的卷积操作为OP2和OP7，即采用该候选卷积操作集合对第一网络的输入信息进行处理，其实是采用OP2和OP7对输入信息进行处理。
步骤S206，基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
在一些可能的实现方式中，所述输出结果为第一候选卷积操作集合的处理结果。
步骤S207，基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失。
在一些可能的实现方式中，基于该图像处理结果和该图像的标签信息，确定第一损失。
步骤S208，基于所述第一损失，调整所述多个可选通道数的结构参数。
在一些可能的实现方式中，第一损失反馈给神经网络的每一层，以调整多个可选通道数的结构参数。
上述步骤S201至步骤S208完成了对于通道数的结构参数的调整，使得最终的结构参数能够更加准确的表明每一通道数的重要程度，从而更加准确的选择每一卷积操作所需要的通道数。
步骤S209，基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失。
在一些可能的实现方式中，首先，基于输出结果对应的损失，对结构参数进行调整之后，基于调整后的结构参数，重新确定候选通道数集合；重新确定的候选通道数集合与未调整之前的候选通道数集合可能相同或不同；比如，如图5所示，未调整之前OP1501的通道数对应的结构参数a1、a2和a3的数值分别为0.6、0.3和0.1，调整之后a1、a2和a3的数值分别为0.65、0.25和0.1，那么重新确定的OP1501的候选通道数仍然为结构参数a1对应的通道数。然后，至少两个候选通道数，对所述多个可选卷积操作进行采样，得到更新的候选卷积操作集合。最后，根据所述更新的候选卷积操作处理后的多个网络单元的输出结果，确定第二损失。
步骤S210，基于所述第二损失，调整所述多个可选卷积操作的权重。
在一些可能的实现方式中，将第二损失反馈给神经网络的每一层，以调整卷积操作的权重，从而使得调整后的神经网络输出的输出结果对应的损失满足收敛条件。
步骤S209和步骤S210完成了对于卷积操作的权重的调整，使得最终的卷积操作的权重能够更加准确的表明每一卷积操作被选中的概率，从而更加准确为每一层选择合适的卷积操作类型，进而提升神经网络的搜索速度和精度。
在本申请实施例中，首先，基于通道数的结构参数，确定候选通道数集合和候选卷积操作集合，利用候选卷积操作处理后的神经网络的输出结果对应的损失，对通道数的结构参数的调整，使得最终的结构参数能够更加准确的表明每一通道数的重要程度；然后，基于调整后结构参数，重新确定候选通道数集合和候选卷积操作集合，以此来更新每一卷积操作的权重，从而在进行神经网络整体优化、每层独立优化的同时，也可以搜索每层单元内部的结构组成，达到在有限资源下最大化神经网络性能的效果。例如，采用该神经网络进行目标检测任务，用户只需要提供数据，提供网络输入输出处理层和包含了资源限制的损失函数，本申请实施例就可以为该任务搜索出网络内部的合理结构(分支组合、每个操作通道数和网络深度)，由于本申请实施例可以有效探索更大的搜索空间，所以在有限资源下可以达到更高的精度。
在其他实施例中，所述步骤S201，可以通过以下过程实现：对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；
第一步，对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数。
在一些可能的实现方式中，对所有可选通道数对应的结构参数按照从大到小进行排序，将每一个卷积操作对应的多个可选通道数中，结构参数最大的通道数，确定为候选通道数。
第二步，响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合。
在一些可能的实现方式中，最大分支可以理解为针对每一个网络单元的设定的能够允许的最大卷积操作数量，不同的网络单元对应的最大分支可以相同也可以不同。所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。所述第一网络单元的最大分支数可以理解为在该神经网络中第一网网络单元的所允许的最大的卷积操作的数量。
上述过程给出了一种“对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合”实现方式，在该方式中，基于第一网络单元所允许的最大卷积操作的数量，按照结构参数的从大到小，对候选通道数进行采样，最后得到满足最大分支数量的候选卷积操作；如此，将卷积操作的种类限定在神经网络所允许的最大卷积操作的数量范围内，能够避免过度使用中央处理器内存。
在本申请实施例中，首先，将卷积操作的种类限定在神经网络所允许的最大卷积操作的种类范围内，能够避免过度使用中央处理器内存。然后，利用子候选卷积操作集合的联合伯努利概率进行采样，保证了用很少的参数就可以构建所有卷积操作组合的可能性。
本申请实施例提供一种图像处理方法，下面结合图2B进行详细说明。
步骤S221，获取待处理图像。
在一些可能的实现方式中，所述待处理图像可以为任意尺寸的图像或者视频等。所述待处理图像可以是进行目标检测的图像、进行分类的图像或进行目标跟踪的图像等。
步骤S222，将所述待处理图像输入神经网络中，得到处理结果。
在一些可能的实现方式中，所述神经网络为基于上述神经网络搜索方法训练得到的；即该训练好的神经网络是先对卷积操作的通道数的结构参数进行调整，又对卷积操作的权重进行调整得到的。所述处理结果可以对待处理图像进行类、分割或检测等任务的处理结果；最后，输出该处理结果。
在本申请实施例中，采用经过先基于结构参数选择合适的通道数，然后对多个卷积操作进行采样，最后将更重要的卷积操作组合作为该神经网络的卷积操作，并利用输出结果对结构参数进行调整，然后基于调整后的结构参数重新进行采样，以此对卷积操作的权重进行调整，得到的神经网络，进行图像处理，从而不仅加快了神经网络搜索的速度，还保证了神经网络搜索的准确率。
相关技术中，在有限资源(模型速度/大小)下的高效神经网络自动设计仍然是一个开放且具有挑战性的问题。深度神经网络是图像分类、检测、分割等实际应用的核心组件，自动化网络设计是提高生产效率及减少人工作量的关键。与简单追求高精度的网络模块搜索不同，搜索高效神经网络是一个多目标任务并需要对网络结构进行整体优化。而如何在整体优化这样的大空间下搜出更高性能网络仍然是一个挑战。
在网络结构设计中，设计一个基本模块并在网络各尺度复用是最为简洁直观的设计方式，因此许多网络结构搜索算法是基于模块的。相关技术中基于强化学习、长短期记忆网络(Long Short-Term Memory，LSTM)以及代理数据集搜索有效的网络子结构。但是这类方法需要不断采样结构并对每个样本进行充分地训练以衡量其性能，导致很难直接在大数据集上直接搜索最适于该任务的结构。此外，该方法所依赖的模块化抽象限制每个尺度的每个模块应用相同的结构，而网络子结构在不同尺度所体现的资源消耗不尽相同，使得该方法无法有效的结合其他资源限制。通过简化网络每层搜索空间为数个预定义模块以及利用可微搜索的高效特性，可以直接在目标任务数据集上进行结构搜索，网络不同处结构也可以不同，并可以结合其他资源限制。但是受该算法自身的限制搜索空间较为简单，并不能有效的利用有限的资源限制。如图3A所示，单元301为事先设定的多个候选单元；当网络的每一层302进行搜索时，从这些设定的候选单元中进行选择，以此确定每一层的卷积操作类型。
基于此，本申请实施例提供一种神经网络搜索方法，该方法允许网络结构搜索(Network Attached Storage，NAS)探索合理的模块分配并对其自身进行模块化。采用多网络单元方案，逐层搜索神经网络内部每一层以及每种卷积操的通道数。本申请实施例可以通过描述某个分支组合与伯努利变量的联合概率的重要性并通过反向传播更新其参数来有效地优化体系结构。如此，能够分层次地了解网络的深度，每种卷积操的通道数和组件，如图3B所示，Ncell303在此基础上会固定将输入也融合到输出中，并允许被选到的分支数为0；Rcell304的输入会进入不同可选卷积操作(同时每个可选卷积操作的可选通道数为多个)，各可选卷积操作输出则会取平均融合；如此，为神经网络的的整体架构提供了更多的任务调整灵活性。
本申请实施例的目标是找到关于可微分目标L的最佳神经结构
如公式(1)所示：
其中，损失函数L可以仅被格式化以反映架构的准确性或者与需求中的其他资源约束相结合。为方便起见，本申请实施例将资源约束设置为可选的正则化项，并为分类任务制定损失函数L，如公式(2)所示：
其中，LCE和Fi分别表示验证集上的交叉熵损失和架构x到资源需求的映射；α，β和target(后面简写为t)是应用特定的常数。
本申请实施例采用了残差结构和来自初始单元的多分支模式，同时允许不同数量的分支。图4为本申请实施例的可选卷积操作的示例图，如图4所示，神经网络中每一层的卷积操作中最前面和最后面进行的卷积操作均为1×1卷积401和1×1卷积402，利用1×1卷积401和1×1卷积402对该层的卷积操作的通道数进行转换；每一层中间部分的卷积操作类型不尽相同，比如，可以是一次3×3卷积403(其中，通道数可以选择1或2)、两次3×3卷积404(其中，通道数可以选择1或2)、1×K和K×1堆叠的卷积405(其中，通道数可以选择1、2或4；K可以选择5或7)或K×K卷积406(其中，通道数可以选择1、3或6；K可以选择3、5或7)。
本申请实施例中所卷积操作都遵循反向残差结构，以支持单元内不同的通道数选择，同时保持单元之间的特征映射通道不变。
具体来说，对于每个单元，本申请实施例定义了一个多分支空间，具有4种不同类型的卷积操作，考虑到每种分支可能具有不同内核大小K的变体，可以分为7个卷积操作。对于每个卷积操作，本申请实施例还有不同的通道数的倍数T选择，以分层控制网络的通道数；因此本申请实施例有Ncell的可能组合为：
(Rcell的可能组合为：
)每个要搜索的单元格的可能组合，以及21个这样的单元格搜索，如表1所示，即使本申请实施例将一个小区内的最大分支限制为5，在本申请实施例的设置下仍然有大约1×1080个可能的网络。
表1 Imagenet搜索空间的架构
本申请实施例在搜索期间通过两级门函数g和G来控制多网络单元的输出，g用于控制多网络单元的前向行为，而G表示来自分支空间的卷积的某种组合，可以定义为，如公式(3)所示：
其中，n表示神经网络的当前层的最大宽度值，即神经网络的当前层所运行的最大卷积操作数量。l表示多个可选卷积操作的最大组合数。给定输入特征映射x，令gj表示第j个可能的门组合，Ncell的输出可以定义为公式(4)所示：
其中，
其中，q表示所选的候选卷积集合中卷积操作的数量。o表示可选卷积操作。G表示多个可选卷积操作集合的选择状态。本申请实施例描述了多个卷积操作集合的权重与K维伯努利随机变量的联合概率(gi～Bernoulli(pi))，可以表示为：
对于Rcell，本申请实施例必须为采样结果保留至少两个分支，因此本申请实施例设置
并将其余概率重新缩放
因此，Rcell的输出可以定义为：
通过利用恒等单元(未选择任意一个候选分支)和不同的特定OP扩展比，本申请实施例能够学习不同深度和每种卷积操的通道数的网络。
每个通道数用结构参数α＝0初始化，本申请实施例用概率
说明候选分支的重要性。
为了优化结构参数，本申请实施例使用渐变的方式更新结构参数α。结构参数对应的二进制门，本申请实施例有：
本申请实施例进一步将问题分解为多个二进制选择任务，本申请实施例采样出两组组合，然后重新缩放
和
以便
本申请实施例有：
为了允许操作在搜索期间在不同通道数之间切换，本申请实施例采用可切换批量归一化，在共享卷积权重的同时为不同的通道数切换保留不同的批归一化参数集。
在本申请实施例的实验中，本申请实施例考虑两种资源约束：延迟和参数。为了在不实际运行模型的情况下估计模型的延迟，延迟查找表(Latency Lookup Table，LUT)被认为是有效的交替方式。这是通过构建LUT来记录搜索空间中包含的每个操作的延迟成本来实现的。本申请实施例假设每个卷积操作的运行时间与其他卷积操作无关，总延迟如公式(10)所示：
其中
表示采样网络的第i个选定运算符，fi表示其对应输入特征映射的大小。fi还使延迟约束相对于每个分支决策可微分。
对于参数约束，由于本申请实施例可以直接获取每个操作的参数数量，并且网络中每个操作的总和是网络的参数，本申请实施例有：
在上述公式(11)中，每个卷积操作都可以区分。
表2 Cifar-10搜索空间的宏观架构。
对于CIFAR-10数据集的实验，本申请实施例将50000个训练集中的5000个图像作为验证集进行分割，以计算搜索体系结构参数时的交叉熵损失。在搜索短语中，本申请实施例使用表2中的参数设置，本申请实施例使用128的小批量和动量设定为0.9的SGD优化器。卷积权重的权重dacay设置为5e-4。本申请实施例采用从0.2到5e-4的余弦学习率衰减，总搜索时期设置为200。为了更新结构参数，本申请实施例使用的优化器的初始学习率为0.006。为了重新训练搜索结果，本申请实施例采用：数据归一化、随机水平翻转、零填充、随机裁剪和16x16像素的剪切。使用初始学习率为0.024的优化器，并通过余弦学习速率衰减将学习速率调整为5e-5。标签平滑设置为0.1，辅助分类器权重0.4和下降路径概率0.3。
在搜索开始之前，本申请实施例首先根据目标环境收集延迟查找表。接下来，本申请实施例用提出的算法搜索多分支空间。本申请实施例在ImageNet上将网络的输入分辨率设置为224×224，并从训练集中随机抽样50000张图像进行验证，并训练50个时期的操作员权重。对于每个时期，本申请实施例迭代地训练卷积操作权重w和结构参数a，本申请实施例使用优化器来更新结构参数a，初始学习率为0.002。卷积操作权重的优化器初始化为0.1，动量1e-4，本申请实施例也使用余弦学习率衰减到5e-4，批量大小为512。
为了重新训练模型，本申请实施例调整比例因子以使用精确的延迟或参数优选来缩放网络(因为最终结果并不总是收敛到预定义的目标)。本申请实施例设置批量大小512并训练300个时期。余弦学习率从0.1到5e-4衰减，在卷积权重上衰减1e-4。
由于本申请实施例提供的多分支的神经网络的灵活性，搜索网络通过扩展参数量充分利用了约束。当延迟和参数都必然受到限制时，本申请实施例的输出结果在达到相当高的精度的同时使用更少的延迟和更少的参数。本申请实施例提供的包含多个卷积操作的神经网络，可以为资源约束任务提供更大的灵活性。通过利用所提出的空间，本申请实施例能够通过改变其分层单元结构，卷积操的通道数以及网络深度来适应网络。本申请实施例提出了一种多分支方案的概率建模，有助于有效地学习基于梯度的方法的卷积操作组合或通道数组合的重要性。从而能够在资源限制下优化整体网络架构。而且通过对有限资源的更好利用，有效的提高了目标识别的精度。
在本申请实施例提供的神经网络，通过使用更灵活的多分支空间搜索网络来更好地利用给定的有限资源。本申请实施例还设计了一个简化的神经网络模型，以便有层次地有效地学习多分支结构，能够在给定多个约束的情况下学习更有效的架构。
本申请实施例提供一种神经网络搜索装置，图6为本申请实施例的神经网络搜索装置的结构示意图，如图6所示，所述装置600包括：第一采样模块601，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，其中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数；第二采样模块602，用于基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，对所述多个可选卷积操作进行采样，得到所述第一网络单元的至少两个候选卷积操作集合，其中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；第一调整模块603，用于基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，其中，所述多个网络单元包括所述第一网络单元。
在本申请实施例中，所述第一采样模块601，包括：第一采样子模块，用于根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
在本申请实施例中，所述第一采样模块601，包括：第二采样子模块，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；第三采样子模块，用于响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合；其中，所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；其中，所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。
在本申请实施例中，所述第二采样模块602，包括：第一确定子模块，用于基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合；第四采样子模块，用于基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，所述第一确定子模块，包括：第一确定单元，用于确定所述至少两个候选通道数对应的至少两个可选卷积操作；第二确定单元，用于基于所述至少两个可选卷积操作，确定多个可选卷积操作组合，其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。
在本申请实施例中，所述第四采样子模块，包括：第三确定单元，用于将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。
在本申请实施例中，所述装置还包括：第一处理模块，用于利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果；第一过滤模块，用于对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果；第一确定模块，用于基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
在本申请实施例中，其中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。
在本申请实施例中，所述网络参数包括下列中的至少一个：所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；所述至少两个候选通道数的结构参数。
在本申请实施例中，所述第一调整模块603，包括：第一确定子模块，用于基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失；第一调整子模块，用于基于所述第一损失，调整所述多个可选通道数的结构参数；还包括：第一迭代子模块，用于基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失；第二调整子模块，用于基于所述第二损失，调整所述多个可选卷积操作的权重。
本申请实施例提供一种图像处理装置，图7为本申请实施例的图像处理装置的结构示意图，如图7所示，所述装置700包括：第一获取模块701，用于获取待处理图像；第一输入模块702，用于将所述待处理图像输入神经网络中，得到处理结果，其中，所述神经网络为基于上述的神经网络搜索装置得到的。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的神经网络搜索方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本申请实施例提供的神经网络搜索方法中的步骤。
相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述实施例提供的神经网络搜索方法的步骤。
相应的，本申请实施例提供一种计算机设备，图8为本申请实施例电子设备的结构示意图，如图8所示，所述设备800包括：一个处理器801、至少一个通信总线802、存储器803。其中，通信总线802配置为实现这些组件之间的连接通信。其中所述处理器801，配置为执行存储器中图像处理程序，以实现上述实施例提供的目标行驶轨迹的预测方法的步骤。
以上计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明计算机设备和存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (22)
1.一种神经网络搜索方法，其特征在于，所述方法包括：
对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，其中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数；
基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合；
基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合，其中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；
基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，其中，所述多个网络单元包括所述第一网络单元。
2.根据权利要求1所述的方法，其特征在于，所述对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，包括：
根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
3.根据权利要求1所述的方法，其特征在于，所述对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，包括：
对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；
响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合；其中，所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；
其中，所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。
4.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合，包括：
确定所述至少两个候选通道数对应的至少两个可选卷积操作；
基于所述至少两个可选卷积操作，确定多个可选卷积操作组合，其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。
5.根据权利要求1所述的方法，其特征在于，所述基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合，包括：
将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合之后，所述方法还包括：
利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果；
对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果；
基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
7.根据权利要求1至5任一项所述的方法，其特征在于，其中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。
8.根据权利要求1至5任一项所述的方法，其特征在于，
所述网络参数包括下列中的至少一个：
所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；
所述至少两个候选通道数的结构参数。
9.根据权利要求1至5任一项所述的方法，其特征在于，所述基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，包括：
基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失；
基于所述第一损失，调整所述多个可选通道数的结构参数；
还包括：
基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失；
基于所述第二损失，调整所述多个可选卷积操作的权重。
10.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入神经网络中，得到处理结果，其中，所述神经网络为基于上述权利要求1至9任一项所述的神经网络搜索方法得到的。
11.一种神经网络搜索装置，其特征在于，所述装置包括：
第一采样模块，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到神经网络中的第一网络单元的候选通道数集合，其中，所述多个可选卷积操作对应的多个可选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数；
第二采样模块，包括：
第一确定子模块，用于基于所述第一网络单元的候选通道数集合包括的至少两个候选通道数，确定所述多个可选卷积操作的多个可选卷积操作组合；
第四采样子模块，用于基于所述多个可选卷积操作组合的联合概率，对所述多个可选卷积操作进行至少两次采样，得到所述第一网络单元的至少两个候选卷积操作集合，其中，每个候选卷积操作集合包括所述多个可选卷积操作中的至少一个可选卷积操作；
第一调整模块，用于基于通过所述神经网络的多个网络单元对输入图像进行处理得到的图像处理结果，调整所述神经网络的网络参数，其中，所述多个网络单元包括所述第一网络单元。
12.根据权利要求11所述的装置，其特征在于，所述第一采样模块，包括：
第一采样子模块，用于根据所述多个可选卷积操作对应的多个可选通道数中每个可选通道数的当前结构参数，对所述多个可选通道数进行采样，得到第一网络单元的候选通道数集合。
13.根据权利要求11或12所述的装置，其特征在于，所述第一采样模块，包括：
第二采样子模块，用于对多个可选卷积操作对应的多个可选通道数进行采样，得到多个候选通道数；
第三采样子模块，用于响应于所述多个候选通道数的数量超过所述第一网络单元的最大分支数，基于所述多个候选通道数的当前结构参数和所述最大分支数，对所述多个候选通道数进行采样，得到所述第一网络单元的候选通道数集合；其中，所述候选通道数集合包含的至少两个候选通道数的个数等于所述最大分支数；
其中，所述多个候选通道数包括所述多个可选卷积操作中每个可选卷积操作的至少一个可选通道数。
14.根据权利要求11所述的装置，其特征在于，所述第一确定子模块，包括：
第一确定单元，用于确定所述至少两个候选通道数对应的至少两个可选卷积操作；
第二确定单元，用于基于所述至少两个可选卷积操作，确定多个可选卷积操作组合，其中，每个可选卷积操作组合包含所述至少两个可选卷积操作中的至少一个可选卷积操作。
15.根据权利要求11所述的装置，其特征在于，所述第四采样子模块，包括：
第三确定单元，用于将所述多个可选卷积操作组合中联合概率最大的前预设个数个可选卷积操作组合作为所述第一网络单元的至少两个候选卷积操作集合。
16.根据权利要求11至15任一项所述的装置，其特征在于，所述装置还包括：
第一处理模块，用于利用所述至少两个候选卷积操作集合中的每一候选卷积操作集合，对所述第一网络单元的输入信息进行处理，得到处理结果；
第一过滤模块，用于对所述至少两个候选卷积操作集合中每个候选卷积操作集合的处理结果进行过滤处理，得到过滤结果；
第一确定模块，用于基于所述至少两个候选卷积操作集合的过滤结果，得到所述第一网络单元的输出结果。
17.根据权利要求11至15任一项所述的装置，其特征在于，其中，对所述至少两个候选卷积操作中第一候选卷积操作集合的处理结果的过滤结果为所述第一候选卷积操作集合的处理结果，对述至少两个候选卷积操作中第二候选卷积操作集合的处理结果的过滤结果为零。
18.根据权利要求11至15任一项所述的装置，其特征在于，
所述网络参数包括下列中的至少一个：
所述第一网络单元的至少两个候选卷积操作集合中包含的至少一个可选卷积操作的权重；
所述至少两个候选通道数的结构参数。
19.根据权利要求11至15任一项所述的装置，其特征在于，所述第一调整模块，包括：
第一确定子模块，用于基于所述图像处理结果，确定所述神经网络的当前迭代过程对应的第一损失；
第一调整子模块，用于基于所述第一损失，调整所述多个可选通道数的结构参数；
还包括：
第一迭代子模块，用于基于所述多个可选通道数的调整后的结构参数，进行所述当前迭代过程的下一迭代过程，得到所述下一迭代过程对应的第二损失；
第二调整子模块，用于基于所述第二损失，调整所述多个可选卷积操作的权重。
20.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理图像；
第一输入模块，用于将所述待处理图像输入神经网络中，得到处理结果，其中，所述神经网络为基于上述权利要求11至19任一项所述的神经网络搜索装置得到的。
21.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现权利要求1至9任一项所述的方法步骤，或实现权利要求10所述的方法步骤。
22.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至9任一项所述的方法步骤，或实现权利要求10所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910457280.1A CN110197258B (zh) | 2019-05-29 | 2019-05-29 | 神经网络搜索方法、图像处理方法及装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910457280.1A CN110197258B (zh) | 2019-05-29 | 2019-05-29 | 神经网络搜索方法、图像处理方法及装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197258A CN110197258A (zh) | 2019-09-03 |
| CN110197258B true CN110197258B (zh) | 2021-10-29 |
Family
ID=67753363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910457280.1A Active CN110197258B (zh) | 2019-05-29 | 2019-05-29 | 神经网络搜索方法、图像处理方法及装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197258B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8206996B2 (en) | 2006-03-28 | 2012-06-26 | Lam Research Corporation | Etch tool process indicator method and apparatus |
| CN112445823A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 神经网络结构的搜索方法、图像处理方法和装置 |
| CN110633797B (zh) * | 2019-09-11 | 2022-12-02 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| CN110569972A (zh) * | 2019-09-11 | 2019-12-13 | 北京百度网讯科技有限公司 | 超网络的搜索空间构建方法、装置以及电子设备 |
| CN113159269A (zh) * | 2020-01-22 | 2021-07-23 | 华为技术有限公司 | 终端模型处理方法、装置及设备 |
| CN111414990B (zh) * | 2020-02-20 | 2024-03-19 | 北京迈格威科技有限公司 | 卷积神经网络处理方法、装置、电子设备及存储介质 |
| CN111353601B (zh) * | 2020-02-25 | 2024-08-06 | 广东七号智算技术有限公司 | 用于预测模型结构的延时的方法和装置 |
| WO2021179117A1 (zh) * | 2020-03-09 | 2021-09-16 | 华为技术有限公司 | 神经网络通道数搜索方法和装置 |
| CN113469352B (zh) * | 2020-03-31 | 2024-08-13 | 上海商汤智能科技有限公司 | 神经网络模型的优化方法、数据处理方法及装置 |
| CN111783937A (zh) * | 2020-05-19 | 2020-10-16 | 华为技术有限公司 | 一种神经网络构建方法以及系统 |
| CN111680599B (zh) * | 2020-05-29 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
| CN113902088A (zh) * | 2020-06-22 | 2022-01-07 | 华为技术有限公司 | 神经网络结构搜索的方法、装置与系统 |
| CN111753964A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 神经网络的训练方法和装置 |
| CN112100419B (zh) * | 2020-09-15 | 2024-02-06 | 贵州迅畅科技有限公司 | 一种基于图像检索的单幅天气图像识别方法及系统 |
| CN113407806B (zh) * | 2020-10-12 | 2024-04-19 | 腾讯科技（深圳）有限公司 | 网络结构搜索方法、装置、设备及计算机可读存储介质 |
| CN112686282A (zh) * | 2020-12-11 | 2021-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种基于自学习数据的目标检测方法 |
| CN112836801A (zh) * | 2021-02-03 | 2021-05-25 | 上海商汤智能科技有限公司 | 深度学习网络确定方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330908A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种基于卷积受限玻尔兹曼机的形状建模方法及相关装置 |
| CN109284820A (zh) * | 2018-10-26 | 2019-01-29 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
| CN109543877A (zh) * | 2018-10-18 | 2019-03-29 | 深圳供电局有限公司 | 一种同一馈线线路下多用户窃电漏计甄别方法的装置 |
| CN109635940A (zh) * | 2019-01-28 | 2019-04-16 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于卷积神经网络的图像处理方法及图像处理装置 |
| CN109685204A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 模型搜索方法及装置、图像处理方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060193520A1 (en) * | 2005-02-28 | 2006-08-31 | Takeshi Mita | Object detection apparatus, learning apparatus, object detection system, object detection method and object detection program |
| US8630975B1 (en) * | 2010-12-06 | 2014-01-14 | The Research Foundation For The State University Of New York | Knowledge discovery from citation networks |
| WO2018053464A1 (en) * | 2016-09-19 | 2018-03-22 | Vicarious Fpc, Inc. | Systems and methods for deep learning with small training sets |
| CN106896348B (zh) * | 2017-01-16 | 2020-07-14 | 哈尔滨工程大学 | 一种基于概率数据关联的雷达信号分选方法 |
| CN108537324A (zh) * | 2018-01-25 | 2018-09-14 | 杭州电子科技大学 | 基于特征泛化层的双通道自适应矫正网络优化系统 |
-
2019
- 2019-05-29 CN CN201910457280.1A patent/CN110197258B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330908A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种基于卷积受限玻尔兹曼机的形状建模方法及相关装置 |
| CN109543877A (zh) * | 2018-10-18 | 2019-03-29 | 深圳供电局有限公司 | 一种同一馈线线路下多用户窃电漏计甄别方法的装置 |
| CN109284820A (zh) * | 2018-10-26 | 2019-01-29 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
| CN109685204A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 模型搜索方法及装置、图像处理方法及装置 |
| CN109635940A (zh) * | 2019-01-28 | 2019-04-16 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于卷积神经网络的图像处理方法及图像处理装置 |
Non-Patent Citations (3)
| Title |
|---|
| "Practical Block-wise Neural Network Architecture Generation";Zhao Zhong,at el.;《arXiv》;20180514;论文全文 * |
| "Regularized Evolution for Image Classifier Architecture Search";Esteban Real,at el.;《arXiv》;20190216;论文全文 * |
| "Single Path One-Shot Neural Architecture Search with Uniform Sampling";Zichao Guo,at el.;《arXiv》;20190331;论文第1-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197258A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197258B (zh) | 神经网络搜索方法、图像处理方法及装置、设备和介质 | |
| CN110163234B (zh) | 一种模型训练方法、装置和存储介质 | |
| Rosin | Multi-armed bandits with episode context | |
| CN110503192A (zh) | 资源有效的神经架构 | |
| KR20200014510A (ko) | 기계 학습 기반의 예측 서비스 제공 방법 및 그 장치 | |
| US8010535B2 (en) | Optimization of discontinuous rank metrics | |
| US20240265251A1 (en) | Network Model Training Method and Apparatus, Electronic Apparatus and Computer-readable Storage Medium | |
| CN108399213B (zh) | 一种面向用户个人文件的聚类方法及系统 | |
| CN113011529B (zh) | 文本分类模型的训练方法、装置、设备及可读存储介质 | |
| CN111709493B (zh) | 对象分类方法、训练方法、装置、设备及存储介质 | |
| JP2022020070A (ja) | 情報処理、情報推薦の方法および装置、電子デバイス及び記憶媒体 | |
| WO2022134926A1 (en) | Multi-level multi-objective automated machine learning | |
| CN112906865B (zh) | 神经网络架构搜索方法、装置、电子设备及存储介质 | |
| CN115422369B (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
| WO2015040806A1 (en) | Hierarchical latent variable model estimation device, hierarchical latent variable model estimation method, supply amount prediction device, supply amount prediction method, and recording medium | |
| Shi et al. | Large scale optimization with proximal stochastic Newton-type gradient descent | |
| CN117315090A (zh) | 基于跨模态风格学习的图像生成方法及装置 | |
| CN117113174A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN116822927A (zh) | 一种业务流程优化方法、装置及存储介质 | |
| CN110705889A (zh) | 一种企业筛选方法、装置、设备及存储介质 | |
| CN115545168A (zh) | 基于注意力机制和循环神经网络的动态QoS预测方法及系统 | |
| CN118414621A (zh) | 使用预算感知的贝叶斯优化的超参数选择 | |
| CN117999560A (zh) | 机器学习模型的硬件感知渐进训练 | |
| CN115345303A (zh) | 卷积神经网络权重调优方法、装置、存储介质和电子设备 | |
| CN111368109B (zh) | 遥感图像检索方法、装置、计算机可读存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |