CN112884142A - 神经网络训练、目标检测方法、装置、设备、存储介质 - Google Patents

神经网络训练、目标检测方法、装置、设备、存储介质 Download PDF

Info

Publication number
CN112884142A
CN112884142A CN201911205157.7A CN201911205157A CN112884142A CN 112884142 A CN112884142 A CN 112884142A CN 201911205157 A CN201911205157 A CN 201911205157A CN 112884142 A CN112884142 A CN 112884142A
Authority
CN
China
Prior art keywords
network
classification probability
neural network
feature
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911205157.7A
Other languages
English (en)
Other versions
CN112884142B (zh
Inventor
俞海宝
孙建凯
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911205157.7A priority Critical patent/CN112884142B/zh
Publication of CN112884142A publication Critical patent/CN112884142A/zh
Application granted granted Critical
Publication of CN112884142B publication Critical patent/CN112884142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种神经网络训练、目标检测方法、装置、设备、存储介质，能够减少对剪枝后网络的训练，该方法可以包括：利用神经网络中的特征网络对图像样本进行特征提取，得到初始特征；根据二元分类器的输出和初始特征，确定目标特征；利用神经网络中的特征功能实现网络对目标特征进行处理，得到检测结果；基于检测结果和图像样本的标注结果，对神经网络的网络参数值和二元分类器输出的初始分类概率进行调整；重复上述训练过程，直至检测结果和图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络；统计每一次训练过程中二元分类器输出的分类概率集合；基于分类概率集合，去掉需要剪枝的通道，得到训练完成的神经网络。

Description

神经网络训练、目标检测方法、装置、设备、存储介质
技术领域
本公开涉及软件工程领域，尤其涉及一种神经网络训练、目标检测方法、装置、设备、存储介质。
背景技术
目前，神经网络由于网络层数和通道数巨大，内存消耗高，难以应用在如移动终端、现场可编程门阵列(FPGA，Field－Programmable Gate Array)芯片等低功耗和低计算资源平台上。通常，相关技术对神经网络的剪枝方法是基于神经网络模型每一层的权重相对大小对网络层进行剪枝，对剪枝后的神经网络进行训练，再使用同样的方法对训练后的神经网络继续剪枝。相关技术对神经网络的剪枝方法存在训练时间过长，剪枝后的网络需要重新训练等问题。
发明内容
为解决上述技术问题，本公开实施例期望提供一种神经网络训练、目标检测方法、装置、设备、存储介质，能够减少对剪枝后网络的训练。
本公开的技术方案是这样实现的：
本公开实施例提供一种神经网络训练方法，所述方法包括：
利用神经网络中的特征网络对图像样本进行特征提取，获取所述特征网络输出的初始特征；
根据二元分类器的输出和所述初始特征，确定目标特征；所述二元分类器输出两种预设类别的初始分类概率；
利用所述神经网络中的特征功能实现网络对所述目标特征进行处理，得到检测结果；
基于所述检测结果和所述图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整；
重复上述训练过程，直至所述检测结果和所述图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络；
统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；
基于所述分类概率集合，确定所述特征网络中需要剪枝的通道；
去掉所述需要剪枝的通道，得到训练完成的神经网络。
本公开实施例提供一种目标检测方法，所述方法包括：
利用神经网络对待检测图像进行目标检测，得到检测结果；所述神经网络采用上述任一种神经网络训练方法训练得到。
本公开实施例提供一种智能行驶方法，所述方法包括：
利用神经网络对道路图像进行检测，得到检测结果；其中，所述神经网络采用上述任一种神经网络训练方法训练得到；
根据所述检测结果控制采集所述道路图像的智能行驶设备。
本公开实施例提供一种驾驶员监控方法，所述方法包括：
利用神经网络对采集的车舱内的图像进行检测，得到检测结果；其中，所述神经网络上述任一种神经网络训练方法训练得到；
根据所述检测结果对包括所述车舱的车辆的驾驶员进行告警。
本公开实施例提供一种神经网络训练装置，
所述神经网络训练装置包括第一获取单元、第一确定单元、第一处理单元、训练单元、统计单元、第二确定单元和第二处理单元；其中，
所述第一获取单元，用于利用神经网络中的特征网络对图像样本进行特征提取，获取所述特征网络输出的初始特征；
所述第一确定单元，用于根据二元分类器的输出和所述初始特征，确定目标特征；所述二元分类器输出两种预设类别的初始分类概率；
所述第一处理单元，用于利用所述神经网络中的特征功能实现网络对所述目标特征进行处理，得到检测结果；
所述训练单元，用于基于所述检测结果和所述图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整；重复上述训练过程，直至所述检测结果和所述图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络；
所述统计单元，用于统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；
所述第二确定单元，还用于基于所述分类概率集合，确定所述特征网络中需要剪枝的通道；
所述第二处理单元，还用于去掉所述需要剪枝的通道，得到训练完成的神经网络。
本公开实施例提供一种目标检测装置，所述目标检测装置用于利用神经网络对待检测图像进行目标检测，得到检测结果；所述神经网络由上述任一项所述的神经网络训练方法训练得到。
本公开实施例提供一种设备，所述神经网络训练装置包括：处理器、存储器以及通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述处理器执行如上述任意一种神经网络训练方法、目标检测方法、智能行驶方法和驾驶员监控方法。
本公开实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任意一种神经网络训练方法、目标检测方法、智能行驶方法和驾驶员监控方法。
本公开实施例提供了一种神经网络训练方法，该方法包括：利用神经网络中的特征网络对图像样本进行特征提取，获取特征网络输出的初始特征；根据二元分类器的输出和初始特征，确定目标特征；二元分类器输出两种预设类别的初始分类概率；利用神经网络中的特征功能实现网络对目标特征进行处理，得到检测结果；基于检测结果和图像样本的标注结果之间的差异，对神经网络的网络参数值进行调整；重复上述训练过程，直至检测结果和图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络，训练后的神经网络包含特征网络；统计每一次训练过程中二元分类器输出的初始分类概率，构成分类概率集合；基于分类概率集合，确定特征网络中需要剪枝的通道；去掉需要剪枝的通道，得到训练完成的神经网络。采用上述方法可以在训练特征网络的同时对二元分类器进行训练，最终根据网络训练过程中二元分类器输出的初始分类概率统计对训练后得到的特征网络进行剪枝，由于二元分类器输出的初始分类概率表征二元分类器所在的通道对于特征网络最终输出结果的影响，因此在训练结束后按二元分类器输出的初始分类概率统计进行剪枝，剪掉特征网络中对输出结果影响较小的通道，降低了剪枝对特征网络精度的影响，使得训练完成的神经网络不需重新训练，最终避免了剪枝后网络的训练。
附图说明
图1为本公开实施例提供的一种相关技术网络架构的示意图；
图2为本公开实施例提供的一种特征网络架构的示意图；
图3为本公开实施例提供的一种神经网络训练方法流程图一；
图4为本公开实施例提供的一种神经网络架构的示意图；
图5为本公开实施例提供的一种神经网络训练方法流程图二；
图6为本公开实施例提供的一种神经网络训练方法流程图三；
图7为本公开实施例提供的一种神经网络训练方法流程图四；
图8为本公开实施例提供的一种神经网络训练方法流程图五；
图9为本公开实施例提供的一种神经网络训练装置的结构示意图一；
图10为本公开实施例提供的一种设备的结构示意图。
具体实施方式
目前，如图1所示，相关技术通常使用图1的网络架构对图像样本中的特征进行提取和处理，其中，特征网络1用于对图像样本中的特征进行提取，特征网络1包含多个特征网络层1_1至1_n，每层特征网络层包含：输入层10、特征处理层20、输出层30和通道40；其中，输入层10用于输入图像样本，特征处理层20由卷积层21、批归一化层22、激活函数层23构成。其中，卷积层21(Conv，Colutional layer)用于从输入的训练图像样本中提取特征；批归一化层22(BN，Batch Normalize)用于对卷积层21提取的特征进行归一化处理；激活函数层23(ReLU，Rectified Linear Unit)用于对批归一化后的特征进行激活；输出层30用于输出经过特征处理层20提取的特征，特征经过通道40进入特征功能实现网络2，用于实现具体的图像分类、图像分隔检测等功能实现。相关技术在对特征网络1进行剪枝时，通常在每次训练后基于特征网络1中每一层特征网络层中的通道40的权重相对大小对通道40进行剪枝，由于剪枝后网络的精度可能会受到影响，因此相关技术会对剪枝后的特征网络进行再次训练，再使用同样的方法对再次训练后的特征网络继续剪枝，以上述方法迭代剪枝和训练过程直至训练完成。因此相关技术的剪枝方法训练时间过长，对每次剪枝后的特征网络还需要重新训练才能在实际的特征功能实现场景中进行应用。为了减少对剪枝后网络的训练，提出了本公开对应的技术方案，具体的实施例如下：
本公开实施例提供一种网络架构，如图2所示，图2为本公开实施例的一种网络架构的示意图，包括特征网络2，其中，特征网络2包含多个特征网络层2_1至2_n，每个特征网络层包括：输入层10、特征处理层20、输出层30、通道40和二元分类器50，本公开实施例提供的网络架构中，二元分类器50包含n个子二元分类器，在每条通道输出的出口处分别对应有一个子二元分类器，用于决定是否去除所对应的通道。图像样本在由输入层10进入特征网络1之后，经过特征处理层20提取出初始特征并由输出层30输出初始特征，初始特征在经过输出层出口处每条通道40对应二元分类器50的处理后成为目标特征。
本公开实施例基于误差反向传播算法(BP，Error Back Propagation)对网络进行训练。BP算法的训练过程由信号的正向传播与误差的反向传两个过程组成。正向传播时，输入图像样本从输入层进入神经网络，经特征处理层逐层传递至输出层，如果输出层的实际输出与期望输出不同，则转至误差的反向传播；如果输出层的实际输出与期望输出相同，结束训练。在反向传播时，将输出误差(期望输出与实际输出之差)按原通道反传计算，通过特征处理层逐层反向传递至输入层，在反向传播过程中将误差分摊给神经网络中各层的各个单元，获得神经网络中各层的各个单元的误差信号，并根据误差信号对神经网络中各层的各个单元的参数进行调整。上述对神经网络中各层的各个单元的参数不断调整的过程，就是BP算法中神经网络的训练过程，经过信号正向传播与误差反向传播，神经网络中各层的各个单元的参数的调整反复进行，一直进行到预先设定的学习训练次数，或输出误差减小到允许的程度，结束对神经网络的训练。
本公开实施例中，根据误差信号对每个特征处理层单元的参数进行调整过程采用梯度下降法。梯度下降法会根据输出误差得到输出层误差相关的梯度，再将输出层误差相关的梯度进行反向传递，根据链式法则求导出每个特征处理层单元的误差对应的梯度，然后以每个特征处理层单元的误差对应的梯度作为误差调整的步长和方向，对每个特征处理层单元对应的参数进行逐步调整，在每次反向传播阶段中，不断逐步调整每个特征处理层单元的参数后，使误差信号减小到最低限度。
基于上述网络架构及网络训练算法，本公开实施例提出了以下的实现方式：
本公开实施例提供一种神经网络训练方法，应用于图像分类网络，如图3所示，该方法可以包括：
S101、利用神经网络中的特征网络对图像样本进行特征提取，获取特征网络输出的初始特征。
本公开实施例提供的一种神经网络训练方法适用于对图像分类网络、神经网络等网络学习架构进行剪枝，以用于低功耗和低计算资源平台如手机、FPGA芯片等的场景，以及用于图像分类和需要网络加速的计算机视觉任务，如自动驾驶中的深度学习网络部署等。
本公开实施例中，将图像样本通过输入层输入特征网络，在一些实施例中，样本可以是一些包含特定图像如动物，建筑等的图像样本，真实分类结果可以是正确依照动物或建筑进行区分的分类结果。
本公开实施例中，对特征网络使用BP算法进行迭代训练，并获取每次迭代训练后图像样本经特征网络输出的特征数据，作为初始特征。
本公开实施例中，如图2中所示，图像样本由输入层10进入神经网络，在经过的卷积层21提取特征，批归一化层22对卷积层提取出的特征进行归一化处理，以及激活函数层23对批归一化后的特征进行激活之后，神经网络训练装置可以得到图像样本经由特征网络输出的初始特征。
本公开实施例中，特征网络中包含至少一条通道，至少一个通道中每条通道对应输出每条通道的初始特征。在一些实施例中，特征网络包含R、G、B三个通道，特征网络输出层每个通道的输出数据分别为R通道对应的初始特征、G通道对应的初始特征和B通道对应的初始特征。
S102、根据二元分类器的输出和初始特征，确定目标特征；二元分类器输出两种预设类别的初始分类概率。
本公开实施例中，在特征网络架构中每层特征网络的每条通道的输出层出口处添加了二元分类器，二元分类器用于输出包含两种预设类别的初始分类概率，其中，两种预设类别可以包含第一分类概率和第二分类概率。在一些实施例中，两种预设分类类别可以分别是0和1，其中，第一分类概率对应第0类预设分类类别，第二分类概率对应第1类预设分类类别。
本公开实施例中，根据初始分类概率对初始特征进行处理，得到目标特征，其中，目标特征为经过二元分类器概率化的初始特征。
本公开实施例中，在每次训练特征网络时，会对二元分类器输出的初始分类概率进行更新。其中，更新二元分类器输出的初始分类概率可以采用随机更新的方法，也可以是人为有控制的对初始分类概率进行更新，使初始分类概率逐渐趋近于0或1。
本公开实施例中，会通过初始分类概率对初始特征进行处理，在一些实施例中，公式(1)为神经网络训练装置对初始特征进行处理的公式，如下：
Oi＝pij *Ci (1)
其中，Oi为输出层第i条通道上二元分类器输出的目标特征，i表示通道数目，Ci为初始特征，pij为二元分类器每次输出的初始分类概率，j为0或1，pij表征二元分类器判别初始特征属于第0类预设分类类别或第1类预设分类类别的概率，当j为0时，pi0为二元分类器输出的第一分类概率；当j为1时，pi1为二元分类器输出的第二分类概率。
本公开实施例中，第0类预设分类类别和第1类预设分类类别的具体表征可以根据实际网络应用的情况进行设置，本公开实施例不做限定。在一些实施例中，第0类预设分类类别可以预设为0；第1类预设分类类别可以预设为1，进而pi0可以表征第i条通道输出为0的概率，pi1可以表征第i条通道输出为1的概率。
本公开实施例中，根据公式(1)为输出层每个通道输出的初始特征Ci乘以每个通道各自对应的二元分类器输出的不同的初始分类概率pij，得到每个通道对应的目标特征Oi。
本公开实施例中，针对特征网络输出层的第i条通道，可以得到第i条通道的目标特征，针对特征网络输出层的所有通道，可以得到特征网络输出层的每个通道分别对应的目标特征。
本公开实施例中，每进行一次特征网络的训练，就会得到一组特征网络输出层每个通道的对应的目标特征。
S103、利用神经网络中的特征功能实现网络对目标特征进行处理，得到检测结果。
本公开实施例中，特征网络可以与不同功能的特征功能实现网络相连接，构成神经网络，如图4所示，不同功能的特征功能实现网络可以是基于特征网络的输出的目标特征，进行特征处理，以实现具体功能的网络，示例性的，特征功能实现网络可以是基于目标特征进行图像分类的图像分类网络或图像分隔检测网络。
本公开实施例中，如图4所示，在特征网络进行迭代训练时，特征网络输出的目标特征会进入特征网络所连接的特征功能实现网络，再由经过特征功能实现网络进行特征处理之后，最终输出检测结果。
本公开实施例中，检测结果为每次训练后特征功能实现网络输出的检测结果，在一些实施例中，当特征功能实现网络为图像分类网络时，如果图像样本为对包含苹果和不包含苹果的图像样本，检测结果可以是每次训练后特征功能实现网络对包含苹果和不包含苹果的实际分类结果。
本公开实施例中，检测结果中可能包含了错误分类的情况，检测结果会在迭代的网络训练中持续学习，以逐渐接近图像样本的标注结果。
S104、基于检测结果和图像样本的标注结果之间的差异，对神经网络的网络参数值和二元分类器输出的初始分类概率进行调整。
本公开实施例中，基于检测结果和图像样本的标注结果，得到检测结果和图像样本的标注结果的误差，在神经网络训练的反向传播阶段，根据检测结果和图像样本的标注结果的误差，对神经网络的网络参数值和二元分类器输出的初始分类概率进行调整。
S105、重复上述训练过程，直至检测结果和图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络。
本公开实施例中，基于参数调整后的神经网络，重复上述过程以对神经网络进行训练，使得神经网络输出的检测结果逐渐贴近图像样本的标注结果。在得到检测结果之后，会将检测结果与图像样本的标注结果相对比，当检测结果与图像样本的标注结果之间的误差满足预设条件时，示例性的，当检测结果与图像样本的标注结果之间的误差小于预设误差阈值时，确定对神经网络的训练达到了训练目标，从而结束对神经网络的训练，得到训练后的神经网络。
可以理解的是，本公开实施例中，在对神经网络训练的同时，二元分类器也在同步进行训练。
S106、统计每一次训练过程中二元分类器输出的初始分类概率，构成分类概率集合。
本公开实施例中，特征网络包含至少一条通道，二元分类器包含至少一条通道中的每条通道的出口之后对应的子二元分类器，统计每一次训练过程中二元分类器输出的初始分类概率，构成分类概率集合的方法具体可以包括S1061：
S1061、统计每一次训练过程中至少一条通道中的每条通道对应的子二元分类器输出的初始分类概率，构成每条通道的子分类概率集合；分类概率集合包括每条通道对应的子二元分类器输出的子分类概率集合。
本公开实施例中，在多次训练结束后，统计每一次训练过程中至少一条通道中的每条通道对应的子二元分类器输出的所有初始分类概率，构成每条通道的子分类概率集合。
本公开实施例中，每条通道的子分类概率集合构成分类概率集合，即分类概率集合包括每条通道对应的子二元分类器输出的子分类概率集合。
S107、基于分类概率集合，确定特征网络中需要剪枝的通道。
本公开实施例中，在得到每个通道的子分类概率集合构成的分类概率集合之后，基于分类概率集合，确定特征网络中需要剪枝的通道的方法可以是：
根据子分类概率集合，确定特征网络中需要剪枝的通道。
本公开实施例中，分类概率集合包括每条通道对应的子二元分类器输出的子分类概率集合。本公开实施例中，基于图3和S1061，根据子分类概率集合，确定特征网络中需要剪枝的通道可以如图5所示，包括S1071-S1072，如下：
S1071、根据一个子分类概率集合，确定该子分类概率集合中的最大分类概率值。
本公开实施例中，针对特征网络输出层的第i条通道，在得到第i条通道的子分类概率集合之后，由于第i条通道的分类概率集合包含了第i条通道对应的子二元分类器在整个训练过程中输出第一分类概率和第二分类概率的集合，神经网络训练装置可以通过求最大值自变量，计算出第i条通道对应的最大分类概率值。在一些实施例中，求最大值自变量可以如公式(2)所示：
argmaxj＝0,1{pij} (2)
其中，公式(2)中的{pij}为每次训练过程中第i条通道上的子二元分类器对应的第一分类概率pi0和第二分类概率pi1的集合，通过公式(2)对第i条通道上的子二元分类器对应的第一分类概率pi0和第二分类概率pi1的集合求出最大值，作为第i条通道对应的最大分类概率值。
可以理解的是，从公式(2)中可以看出，最大分类概率值是在第i条通道上的子二元分类器的全部第一分类概率pi0和全部第二分类概率pi1中找到最大值，作为最大分类概率值；因此，当最大分类概率值趋近于0时，说明第i条通道上的子二元分类器无论是输出哪种预设分类类别的概率都趋近于0；当最大分类概率值趋近于1时，说明第i条通道上的子二元分类器无论是输出哪种预设分类类别的概率都趋近于1。
S1072、当最大分类概率值小于第一预设概率时，将该子分类概率集合对应的通道确定为需要剪枝的子通道，其中，第一预设概率为趋近于概率区间中左端点的值的值。
本公开实施例中，当得到第i条通道的最大分类概率值时，会将第i条通道的最大分类概率值与第一预设概率进行对比。在一些实施例中，第一预设概率可以预设为非常接近于0的值，这样当最大分类概率值小于第一预设概率时，可以认为第i条通道的对应的子二元分类器的在训练过程中输出的最大概率，即无论是第一分类概率pi0还是第二分类概率pi1都近似于0，表征第i条通道输出的初始特征无论属于哪种预设分类类别的概率都近似于0，也就是该条通道对整个特征网络的输出结果影响较小，因此可以确定第i条通道为需要剪枝的子通道，因为删除第i条通道后对于整个特征网络基本没有影响。
本公开实施例中，针对第i条通道，可以使用上述的方法确定出第i条通道是否是可以剪枝的通道。
本公开实施例中，在S1072之后，还可以包含S1073，如下：
S1073、当最大分类概率值大于第二预设概率时，将该子分类概率集合对应的通道确定为不需要剪枝的子通道；其中，第二预设概率为趋近于概率区间右端点的值。
本公开实施例中，得到第i条通道的最终分类结果时，还会将第i条通道的最终分类结果与第二预设概率进行对比。在一些实施例中，第二预设概率可以预设为非常接近于1的值，这样在最大分类概率值大于第二预设概率时，可以认为第i条通道的对应的子二元分类器在训练过程中输出的最大概率，即无论是第一分类概率pi0还是第二分类概率pi1都近似于1，表征第i条通道输出的初始特征无论属于哪种预设分类类别的概率都近似于1，也就是该条通道对整个特征网络的输出结果影响较大，因此可以确定第i条通道为不能剪枝的通道，从而保留第i条通道，以免对整个神经网络的输出结果和精度造成重大影响。
本公开实施例中，针对第i条通道，神经网络训练装置可以使用上述的方法确定出第i条通道是否为不能剪枝的通道。即针对特征网络中的每条通道，采用上述方法确定出可以剪枝的通道以及不能剪枝的通道。
可以理解的是，本公开实施例中，由于是在全部训练完成后对特征网络进行剪枝，并且删除的是对特征网络输出结果影响较小的通道，因此，使用本公开实施例的方法，剪枝后的神经网络的输出结果与训练后不进行剪枝的神经网络的输出结果基本等价，因此不需要对剪枝后的神经网络进行再次训练。
S108、去掉需要剪枝的通道，得到训练完成的神经网络。
本公开实施例中，对于特征网络中的每条通道，神经网络训练装置通过上述方法确定出需要剪枝的通道(即可以剪枝的通道)，直至对特征网络中至少一条通道每个通道均完成剪枝过程，神经网络训练装置得到训练完成的神经网络。
本公开实施例中，由于剪去的是对神经网络输出结果影响较小的通道，因此不用重新训练剪枝后的神经网络。
可以理解的是，本公开实施例中，在特征网络输出层的每个通道的出口处添加二元分类器，在训练特征网络的同时对二元分类器进行训练，并在训练结束后根据二元分类器输出的概率集合对特征网络进行剪枝。采用本公开实施例提供的方案，可以在训练完成后对特征网络进行剪枝，利用二元分类器的检测结果，删除对特征网络中对神经网络的输出结果影响较小的通道，最终得到的训练完成的神经网络(即剪枝后的神经网络)与只经过训练而未剪枝的神经网络的输出结果相差较小，因此不需要对训练完成的神经网络进行再次训练，避免了相关技术在每次训练过程中按权重对神经网络进行剪枝，每次剪枝后还需对神经网络重新进行训练的过程，从而缩短了神经网络的训练时间。
本公开实施例中，训练完成的神经网络可以用于多种基于图像特征提取的应用场景，下面以目标检测、智能行驶和图像分类三个场景分别进行说明：
本公开实施例中，在目标检测应用场景中，目标检测装置可以直接利用本公开实施例中提供的神经网络训练方法训练得到神经网络，并使用训练得到的该神经网络对待检测图像进行目标检测，得到检测结果。
在本公开的一些实施例中，在目标检测应用场景中，特征功能实现网络可以包括图像分类网络，图像样本可以为至少一个待分类图像，图像样本的标注结果可以是至少一种预设类别，示例性的，至少一种预设类别可以是至少一个待分类图像中的水果是苹果还是香蕉等。目标检测装置对利用本公开实施例中提供的神经网络训练方法对神经网络进行训练，以使训练完成的神经网络可以对根据特征网络对至少一种预设类别为图像样本进行特征提取，并根据特征功能实现网络对提取出的特征进行分类，最终得到至少一个待分类图像的分类检测结果。示例性的，目标检测装置可以利用训练完成的神经网络，将至少一个待分类图像分别分类为苹果和香蕉两个图像分组，其中，苹果图像分组中全部为包含苹果的图像，香蕉图像分组中全部为包含香蕉的图像。
在本公开的一些实施例中，在应用于智能行驶中的神经网络训练完成之后在智能行驶场景中，智能行驶方法如下：
S109、利用神经网络对道路图像进行检测，得到检测结果；其中，神经网络采用本公开实施例中提供的神经网络训练方法训练得到。
本公开实施例中，在智能驾驶的场景中，示例性的，自动驾驶的车辆、装有先进驾驶辅助系统(ADAS，Advanced Driver Assistant System)的车辆、机器人驾驶场景等，智能驾驶装置可以利用本公开实施例中提供的神经网络训练方法训练得到神经网络，利用该神经网络对道路图像进行检测，得到检测结果；示例性的，智能驾驶装置可以利用该神经网络，在车辆驾驶时从道路全景图像中提取出交通信号，过马路的人，路上的障碍物等图像特征，并通过特征功能实现网络识别出相应的检测结果。
S110、根据检测结果控制采集道路图像的智能行驶设备。
在本公开的一些实施例中，识别出相应的检测结果之后，可以根据检测结果，直接控制自动驾驶的车辆或者通过提示驾驶员控制装有ADAS的车辆进行刹车、减速、保持等驾驶操作。
在本公开的一些实施例中，在应用于驾驶员监控的神经网络训练完成之后，在驾驶员监控场景中，驾驶员监控方法如下：
S111、利用神经网络对采集的车舱内的图像进行检测，得到检测结果；其中，神经网络采用本公开实施例中提供的神经网络训练方法训练得到。
本公开实施例中，在驾驶员监控场景中，示例性的，在神经网络应用于驾驶员监控系统系统(DMS，Driver Monitor System)时，驾驶员监控系统可以利用本公开实施例中提供的神经网络训练方法训练得到神经网络，利用该神经网络对车舱内的图像进行检测，得到检测结果；示例性的，驾驶员监控系统可以利用该神经网络，在车舱内的图像中提取出驾驶员的面部图像特征，并通过特征功能实现网络识别出该驾驶员是否处于疲劳驾驶。
S112、根据检测结果对包括车舱的车辆的驾驶员进行告警。
在本公开的一些实施例中，当检测结果为一些危险驾驶的动作，或者事疲劳驾驶时，可以根据检测结果，对包括车舱的车辆的驾驶员进行告警。
在本公开的一些实施例中，基于图3，S102的一种实现可以如图6所示，该方法可以包括S201-S202，如下：
S201、对二元分类器输出的初始分类概率进行重参数化，得到重参数化分类概率。
本公开实施例中，针对每次训练，在得到二元分类器输出的初始分类概率之后，为了避免直接使用初始分类概率对网络进行剪枝所可能导致的网络不可微，神经网络训练装置会对二元分类器输出的初始分类概率进行重参数化，得到重参数化分类概率。
本公开实施例中，对二元分类器输出的初始分类概率进行重参数化可以通过S2011-S2013实现，如下：
S2011、获取第一随机变量，第一随机变量为两个设定值之间的均匀随机变量。
本公开实施例中，针对每条通道上的二元分类器，使用随机生成器生成第一随机变量，其中，第一随机变量是在两个设定值，如[0，1]区间取值的均匀随机变量。
S2012、对第一随机变量通过极值型分布求逆，得到第二随机变量，第二随机变量为极值型分布随机变量。
本公开实施例中，在得到第一随机变量之后，对第一随机变量通过极值型分布求逆，得到第二随机变量，将均匀随机变量转化为极值型分布随机变量。
本公开实施例中，公式(3)为极值型分布求逆公式，神经网络训练装置根据公式(3)，对第一随机变量极值型分布求逆，得到第二随机变量的方法，如下：
Gij＝-log(-log(Uij)) (3)
其中，Uij为随机生成器生成的均匀分布的第一随机变量，Gij为对Uij进行极值型分布求逆得到的极值型分布的第二随机变量
S2013、使用第二随机变量，通过极值型分布的归一化指数函数对初始分类概率进行重参数化，得到重参数化分类概率。
本公开实施例中，在得到第二随机变量之后，将第二随机变量与初始分类概率代入极值型分布的归一化指数函数，得到重参数化分类概率。
在一些实施例中，公式(4)为神经网络训练装置通过Gumble Softmax函数公式，使用第二随机变量对初始分类概率进行重参数化的方法，如下：
Figure BDA0002296770800000111
其中，λ为一个已知的常数，取值范围为0至1，在每次对特征网络进行训练时会将λ的取值逐渐减少，直至趋近于0。pij代表二元分类器输出的初始分类概率，其中，i代表二元分类器对应的通道数目，j取0或1，pi0代表二元分类器输出的第一分类概率，pi1代表二元分类器输出的第二分类概率，在一些实施例中，pi0和pi1的初始值可以都取0.5。qij为重参数化分类概率，即重参数化的pij。
S202、通过重参数化分类概率对初始特征进行处理，得到目标特征。
本公开实施例中，公式(5)为根据重参数化分类概率处理初始特征的公式。神经网络训练装置根据公式(5)，使用重参数化分类概率qij对初始特征进行处理，得到目标特征的方法，如下：
Oi＝qi1 *Ci (5)
其中，Ci为初始特征，Oi为目标特征。
可以理解的是，本公开实施例中，通过对二元分类器输出的初始分类概率进行重参数化，使得加入二元分类器的特征网络具有可微性，可以使用BP算法进行训练。
本公开实施例中，如图7所示，基于重参数化分类概率，神经网络的训练方法可以包括S301-S311，如下：
S301、利用神经网络中的特征网络对图像样本进行特征提取，获取特征网络输出的初始特征。
本公开实施例中，S301与S101的实现过程相同，此处不再赘述。
S302、对二元分类器输出的初始分类概率进行重参数化，得到重参数化分类概率。
本公开实施例中，S302与S201的实现过程相同，此处不再赘述。
S303、通过重参数化分类概率对初始特征进行处理，得到目标特征。
本公开实施例中，S303与S202的实现过程相同，此处不再赘述。
S304、利用神经网络中的特征功能实现网络对目标特征进行处理，得到检测结果。
本公开实施例中，S304与S103的实现过程相同，此处不再赘述。
S305、基于检测结果与图像样本的标注结果，通过重参数化分类概率，对特征网络的网络参数值和初始分类概率进行调整，得到调整后的特征网络和调整后的分类概率。
本公开实施例中，基于检测结果与图像样本的标注结果，通过重参数化分类概率，对特征网络的网络参数值和初始分类概率进行调整的过程也就是BP算法中反向传播的过程，将检测结果与图像样本的标注结果之间的误差按原通道反传计算，在误差从特征功能实现网络传递到特征网络时，误差信号依次通过二元分类器、输出层、特征处理层逐层反向传递至输入层，在反向传播过程中将误差逐步分摊给特征网络中各层的各个单元，获得特征网络中各层的各个单元对应的误差，并根据各个单元对应的误差信号对特征网络中各层的各个单元的参数进行调整。
S306、将调整后的特征网络作为下一次训练时的特征网络。
S307、将调整后的分类概率作为下一次训练时二元分类器的输出。
本公开实施例中，在得到调整后的特征网络和调整后的分类概率之后，将调整后的特征网络作为下一次训练时的特征网络；并将调整后的分类概率作为下一次训练时二元分类器的输出，在此基础上开始对神经网络的下一次训练，并重复同样的方法对神经网络进行迭代训练。
S308、重复上述训练过程，直至检测结果和图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络，训练后的神经网络包含特征网络。
本公开实施例中，S308与S105的实现过程相同，此处不再赘述。
S309、统计每一次训练过程中的调整后的分类概率，得到二元分类器输出的分类概率集合。
本公开实施例中，S309中统计每次训练过程中的调整后的分类概率的方法与S106的实现过程相同，此处不再赘述。
S310、基于分类概率集合，确定特征网络中需要剪枝的通道。
本公开实施例中，S310与S107的实现过程相同，此处不再赘述。
S311、去掉需要剪枝的通道，得到训练完成的神经网络。
本公开实施例中，S311与S108的实现过程相同，此处不再赘述。
可以理解的是，本公开实施例中，通过重参数化分类概率对特征网络的网络参数值和初始分类概率进行调整，提高了调整后的特征网络的精度和调整后的分类概率的准确度，再根据调整后的分类概率构成的分类概率集合对特征网络进行剪枝，可以进一步降低剪去的通道对训练后的神经网络最终输出结果的影响，最终提高剪枝后的神经网络的精度。
本公开实施例中，S305中基于检测结果与图像样本的标注结果，通过重参数化分类概率，对特征网络的网络参数值和初始分类概率进行整，得到调整后的特征网络和调整后的分类概率的方法具体可以如图8所示，包括S3051-S3056，如下：
S3051、基于检测结果与图像样本的标注结果，得到检测结果对应的第一调整梯度，第一调整梯度包含检测结果向图像样本的标注结果调整误差的步长和方向。
本公开实施例中，得到的第一调整梯度为一个向量值，包含将检测结果向图像样本的标注结果调节靠近时的方向和步长，然后根据第一调整梯度得到各个特征网络单元调整所需的梯度值，然后根据调整所需的梯度值对各个特征网络单元的参数值进行调整，以在减少下一次训练中检测结果与图像样本的标注结果之间的误差，在持续的训练中逐渐靠近图像样本的标注结果。
S3052、根据第一调整梯度和初始特征，得到重参数化分类概率对应的第二调整梯度，第二调整梯度为将第一调整梯度传递到重参数化分类概率的梯度。
本公开实施例中，公式(6)为根据第一调整梯度得到重参数化分类概率对应的第二调整梯度的公式。根据公式(6)，将第一调整梯度与初始特征相乘，得到重参数化分类概率对应的第二调整梯度，如下：
Figure BDA0002296770800000131
其中，
Figure BDA0002296770800000132
为神经网络训练装置根据检测结果和图像样本的标注结果得出的误差，根据链式法则推导出的目标特征Oi对应的梯度。
Figure BDA0002296770800000133
为重参数化分类概率对应的第二调整梯度。
S3053、根据第一调整梯度和重参数化分类概率，得到初始特征对应的第三调整梯度，第三调整梯度为将第一调整梯度传递到初始特征的梯度。
本公开实施例中，公式(7)为根据第一调整梯度得到初始特征对应的第三调整梯度的公式。根据公式(7)，将第一调整梯度与重参数化分类概率相乘，得到初始特征对应的第三调整梯度，如下：
Figure BDA0002296770800000134
其中，
Figure BDA0002296770800000135
对初始特征对应的第三调整梯度。
S3054、基于第二调整梯度，得到初始分类概率对应的第四调整梯度，第四梯度为第二调整梯度传递到初始分类概率的梯度。
本公开实施例中，与S3052、S3053类似，在得到第二调整梯度之后，由于在前向传播阶段重参数化分类概率是对初始分类概率进行重参数化计算得来的，因此神经网络训练装置可以基于第二调整梯度与链式法则，得到初始分类概率对应的第四调整梯度
Figure BDA0002296770800000136
本公开实施例中，链式法则为第一调整梯度在特征网络的节点中反向传递时满足的约束法则，由于特征网络是连续并可导的，因此神经网络训练装置在得到第一调整梯度后，可以通过链式法则，逐步得到第一调整梯度在特征网络的节点中反向传递到各个节点的梯度。
S3055、根据第三调整梯度对特征网络中的网络参数值进行调整，得到调整后的特征网络。
本公开实施例中，根据第三调整梯度
Figure BDA0002296770800000137
对特征网络中的网络参数值进行调整，得到调整后的特征网络，以使下一次训练时的检测结果能够进一步向图像样本的标注结果靠近。
S3056、根据第四调整梯度，对初始分类概率进行调整，得到调整后的分类概率。
本公开实施例中，根据第四调整梯度
Figure BDA0002296770800000141
对初始分类概率进行调整，以使二元分类器输出调整后的分类概率在下一次训练中使用。
本公开实施例中，公式(8)为根据初始分类概率对应的第四调整梯度调整初始分类概率的公式。根据公式(8)，使用预设系数对第四调整梯度进行处理，并将处理结果与初始分类概率相累加，得到调整后的分类概率，预设系数为0到1概率区间内的常数。如下：
Figure BDA0002296770800000142
其中，pij'为调整后的分类概率。
可以理解的是，本公开实施例中，可以根据检测结果以及标注结果对二元分类器输出的初始分类概率进行反向调整，从而使二元分类器输出的初始分类概率可以逐步向训练目标靠近，最终减少了神经网络的训练时间，提高了训练后的神经网络的精度。
本公开实施例提供一种神经网络训练装置，对应于一种神经网络训练方法；图9为本公开实施例提供的一种神经网络训练装置的结构示意图一，如图9所示，该神经网络训练装置包括：
第一获取单元41、第一确定单元42、第一处理单元43、训练单元44、统计单元45、第二确定单元46和第二处理单元47；其中，
所述第一获取单元41，用于利用神经网络中的特征网络对图像样本进行特征提取，获取所述特征网络输出的初始特征；
所述第一确定单元42，用于根据二元分类器的输出和所述初始特征确定目标特征；所述二元分类器输出两种预设类别的初始分类概率；
所述第一处理单元43，用于利用所述神经网络中的特征功能实现网络对所述目标特征进行处理，得到检测结果；
所述训练单元44，用于基于所述检测结果和所述图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整；重复上述训练过程，直至所述检测结果和所述图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络，训练后的神经网络包含特征网络；
所述统计单元45，用于统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；
所述第二确定单元46，还用于基于所述分类概率集合，确定所述特征网络中需要剪枝的通道；
所述第二处理单元47，还用于去掉所述需要剪枝的通道，得到训练完成的神经网络。
在一些实施例中，该神经网络训练装置还包括：所述特征网络包含至少一条通道，所述二元分类器包含所述至少一条通道中的每条通道的出口之后对应的子二元分类器；所述统计单元45，具体用于统计每一次训练过程中所述至少一条通道中的每条通道对应的子二元分类器输出的初始分类概率，构成每条通道的子分类概率集合；所述分类概率集合包括每条通道对应的子二元分类器输出的子分类概率集合；
所述第二确定单元46，具体用于根据所述子分类概率集合，确定所述特征网络中需要剪枝的通道。
在一些实施例中，所述第二确定单元46还包括第一确定子单元和第二确定子单元；其中，
所述第一确定子单元，用于根据一个子分类概率集合，确定该子分类概率集合中的最大分类概率值；
所述第二确定子单元，用于当所述最大分类概率值小于第一预设概率时，将该子分类概率集合对应的通道确定为需要剪枝的通道，其中，所述第一预设概率为趋近于概率区间中左端点的值。
在一些实施例中，所述第二确定单元46还包括第三确定子单元；其中，
所述第三确定子单元，用于当最大分类概率值大于第二预设概率时，将该子分类概率集合对应的通道确定为不需要剪枝的通道；其中，所述第二预设概率为趋近于概率区间右端点的值。
在一些实施例中，所述第一确定单元42包含重参数化单元与第四确定子单元；其中，
所述重参数化单元，用于对所述二元分类器输出的初始分类概率进行重参数化，得到重参数化分类概率；
所述第四确定子单元，用于根据所述重参数化分类概率和所述初始特征确定所述目标特征。
在一些实施例中，所述训练单元44包含训练子单元；所述统计单元45包括统计子单元；其中，
所述训练子单元，用于基于所述检测结果与所述图像样本的标注结果，通过所述重参数化分类概率，对所述特征网络的网络参数值和所述初始分类概率进行调整，得到调整后的特征网络和调整后的分类概率；并将所述调整后的特征网络作为下一次训练时的特征网络；以及将所述调整后的分类概率作为下一次训练时二元分类器的输出；
所述统计子单元，用于统计每一次训练过程中的调整后的分类概率，得到所述分类概率集合。
在一些实施例中，所述重参数化单元包含第二获取单元、第一计算子单元与第二计算子单元；其中，
所述第二获取单元，用于获取第一随机变量，所述第一随机变量为两个设定值之间的均匀随机变量；
所述第一计算子单元，用于所述对所述第一随机变量通过极值型分布求逆，得到第二随机变量，所述第二随机变量为极值型分布随机变量；
所述第二计算子单元，用于使用所述第二随机变量，通过极值型分布的归一化指数函数对所述初始分类概率进行重参数化，得到重参数化分类概率。
在一些实施例中，所述训练子单元包括第三处理单元、第四处理单元、第五处理单元、第六处理单元、第一调整单元和第二调整单元；其中，
所述第三处理单元，用于所述基于所述检测结果与所述图像样本的标注结果，得到所述检测结果对应的第一调整梯度，所述第一调整梯度包含所述检测结果向所述图像样本的标注结果调整误差的步长和方向；
所述第四处理单元，用于根据所述第一调整梯度和所述初始特征，得到所述重参数化分类概率对应的第二调整梯度，所述第二调整梯度为将所述第一调整梯度传递到所述重参数化分类概率的梯度；
所述第五处理单元，用于根据所述第一调整梯度和所述重参数化分类概率，得到所述初始特征对应的第三调整梯度，所述第三调整梯度为将所述第一调整梯度传递到所述初始特征的梯度；
所述第六处理单元，用于基于所述第二调整梯度，得到所述初始分类概率对应的第四调整梯度，所述第四调整梯度为所述第二调整梯度传递到所述初始分类概率的梯度；
所述第一调整单元，用于根据所述第三调整梯度对所述特征网络中的网络参数值进行调整，得到所述调整后的特征网络；
所述第二调整单元，用于根据所述第四调整梯度，对所述初始分类概率进行调整，得到所述调整后的分类概率。
在一些实施例中，所述第二调整单元，具体用于使用预设系数对所述第四调整梯度进行处理，并将处理结果与所述初始分类概率相加，得到所述调整后的分类概率，所述预设系数为概率区间内的常数。
在一些实施例中，所述第四处理单元，具体用于将所述第一调整梯度与所述初始特征相乘，得到所述重参数化分类概率对应的第二调整梯度。
在一些实施例中，所述第五处理单元，具体用于将所述第一调整梯度与所述重参数化分类概率相乘，得到所述初始特征对应的第三调整梯度。
在一些实施例中，所述第六处理单元，具体用于基于所述第二调整梯度与链式法则，得到所述初始分类概率对应的第四调整梯度，所述链式法则为所述第一调整梯度在所述神经网络的节点中反向传递时满足的约束法则。
本公开实施例提供一种目标检测装置，用于利用神经网络对待检测图像进行目标检测，得到检测结果；所述神经网络由上述任一项所述的神经网络训练方法训练得到。
本公开实施例提供一种智能行驶装置，该智能行驶装置包括第一图像检测单元和控制单元；其中，
所述第一图像检测单元，用于利用神经网络对道路图像进行检测，得到检测结果；其中，所述神经网络由上述任一项所述的神经网络训练方法训练得到；
所述控制单元，用于根据所述检测结果控制采集所述道路图像的智能行驶设备。
本公开实施例提供一种驾驶员监控装置，该驾驶员监控装置包括第二图像检测单元和告警单元；其中，
所述第二图像检测单元，用于利用神经网络对采集的车舱内的图像进行检测，得到检测结果；其中，所述神经网络由上述任一项所述的神经网络训练方法训练得到；
所述告警单元，用于根据所述检测结果对包括所述车舱的车辆的驾驶员进行告警。
需要说明的是，在实际应用中，上述第一获取单元41、第一确定单元42、第一处理单元43、统计单元44、第二确定单元46和第二处理单元47可由位于设备8上的处理器54实现，具体为中央处理器(Central Processing Unit，CPU)、微处理器(MicroprocessorUnit，MPU)、数字信号处理器(Digital Signal Processing，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。
本公开实施例提供一种设备8，图10为本公开实施例提供的一种设备的结构示意图，如图10所示，包括：处理器54、存储器55和通信总线56，存储器55通过通信总线56与处理器54进行通信，存储器55存储处理器54可执行的一个或者多个程序，当一个或者多个程序被执行时，通过处理器54执行如前述实施例的任意一种神经网络训练方法、目标检测方法、智能行驶方法或驾驶员监控方法。
本公开实施例提供了一种存储介质，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器54执行，程序被处理器54执行时实现如本公开实施例的任意一种神经网络训练方法、目标检测方法、智能行驶方法或驾驶员监控方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (10)

1.一种神经网络训练方法，其特征在于，包括：
利用神经网络中的特征网络对图像样本进行特征提取，获取所述特征网络输出的初始特征；
根据二元分类器的输出和所述初始特征，确定目标特征；所述二元分类器输出两种预设类别的初始分类概率；
利用所述神经网络中的特征功能实现网络对所述目标特征进行处理，得到检测结果；
基于所述检测结果和图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整；
重复上述训练过程，直至所述检测结果和所述图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络；
统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；
基于所述分类概率集合，确定所述特征网络中需要剪枝的通道；
去掉所述需要剪枝的通道，得到训练完成的神经网络。
2.根据权利要求1所述的方法，其特征在于，所述特征网络包含至少一条通道，所述二元分类器包含所述至少一条通道中的每条通道的出口之后对应的子二元分类器；所述统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；包括：
统计每一次训练过程中所述至少一条通道中的每条通道对应的子二元分类器输出的初始分类概率，构成每条通道的子分类概率集合；所述分类概率集合包括每条通道对应的子二元分类器输出的子分类概率集合；
所述基于所述分类概率集合，确定所述特征网络中需要剪枝的通道，包括：
根据所述子分类概率集合，确定所述特征网络中需要剪枝的通道。
3.根据权利要求1或2所述的方法，其特征在于，所述根据二元分类器的输出和所述初始特征，确定目标特征，所述方法包括：
对所述二元分类器输出的初始分类概率进行重参数化，得到重参数化分类概率；
根据所述重参数化分类概率和所述初始特征确定所述目标特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述检测结果和所述图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整，包括：
基于所述检测结果与所述图像样本的标注结果，通过所述重参数化分类概率，对所述特征网络的网络参数值和所述初始分类概率进行调整，得到调整后的特征网络和调整后的分类概率；
将所述调整后的特征网络作为下一次训练时的特征网络；
将所述调整后的分类概率作为下一次训练时二元分类器的输出；
所述统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合，包括：
统计每一次训练过程中的调整后的分类概率，得到所述分类概率集合。
5.根据权利要求4所述的方法，其特征在于，所述基于所述检测结果与所述图像样本的标注结果，通过所述重参数化分类概率，对所述特征网络的网络参数值和所述初始分类概率进行调整，得到调整后的特征网络和调整后的分类概率，包括：
基于所述检测结果与所述图像样本的标注结果，得到所述检测结果对应的第一调整梯度，所述第一调整梯度包含所述检测结果向所述图像样本的标注结果调整误差的步长和方向；
根据所述第一调整梯度和所述初始特征，得到所述重参数化分类概率对应的第二调整梯度，所述第二调整梯度为将所述第一调整梯度传递到所述重参数化分类概率的梯度；
根据所述第一调整梯度和所述重参数化分类概率，得到所述初始特征对应的第三调整梯度，所述第三调整梯度为将所述第一调整梯度传递到所述初始特征的梯度；
基于所述第二调整梯度，得到所述初始分类概率对应的第四调整梯度，所述第四调整梯度为所述第二调整梯度传递到所述初始分类概率的梯度；
根据所述第三调整梯度对所述特征网络中的网络参数值进行调整，得到所述调整后的特征网络；
根据所述第四调整梯度，对所述初始分类概率进行调整，得到所述调整后的分类概率。
6.一种目标检测方法，其特征在于，包括：
利用神经网络对待检测图像进行目标检测，得到检测结果；所述神经网络采用权利要求1-5任一所述的方法训练得到。
7.一种神经网络训练装置，其特征在于，所述神经网络训练装置包括第一获取单元、第一确定单元、第一处理单元、训练单元、统计单元、第二确定单元和第二处理单元；其中，
所述第一获取单元，用于利用神经网络中的特征网络对图像样本进行特征提取，获取所述特征网络输出的初始特征；
所述第一确定单元，用于根据二元分类器的输出和所述初始特征，确定目标特征；所述二元分类器输出两种预设类别的初始分类概率；
所述第一处理单元，用于利用所述神经网络中的特征功能实现网络对所述目标特征进行处理，得到检测结果；
所述训练单元，用于基于所述检测结果和所述图像样本的标注结果之间的差异，对所述神经网络的网络参数值和所述二元分类器输出的初始分类概率进行调整；重复上述训练过程，直至所述检测结果和所述图像样本的标注结果之间的差异满足预设条件时，得到训练后的神经网络；
所述统计单元，用于统计每一次训练过程中所述二元分类器输出的初始分类概率，构成分类概率集合；
所述第二确定单元，还用于基于所述分类概率集合，确定所述特征网络中需要剪枝的通道；
所述第二处理单元，还用于去掉所述需要剪枝的通道，得到训练完成的神经网络。
8.一种目标检测装置，其特征在于，用于利用神经网络对待检测图像进行目标检测，得到检测结果；所述神经网络由权利要求1-5任一项所述的神经网络训练方法训练得到。
9.一种设备，其特征在于，包括：处理器、存储器以及通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述处理器执行如权利要求1-6任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任一项所述的方法。
CN201911205157.7A 2019-11-29 2019-11-29 神经网络训练、目标检测方法、装置、设备、存储介质 Active CN112884142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205157.7A CN112884142B (zh) 2019-11-29 2019-11-29 神经网络训练、目标检测方法、装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205157.7A CN112884142B (zh) 2019-11-29 2019-11-29 神经网络训练、目标检测方法、装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN112884142A true CN112884142A (zh) 2021-06-01
CN112884142B CN112884142B (zh) 2022-11-22

Family

ID=76038976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205157.7A Active CN112884142B (zh) 2019-11-29 2019-11-29 神经网络训练、目标检测方法、装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN112884142B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463605A (zh) * 2022-04-13 2022-05-10 中山大学 基于深度学习的持续学习图像分类方法及装置
WO2024001283A1 (zh) * 2022-06-30 2024-01-04 商汤集团有限公司 图像处理网络的训练方法、图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764046A (zh) * 2018-04-26 2018-11-06 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备
US20190122113A1 (en) * 2017-10-19 2019-04-25 International Business Machines Corporation Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122113A1 (en) * 2017-10-19 2019-04-25 International Business Machines Corporation Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning
CN108764046A (zh) * 2018-04-26 2018-11-06 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAOHUI YU等: "Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning", 《2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
马力等: "基于稀疏化双线性卷积神经网络的细粒度图像分类", 《模式识别与人工智能》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463605A (zh) * 2022-04-13 2022-05-10 中山大学 基于深度学习的持续学习图像分类方法及装置
CN114463605B (zh) * 2022-04-13 2022-08-12 中山大学 基于深度学习的持续学习图像分类方法及装置
WO2024001283A1 (zh) * 2022-06-30 2024-01-04 商汤集团有限公司 图像处理网络的训练方法、图像处理方法及装置

Also Published As

Publication number Publication date
CN112884142B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN108846826B (zh) 物体检测方法、装置、图像处理设备及存储介质
EP3295385B1 (en) Fixed point neural network based on floating point neural network quantization
US10589368B2 (en) Machine learning device having function of adjusting welding positions of core in wire electric discharge machine
CN112884142B (zh) 神经网络训练、目标检测方法、装置、设备、存储介质
CN110874550A (zh) 数据处理方法、装置、设备和系统
US20220301173A1 (en) Method and system for graph-based panoptic segmentation
CN110263628B (zh) 障碍物检测方法、装置、电子设备以及存储介质
EP4145345A1 (en) Data annotation method and device, and fine granularity identification method and device
CN108973674B (zh) 误操作判定装置
CN110263709B (zh) 驾驶决策挖掘方法和装置
CN112380918A (zh) 一种道路车辆状态识别方法、装置、电子设备及存储介质
CN114386614A (zh) 用于训练机器学习系统的方法和装置
CN112613617A (zh) 基于回归模型的不确定性估计方法和装置
CN116245142A (zh) 用于深度神经网络的混合精度量化的系统和方法
Barajas-Montiel et al. Identifying pain and hunger in infant cry with classifiers ensembles
CN103824285A (zh) 一种基于蝙蝠优化模糊聚类的图像分割方法
CN111260056B (zh) 一种网络模型蒸馏方法及装置
CN112380919A (zh) 一种车辆类别统计方法
CN111814813A (zh) 神经网络训练和图像分类方法与装置
CN115841590A (zh) 神经网络推理优化方法、装置、设备及可读存储介质
US20210342650A1 (en) Processing of learning data sets including noisy labels for classifiers
US20240177004A1 (en) Method for training an artificial neural network
CN112016695A (zh) 用于预测学习曲线的方法、设备和计算机程序
CN112561050A (zh) 一种神经网络模型训练方法及装置
US20230177112A1 (en) Method and system for generating a logical representation of a data set, as well as training method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant