CN110263842B - 用于目标检测的神经网络训练方法、装置、设备、介质 - Google Patents
用于目标检测的神经网络训练方法、装置、设备、介质 Download PDFInfo
- Publication number
- CN110263842B CN110263842B CN201910523611.7A CN201910523611A CN110263842B CN 110263842 B CN110263842 B CN 110263842B CN 201910523611 A CN201910523611 A CN 201910523611A CN 110263842 B CN110263842 B CN 110263842B
- Authority
- CN
- China
- Prior art keywords
- network
- student
- layer
- teacher
- characteristic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供用于目标检测的神经网络训练方法、装置、设备、介质，该方法包括：S1：将检测目标图像输入teacher网络、student网络；S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；其中，所述teacher网络与所述student网络的总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。本发明针对检测目标图像，占用计算资源小。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种用于目标检测的神经网络训练方法、装置、设备、介质。
背景技术
神经网络在人工智能(AI)领域快速发展，推动了图像分类、目标检测等各领域的进步。但深度神经网络的准确度提高的同时，深度在不断加深，网络参数也在不断增多，随之带来的便是模型变大，算法执行速度变慢，从而不便于在某些场景下应用，比如：资源受限场景(手机、嵌入式设备)，需要实时分析的场景(实时监控)，成本受限的场景(GPU资源有限)等等。
因此，如何在目标检测的过程中，在对目标进行识别的同时，能够减少对计算资源的需求，是本领域技术人员亟待解决的技术问题。
发明内容
为此，本发明实施例提供一种用于目标检测的神经网络训练方法、装置、设备、介质，在目标检测的过程中，在对目标进行识别的同时，能够减少对计算资源的需求。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明提供一种用于目标检测的神经网络训练方法，该方法包括：
S1：将检测目标图像输入teacher网络、student网络；
S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；
S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
其中，所述teacher网络与所述student网络的总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。
优选地，
在所述步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果的同时，还包括：
将所述student网络的RPN网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
利用所述RPN网络的FasterRCNN标准Loss函数对所述RPN网络进行反向传播训练，得到训练后的RPN网络。
优选地，
在所述步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果的同时，还包括：
将所述student网络的RPN网络、FasterRCNN头部网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
利用所述FasterRCNN头部网络的FasterRCNN标准Loss函数对所述FasterRCNN头部网络进行反向传播训练，得到训练后的FasterRCNN头部网络。
优选地，
所述S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果，包括：
将所述student网络第四层的通道数量扩充到与所述teacher网络第四层的通道数量相同；
所述teacher网络中第四层的第一特征值、所述student网络中的第四层的扩充后的第二特征值输入到L2Loss函数；
将所述L2Loss函数的结果确定为比对结果，以便对student网络进行反向传播训练；
其中，所述L2Loss函数为：
s为teacher网络中第四层的第一特征值；t为student网络中的第四层的第二特征值；r(t)为student网络中的第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
第二方面，本发明提供一种用于目标检测的神经网络训练装置，该装置，包括：
目标图像输入模块，用于实现步骤S1：将检测目标图像输入teacher网络、student网络；
特征比较模块，用于实现步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；
网络调整模块，用于实现步骤S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
其中，所述teacher网络与所述student网络的总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。
优选地，还包括：
RPN网络接入模块，用于将所述student网络的RPN网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
RPN网络训练模块，用于利用所述RPN网络的FasterRCNN标准Loss函数对所述RPN网络进行反向传播训练，得到训练后的RPN网络。
优选地，还包括：
FasterRCNN网络接入模块，用于将所述student网络的RPN网络、FasterRCNN头部网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
FasterRCNN网络训练模块，用于利用所述FasterRCNN头部网络的FasterRCNN标准Loss函数对所述FasterRCNN头部网络进行反向传播训练，得到训练后的FasterRCNN头部网络。
优选地，
所述特征比较模块，包括：
通道调整单元，用于将所述student网络第四层的通道数量扩充到与所述teacher网络第四层的通道数量相同；
特征值输入单元，用于所述teacher网络中第四层的第一特征值、所述student网络中的第四层的扩充后的第二特征值输入到L2Loss函数；
比对结果确定单元，用于将所述L2Loss函数的结果确定为比对结果，以便对student网络进行反向传播训练；
其中，所述L2Loss函数为：
s为teacher网络中第四层的第一特征值；t为student网络中的第四层的第二特征值；r(t)为student网络中的第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
第三方面，本发明提供一种用于目标检测的神经网络训练设备，该设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述第一方面任一种所述用于目标检测的神经网络训练方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一种所述用于目标检测的神经网络训练方法的步骤。
本发明提供一种用于目标检测的神经网络训练方法，该方法包括：S1：将检测目标图像输入teacher网络、student网络；S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；其中，所述teacher网络与所述student网络的总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。本发明针对检测目标图像，将teacher网络中第四层的特征值作为标准，对student网络进行调整训练，从而使得student网络能够在有效对检测目标图像进行检测的同时，实现通道数少，占用计算资源小的目的。
本发明提供的一种用于目标检测的神经网络训练方法、装置、设备、介质，具有相同或相应的上述技术特征，具有相同的上述有益效果，在此不再一一赘述。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的流程图；
图2为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的RPN网络训练流程图；
图3为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的FasterRCNN网络训练流程图；
图4为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的teacher网络、student网络比对流程图；
图5为本发明又一具体实施方式提供的一种用于目标检测的神经网络训练装置的组成示意图；
图6为本发明一种具体实施方式中所提供的一种用于目标检测的神经网络训练设备的结构示意图；
图7为本发明一种具体实施方式中所提供的一种计算机可读存储介质的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1、图2、图3、图4，图1为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的流程图；图2为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的RPN网络训练流程图；图3为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的FasterRCNN网络训练流程图；图4为本发明一种具体实施方式所提供的一种用于目标检测的神经网络训练方法的teacher网络、student网络比对流程图。
在本发明一种具体实施方式中，本发明实施例提供一种用于目标检测的神经网络训练方法，该方法包括：
步骤S1：将检测目标图像输入teacher网络、student网络；
在本步骤S1中，首先需要将要带有检测目标的检测目标图像输入到teacher网络、student网络中去，检测目标图像中，应当使用矩形框进行了检测目标的标记，并且应该说明该矩形框框选的标签类别，例如，在一个实例中，检测目标为梨子，那么可以人工利用矩形框将检测目标图像中的梨子标记出来，并且对应该矩形框的标签注明梨子的标签类别。
具体地，teacher网络、student网络可以为基于Faster RCNN目标检测框架，采用ResNet作为基础网络的神经网络，具体可以包括：基础网络、RPN网络、FastCNN头部网络，当然，也可以根据具体情况进行神经网络的增加。而且teacher网络、student网络的总体构架相同，两者的通道数量不同，teacher网络的通道数比所述student网络的通道数多，具体地，可以将student网络的每层的通道数设置为teacher网络相应层的通道数的1/n，n可取2，4，8等。n值的选取影响到速度和准确度的权衡。
步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；
并且，将teacher网络处于前向预测模式，所述student网络处于训练模式，这时teacher网络可以很好地对检测目标图像中的检测目标进行检测，而且teacher网络由于通道数多，数据的精确度高；student网络的通道数少，数据的精确度相较于teacher网络，数据的精确度要稍低，因此可以利用teacher网络中的数据与student网络中的数据进行比较，从而可以进一步根据比较结果对student网络进行调整。
步骤S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
在本步骤S3中，在得到比对结果后，为了使得student网络与teacher网络之间的比对结果更小，使student网络的目标检测结果也就更接近teacher网络的检测结果，因此，需要对student网络进行调整，也就是对student网络的第四层的第二特征值进行调整，使得student网络第二特征值与teacher网络的第一特征值保持接近。在调整后，需要重新进入步骤S2计算新的比对结果，直到新的比对结果小于预设阈值，属于可以接收的范围后，可以将调整后得到的student网络作为训练后的student网络，可以进行student网络的布置，单独运行该训练后的student网络，进行目标的识别，在占用计算资源少的同时，能够准确识别检测目标。
进一步地，在步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果的同时，为了对student网络的中的RPN网络进行训练，可以进行以下步骤：
步骤S21：将所述student网络的RPN网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
步骤S22：利用所述RPN网络的FasterRCNN标准Loss函数对所述RPN网络进行反向传播训练，得到训练后的RPN网络。
具体地，可以运行student网络中的基础网络和RPN网络，teacher网络也只运行基础网络和RPN网络，此时，对RPN网络同时进行训练，RPN网络输出的Softmax Loss和bboxLoss，可以作为反向训练的目标函数输入到student网络的RPN网络中，从而对RPN网络的数据结构进行调整使得Softmax Loss和bbox Loss尽量减小。
更进一步地，在步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果的同时，为了进一步地，对student网络的FasterRCNN头部网络进行训练，可以在对RPN网络进行训练后进行以下步骤：
步骤S31：将所述student网络的RPN网络、FasterRCNN头部网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
步骤S32：利用所述FasterRCNN头部网络的FasterRCNN标准Loss函数对所述FasterRCNN头部网络进行反向传播训练，得到训练后的FasterRCNN头部网络。
具体地，teacher网络和student网络均运行基础网络、RPN网络、FastCNN头部网络，此时，对FastCNN头部网络同时进行训练，FastCNN头部网络输出的Softmax Loss和bboxLoss，可以作为反向训练的目标函数输入到student网络的FastCNN头部网络中，从而对FastCNN头部网络的数据结构进行调整使得Softmax Loss和bbox Loss尽量减小。
在上述具体实施方式的基础上，本具体实施方式中，为了将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果，可以进行以下步骤：
步骤S41：将所述student网络第四层的通道数量扩充到与所述teacher网络第四层的通道数量相同；
步骤S42：所述teacher网络中第四层的第一特征值、所述student网络中的第四层的扩充后的第二特征值输入到L2Loss函数；
步骤S43：将所述L2Loss函数的结果确定为比对结果，以便对student网络进行反向传播训练；
其中，所述L2Loss函数为：
s为teacher网络中第四层的第一特征值；t为student网络中的第四层的第二特征值；r(t)为student网络中的第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
具体地，可以通过1x1的卷积核将所述student网络第四层的通道数量扩充到与所述teacher网络第四层的通道数量相同，当然也可以采用其他的扩充方式，例如，如果student网络第四层的通道数量是teacher网络第四层的通道数量的1/2，那么可以将student网络第四层的通道数据两两通道之间穿插复制两个通道数据的平均数，从而得到与teacher网络第四层的通道数量相同的通道数据。
本发明实施例提供一种用于目标检测的神经网络训练方法本发明针对检测目标图像，将teacher网络中第四层的特征值作为标准，对student网络进行调整训练，从而使得student网络能够在有效对检测目标图像进行检测的同时，实现通道数少，占用计算资源小的目的。
请参考图5，图5为本发明又一具体实施方式提供的一种用于目标检测的神经网络训练装置的组成示意图。
在本发明又一具体实施方式中，本发明实施例提供一种用于目标检测的神经网络训练装置500，该装置，包括：
目标图像输入模块510，用于实现步骤S1：将检测目标图像输入teacher网络、student网络；
特征比较模块520，用于实现步骤S2：将所述teacher网络中第四层的第一特征值、所述student网络中的第四层的第二特征值，进行比较，得到比对结果；
网络调整模块530，用于实现步骤S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
其中，所述teacher网络与所述student网络的总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。
优选地，还包括：
RPN网络接入模块，用于将所述student网络的RPN网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
RPN网络训练模块，用于利用所述RPN网络的FasterRCNN标准Loss函数对所述RPN网络进行反向传播训练，得到训练后的RPN网络。
优选地，还包括：
FasterRCNN网络接入模块，用于将所述student网络的RPN网络、FasterRCNN头部网络接入所述检测目标图像的所述矩形框以及对应的检测类别；
FasterRCNN网络训练模块，用于利用所述FasterRCNN头部网络的FasterRCNN标准Loss函数对所述FasterRCNN头部网络进行反向传播训练，得到训练后的FasterRCNN头部网络。
优选地，
所述特征比较模块520，包括：
通道调整单元，用于将所述student网络第四层的通道数量扩充到与所述teacher网络第四层的通道数量相同；
特征值输入单元，用于所述teacher网络中第四层的第一特征值、所述student网络中的第四层的扩充后的第二特征值输入到L2Loss函数；
比对结果确定单元，用于将所述L2Loss函数的结果确定为比对结果，以便对student网络进行反向传播训练；
其中，所述L2Loss函数为：
s为teacher网络中第四层的第一特征值；t为student网络中的第四层的第二特征值；r(t)为student网络中的第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
请参考图6、图7，图6为本发明一种具体实施方式中所提供的一种用于目标检测的神经网络训练设备的结构示意图；图7为本发明一种具体实施方式中所提供的一种计算机可读存储介质的结构示意图。
本发明实施例提供一种用于目标检测的神经网络训练设备600，包括：
存储器610，用于存储计算机程序；
处理器620，用于执行所述计算机程序时实现如上述第一方面所述任一种用于目标检测的神经网络训练方法的步骤。该计算机程序存储于存储器610中的用于程序代码存储的空间中，该计算机程序有处理器620执行时实现任一种本发明实施例中的方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种具体实施方式所述任一种用于目标检测的神经网络训练方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (6)
1.一种用于目标检测的神经网络训练方法，其特征在于，包括：
S1：将检测目标图像输入teacher网络、student网络；
S2：将所述student网络的基础网络第四层的通道数量扩充到与所述teacher网络的基础网络第四层的通道数量相同；所述teacher网络中的基础网络第四层的第一特征值、所述student网络中的基础网络第四层的扩充后的第二特征值输入到L2 Loss函数；将所述student网络的RPN网络、FasterRCNN头部分类网络接入所述检测目标图像的矩形框以及对应的检测类别；将所述L2 Loss、所述RPN网络的标准Loss函数和FasterRCNN头部分类网络的标准Loss函数的结果确定为比对结果，对所述student网络的基础网络、所述RPN网络和所述FasterRCNN头部分类网络同时进行反向传播训练；
S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
其中，所述student网络包括基础网络、RPN网络、FasterRCNN头部分类网络；所述teacher网络的基础网络与所述student网络的基础网络总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的基础网络的通道数比所述student网络的基础网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。
2.根据权利要求1所述的神经网络训练方法，其特征在于，所述L2 Loss函数为：
s为teacher网络中的基础网络第四层的第一特征值；t为student网络中的基础网络第四层的第二特征值；r(t)为student网络中的基础网络第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
3.一种用于目标检测的神经网络训练装置，其特征在于，包括：
目标图像输入模块，用于实现步骤S1：将检测目标图像输入teacher网络、student网络；
特征比较模块，包括：通道调整单元，用于将所述student网络的基础网络第四层的通道数量扩充到与所述teacher网络的基础网络第四层的通道数量相同；特征值输入单元，用于所述teacher网络中的基础网络第四层的第一特征值、所述student网络中的基础网络第四层的扩充后的第二特征值输入到L2Loss函数；
FasterRCNN网络接入模块，用于将所述student网络的RPN网络、FasterRCNN头部分类网络接入所述检测目标图像的矩形框以及对应的检测类别；
网络损失计算模块，用于将所述L2 Loss、所述RPN网络的标准Loss函数和FasterRCNN头部分类网络的标准Loss函数的结果确定为比对结果，对所述student网络的基础网络、所述RPN网络和所述FasterRCNN头部分类网络同时进行反向传播训练；
网络调整模块，用于实现步骤S3：利用所述比对结果，对所述student网络进行调整，并进入步骤S2，直到得到的比对结果小于预设阈值，以得到训练后的student网络；
其中，所述student网络包括基础网络、RPN网络、FasterRCNN头部分类网络；所述teacher网络的基础网络与所述student网络的基础网络总体构架相同；所述teacher网络处于前向预测模式，所述student网络处于训练模式；所述teacher网络的通道数比所述student网络的通道数多；所述检测目标图像，设有检测目标的矩形框以及所述检测目标的标签类别。
4.根据权利要求3所述的神经网络训练装置，其特征在于，所述L2 Loss函数为：
s为teacher网络中第四层的第一特征值；t为student网络中的第四层的第二特征值；r(t)为student网络中的第四层的扩充后的第二特征值；所述N为s-r(t)的元素个数。
5.一种用于目标检测的神经网络训练设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述用于目标检测的神经网络训练方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述用于目标检测的神经网络训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910523611.7A CN110263842B (zh) | 2019-06-17 | 2019-06-17 | 用于目标检测的神经网络训练方法、装置、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910523611.7A CN110263842B (zh) | 2019-06-17 | 2019-06-17 | 用于目标检测的神经网络训练方法、装置、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110263842A CN110263842A (zh) | 2019-09-20 |
| CN110263842B true CN110263842B (zh) | 2022-04-05 |
Family
ID=67918817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910523611.7A Active CN110263842B (zh) | 2019-06-17 | 2019-06-17 | 用于目标检测的神经网络训练方法、装置、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110263842B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027551B (zh) * | 2019-12-17 | 2023-07-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、设备和介质 |
| CN112819050B (zh) * | 2021-01-22 | 2023-10-27 | 北京市商汤科技开发有限公司 | 知识蒸馏和图像处理方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
| CN109800821A (zh) * | 2019-01-31 | 2019-05-24 | 北京市商汤科技开发有限公司 | 训练神经网络的方法、图像处理方法、装置、设备和介质 |
-
2019
- 2019-06-17 CN CN201910523611.7A patent/CN110263842B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
| CN109800821A (zh) * | 2019-01-31 | 2019-05-24 | 北京市商汤科技开发有限公司 | 训练神经网络的方法、图像处理方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| Learning Efficient Object Detection Models with Knowledge Distillation;Guobin Chen等;《Proceeding of the 31st International Conference on Neural Information Processing Systems》;20171231;第3-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110263842A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11250591B2 (en) | Target detection method, system, and non-volatile storage medium | |
| US10943091B2 (en) | Facial feature point tracking method, apparatus, storage medium, and device | |
| CN106776842B (zh) | 多媒体数据检测方法及装置 | |
| Zhao et al. | Seismic: A self-exciting point process model for predicting tweet popularity | |
| CN112257815A (zh) | 模型生成方法、目标检测方法、装置、电子设备及介质 | |
| CN110261816B (zh) | 语音波达方向估计方法及装置 | |
| CN110263842B (zh) | 用于目标检测的神经网络训练方法、装置、设备、介质 | |
| CN111182637A (zh) | 一种基于生成对抗强化学习的无线网络资源分配方法 | |
| CN112949820A (zh) | 基于生成对抗网络的认知抗干扰目标检测方法 | |
| CN110969200A (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
| CN110032931B (zh) | 生成对抗网络训练、网纹去除方法、装置及电子设备 | |
| WO2022206729A1 (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
| CN111383250A (zh) | 基于改进混合高斯模型的运动目标检测方法及装置 | |
| CN108667912B (zh) | 一种云资源分配方法及装置 | |
| CN111178261A (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
| CN111915541B (zh) | 基于人工智能的图像增强处理方法、装置、设备及介质 | |
| CN112165471A (zh) | 一种工控系统流量异常检测方法、装置、设备及介质 | |
| CN107563324B (zh) | 一种复合核结构的超限学习机高光谱图像分类方法及装置 | |
| CN113033719A (zh) | 目标检测处理方法、装置、介质及电子设备 | |
| US10733791B2 (en) | Real-time rendering method based on energy consumption-error precomputation | |
| CN110472588A (zh) | 锚点框确定方法、装置、计算机设备和存储介质 | |
| WO2022151579A1 (zh) | 边缘计算场景下后门攻击主动防御方法及装置 | |
| CN109711287A (zh) | 人脸采集方法及相关产品 | |
| CN113890833B (zh) | 网络覆盖预测方法、装置、设备及存储介质 | |
| CN109635349A (zh) | 一种噪声增强最小化克拉美罗界的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Neural network training methods, devices, equipment, and media for object detection Effective date of registration: 20230713 Granted publication date: 20220405 Pledgee: Bank of Jiangsu Limited by Share Ltd. Beijing branch Pledgor: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2023110000278 |