CN109766919A - 级联目标检测系统中的渐变式分类损失计算方法及系统 - Google Patents
级联目标检测系统中的渐变式分类损失计算方法及系统 Download PDFInfo
- Publication number
- CN109766919A CN109766919A CN201811547605.7A CN201811547605A CN109766919A CN 109766919 A CN109766919 A CN 109766919A CN 201811547605 A CN201811547605 A CN 201811547605A CN 109766919 A CN109766919 A CN 109766919A
- Authority
- CN
- China
- Prior art keywords
- classification
- anchor frame
- gradual change
- change type
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种级联目标检测系统中的渐变式分类损失计算方法及系统，其包括：被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；通过感受野权重和该锚框的分类结果计算出该锚框属于每个类别的概率，结合Softmax函数表达式和焦点损失表达式，依次计算出该锚框属于每个类别的概率和分类结果的渐变式分类损失；利用链式求导法则，计算得到该锚框的分类结果的渐变式分类损失在该链路权重处的梯度。本发明通过优化级联目标检系统中各个阶段的分类损失，增强系统排除干扰性特征发现目标的能力，从而提高目标检测的精确性，并能有效节省人力、物力和时间成本。
Description
技术领域
本发明涉及一种模式识别领域中计算机视觉方向的计算方法及系统，特别是关于一种级联目标检测系统中的渐变式分类损失计算方法及系统。
背景技术
在近年来基于卷积神经网络的目标检测系统中，越来越多的算法采用级联式的多个检测器，使系统在原始图像中关注的区域(即锚框在原图中对应的区域)的尺度和位置逐步逼近作为系统希望获得的结果的目标框(ground truth box)的尺度和位置，从而提高目标检测的精度。上述系统中，对于目标分类结果的损失，普遍的做法是直接采用将锚框(anchor)属于每个类别的概率代入到基于交叉熵或Softmax函数制定的焦点损失或其他损失函数中最终获得的结果，并且级联目标检测系统的每个阶段使用的分类损失全部采用同样的计算方法。
显而易见，含有上述方法的目标检测系统的优点是简单易行，不需要分别为每个阶段制定单独的分类损失计算方法。但是其缺点也很明显，随着锚框的尺度和位置逐步逼近作为系统希望获得的结果的目标框，实际上锚框在原图中对应的区域所包含的物体特征也在一直变化，其变化趋势是：在级联系统靠前的阶段，锚框与目标框的匹配精度较低，其对应的区域中混有大量其他物体或背景的干扰性特征；而级联系统靠后的阶段，锚框与目标框的匹配精度显著增高，其对应的区域中目标物体的特征开始占据主导地位。如果简单粗暴的在从前到后各个不同的阶段使用完全相同的分类损失计算方法，其计算出的结果显然无法同时适应各个阶段的锚框对应区域框住的目标特征和干扰性特征各自不同的比例，尤其是在靠前的阶段，干扰性特征甚至可能占据较大的比例，此时如果强迫系统将该锚框分类成目标，反而会干扰目标分类功能的训练，造成其无法正确学习到目标本身的关键特征及其与属于背景或其它类型目标造成的干扰性特征的区别，从而难以收敛。而且这种与锚框感受野中出现的特征不匹配的分类训练还会随着网络中为分类、位置回归等功能提取特征的结构中大量共享参数的更新，最终影响整个级联目标检测系统的性能。
而实际上，在级联目标检测算法的卷积神经网络中，每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点中蕴含着大量的语义信息，这些信息对于评估各个阶段的锚框对应区域框住的目标特征和干扰性特征各自不同的比例具有重要的参考意义。在传统的级联目标检测系统中，上述信息甚至完全没有参与分类损失的计算和算法的训练，就被直接丢弃了，这对于目标检测任务来说，无疑是一种巨大的资源浪费。
综上所述，在级联目标检测系统中，传统的分类损失计算方法简单粗暴的在从前到后各个不同的阶段使用完全相同的分类损失计算方法，其未考虑不同阶段的锚框对应区域中包含的目标特征和干扰性特征的比例差异，不能充分利用作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点中蕴含的语义信息，导致系统无法充分发挥级联目标检测系统拥有多次检测机会、可以分阶段逐步使锚框以比单次检测更高的精度逼近目标框的优势，从而难以保证目标检测的精确性。
发明内容
针对级联目标检测系统中传统的分类损失计算方法并未充分利用作为训练样本的锚框(anchor)对应的区域与目标框(ground truth box)相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点中蕴含的语义信息，导致系统无法充分发挥级联目标检测系统拥有多次检测机会、可以分阶段逐步使锚框以比单次检测更高的精度逼近目标框的优势，从而难以保证目标检测的精确性这一问题。本发明的目的是提供一种级联目标检测系统中的渐变式分类损失计算方法及系统，其能提高目标检测精确性，并能有效节省人力、物力和时间成本。
为实现上述目的，本发明采取以下技术方案：一种级联目标检测系统中的渐变式分类损失计算方法，其包括以下步骤：1)根据目标检测算法中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；2)根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失；3)根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
进一步，所述步骤1)中，被作为训练样本的锚框对应的区域内各个类别感受野权重的计算方法包括以下步骤：1.1)获取该锚框对应的区域内各个像素点所属的类别；1.2)计算该锚框对应的区域内各个像素点的感受野权重：采用离散二维高斯函数来赋予位于该锚框内部不同位置的像素点不同的感受野权重；1.3)计算该锚框对应的区域内各个类别的感受野权重：对于该锚框的对应区域，采用属于每个类别的像素点的感受野权重之和，作为该锚框的对应区域该类别c的感受野权重w_rfc；1.4)重复步骤1.1)至1.3)，直到获得所有被作为训练样本的锚框对应的区域内每个类别的感受野权重。
进一步，所述步骤1.1)中，对于目标检测算法中每个被作为训练样本的锚框对应的区域内各个像素点，如果该像素点位于第c个类别的第m个目标框oc,m对应的区域内部，则判定该像素点属于该目标框对应的类别c，如果该像素点位于多个不同类别的目标框内部的重叠区域，则判定该像素点属于面积最小的目标框对应的类别；如果该像素点未处于任何目标框对应区域内部，则判定该像素点属于背景类别；其中，c∈{1,…,C}，C为类别总数；m为任意正整数。
进一步，所述步骤1.2)中，锚框对应区域内编号为(i,j)的像素点的感受野权重w_di,j为：
其中，锚框宽度方向的方差σw和高度方向的方差σh的数值均等于1，A为使得锚框内部各个像素点的感受野权重相加之和等于1的常数,lw,i与lh,i分别为锚框内部编号为(i,j)的像素点与锚框中心点在宽度方向和高度方向上的归一化距离。
进一步，所述步骤2)中，被作为训练样本的锚框的渐变式分类损失计算方法包括以下步骤：2.1)计算级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重；2.2)计算级联目标检测系统针对被作为训练样本的锚框属于每个类别的概率：当级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重被计算出来后，将渐变式分类权重带入Softmax函数表达式，获得该锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t；2.3)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失：将步骤2.2)中计算出的被作为训练样本的锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t带入焦点损失的表达式，求得级联目标检测系统第t个阶段针对该锚框的分类结果为类别c时的渐变式分类损失FLc,t：FLc,t＝-(1-pc,t)γlnpc,t，其中，γ为可调整的系数；2.4)重复步骤2.1)至2.3)，直到获得级联目标检测系统各个阶段针对所有被作为训练样本的锚框各自的分类结果的渐变式分类损失。
进一步，所述步骤2.1)中，第t阶段的检测器针对该锚框的类别c的渐变式分类权重βc,t为：
其中，c＝c*表示当前类别恰好为目标框对应的类别，即系统希望获得的正确的目标分类结果；T表示级联目标检测系统的包含的不同阶段的数量，T＞1，t∈{1,…,T}表示T个阶段之一，表示每个阶段中渐变式分类权重的指数。
进一步，所述步骤3)中，被作为训练样本的锚框的渐变式分类损失在相关链路处梯度的计算方法包括以下步骤：
3.1)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数：使用链式求导法则得到级联目标检测系统第t个阶段针对被作为训练样本的锚框的分类结果为类别c的焦点损失对该锚框属于类别c的概率的偏导数
3.2)计算级联目标检测系统针对被作为训练样本的锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数；
3.3)计算级联目标检测系统针对被作为训练样本的锚框的各个类别输出结果对相关链路的偏导数：级联目标检测系统第t个阶段网络的最后一层对应类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数等于网络倒数第二层的第j个输出的数值oj：
3.4)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在相关链路处的梯度；
3.5)继续对级联目标检测系统的其它网络层和其它锚框使用链式求导法则，直到获得针对所有被作为训练样本的锚框的分类结果的渐变式分类损失在各自所有相关链路处的梯度。
进一步，所述步骤3.2)中，计算级联目标检测系统第t个阶段针对被作为训练样本的锚框属于分类结果对应的类别c的概率对该阶段网络的最后一层对应任意类别i的输出结果Zi,t的偏导数时，采用分类讨论的计算方式：
i＝c代表当前的类别i就是分类结果对应的类别c，因此网络的最后一层对应类别i的输出结果Zi,t就是分类结果对应的输出Zc,t；反之，i≠c代表类别i不是类别c。
进一步，所述步骤3.4)中，根据链式求导法则，级联目标检测系统第t个阶段针对被作为训练样本的锚框分类结果对应的类别c的渐变式分类损失在链路权重wj,i处的梯度等于该锚框分类结果对应的类别c的渐变式分类损失对该锚框属于类别c的概率的偏导数该锚框属于类别c的概率对网络的最后一层对应任意类别i的输出结果Zi,t的偏导数与网络的最后一层对应任意类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数的乘积；梯度为：
一种级联目标检测系统中的渐变式分类损失计算系统，其包括感受野权重计算模块、渐变式分类损失计算模块和渐变式分类损失在相关链路处的梯度计算模块；所述感受野权重计算模块根据目标检测算法中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；所述渐变式分类损失计算模块根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失；所述渐变式分类损失在相关链路处的梯度计算模块根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
本发明由于采取以上技术方案，其具有以下优点：1、本发明充分利用了级联目标检测系统中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点中蕴含的语义信息，按照级联目标检测系统中每个阶段的锚框与目标框的匹配精度的变化趋势，为各个阶段计算出一系列数值渐变的分类损失，显著增强了系统排除干扰性特征发现目标的能力，实现提高目标检测结果精度的目的。2、本发明可以方便快捷地嵌套在其他基于目标检测结果的跟踪、行为分析等大型系统中，通过提高目标检测结果的精度，间接改善后续对目标的跟踪或行为分析等操作的性能，最终实现提高系统整体精度的目的。3、本发明的计算步骤运算量小，其仅仅对已经被选为训练样本的少量锚框执行，且不涉及卷积或矩阵分解等大运算量操作，其中所有计算操作均发生在系统的训练阶段，与系统实际运行中的目标检测操作无关，因此不会增加系统实际运行中的运算量，也不会降低系统实际运行中的目标检测速度。4、本发明不需要建立额外的网络结构，对于原有网络结构也不用进行修改，在执行过程中不增加任何需要训练的参数，因而不会增加网络结构复杂度和训练难度，工程量小，而且不会对网络原有的训练任务造成任何干扰。5、本发明采用全自动实现，其输入完全来自已经获得的目标检测结果，无需用户重新输入或测量相关数据，其执行过程中也无需用户的额外操作，不仅节省了人力、物力和时间成本，还避免了人为操作误差，保证了标定数据结果的精确性。
附图说明
图1是本发明的整体流程示意图；
图2是锚框内部像素点的感受野权重与不同类别对应区域的示意图。
具体实施方式
本发明提供的级联目标检测系统中的渐变式分类损失计算方法，该方法基于每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；通过上述感受野权重和该锚框的分类结果计算出该锚框属于每个类别的概率，再结合Softmax函数表达式和焦点损失表达式，依次计算出该锚框属于每个类别的概率，和该锚框的分类结果的渐变式分类损失；再利用链式求导法则，计算得到该锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供一种级联目标检测系统中的渐变式分类损失计算方法，该方法比在各个阶段直接使用相同的分类损失计算方法更精确，在保证随着锚框对应区域中的特征的变化做出自适应调整的前提下，又不引入额外的网络结构和训练参数的渐变式分类损失。本发明包括以下步骤：
1)计算被作为训练样本的锚框对应的区域内各个类别的感受野权重：
根据目标检测算法中每个被作为训练样本(正样本或负样本)的锚框(anchor)对应的区域与目标框(ground truth box)相互重叠部分的尺度和位置(即该锚框与目标框的匹配精度)，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别(包括背景)的感受野权重。其包括以下步骤：
1.1)获取该锚框对应的区域内各个像素点所属的类别：
对于目标检测算法中每个被作为训练样本的锚框对应的区域内各个像素点，如果该像素点位于第c个类别(c∈{1,…,C}，C为类别总数)的第m个目标框oc,m对应的区域内部(其中m为任意正整数)，则判定该像素点属于该目标框对应的类别c，如果该像素点位于多个不同类别的目标框内部的重叠区域，则判定该像素点属于面积最小的目标框对应的类别。如果该像素点未处于任何目标框对应区域内部，则判定该像素点属于背景类别。
1.2)计算该锚框对应的区域内各个像素点的感受野权重：
现有技术中已经证明了网络的有效感受野呈现出以其感受野(即理论感受野)中心点为中心的高斯分布，因此本发明采用离散二维高斯函数来赋予位于该锚框内部不同位置的像素点不同的感受野权重(如图2所示)。该锚框对应区域内编号为(i,j)的像素点的感受野权重w_di,j的计算方法如下：
其中，锚框宽度方向的方差σw和高度方向的方差σh的数值均等于1，A为使得锚框内部各个像素点的感受野权重相加之和等于1的常数,lw,i与lh,i分别为锚框内部编号为(i,j)的像素点与锚框中心点在宽度方向和高度方向上的归一化距离，其具体计算方法如下：
其中，2kw+1与2kw分别代表锚框宽度为奇数个像素与偶数个像素，2kh+1与2kh分别代表锚框高度为奇数个与偶数个像素。
上述感受野权重使得像素点的位置越靠近锚框中心(即锚框感受野中心最敏感的区域)，其权重越高；反之，像素点的位置越靠近锚框边缘，其权重越低。
1.3)计算该锚框对应的区域内各个类别的感受野权重：
对于该锚框的对应区域(如图2所示)，采用属于每个类别的像素点的感受野权重之和，作为该锚框的对应区域该类别c的感受野权重w_rfc，其计算方法如下：
1.4)重复步骤1.1)至步骤1.3)，直到获得所有被作为训练样本的锚框对应的区域内每个类别的感受野权重。
2)计算被作为训练样本的锚框的渐变式分类损失：
根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将上述渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失。其具体包括以下步骤：
2.1)计算级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重：
当总共包含T(T＞1)阶段的级联目标检测系统中的第t阶段的检测器(t∈{1,…,T})针对被作为训练样本的锚框的目标分类结果(ground truth class)为类别c*时，第t阶段的检测器针对该锚框的类别c的渐变式分类权重βc,t可通过下式计算：
其中，c＝c*表示当前类别恰好为目标框(ground truth box)对应的类别，即系统希望获得的正确的目标分类结果，此时通过1除以该类别的感受野权重，获得一个大于1的渐变式分类权重，以此来减小因为锚框感受野中存在其他类别(包括背景)的干扰性特征致使目标分类结果中属于正确类别的概率小于1的现象带来的分类损失，鼓励级联目标检测系统忽略干扰特征，继续将目标分为正确的类别；c≠c*,w_rfc＞0表示虽然当前类别并非目标框对应的正确类别，但是该错误类别的特征确实出现在了该锚框的感受野中，干扰了系统的分类判断，此时通过1除以1减去该类别的感受野权重的差值，获得一个小于1的渐变式分类权重，以此来减小上述并非完全由系统本身分类能力不足带来的分类损失，使系统不必急于在靠前的阶段锚框并未准确的框住目标特征的时候强行训练分类能力，而是随着锚框与目标匹配得越来越精确，以逐步升高的分类损失完成分类训练；而对于其他未受干扰的错误分类结果，渐变式分类权重等于1，使分类损失保持不变，鼓励级联目标检测系统训练出避免再次将类似的目标分为错误类别的能力。
T(T＞1)表示级联目标检测系统的包含的不同阶段的数量，t∈{1,…,T}表示上述T个阶段之一，表示上述每个阶段中渐变式分类权重的指数，该指数的数值随着t的数值增加而依次递减，其意义是随着系统运行到靠后的阶段，被逐步优化后锚框的位置已经可以比较准确地框住目标本身并有效减小错误特征干扰，此时该权重以渐变的方式逐步升高，以便以逐渐增大的分类损失对级联目标检测系统进行分类训练，保证对目标的分类精度。直到在末尾阶段随着指数下降为0，该渐变式分类权重的数值退化回1。
2.2)计算级联目标检测系统针对被作为训练样本的锚框属于每个类别的概率：
当级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重被计算出来后，将步骤2.1)中的渐变式分类权重带入Softmax函数表达式，即可获得该锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t：
其中，Zc,t表示级联目标检测系统第t个阶段中的网络的最后一层对应类别c的输出结果，表示类别c的的渐变式分类权重乘以Zc,t的非线性化以后的数值的结果，表示全部C个类别的渐变式分类权重乘以各自输出结果的非线性化以后的数值的结果之和。在级联目标检测系统最后1个阶段，随着渐变式分类权重的数值退化回1，其将该锚框判断为属于类别c的概率pc,t的数值也变为和传统的Softmax函数表达式计算出来的结果相同。
2.3)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失：
将步骤2.2)中计算出的被作为训练样本的锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t带入焦点损失(Focal loss)的表达式，即可求得级联目标检测系统第t个阶段针对该锚框的分类结果为类别c时的渐变式分类损失FLc,t：
FLc,t＝-(1-pc,t)γlnpc,t (7)
其中，γ为可调整的系数，其数值一般设置为2。
2.4)重复步骤2.1)至2.3)，直到获得级联目标检测系统各个阶段针对所有被作为训练样本的锚框各自的分类结果的渐变式分类损失。
3)计算被作为训练样本的锚框的渐变式分类损失在相关链路处的梯度：
由于目标检测系统中的分类损失发挥作用的方式为求取其在卷积神经网络(以下简称网络)中相应链路权重处的梯度，并根据上述梯度在反向误差传播过程中更新其对应的链路权重，通过循环迭代地进行上述过程，逐渐优化各个链路权重，从而达到提高目标检测结果中的分类精度的目的，因此本发明的内容还包含计算级联目标检测系统中的渐变式分类损失在反向误差传播过程中在相关链路处的梯度。
根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
3.1)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数：
使用链式求导法则得到级联目标检测系统第t个阶段针对被作为训练样本的锚框的分类结果为类别c的焦点损失对该锚框属于类别c的概率的偏导数其化简后的表达式如下：
3.2)计算级联目标检测系统针对被作为训练样本的锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数：
计算级联目标检测系统第t个阶段针对被作为训练样本的锚框属于分类结果对应的类别c的概率对该阶段网络的最后一层对应任意类别i的输出结果Zi,t的偏导数时，采用分类讨论的计算方式：
i＝c代表当前的类别i就是分类结果对应的类别c，因此网络的最后一层对应类别i的输出结果Zi,t就是分类结果对应的输出Zc,t，此时将Zi,t＝Zc,t带入链式求导法则并进行化简，得到偏导数等于概率pc,t与1减去概率pc,t的差的乘积；反之，i≠c代表类别i不是类别c，此时使用链式求导法则并进行化简，得到偏导数等于负的概率pc,t与概率pi,t的乘积。
3.3)计算级联目标检测系统针对被作为训练样本的锚框的各个类别输出结果对相关链路的偏导数：
级联目标检测系统第t个阶段网络的最后一层对应类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数的计算方法如下，其结果就等于网络倒数第二层的第j个输出的数值oj：
3.4)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在相关链路处的梯度：
根据链式求导法则，级联目标检测系统第t个阶段针对被作为训练样本的锚框分类结果对应的类别c的渐变式分类损失在链路权重wj,i处的梯度等于该锚框分类结果对应的类别c的渐变式分类损失对该锚框属于类别c的概率的偏导数该锚框属于类别c的概率对网络的最后一层对应任意类别i的输出结果Zi,t的偏导数与网络的最后一层对应任意类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数的乘积。由于在计算偏导数时对当前的类别i是否是分类结果对应的类别c进行了分类讨论，故梯度也采用分类讨论的计算方式：
3.5)继续对级联目标检测系统的其它网络层和其它锚框使用链式求导法则，直到获得针对所有被作为训练样本的锚框的分类结果的渐变式分类损失在各自所有相关链路处的梯度。
本发明还提供一种级联目标检测系统中的渐变式分类损失计算系统，其包括感受野权重计算模块、渐变式分类损失计算模块和渐变式分类损失在相关链路处的梯度计算模块；
感受野权重计算模块根据目标检测算法中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；
渐变式分类损失计算模块根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失；
渐变式分类损失在相关链路处的梯度计算模块根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
综上所述，本发明充分利用了每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点中蕴含的语义信息，按照级联目标检测系统中每个阶段的锚框与目标框的匹配精度的变化趋势，为各个阶段计算出一系列数值渐变的分类损失，显著增强了系统排除干扰性特征发现目标的能力，从而实现提高目标检测的精确性的目的。与此同时，本发明不需要建立额外的网络并进行训练，因而不会增加网络参数和训练难度。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。
Claims (10)
1.一种级联目标检测系统中的渐变式分类损失计算方法，其特征在于包括以下步骤：
1)根据目标检测算法中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；
2)根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失；
3)根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
2.如权利要求1所述方法，其特征在于：所述步骤1)中，被作为训练样本的锚框对应的区域内各个类别感受野权重的计算方法包括以下步骤：
1.1)获取该锚框对应的区域内各个像素点所属的类别；
1.2)计算该锚框对应的区域内各个像素点的感受野权重：采用离散二维高斯函数来赋予位于该锚框内部不同位置的像素点不同的感受野权重；
1.3)计算该锚框对应的区域内各个类别的感受野权重：对于该锚框的对应区域，采用属于每个类别的像素点的感受野权重之和，作为该锚框的对应区域该类别c的感受野权重w_rfc；
1.4)重复步骤1.1)至步骤1.3)，直到获得所有被作为训练样本的锚框对应的区域内每个类别的感受野权重。
3.如权利要求2所述方法，其特征在于：所述步骤1.1)中，对于目标检测算法中每个被作为训练样本的锚框对应的区域内各个像素点，如果该像素点位于第c个类别的第m个目标框oc,m对应的区域内部，则判定该像素点属于该目标框对应的类别c，如果该像素点位于多个不同类别的目标框内部的重叠区域，则判定该像素点属于面积最小的目标框对应的类别；如果该像素点未处于任何目标框对应区域内部，则判定该像素点属于背景类别；其中，c∈{1,…,C}，C为类别总数；m为任意正整数。
4.如权利要求2所述方法，其特征在于：所述步骤1.2)中，锚框对应区域内编号为(i,j)的像素点的感受野权重w_di,j为：
其中，锚框宽度方向的方差σw和高度方向的方差σh的数值均等于1，A为使得锚框内部各个像素点的感受野权重相加之和等于1的常数,lw,i与lh,i分别为锚框内部编号为(i,j)的像素点与锚框中心点在宽度方向和高度方向上的归一化距离。
5.如权利要求1所述方法，其特征在于：所述步骤2)中，被作为训练样本的锚框的渐变式分类损失计算方法包括以下步骤：
2.1)计算级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重；
2.2)计算级联目标检测系统针对被作为训练样本的锚框属于每个类别的概率：当级联目标检测系统针对被作为训练样本的锚框的各个类别的渐变式分类权重被计算出来后，将渐变式分类权重带入Softmax函数表达式，获得该锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t；
2.3)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失：将步骤2.2)中计算出的被作为训练样本的锚框被级联目标检测系统的第t个阶段判断为属于类别c的概率pc,t带入焦点损失的表达式，求得级联目标检测系统第t个阶段针对该锚框的分类结果为类别c时的渐变式分类损失FLc,t：
FLc,t＝-(1-pc,t)γlnpc,t
其中，γ为可调整的系数；
2.4)重复步骤2.1)至2.3)，直到获得级联目标检测系统各个阶段针对所有被作为训练样本的锚框各自的分类结果的渐变式分类损失。
6.如权利要求5所述方法，其特征在于：所述步骤2.1)中，第t阶段的检测器针对该锚框的类别c的渐变式分类权重βc,t为：
其中，c＝c*表示当前类别恰好为目标框对应的类别，即系统希望获得的正确的目标分类结果；T表示级联目标检测系统的包含的不同阶段的数量，T＞1，t∈{1,…,T}表示T个阶段之一，表示每个阶段中渐变式分类权重的指数。
7.如权利要求1所述方法，其特征在于：所述步骤3)中，被作为训练样本的锚框的渐变式分类损失在相关链路处梯度的计算方法包括以下步骤：
3.1)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数：使用链式求导法则得到级联目标检测系统第t个阶段针对被作为训练样本的锚框的分类结果为类别c的焦点损失对该锚框属于类别c的概率的偏导数
3.2)计算级联目标检测系统针对被作为训练样本的锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数；
3.3)计算级联目标检测系统针对被作为训练样本的锚框的各个类别输出结果对相关链路的偏导数：级联目标检测系统第t个阶段网络的最后一层对应类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数等于网络倒数第二层的第j个输出的数值oj：
3.4)计算级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在相关链路处的梯度；
3.5)继续对级联目标检测系统的其它网络层和其它锚框使用链式求导法则，直到获得针对所有被作为训练样本的锚框的分类结果的渐变式分类损失在各自所有相关链路处的梯度。
8.如权利要求7所述方法，其特征在于：所述步骤3.2)中，计算级联目标检测系统第t个阶段针对被作为训练样本的锚框属于分类结果对应的类别c的概率对该阶段网络的最后一层对应任意类别i的输出结果Zi,t的偏导数时，采用分类讨论的计算方式：
i＝c代表当前的类别i就是分类结果对应的类别c，因此网络的最后一层对应类别i的输出结果Zi,t就是分类结果对应的输出Zc,t；反之，i≠c代表类别i不是类别c。
9.如权利要求7或8所述方法，其特征在于：所述步骤3.4)中，根据链式求导法则，级联目标检测系统第t个阶段针对被作为训练样本的锚框分类结果对应的类别c的渐变式分类损失在链路权重wj,i处的梯度等于该锚框分类结果对应的类别c的渐变式分类损失对该锚框属于类别c的概率的偏导数该锚框属于类别c的概率对网络的最后一层对应任意类别i的输出结果Zi,t的偏导数与网络的最后一层对应任意类别i的输出结果Zi,t对网络倒数第二层的第j个输出与最后一层类别i的输出的链路权重wj,i的偏导数的乘积；梯度为：
10.一种级联目标检测系统中的渐变式分类损失计算系统，其特征在于：包括感受野权重计算模块、渐变式分类损失计算模块和渐变式分类损失在相关链路处的梯度计算模块；
所述感受野权重计算模块根据目标检测算法中每个被作为训练样本的锚框对应的区域与目标框相互重叠部分的尺度和位置，以及锚框的感受野呈高斯分布的特点，计算该锚框对应区域内各个类别的感受野权重；
所述渐变式分类损失计算模块根据级联目标检测系统针对被作为训练样本的锚框的分类结果，以及该锚框对应的区域内每个类别的感受野权重，计算出该锚框对应的区域内每个类别的渐变式分类权重，将渐变式分类权重带入Softmax函数表达式，计算出该锚框属于每个类别的概率，再将该锚框属于每个类别的概率带入焦点损失表达式，计算出该锚框的分类结果的渐变式分类损失；
所述渐变式分类损失在相关链路处的梯度计算模块根据链式求导法则，依次计算出级联目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失对该锚框属于分类结果对应的类别的概率的偏导数、该锚框属于分类结果对应的类别的概率对网络各个类别输出结果的偏导数以及各个类别输出结果对相关链路的偏导数，再将上述3个偏导数的乘积作为目标检测系统针对被作为训练样本的锚框的分类结果的渐变式分类损失在该链路权重处的梯度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547605.7A CN109766919B (zh) | 2018-12-18 | 2018-12-18 | 级联目标检测系统中的渐变式分类损失计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547605.7A CN109766919B (zh) | 2018-12-18 | 2018-12-18 | 级联目标检测系统中的渐变式分类损失计算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109766919A true CN109766919A (zh) | 2019-05-17 |
| CN109766919B CN109766919B (zh) | 2020-11-10 |
Family
ID=66451488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811547605.7A Active CN109766919B (zh) | 2018-12-18 | 2018-12-18 | 级联目标检测系统中的渐变式分类损失计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109766919B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738263A (zh) * | 2020-08-24 | 2020-10-02 | 北京易真学思教育科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN112907617A (zh) * | 2021-01-29 | 2021-06-04 | 深圳壹秘科技有限公司 | 一种视频处理方法及其装置 |
| WO2022193619A1 (zh) * | 2021-03-19 | 2022-09-22 | 通号通信信息集团有限公司 | 列车自动追踪方法及列车自动追踪系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
| CN107729947A (zh) * | 2017-10-30 | 2018-02-23 | 杭州登虹科技有限公司 | 一种人脸检测模型训练方法、装置和介质 |
| CN107767387A (zh) * | 2017-11-09 | 2018-03-06 | 广西科技大学 | 基于可变感受野尺度全局调制的轮廓检测方法 |
| CN108334953A (zh) * | 2018-01-09 | 2018-07-27 | 浙江工业大学 | 一种基于权重更新的社交网络信任度学习方法 |
-
2018
- 2018-12-18 CN CN201811547605.7A patent/CN109766919B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
| CN107729947A (zh) * | 2017-10-30 | 2018-02-23 | 杭州登虹科技有限公司 | 一种人脸检测模型训练方法、装置和介质 |
| CN107767387A (zh) * | 2017-11-09 | 2018-03-06 | 广西科技大学 | 基于可变感受野尺度全局调制的轮廓检测方法 |
| CN108334953A (zh) * | 2018-01-09 | 2018-07-27 | 浙江工业大学 | 一种基于权重更新的社交网络信任度学习方法 |
Non-Patent Citations (3)
| Title |
|---|
| WENJIE LUO ET AL: "Understanding the Effective Receptive Field in Deep Convolutional Neural Networks", 《ARXIV:1701.04128V2》 * |
| YINGXIN LOU ET AL: "PT-NET: IMPROVE OBJECT AND FACE DETECTION VIA A PRE-TRAINED CNN MODEL", 《2017 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING (GLOBALSIP)》 * |
| 吴鑫: "基于GPU的光电目标检测方法研究", 《中国博士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738263A (zh) * | 2020-08-24 | 2020-10-02 | 北京易真学思教育科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN112907617A (zh) * | 2021-01-29 | 2021-06-04 | 深圳壹秘科技有限公司 | 一种视频处理方法及其装置 |
| CN112907617B (zh) * | 2021-01-29 | 2024-02-20 | 深圳壹秘科技有限公司 | 一种视频处理方法及其装置 |
| WO2022193619A1 (zh) * | 2021-03-19 | 2022-09-22 | 通号通信信息集团有限公司 | 列车自动追踪方法及列车自动追踪系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109766919B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104063876B (zh) | 一种交互式图像分割方法 | |
| CN103035013B (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| CN109886335B (zh) | 分类模型训练方法及装置 | |
| CN102842032B (zh) | 基于多模式组合策略的移动互联网色情图像识别方法 | |
| CN104484681B (zh) | 基于空间信息和集成学习的高光谱遥感影像分类方法 | |
| CN108876774A (zh) | 一种基于卷积神经网络的人群计数方法 | |
| CN104598908A (zh) | 一种农作物叶部病害识别方法 | |
| CN106803247A (zh) | 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法 | |
| CN109815979B (zh) | 一种弱标签语义分割标定数据生成方法及系统 | |
| CN106611052A (zh) | 文本标签的确定方法及装置 | |
| CN109766919A (zh) | 级联目标检测系统中的渐变式分类损失计算方法及系统 | |
| CN105260738A (zh) | 基于主动学习的高分辨率遥感影像变化检测方法及系统 | |
| CN106203521B (zh) | 基于差异图自步学习的sar图像变化检测方法 | |
| CN106874688A (zh) | 基于卷积神经网络的智能化先导化合物发现方法 | |
| CN109543688A (zh) | 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法 | |
| CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
| CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| Aditya et al. | Batik classification using neural network with gray level co-occurence matrix and statistical color feature extraction | |
| CN106022254A (zh) | 图像识别技术 | |
| CN104751175B (zh) | 基于增量支持向量机的sar图像多类标场景分类方法 | |
| CN104408731B (zh) | 基于区域图和统计相似性编码的sar图像分割方法 | |
| CN110287760A (zh) | 一种基于深度学习的人脸五官点遮挡检测方法 | |
| CN109543585A (zh) | 基于卷积神经网络的水下光学目标检测与识别方法 | |
| CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN110147780A (zh) | 基于层级地形的实时性野外机器人地形识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Yang Inventor after: Luo Jing Inventor after: Ni Guodong Inventor after: Li Bing Inventor after: Li Hongyan Inventor after: Shen Zhizhong Inventor after: Zhu Ang Inventor before: Liu Yang Inventor before: Ni Guodong Inventor before: Li Bing Inventor before: Li Hongyan Inventor before: Shen Zhizhong Inventor before: Zhu Ang |