CN110298402A - 一种小目标检测性能优化方法 - Google Patents

Abstract

本发明公开一种小目标检测性能优化方法，其特点是使用上下文关系矩阵和基于上下文的筛选方法，将上下文信息融入YOLOV3目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，优化了小目标检测的性能。本发明与现有技术相比具有通过上下文关系矩阵和基于上下文的筛选，将上下文信息融入到YOLOV3目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，最后提升了小目标检测的性能，使用方便，尤其在各领域的运用发挥了最大的经济效益。

Description

一种小目标检测性能优化方法

技术领域

本发明涉及计算机视觉算法技术领域，尤其是一种小目标检测性能优化方法。

背景技术

小目标检测是目标检测领域一个公开的挑战，同时具有很多现实中应用的需求，比如无人机巡航，智能监控，机器人巡检等等。近年来，随着深度学习应用在目标检测领域，目标检测技术开始飞速发展，作为目标检测的一个子问题，越来越多的研究开始关注如何解决小目标检测的问题。由于小目标存在低分辨率，语义信息弱，与背景差异大等问题，造成现有主流的目标检测框架如Faster R-CNN、YOLO，SSD等无法满足小目标检测的精度要求。最近相关的研究主要集中在两个方面，一方面针对小目标本身包含特征少，通过卷积神经网络提取特征后，语义信息容易丢失的问题，很多学者提出图像超分辨率，多尺度融合特征，多网络级联等方式减少小目标的信息丢失。另一方面也有学者提出，由于小目标本身的特征表达能力弱，可以使用周围上下文信息帮助增加小目标识别的精度。然而，尽管研究表明，上下文信息有助于小目标的识别，但大部分的算法并没有明确使用上下文信息，比如特征金字塔(FPN)结构，通过多尺度融合的方式，在得到多层特征图的基础上采用top-down的方式对小特征图上采样后与下一个特征进行融合之后再进行预测，以此将顶层的语义信息与底层的位置信息结合来提高目标检测的准确性。这些方法虽然在一定程度上提高了小目标检测精度，但小目标检测的性能仍然有较大提升空间。

发明内容

本发明的目的是针对现有技术的不足而设计的一种小目标检测性能优化方法，采用上下文关系矩阵和基于上下文的筛选方法，将上下文信息融入 YOLOV3目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，优化了小目标检测的性能。通过统计图像位置的相对关系，引入空间上下文信息，以及采用基于上下文的筛选算法代替通用的非极大抑制算法进行候选框的选择，实现了更为细粒度的小目标检测。方法实施简单，使用方便，进一步提高小目标检测的精度和速度。

本发明的目的是这样实现的：一种小目标检测性能优化方法，其特点是使用上下文关系矩阵和基于上下文的筛选方法，将上下文信息融入YOLOV3 目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，优化了小目标检测的性能，其具体优化包括下述步骤：

a、各参数的定义

在构建上下文关系前，先定义训练图片数为n，标注信息为M[n]，每张图片存在的目标数为object[n]，训练的目标种类K，相关度阈值μ，相关性影响参数p，并定义引入的上下文关系矩阵为CRM，用以表示视觉感知下已知一对目标的相关程度。

b、训练目标检测网络

依次输入训练图片数，标注信息，每张图片存在目标数object[n]，训练的目标种类数K，相关度阈值μ，相关性影响参数p，然后循环训练提取输出上下文关系矩阵CRM，具体包括下述方法：

⑴、首先初始化任意对象i和对象j的上下文关系矩阵值为CRM[i][j]＝0，使用输入信息循环计算任意对象i，j的上下文关系取值，并针对输入的每张图片信息，从输入的标注信息读取该图像的标注信息，获取该图片各个目标对象的中心坐标，对于任意对象i和j,若i和j的中心坐标的距离小于相关度阈值μ，相应CRM[i][j]加1，对每张图像的所有对象执行相同操作，直到所有图片处理完成，完成初始的上下文关系矩阵CRM。

⑵、使用相关性影响参数p对初始CRM矩阵进行处理，处理后的CRM以下述(I)式表示：

并再次对CRM进行归一化处理，得到最终的上下文关系矩阵。

c、原有分类概率的改进

结合上下文关系矩阵和YOLOV3网络的分类概率，按下述方法对原有的分类概率进行改进：

⑴、引入置信度来衡量边界框包含目标且位置准确的程度，并以下述(1)式进行置信度的计算：

其中：Pr(Object)表示边界框存在目标对象的概率；表示预测的边界框与真实边界框的IOU。

⑵、训练时，使用卷积神经网络得到相应的预测边界框及分类概率 P(class_i|Object)后，从预测的边界框中选择置信度最高的目标Maxclass，对于其相关联性大的目标提高分类概率，对关联性小的降低分类概率，并以下述(2) 式表示：

P(class_i|Object)＝P(class_i|Object)*(1+λCRM[Maxclass][i]) (2)。

d、上下文的筛选

通过统计图像位置的相对关系，引入空间上下文信息，具体包括下述方法：

⑴、将目标间的位置关系细分为上、下、左、右、远、近和重叠，在定义相应的空间位置关系后结合上下文信息，并利用卷积神经网络进行筛选。

⑵、将经卷积神经网络提取特征后的一系列N个候选窗口表示整个图像，并以M_i＝{x,y,w,h}表征为第i个窗口信息，

其中：(x,y)为窗口中心点坐标；w为窗口的宽度；h为窗口的高度。

⑶、使用f_i表示第i个窗口提取的特征信息，则整个图像的特征集合表示为F＝{f_i|i＝1,2,3,…,N}。

⑷、假设需要检测的类别数为K，令l_i∈{0,1,2，…，K}为目标窗口标签，其中背景类以0进行表征，整个标签的集合由下式(II)表示：

L＝{l_i|i＝0,1,2,3,…,N} (II)。

⑸、按下述(3)式筛选算法计算定义F和L的得分：

其中：表示l_i和l_j之间的权重；w_i表示目标i的局部权重；p_i,j表示由位置关系定义的i和j的位置。

e、将优化目标以下述(6)式表示：

其中：为优化目标。

所述计算定义F和L得分的(3)式采用标签类别与空间关系，以及标签类别与图像特征的方法等价为下述(4)式计算F和L得分：

并将上述(4)式以下述(5)式的向量化表示：

Score(F,L)＝W^Tτ(F,L) (5)

其中，

所述优化目标由(4)式、(5)式推导，使用训练集的多幅图片F_i和标签向量L_i得到最优的W；所述W使得输入一幅图像F_i产生的向量L_i与L^*尽可能接近，并以下述(7)式求取极值：

其中：L'_i为计算出的标签向量；l(L_i,L'_i)为下述(III)式表示的约束：

所述约束l(L_i,L'_i)用于测量L_i的不正确程度并使用松弛变量ζ_i按错的比例惩罚，并以下述(8)式表示：

其中：⑴表示分类错误的窗口；⑵表示误归正确的错误窗口；⑶对应另外的情况。

所述求取极值的(7)式采用拉格朗日乘子法转化为下述(9)式表示的无约束问题：

其中：(κ为惩罚因子)。

所述(9)式中的求解包括下述步骤：

⑴、令δ(w)表示多个线性函数的最大值，N为训练图片数，L(w)为凸函数。

⑵、将δ(w)近似为简化的分段线性函数δ_t(w)，对于是δ(w)在点w_i的子梯度，并以下述(10)式表示：

⑶、将w^*中即δ(w)近似为简化的分段函数δ_t(w)后，w^*的求解简化为下述(11)式表示的w_t：

其中：

⑷、由二次规划问题定义，上述(11)式等价为下述(12)式表示：

本发明采用小目标检测的YOLOV3网络，考虑到小目标有限的特征信息，在训练前提取训练的上下文信息构造上下文关系矩阵，结合上下文关系矩阵和YOLOV3网络的分类概率改进原有的分类概率。同时考虑到非极大抑制算法固有的算法瓶颈，为了进一步提高检测的定位精度，通过统计图像位置的相对关系，引入空间上下文信息，提出基于上下文的筛选算法代替通用的非极大抑制算法进行候选框的选择，可选地，所述方法还包括：

⑴、在训练目标检测网络前，引入上下文关系矩阵，定义为CRM，用来表示视觉感知下已知一对目标的相关程度。在构建上下文关系矩阵前，首先需要定义一些计算参数，定义训练图片数为n，标注信息为M[n]，每张图片存在的目标数为object[n]，训练的目标种类K，相关度阈值μ，相关性影响参数p。

⑵、依次输入训练图片数，标注信息，每张图片存在目标数，训练的目标种类数K，相关度阈值，相关性影响参数等参数，然后循环训练提取输出上下文关系矩阵CRM，具体包括：初始化任意对象i和对象j的上下文关系矩阵值为CRM[i][j]＝0，使用输入信息循环计算任意对象i，j的上下文关系取值。针对输入的每张图片信息，从输入的标注信息读取该图像的标注信息，获取该图片各个目标对象的中心坐标，对于任意对象i和j,若i和j的中心坐标的距离小于相关度阈值μ，相应CRM[i][j]加1，对每张图像的所有对象执行相同操作，直到所有图片处理完成，完成初始的上下文关系矩阵CRM。

⑶、使用相关性影响参数p对初始CRM进行处理，处理后的CRM 以下述(I)式表示：

最后最后为了简化计算，提升处理效率，再次对CRM进行归一化处理，得到最终的上下文关系矩阵。

⑷、使用上下文关系矩阵和YOLOV3网络的分类概率改进原有的分类概率，首先引入置信度(confidencde)来衡量边界框包含目标且位置准确的程度，其置信度以下述(1)式表示：

其中：Pr(Object)表示边界框存在目标对象的概率；表示预测的边界框与真实边界框的IOU(Intersection Over Union，交并比)。训练时，使用卷积神经网络得到相应的得到相应的预测边界框及分类概率P(class_i|Object)后，从预测的边界框中选择置信度最高的目标Maxclass。对于其相关联性大的目标提高分类概率，对关联性小的降低分类概率由下述(2)式表示：

P(class_i|Object)＝P(class_i|Object)*(1+λCRM[Maxclass][i]) (2)

其中：P(class_i|Object)为在目标存在下，目标为类别i的概率；Maxclass表示与类别i关联度最高的目标；CRM[Maxclass][i]表示两者的相关性；参数λ控制上下文关系矩阵对分类概率的影响程度。

考虑到并非所有的上下文信息都可以帮助识别，引入了参数λ控制上下文关系矩阵对分类概率的影响程度，λ参数使算法更容易适应各种复杂场景。考虑到非极大抑制算法固有的算法瓶颈，为了进一步提高检测的定位精度，通过统计图像位置的相对关系，引入空间上下文信息，提出基于上下文的筛选算法代替通用的非极大抑制算法进行候选框的选择。

首先自定义相应的空间位置关系，将目标间的空间关系细分为上，下，左，右，远，近，重叠。然后，基于上下文的筛选方法就是统计相应目标间的空间关系，从而结合上下文信息，将经卷积神经网络提取特征后的一系列N个候选窗口表示一整个图像，这里的第i个窗口信息表示为M_i＝{x,y,w,h}，(x,y)表示为窗口中心点坐标，w表示窗口的宽度，h表示窗口的高度。使用f_i表示第i个窗口提取的特征信息，则整个图像的特征集合可以表示为F＝{f_i|i＝1,2,3,…,N}，设需要检测的类别数为K，令l_i∈{0,1,2，…，K}表示目标窗口标签，其中背景类用0进行表征，那么整个标签的集合L＝{l_i|i＝0,1,2,3,…,N}。使用这些信息，筛选算法使用下述(3)式定义F和L的得分：

其中：表示l_i和l_j之间的权重；w_i表示目标i的局部权重；p_i,j表示由自定义位置关系定义的i和j的位置。这里使用一维向量表示，满足相应位置关系对应项赋值为1，否则为0。筛选算法求解过程就是求Score(F,L)最大值的过程，考虑到问题的NP难解性，将上述(3)式等价为下述(4)式表示：

并将(4)式以下述(5)式的向量化表示：

Score(F,L)＝W^Tτ(F,L)、

最后的优化目标可以用下述(6)式表示：

为了实现优化目标，使用训练集的多幅图片F_i和标签向量L_i得到最优的W，最优的W的特征在于，使得输入一幅图像F_i产生的向量L_i与L^*尽可能接近，可以将这个最优化过程描述为下述(7)式求极值的过程：

其中：L'_i为计算出的标签向量，τ(F_i,L_i,L'_i)＝τ(F_i,L_i)-τ(L_i,L'_i)；约束l(L_i,L'_i)用于测量L_i的不正确程度并使用松弛变量ξ_i按比例错的比例惩罚，以下述(8)式表示具体的约束函数l(l_i,l_i')：

⑴表示分类错误的窗口；⑵表示误归正确的错误窗口；⑶对应另外的情况。

考虑到上述(7)式有约束问题的难解性，将(7)式转化为下述(9)式的无约束问题：

其中：(κ为惩罚因子)；

δ(w)表示多个线性函数的最大值，N为训练图片数，L(w)为凸函数。定义求解w^*的简化问题，将δ(w)近似为简化的分段线性函数δ_t(w)；对于是δ(w)在点w_i的子梯度，并用下述(10)式表示：

综上，将w^*的简化问题按下述(11)式定义为w_t：

其中：并将优化问题转化为下述(12)式二次规划问题的形式：

最后将筛选算法的NP hard问题转化为二次规划问题，便于使用数值计算工具进行快速求解。

本发明与现有技术相比具有通过上下文关系矩阵和基于上下文的筛选，将上下文信息融入到YOLOV3目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，最后提升了小目标检测的性能，使用方便，尤其在各领域的运用发挥了最大的经济效益。

附图说明

图1为本发明流程图；

图2为自定义二维空间坐标系位置关系示意；

图3为不同阈值对非极大算法造成的影响；

图4为数据集识别的实例属性说明。

具体实施方式

实施例1

为了验证本发明方法的优越性，使用Tsinghua-Tencent-100k数据集进行了实验，该数据是包含100000张图片的大型交通标志识别基准数据集，数据集包含30000个交通标志实例，由于数据集采集自真实环境，环境复杂，而且交通标志的比例基本在0.2％左右，十分符合作为检测小目标的基准数据集。

参阅附图1，具体部署实验及流程。

参阅附图2，实验中，使用筛选算法时采用了图示的几种自定义空间位置关系。

参阅附图3，显示了非极大抑制算法的一些缺陷，表明本发明性能优化的必要性。

参阅附图4，实验主要训练识别数据集中的二十七类交通标志，具体实验对比了未使用本发明所提出的小目标性能优化方法的YOLOV3以及使用了性能优化的YOLOV3方法在召回率(Recall，R)和准确性(Accuracy，A)的变化，在Tesla p40下训练测试，其实验结果见下述表1：

表1：实验结果

本发明针对小目标检测的YOLOV3网络，考虑到小目标有限的特征信息，在训练前提取训练的上下文信息构造上下文关系矩阵，结合上下文关系矩阵和YOLOV3网络的分类概率改进原有的分类概率。同时考虑到非极大抑制算法固有的算法瓶颈，为了进一步提高检测的定位精度，通过统计图像位置的相对关系，引入空间上下文信息，提出基于上下文的筛选算法代替通用的非极大抑制算法进行候选框的选择。本发明方法旨在引入上下文信息改善基于 YOLOV3的目标检测网络检测性能，提高小目标检测的精度和速度，用以实现更细粒度的小目标检测。本领域研究人员可以理解，尽管在此所述的一些实例包括其它实例中所包括的某些特征而不是其他特征，但是不同实例的特征组合亦在本发明的范围之内。实例中的各步骤可以以硬件完成，或者在多个处理器中以软件形式完成，或者以它们的组合实现。应当了解，可以使用CPU+GPU 的异构计算完成本发明的部分或全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者装置程序。虽然本发明具体实施时，采用YOLOV3 作为基础网络，使用了Tsinghua-Tencent-100k作为验证数据集。但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变形，这种修改和变形均落入权利要求的限定范围之内。

Claims (6)

1.一种小目标检测性能优化方法，其特征在于使用上下文关系矩阵和基于上下文的筛选方法，将上下文信息融入YOLOV3目标检测网络，结合YOLOV3优秀的基础目标检测网络，进而提升小目标检测的准确度，优化了小目标检测的性能，其具体优化包括下述步骤：

a、各参数的定义

在构建上下文关系前，先定义训练图片数为n，标注信息为M[n]，每张图片存在的目标数为object[n]，训练的目标种类K，相关度阈值μ，相关性影响参数p，并定义引入的上下文关系矩阵为CRM，用以表示视觉感知下已知一对目标的相关程度；

b、训练目标检测网络

依次输入训练图片数，标注信息，每张图片存在目标数object[n]，训练的目标种类数K，相关度阈值μ，相关性影响参数p，然后循环训练提取输出上下文关系矩阵CRM，具体包括下述方法：

⑴、首先初始化任意对象i和对象j的上下文关系矩阵值为CRM[i][j]＝0，使用输入信息循环计算任意对象i，j的上下文关系取值，并针对输入的每张图片信息，从输入的标注信息读取该图像的标注信息，获取该图片各个目标对象的中心坐标，对于任意对象i和j,若i和j的中心坐标的距离小于相关度阈值μ，相应CRM[i][j]加1，对每张图像的所有对象执行相同操作，直到所有图片处理完成，完成初始的上下文关系矩阵CRM；

⑵、使用相关性影响参数p对初始CRM矩阵进行处理，处理后的CRM以下述(I)式表示：

并再次对CRM进行归一化处理，得到最终的上下文关系矩阵；

c、原有分类概率的改进

结合上下文关系矩阵和YOLOV3网络的分类概率，按下述方法对原有的分类概率进行改进：

⑴、引入置信度来衡量边界框包含目标且位置准确的程度，并以下述(1)式进行置信度的计算：

其中：Pr(Object)表示边界框存在目标对象的概率；表示预测的边界框与真实边界框的IOU；

⑵、训练时，使用卷积神经网络得到相应的预测边界框及分类概率P(class_i|Object)后，从预测的边界框中选择置信度最高的目标Maxclass，对于其相关联性大的目标提高分类概率，对关联性小的降低分类概率，并以下述(2)式表示：

P(class_i|Object)＝P(class_i|Object)*(1+λCRM[Maxclass][i]) (2)；

d、上下文的筛选

通过统计图像位置的相对关系，引入空间上下文信息，具体包括下述方法：

⑴、将目标间的位置关系细分为上、下、左、右、远、近和重叠，在定义相应的空间位置关系后结合上下文信息，并利用卷积神经网络进行筛选；

⑵、将经卷积神经网络提取特征后的一系列N个候选窗口表示整个图像，并以M_i＝{x,y,w,h}表征为第i个窗口信息，

其中：(x,y)为窗口中心点坐标；w为窗口的宽度；h为窗口的高度；

⑶、使用f_i表示第i个窗口提取的特征信息，则整个图像的特征集合表示为F＝{f_i|i＝1,2,3,…,N}；

⑷、假设需要检测的类别数为K，令l_i∈{0,1,2，…，K}为目标窗口标签，其中背景类以0进行表征，整个标签的集合由下式(II)表示：

L＝{l_i|i＝0,1,2,3,…,N} (II)；

⑸、按下述(3)式筛选算法计算定义F和L的得分：

其中：表示l_i和l_j之间的权重；w_i表示目标i的局部权重；p_i,j表示由位置关系定义的i和j的位置；

e、将优化目标以下述(6)式表示：

其中：为优化目标。

2.根据权利要求1所述小目标检测性能优化方法，其特征在于所述计算定义F和L得分的(3)式采用标签类别与空间关系，以及标签类别与图像特征的方法等价为下述(4)式计算F和L得分：

并将上述(4)式以下述(5)式的向量化表示：

Score(F,L)＝W^Tτ(F,L) (5)

其中，

3.根据权利要求1所述小目标检测性能优化方法，其特征在于所述优化目标由(4)式、(5)式推导，使用训练集的多幅图片F_i和标签向量L_i得到最优的W；所述W使得输入一幅图像F_i产生的向量L_i与L^*尽可能接近，并以下述(7)式求取极值：

其中：L'_i为计算出的标签向量；l(L_i,L'_i)为下述(III)式表示的约束：

4.根据权利要求3所述小目标检测性能优化方法，其特征在于所述约束l(L_i,L'_i)用于测量L_i的不正确程度并使用松弛变量ζ_i按错的比例惩罚，并以下述(8)式表示：

其中：⑴表示分类错误的窗口；⑵表示误归正确的错误窗口；⑶对应另外的情况。

5.根据权利要求3所述小目标检测性能优化方法，其特征在于所述求取极值的(7)式采用拉格朗日乘子法转化为下述(9)式表示的无约束问题：

其中：(κ为惩罚因子)。

6.根据权利要求5所述小目标检测性能优化方法，其特征在于所述(9)式中的求解包括下述步骤：

⑴、令δ(w)表示多个线性函数的最大值，N为训练图片数，L(w)为凸函数；

⑵、将δ(w)近似为简化的分段线性函数δ_t(w)，对于是δ(w)在点w_i的子梯度，并以下述(10)式表示：

⑶、将w^*中即δ(w)近似为简化的分段函数δ_t(w)后，w^*的求解简化为下述(11)式表示的w_t：

其中：

⑷、由二次规划问题定义，上述(11)式等价为下述(12)式表示：