CN110503092A - 基于领域适应的改进ssd监控视频目标检测方法 - Google Patents

Abstract

本发明提供了一种基于领域适应的改进SSD(单发多框目标检测器)监控视频目标检测方法，步骤如下：(1)采用SSD网络，在公开数据集上训练获得SSD模型。(2)准备监控视频数据，从实际校园监控视频中获取数据集。(3)构建改进网络结构，通过在SSD网络中特定卷积层上引入最大均值差异方法，重构网络损失函数。(4)根据改进的网络结构和损失函数，在训练数据集上完成改进模型的训练。(5)将白天和夜间场景数据分别输入到改进模型进行检测，获得最终检测结果。本发明根据领域适应方法，改进SSD网络，以检测平均正确率AP作为评价标准，提高了SSD网络在不同领域之间的适应性，在白天和夜间监控视频场景的目标检测任务中可以同时达到较好的应用效果。

Description

基于领域适应的改进SSD监控视频目标检测方法

技术领域

本发明属于计算机视觉技术领域，主要涉及深度学习目标检测，尤其是一种基于领域适应的改进SSD(单发多框目标检测器)监控视频目标检测方法。

背景技术

随着人们安全意识的提高，安防领域的建设越来越受关注。视频监控系统作为实现安全防护重要的方式，其已广泛应用于各种场景，包括街道、社区、医院、校园等。传统的视频监控只进行视频采集和存储，通过人工监控和分析的方法以发现视频中的异常行为，一般用于事后取证，该视频监控方式缺乏实时性。然而，伴随着视频监控系统覆盖范围越来越广泛，相应的摄像头的数量也日益增加。在庞大监控视频量的情况下，依靠监控工作人员时刻监看视频很难及时对视频中出现的非正常行为做出反应，不能满足人们对于实际监控实时性的需求。因此，智能视频监控技术的出现和发展成为解决该问题的有效手段。其智能化体现在从海量的数据中自动的提取出有用信息，对监控视频内容进行自动分析处理，进而实现对监控视频中的目标自动检测。

传统的目标检测算法使用人工设计的特征提取器，存在特征表达能力不足，特征可分性差等缺点。其特征设计依赖于不同情况下的实际视觉检测任务，容易受限于开发人员自身的理论基础和实际经验，检测精度不能满足实际需求。而深度学习利用深度神经网络从大量的数据中自主学习特征，学习到的特征更丰富，表达更充分，具有强鲁棒性和高准确性的特点。在深度学习中，卷积神经网络是图像识别和目标检测领域核心的算法之一。在国内外学者对深度学习不断的深入研究下，相继出现了多种基于卷积神经网络目标检测方法。但是，深度神经网络中包含了大量需要自主学习的参数，这些参数的学习需要依靠大量的数据。因此，从小样本数据集中很难学习到准确的特征。此外，人工标注数据往往会耗费大量的人力和时间，而且深度神经网络在不同领域之间的泛化能力较弱，对于不同的领域需要重新训练模型，这在一定程度上都增加了模型训练的难度。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于领域适应的改进SSD监控视频目标检测方法，利用迁移学习中的领域适应方法改进网络结构，以提高其在夜间和白天视频不同场景下的检测效果。

实现本发明的技术方案是：

(1)采用SSD网络，在公开数据集(PASCALVOC2007和PASCALVOC2012)中挑选数据组成训练数据集,在此数据集上训练获得SSD模型。

(2)准备监控视频数据，针对实际校园监控视频中经常出现的人这一类别，对不同场景和时间段的白天和夜间监控视频数据进行挑选，人工标注并通过数据增广的方式将数据进行扩充。

(3)构建改进网络结构，在SSD网络中引入衡量不同领域分布差距的最大均值差异度量方法MMD，利用最大均值差异在特定卷积层Conv3_3上计算不同领域之间的特征差距，并将此差距与SSD网络损失函数合并构成新的总损失函数L，通过多次迭代调节参数以减少不同领域的分布差异，从而充分利用原领域数据，以促进目标领域的检测效果。

改进方法总损失函数L由SSD损失函数L(x,c,l,g)和MMD构成，公式为：

L＝L(x,c,l,g)+λMMD²(X_S,X_T)

其中，L为总的损失函数，L(x,c,l,g)为原SSD网络的损失函数，MMD²(X_S,X_T)为最大均值差异，λ为正则化参数，其取值过低会导致最大均值差异值对模型的训练没有影响，取值过高，会导致正则化过于严重，同样也会对检测效果产生不利影响。

SSD损失函数公式为：

其中，L_conf为置信损失函数，L_loc为位置损失函数，N为与真实框匹配的默认框个数，c为类别信息的检测值，l为位置信息的检测值，g为真实框的位置信息，x为默认框与真实框的匹配结果，α为衡量置信损失与位置损失的权重因子，通常取值为1。

MMD的原理为假设分别存在一个满足N分布的源领域X_(S)＝{x_S ⁽¹⁾,x_S ⁽²⁾,...,x_S ⁽ⁿ⁾}和一个满足M分布的目标领域X_(T)＝{x_T ⁽¹⁾,x_T ⁽²⁾,...,x_T ^(m)}。为源领域中的样本，为目标领域中的样本，n_S和n_T为对应的样本数量。设H为再生核希尔伯特空间(Reproducingkernel Hibert space,RKHS)，映射函数φ(…):X→H，其表示为原始特征空间映射到RKHS空间的映射函数，当n_S→∞,n_T→∞时，X_S和X_T在RKHS空间中的最大差值差异公式为：

(4)获得训练模型，根据改进方法，在步骤(1)已获得的SSD模型基础上，将白天和夜间监控视频训练数据集同时输入到改进SSD网络进行训练。模型训练过程中白天数据是有标签的，网络训练过程中根据白天数据集标签与模型的预测值进行比较，通过随机梯度下降算法优化参数。夜间数据在网络训练过程中是无标签的，在模型特征学习过程中，通过计算不同数据在卷积层上的差距，将此差距与SSD网络原损失函数合并，以减少不同领域的分布差距获得最终的模型。

(5)白天和夜间视频监控场景目标检测，将白天和夜间视频数据分别输入到改进模型进行目标检测，获得最终的检测结果，并在这两种不同的监控视频场景下，采用原SSD模型，在步骤(1)中SSD模型基础上分别输入白天和夜间视频训练集进行训练测试，通过对比不同训练方法的目标检测结果，验证改进方法的有效性和可行性。

本发明的优点和有益效果：

本发明和传统的评价方法相比，具有以下优势：

(1)本发明根据领域适应方法，改进SSD网络，以检测平均正确率AP作为评价标准，提高了SSD网络在不同领域之间的适应性，在白天和夜间监控视频场景的目标检测任务中可以同时达到较好的应用效果。

(2)本发明在SSD模型已有参数的基础上进行训练，降低了训练对GPU计算能力和硬件成本的要求。

(3)本发明根据迁移学习中领域适应方法，对SSD网络进行改进，提高SSD网络在不同领域之间的适应性。

附图说明

图1(a)和图1(b)为不同场景和不同时间段的白天图像，

图1(c)和图1(d)为不同场景和不同时间段的夜间图像；

图2(a)和图2(b)为单独用白天训练集训练的模型对白天图像检测结果；

图2(c)和图2(d)为单独用白天训练集训练的模型对夜间图像检测结果；

图3(a)和图3(b)为单独用夜晚训练集训练的模型对白天图像检测结果；

图3(c)和图3(d)为单独用夜晚训练集训练的模型对夜间图像检测结果；

图4(a)和图4(b)为夜间数据集微调模型对白天图像检测结果；

图4(c)和图4(d)为夜间数据集微调模型对夜间图像检测结果；

图5(a)和图5(b)为白天数据集微调模型对白天图像检测结果；

图5(c)和图5(d)为白天数据集微调模型对夜间图像检测结果；

图6(a)为检测的白天图像；

图6(b)为检测的夜间图像；

图6(c)为将图6(b)经过直方图均衡化处理后得到的图像；

图6(d)为夜间图像亮度调整后的图像；

图6(e)为夜间图像亮度调整后的检测图像；

图6(f)为夜间图像亮度调整前的检测图像；

图6(g)为夜间图像饱和度调整后的图像；

图6(h)为夜间图像饱和度调整后的检测结果图像；

图6(i)为夜间图像饱和度调整前的检测结果图像。

图7(a)为采集的白天图像；

图7(b)为图7(a)在SSD网络Conv1_1卷积层特征图；

图7(c)为图7(a)在SSD网络Conv2_2卷积层特征图；

图7(d)为图7(a)在SSD网络Conv3_3卷积层特征图；

图7(e)为图7(a)在SSD网络Conv4_3卷积层特征图；

图7(f)为图7(a)在SSD网络Conv5_3卷积层特征图；

图7(g)为图7(a)在SSD网络FC7卷积层特征图；

图8(a)为采集的夜间图像；

图8(b)为图8(a)在SSD网络Conv1_1卷积层特征图；

图8(c)为图8(a)在SSD网络Conv2_2卷积层特征图；

图8(d)为图8(a)在SSD网络Conv3_3卷积层特征图；

图8(e)为图8(a)在SSD网络Conv4_3卷积层特征图；

图8(f)为图8(a)在SSD网络Conv5_3卷积层特征图；

图8(g)为图8(a)在SSD网络FC7卷积层特征图；

图9为改进SSD网络结构示意图；

图10(a)和图10(b)为采用本发明改进SSD网络结构对白天图像检测结果；

图10(c)和图10(d)为采用本发明改进SSD网络结构对夜间图像检测结果。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于领域适应的改进SSD监控视频目标检测方法，主要包括训练SSD模型、准备监控视频数据、构建改进网络结构、获得改进模型和目标检测等步骤。软件环境为深度学习框架Caffe、操作系统为ubuntu16.04。

训练SSD模型的步骤如下：

(1)采用SSD网络，在公开数据集PASCALVOC数据集上训练获得SSD模型，迭代12万次，四块GPU，型号为Nvidia Titan Xp，显存为12GB。

(2)监控视频数据中白天数据集为5064张，训练集为3609张，测试集为1455张，夜间数据集5177张，训练集为3809张，测试集为1368张。

(3)使用步骤(2)的训练集，在步骤(1)中训练的SSD模型参数的基础上，使用改进的损失函数进行训练获得最终模型。

步骤(3)中由于在已训练完成的SSD模型参数基础上进行再训练，减少了改进方法所需的训练集，在型号为GeForce GTX1060、显存为6GB的单GPU上即可完成训练与测试，降低了训练对GPU计算能力和成本的要求。

步骤(3)中网络参数设置为：初始学习速率为10^-4，动量为0.9，权重衰减项为0.0005，采用随机梯度下降算法进行训练，迭代30000次获得最终模型。

准备监控视频数据：参见图1。图1(a)和图1(b)为不同场景和不同时间段的白天图像，图1(c)和图1(d)为不同场景和不同时间段的夜间图像。本发明对监控视频数据进行人工标注，并通过数据增广的方式将数据进行扩充，并在Caffe的框架下将数据集转化为Caffe可用的lmdb格式的数据集；

构建改进网络结构：

步骤一：分析SSD网络在不同场景的检测效果，监控视频中通常既包括白天监控场景，也包括夜间监控场景。在已训练完成的SSD模型参数基础上，分别利用白天视频数据和夜间视频数据进行训练，各自训练相应的模型，将白天数据训练的模型直接用于测试夜间数据时，测试效果较差，而基于夜间数据训练的模型直接用于测试白天数据时，测试效果也不好。这是由于在夜间和白天这两种不同的光照条件下，数据之间在颜色、亮度等方面具有一定的差距。从白天数据集上学习的特征与夜间数据集上学习的特征亦存在不同，因此基于白天数据或夜间数据单独训练的模型很难能同时在白天和夜间数据集检测效果上保持较好的稳定性。本发明则采用SSD网络，在不同的情况下，对监控视频数据进行训练测试，进而分析SSD网络的检测效果。

首先，针对白天数据集，将白天训练集输入到已训练SSD模型中进行再训练，检测效果用单个类别的检测正确率AP(Average Precision)衡量，检测结果在表1给出：

表1

表1中单独用白天训练集训练的模型对于白天和夜间的检测正确率分别为52.7％、52.3％，检测结果均较低。白天和夜间图像检测结果参见图2。图2(a)和图2(b)为白天图像检测结果，图2(c)和图2(d)为夜间图像检测结果，白天图像和夜间图像图目标均存在漏检，模型在这两种数据之间的检测效果均较差。

其次，针对夜间数据集，将夜间训练集输入到已训练SSD模型中进行再训练，并分别对白天和夜间测试集进行结果测试，检测结果如表2：

表2

表2中单独用夜间训练集训练的模型对夜间测试集的检测正确率为88.3％，检测效果比表1有明显的提升，但是其对于白天测试集的检测正确率只有25.8％，仍不能在白天和夜间测试集上达到一定的稳定性。白天和夜间图像检测结果参见图3。图3(a)和图3(b)为白天图像检测结果，图3(c)和图3(d)为夜间图像检测结果。夜间图像相比白天图像检测效果较好，漏检较低，但是白天图像检测效果较差，模型在这两种数据之间的适用性仍然较差。

然后，针对夜间数据集，将在白天数据集训练模型的基础上再输入夜间数据集进行微调训练，并分别对白天和夜间测试集进行结果测试，具体检测结果对比在表3体现：

表3

表3中，夜间数据集微调模型对于白天和夜间的检测正确率分别为57.8％、79.4％，该模型相比表1、表2对应的模型对于白天和夜间的检测效果有更好的平衡性，白天和夜间的之间的检测正确率相差仍较多，为21.6％。白天和夜间图像检测结果参见图4。图4(a)和图4(b)为白天图像检测结果，图4(c)和图4(d)为夜间图像检测结果，目标检测存在漏检，模型在白天和夜间数据集上检测的效果均有待提高。

最后，针对白天数据集，将在夜间数据集训练模型的基础上再输入白天数据集进行微调训练，并分别对白天和夜间测试集进行结果测试，表4所示：

表4

表4中，针对白天数据集进行微调的模型对于白天和夜间的检测正确率分别为41.1％、87.6％，该模型在白天和夜间的之间的检测正确率相差，为46.5％，仍不能达到一定的适用性。白天和夜间图像检测结果参见图5。图5(a)和图5(b)为白天图像检测结果，图5(c)和图5(d)为夜间图像检测结果，从目标的检测概率上看，夜间图像比白天图像检测概率值更高，检测效果更好，但模型在这两种数据上的检测结果上依然存在较大漏检，模型适用性仍然较差。

步骤二：分析夜间与白天视频检测差异，白天和夜间监控视频数据在颜色、亮度以及对比度等方面有较大的差异性，在SSD网络进行特征学习亦是存在差异，进而学习的模型在白天和夜间检测效果差距比较大。

本发明利用图像处理方法分析对比度、亮度和饱和度对目标检测效果的影响，参见图6。图6(a)白天图像相比图6(b)夜间图像能检测更多的目标，将图6(b)经过直方图均衡化处理后得到图6(c)，其检测结果优于未经均衡化处理前的夜间图像。图6(d)为夜间图像亮度调整后的图像，通过比较图6(e)和图6(f)亮度调整前后的检测结果，可以看出夜间图像提高图像亮度后，检测效果有所提升。图6(g)为饱和度调整后的图像，增加的图像饱和度后，图6(h)的检测结果明显优于图6(i)未增加图饱和度之前的结果。

另外，由于白天图像和夜间图像本身存在亮度、对比度等差距，且这些差距会导致在两种数据之间进行特征学习时，在特征上体现出一定的差异性，进而影响检测结果。本发明将SSD网络中不同卷积层的特征图进行可视化，针对白天和夜间数据在SSD网络相应卷积层上特征学习的差异进行比较，分析卷积层之间的差距，从网络特征学习的角度上进行分析，参见图7和图8。图7白天图像中卷积层Conv1_1、Conv2_2、Conv3_3和Conv4_3相比图8夜间图像中对于卷积层提取的边缘、轮廓等信息更加丰富，且在各个卷积层上特征的学习均具有差异性。夜间图像在卷积层Conv1_1、Conv2_2虽可以学习到一定的细节信息，仍弱于白天图像学习到的特征，而在Conv3_3卷积层上，两种数据的特征学习具有较为明显的不同，在此之后的卷积层Conv4_3、Conv5_3和FC7层学习到的特征信息亦不同，目标检测效果将会产生较大的不同。本发明则根据迁移学习中的领域适应方法，从SSD网络Conv3_3卷积层进行相应的改进，以提高目标检测效果。

步骤三：根据领域适应方法，改进SSD网络结构，根据白天和夜间图像在SSD网络在卷积层之间特征学习的差距，在Conv3_3上引入最大均值差异方法。由于过于浅层的卷积层特征学习不够充分，且离输出层较远，在卷积层面上不能起到很好的领域适应作用，因此本发明选择在Conv3_3卷积层上度量不同领域的特征差异值，改进方法示意图参见图9。图9中在Conv3_3卷积层上加入最大均值差异MMD方法，损失1为SSD网络损失，总的损失为MMD距离和损失1之和。

目标检测：通过对比改进方法和原SSD方法对白天和夜间图像中的目标检测结果，验证本发明方法的有效性，参见图10。图10(a)和图10(b)为白天图像检测结果，图10(c)和图10(d)为夜间图像检测结果。从检测结果可已看出，改进方法对于白天和夜间图像的检测概率值均在0.6以上，且漏检情况较低，在两种数据的检测效果均较好。

本发明的技术效果通过以下的实验就进行说明：

实验对象为监控视频数据集。

实验步骤：

(1)采用SSD网络，在公开数据集上训练获得SSD模型。

(2)在相同实验环境和参数下，分别采用SSD方法和改进方法，针对不同情况，利用监控视频训练集训练获得不同的模型，并使用不同模型对监控视频测试集进行测试比较。检测效果用正确率AP以衡量，验证改进方法的有效性。

实验数据统计：

采用不同方法对于白天监控视频数据和夜间监控视频数据进行检，检测结果如表5所示：

表5

表5中相差绝对值为两种数据检测结果的AP差值绝对值。原SSD模型对于白天和夜间数据的检测正确率分别为25.9％、39.9％，检测结果较差。白天数据集训练的模型在白天和夜间数据检测结果上相差0.4％，但是检测正确率偏低。夜间数据集训练模型在夜间数据检测结果为88.3％，与白天数据检测结果相差62.5％，差距明显增大。夜间数据集微调模型为在白天数据集训练的模型基础上利用夜间数据进行微调获得，白天和夜间检测相差21.6％，差距仍然较大。白天数据微调模型为在夜间数据集训练的模型基础上利用白天数据进行微调获得，两种场景检测结果差距为46.5％，仍不能满足需求。而改进方法训练的模型，在白天和夜间数据集上测试的正确率分别为71.1％和72.9％，相差只有1.8％，改进方法在两个场景数据的检测结果上可以同时保持相对高的正确率，不同场景之间的数据检测适应性更强。

表6列出了不同方法在显卡Titan Xp GPU上的检测速度。

表6

表6中，原SSD方法每秒检测47帧图像，改进方法检测速度为每秒44帧图像，检测速度与原SSD方法基本一致，可以满足实时性的要求。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于领域适应的改进SSD监控视频目标检测方法，其特征在于：在SSD网络中引入最大均值差异度量方法MMD，利用最大均值差异在特定卷积层上计算不同领域之间的特征差距，并将此差距与SSD网络损失函数合并构成新的总损失函数，通过多次迭代调节参数以减少不同领域的分布差异，从而充分利用原领域数据，以促进目标领域的检测效果。

2.根据权利要求1所述的基于领域适应的改进SSD监控视频目标检测方法，其特征在于：所述的总损失函数L由SSD损失函数L(x,c,l,g)和MMD构成，公式为：

L＝L(x,c,l,g)+λMMD²(X_S,X_T)

其中，L为总的损失函数，L(x,c,l,g)为原SSD网络的损失函数，MMD²(X_S,X_T)为最大均值差异，λ为正则化参数；

SSD损失函数公式为：

其中，L_conf为置信损失函数，L_loc为位置损失函数，N为与真实框匹配的默认框个数，c为类别信息的检测值，l为位置信息的检测值，g为真实框的位置信息，x为默认框与真实框的匹配结果，α为衡量置信损失与位置损失的权重因子，取值为1；

最大均值差异可以表示为：

其中，为源领域中的样本，为目标领域中的样本，n_S和n_T为对应的样本数量，H为再生核希尔伯特空间，映射函数φ(…):X→H表示为原始特征空间映射到再生核希尔伯特空间的映射。

3.根据权利要求1或2所述的基于领域适应的改进SSD监控视频目标检测方法，其特征在于：步骤如下：

(1)采用SSD网络，在公开数据集上训练获得SSD模型；

(2)获取监控视频数据集，对数据集进行人工标注标签，并进行平移、缩放扩充数据集以组成训练集和测试集；

(3)构建改进SSD网络结构，根据迁移学习中的领域适应方法，将白天数据集和夜间数据集同时输入到SSD网络中，同时在特定卷积层面上引入最大均值差异MMD方法，通过最小化MMD来减少特征层上白天和夜间数据领域之间的差异性，并将这种差异性合并到SSD网络原损失函数中重构总损失函数；

(4)根据改进方法，在步骤(1)中已训练完成的SSD模型参数的基础上，利用白天和夜间监控视频数据构成的新的数据集来训练改进SSD网络以获得最终的改进模型；

(5)将白天和夜间视频场景数据输入到改进模型进行目标检测，以获得最终的检测结果。

4.根据权利要求3所述的基于领域适应的改进SSD监控视频目标检测方法，其特征在于：步骤(1)中是从公开数据集PASCALVOC2007和PASCALVOC2012中挑选数据组成训练数据集。

5.根据权利要求3所述的基于领域适应的改进SSD监控视频目标检测方法，其特征在于：所述的特定提取卷积层为卷积层Conv3_3。