CN111428575B - 一种基于孪生网络的针对模糊目标的跟踪方法 - Google Patents

Abstract

本发明提出了一种基于孪生网络的针对模糊目标的跟踪方法。本发明根据清晰图像集生成模糊图像集，并分别进行预处理；构建去模糊对抗生成网络，通过对抗损失、内容损失构建网络的损失函数，结合预处理后清晰图像集以及模糊图像集进行训练，得到训练后去模糊对抗生成网络；通过对多个标注好的图像序列进行预处理构建训练样本，构建跟踪孪生网络，定义损失函数并进行训练，得到训练后跟踪孪生网络；组合去模糊对抗生成网络和跟踪孪生网络，对图像序列进行跟踪，得到相似度分数矩阵，通过矩阵中最大值计算出目标的位置坐标。本发明提高了在模糊场景下的跟踪精度，并在实际的模糊场景中表现出良好的鲁棒性。

Description

一种基于孪生网络的针对模糊目标的跟踪方法

技术领域

本发明涉及深度学习和计算机视觉技术，具体涉及一种基于孪生网络的针对模糊目标的跟踪方法。

背景技术

视觉跟踪在计算机视觉中起着至关重要的作用。它是智能视频监视，现代军事，智能交通和视觉导航领域中许多高级应用程序的重要组成部分。尽管跟踪问题已经研究了很长时间，但是由于跟踪问题的复杂性以及诸如变形、照明变化、比例变化、遮挡、背景杂乱和运动模糊等外部挑战，使得跟踪仍然是一项非常困难的任务。过去，人们一直在努力建立鲁棒的外观模型以进行跟踪，以解决变形、比例尺变化和遮挡的问题。但是，大多数现有的跟踪算法并未明确考虑视频序列中包含的运动模糊。实际上，运动模糊是一个常见的问题，尤其是在诸如无人机或吊舱之类的应用中，运动模糊很可能与其他挑战一起出现，这会降低这些应用场景中跟踪算法的性能。

近年来，由于去模糊算法和跟踪技术在深度学习方向上的发展，将去模糊方法应用到跟踪领域变成可能。首先，对抗生成网络已经运用到去模糊算法上并取得良好的效果。而孪生网络由于其稳定性、准确性和速度快的优势，在跟踪领域应用很广泛。由于对抗生成网络和孪生网络的优势，我们将生成网络应用到跟踪系统中用以提高对模糊目标跟踪的性能。

发明内容

本发明所要解决的技术问题是，提高跟踪器对模糊目标跟踪的性能，提出了一种基于孪生网络的目标跟踪方法，通过将对抗生成网络和孪生网络有效结合，提高跟踪器对模糊目标跟踪时的精读及鲁棒性，从而有效解决上述问题。

为了实现上述目的，本发明提供了一种基于孪生网络的针对模糊目标的跟踪方法，包括以下步骤：

步骤1：根据清晰图像集生成模糊图像集，分别对清晰图像集、模糊图像集进行预处理，得到预处理后清晰图像集和预处理后模糊图像集；

步骤2：构建去模糊对抗生成网络，通过对抗损失、内容损失构建去模糊对抗生成网络的总损失函数，结合预处理后清晰图像集以及预处理后模糊图像来训练去模糊对抗生成网络，得到训练后去模糊对抗生成网络；

步骤3：通过多个图像序列构建训练样本，通过人工标记法对图像序列中图像标记目标矩形框；

步骤4：训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本，训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本，将搜索区域样本中每幅图像的像素点标记出是否为目标位置；

步骤5：通过目标区域分支以及搜索区域分支构建孪生网络，根据相似度分数矩阵构建孪生网络的损失函数，通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络；

步骤6：将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，得到待跟踪图像序列的目标坐标位置。

作为优选，步骤1所述根据清晰图像集生成模糊图像集为：

清晰图像集选择高帧率图像数据集，通过运动模糊退化模型，将清晰图像集中连续M′帧的清晰图像合成为一幅模糊图像，并选取M′帧清晰图像的中间一帧作为相对应的清晰图像。光学感应器的成像信息用如下积分函数表示：

其中，T表示曝光总时间，S(t)表示曝光时刻t记录的影像信息，I表示成像信息，在成像后还需要经过成像设备响应函数将图像信息映射到合适的像素值；

伽马函数近似于成像设备响应函数，光学系统获得的图像像素值可以表示为：

L＝g(I)

其中g(·)表示伽马函数，也表示成像设备响应函数，L表示图像亮度值。

通过混合相邻M′帧的成像信息，可模拟模糊图像的成像信息，模糊图像的成像信息可用如下公式表示：

I(i)表示第i帧的成像信息。成像信息I(i)可由第i帧图像经过反伽马函数得到，即I(i)＝g^-1(S(i))，S(i)表示第i帧图像的像素值，g^-1(·)表示反伽马函数，i∈[1,M’]

最后，再对模糊图像的成像信息I_blurry经过成像设备响应函数，则可得到模糊图像。定义为：

伽马变换定义为：

g(x)＝x^1/γ

每M′帧清晰图像S(·)通过上述变换后即可得到一帧模糊图像，模糊图像放入模糊图像集中，从M′帧清晰图像中选取一帧放入清晰图像集中；

所述裁减处理为：

将所述清晰图像集中每幅清晰图像通过裁减处理，使得每幅清晰图像的长和宽均为k，得到步骤1所述预处理后清晰图像集，即P_sharp(S)；

将所述模糊图像集中每幅模糊图像通过裁减处理，使得每幅模糊图像的长和宽均为k，得到步骤1所述预处理后模糊图像集，即P_blurry(B)；

作为优选，步骤2所述去模糊对抗生成网络由生成器、判别器构成；

所述生成器包含：卷积层、归一化层、激活函数层；

所述生成器的输入为预处理后模糊图像集即P_blurry(B)，若B属于模糊图像集中的图像，即B∈P_blurry(B)，B经过生成器得到的图像记为G(B)；

所述判别器包含：卷积层、归一化层、激活函数层；

所述判别器的输入为生成器生成的图像G(B)，或者清晰的图像S，其中S∈P_sharp(S)，最后得到长宽尺寸为m的矩阵；

步骤2所述对抗损失通过Wasserstein距离来定义，具体如下；

其中，S属于清晰图像集中的图像，S～P_sharp(S)表示S穷举清晰图像集所有图像。B属于模糊图像集中的图像，B～P_blurry(B)表示B穷举模糊图像集所有图像。D(S)表示判别器对图像S的输出，D(G(B))表示判别器对所生成图像G(B)的输出，E表示期望值；

步骤2所述内容损失使用L2距离进行定义，即均方误差来定义，具体如下：

L_mse＝||S-G(B)||²

步骤2所述去模糊对抗生成网络的总损失定义为：

L＝L_adv+100L_mse

通过最小化损失函数L来对模型进行训练，根据梯度下降法得到去模糊对抗生成网络的weight，即可完成步骤2所述训练后去模糊对抗生成网络的构建；

作为优选，步骤3所述图像序列的数量为M；

步骤3所述图像序列均包含N幅图像；

步骤3所述训练样本中图像的数量为：M×N幅；

步骤3所述对图像序列中图像标记目标矩形框为：

对第i个图像序列中第j幅图像人工标记其目标矩形框为：

(x_i,j,y_i,j,w_i,j,h_i,j)

其中，(x_i,j,y_i,j)表示第i个图像序列中第j幅图像的目标矩形框左上角的坐标，(w_i,j,h_i,j)表示第i个图像序列中第j幅图像的目标矩形框的尺寸，

表示第i个图像序列中第j幅图像的目标矩形框的中心坐标

作为优选，步骤4所述目标区域得图像尺寸为图像的长、宽，且均为p₁；

步骤4所述根据目标区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₁的图像作为目标区域样本的图像；

所述截取长、宽均为p₁的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

图像矩形框的长、宽均为p₁；

步骤4所述目标区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₁的图像；

所述目标区域样本定义为φ，所述目标区域样本中第i个序列中第j幅图像为φ_i,j；

步骤4所述搜索区域的图像尺寸为图像的长、宽，且均为p₂，p₂＞p₁；

步骤4所述根据搜索区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₂的图像作为搜索区域样本的图像；

所述截取长、宽均为p₂的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

右下角坐标位置为：

图像矩形框的长、宽均为p₂；

若有以下情况之一：

则图像矩形框超出训练样本中图像的边界，超出部分用图像均值像素填充。

步骤4所述搜索区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₂的图像；

所述目标区域样本定义为

所述目标区域样本中第i个序列中第j幅图像为

对于搜索区域样本中每幅图像均有p₂ ²个像素点，将每个像素点标记出是否为目标位置，其计算公式为：

其中c表示搜索区域图像中目标的中心点，u表示每个要标记的位置。R表示以c为圆心画圆的半径。u与c的距离超过R，则标记为-1，u表示负样本，不是目标位置，否则标记为+1，u表示正样本，是目标位置。

作为优选，所述目标区域分支由卷积层、最大池化层组成，所述目标区域分支的输出为目标区域图像的特征向量；

所述搜索区域分支由卷积层、最大池化层组成，所述搜索区域分支的输出为搜索区域图像的特征向量；

搜索区域分支在网络结构上完全复制目标区域分支百度网络结构。在训练过程中，搜索区域分支网络每一层的weight值保持和目标区域分支网络相同层的weight值一样；

所述目标区域样本中第i图像序列为：{φ_i,1,φ_i,2,φ_i,3...φ_i,N}；

所述搜索区域样本中第i图像序列为：

训练第i图像序列时，依次将φ_i,1、φ_i,2φ_i,3、...、φ_i,N作为目标区域分支的输入；

把φ_i,1作为目标区域分支的输入，得到尺寸为s1，通道数为c1的卷积核

再依次将

作为搜索区域分支的输入进行训练，每个样本经过搜索区域分支后，得到尺寸为s2，通道数为c1的卷积核

将两个卷积核进行互相关操作，得到尺寸为L1的相似度分数矩阵

即将每个

作为一个输入对，其中0＜y≤N；都可以得到一个相似度分数矩阵

接着依次将{φ_i,2,φ_i,3...φ_i,N}作为目标区域分支的输入，每次更换目标区域分支输入时，重复上一步骤操作。即对于每个图像序列，可以得到N²个相似度分数矩阵。跟踪孪生网络用M个图像序列进行训练，可以得到M×N²个相似度分数矩阵

进一步通过相似度矩阵得到目标在原图像的坐标：

若有一个相似度分数矩阵Matrix1，找到矩阵中值最大的点，将Matrix1经过插值操作扩展到尺寸为L₂的矩阵Matrix2，这个点在Matrix2中对应的坐标即为目标的位置。

训练过程中，损失函数使用log损失；

相似度分数矩阵上每个点单独的损失函数为：

l(v1,v2)＝log(1+exp(-v1·v2))

其中，v2是Matrix_i,x,y单个点的得分，如果计算出的这个点的v2越大，则说明这个点越可能是目标，而v1是该点位置对应的标签，且v1∈{+1,-1}，如果是正样本，v1＝+1，否则v1＝-1；

一个点如果标记为v1＝+1，则这个点为目标，若该点训练时的得分v2比较大，损失函数的值l(v1,v2)也会变大，从而反向传播调整网络的weight值；

求出矩阵单个点的损失函数后，则相似度分数矩阵Matrix₁的整体损失函数用全部点损失的均值表示：

其中，D表示整个矩阵，u表示矩阵上的每个点；

由于公共会生成M×N²个相似度分数矩阵Matrix₁，则会得到M×N²个L(y,v)，经加和后得到最终的损失函数L_All，通过梯度下降法最小化损失函数L_All来进行训练，最终得到跟踪孪生网络的weight；

作为优选，步骤6中所述将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪为：

所述将待跟踪图像序列为：{η₁,η₂,η₃...η_p}；

待跟踪图像序列中第1帧图像为η₁，经过训练后去模糊对抗生成网络处理后，输入至训练后跟踪孪生网络中目标区域分支的输入图像；

待跟踪图像序列中剩余图像用η_i′表示，其中i′∈[2,p]；

η_i′经过去模糊对抗生成网络处理后，进一步输入至训练后跟踪孪生网络中搜索区域分支的输入图像，η_i′通过训练后跟踪孪生网络得到η_i′的相似度分数矩阵，并搜索出η_i′的相似度分数矩阵中最大值，通过步骤5中的插值操作，得到待跟踪图像序列中目标坐标位置。

本发明的有益效果是：本发明提供了一种针对模糊场景和模糊目标的目标跟踪方法，通过结合生成网络和孪生网络，提高了在模糊场景下的跟踪精度，并在实际的模糊场景中表现出良好的鲁棒性。

附图说明

图1：为本发明实施例提供的生成器模型

图2：为本发明实施例提供的判别器模型

图3：为本发明实施例提供的生成对抗网路流程

图4：为本发明实施例提供的孪生网络结构

图5：为本发明实施例提供的孪生网络的跟踪流程

图6：为本发明实施例提供的系统流程图

图7：为本发明实施例提供的方法流程图

图8：为所提出方法针对模糊目标的跟踪结果示意图。

具体实施方式

下面将结合附图，对本发明实施例中的实现步骤进行清楚、完整的描述。此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合

下面结合附图1至附图8对本发明的实施方式进行详细描述。

本发明的具体实施方式为一种基于孪生网络的针对模糊目标的跟踪方法，包括以下步骤：

步骤1：根据清晰图像集生成模糊图像集，分别对清晰图像集、模糊图像集进行预处理，得到预处理后清晰图像集和预处理后模糊图像集；

所述根据清晰图像集生成模糊图像集为：

清晰图像集选择高帧率图像数据集，通过运动模糊退化模型，将清晰图像集中连续M′＝5帧的清晰图像合成为一幅模糊图像，并选取M′＝5帧清晰图像的中间一帧作为相对应的清晰图像。光学感应器的成像信息用如下积分函数表示：

其中，T表示曝光总时间，S(t)表示曝光时刻t记录的影像信息，I表示成像信息，在成像后还需要经过成像设备响应函数将图像信息映射到合适的像素值；

伽马函数近似于成像设备响应函数，光学系统获得的图像像素值可以表示为：

L＝g(I)

其中g(·)表示伽马函数，也表示成像设备响应函数，L表示图像亮度值。

通过混合相邻M′帧的成像信息，可模拟模糊图像的成像信息，模糊图像的成像信息可用如下公式表示：

I(i)表示第i帧的成像信息。成像信息I(i)可由第i帧图像经过反伽马函数得到，即I(i)＝g^-1(S(i))，S(i)表示第i帧图像的像素值，g^-1(·)表示反伽马函数，i∈[1,M’]

最后，再对模糊图像的成像信息I_blurry经过成像设备响应函数，则可得到模糊图像。定义为：

伽马变换定义为：

g(x)＝x^1/γ

每M′＝5帧清晰图像S(·)通过上述变换后即可得到一帧模糊图像，模糊图像放入模糊图像集中，从M′＝5帧清晰图像中选取一帧放入清晰图像集中；

所述裁减处理为：

将所述清晰图像集中每幅清晰图像通过裁减处理，使得每幅清晰图像的长和宽均为k＝255，得到步骤1所述预处理后清晰图像集，即P_sharp(S)；

将所述模糊图像集中每幅模糊图像通过裁减处理，使得每幅模糊图像的长和宽均为k＝255，得到步骤1所述预处理后模糊图像集，即P_blurry(B)；

步骤2：构建去模糊对抗生成网络，通过对抗损失、内容损失构建去模糊对抗生成网络的总损失函数，结合预处理后清晰图像集以及预处理后模糊图像来训练去模糊对抗生成网络，得到训练后去模糊对抗生成网络；

步骤2所述去模糊对抗生成网络由生成器、判别器构成；

所述生成器包含：卷积层、归一化层、激活函数层；其模型结构如图1所示，它共由七块组成，每一块里面都包含了卷积层、instance归一化层和Relu激活函数层。第一块卷积核大小77，步幅为1，通道数为64。第二块与第三块的卷积核大小为33，步长为2，通道数分别为128和256。后面接入9个卷积核大小为33，步幅为1的残差块，通道数为256。接着的两块是两个卷积核为33，步长为2的反卷积块，通道数分别为128和64。接着的一块是卷积核大小77，步幅为1，通道数为64，后接一层tanh激活函数层。最后接一层全局残差层，生成三通道的生成图像。

所述生成器的输入为预处理后模糊图像集即P_blurry(B)，若B属于模糊图像集中的图像，即B∈P_blurry(B)，B经过生成器得到的图像记为G(B)；

所述判别器包含：卷积层、归一化层、激活函数层；其模型结构如图2所示，它包含六块，除了最后一块之外，每一块后面都有斜率为0.2的LeakyRelu激活函数层。第一块的卷积核大小为4×4，步幅为2，通道数为64。第二三四块的卷积核大小都为4×4，步幅为2，通道数分别为128，256和512，后面接上BN(Batch Normalization)层。第五块的卷积核大小为4×4，步幅为1，通道数为512，后面接上BN层。最后一块的卷积核大小为4×4，步幅为1，通道数为1，最后得到长宽尺寸为m＝16的矩阵。

所述判别器的输入为生成器生成的图像G(B)，或者清晰的图像S，其中S∈P_sharp(S)，最后得到长宽尺寸为m＝16的矩阵；

去模糊对抗生成网路流程图如图3所示。

步骤2所述对抗损失通过Wasserstein距离来定义，具体如下；

其中，S属于清晰图像集中的图像，S～P_sharp(S)表示S穷举清晰图像集所有图像。B属于模糊图像集中的图像，B～P_blurry(B)表示B穷举模糊图像集所有图像。D(S)表示判别器对图像S的输出，D(G(B))表示判别器对所生成图像G(B)的输出，E表示期望值；

步骤2所述内容损失使用L2距离进行定义，即均方误差来定义，具体如下：

L_mse＝||S-G(B)||²

步骤2所述去模糊对抗生成网络的总损失定义为：

L＝L_adv+100L_mse

通过最小化损失函数L来对模型进行训练，根据梯度下降法得到去模糊对抗生成网络的weight，即可完成步骤2所述训练后去模糊对抗生成网络的构建；

步骤3：通过多个图像序列构建训练样本，通过人工标记法对图像序列中图像标记目标矩形框；

步骤3所述图像序列的数量为M；

步骤3所述图像序列均包含N幅图像；

步骤3所述训练样本中图像的数量为：M×N幅；

步骤3所述对图像序列中图像标记目标矩形框为：

对第i个图像序列中第j幅图像人工标记其目标矩形框为：

(x_i,j,y_i,j,w_i,j,h_i,j)

其中，(x_i,j,y_i,j)表示第i个图像序列中第j幅图像的目标矩形框左上角的坐标，(w_i,j,h_i,j)表示第i个图像序列中第j幅图像的目标矩形框的尺寸，

表示第i个图像序列中第j幅图像的目标矩形框的中心坐标

步骤4：训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本，训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本，将搜索区域样本中每幅图像的像素点标记出是否为目标位置

步骤4所述目标区域得图像尺寸为图像的长、宽，且均为p₁＝127；

步骤4所述根据目标区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₁＝127的图像作为目标区域样本的图像；

所述截取长、宽均为p₁＝127的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

图像矩形框的长、宽均为p₁＝127；

步骤4所述目标区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₁＝127的图像；

所述目标区域样本定义为φ，所述目标区域样本中第i个序列中第j幅图像为φ_i,j；

步骤4所述搜索区域的图像尺寸为图像的长、宽，且均为p₂＝255，p₂＞p₁；

步骤4所述根据搜索区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₂＝255的图像作为搜索区域样本的图像；

所述截取长、宽均为p₂＝255的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

右下角坐标位置为：

图像矩形框的长、宽均为p₂＝255；

若有以下情况之一：

则图像矩形框超出训练样本中图像的边界，超出部分用图像均值像素填充。

步骤4所述搜索区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₂＝255的图像；

所述目标区域样本定义为

所述目标区域样本中第i个序列中第j幅图像为

对于搜索区域样本中每幅图像均有255²个像素点，将每个像素点标记出是否为目标位置，其计算公式为：

其中c表示搜索区域图像中目标的中心点，u表示每个要标记的位置。R表示以c为圆心画圆的半径。u与c的距离超过R，则标记为-1，u表示负样本，不是目标位置，否则标记为+1，u表示正样本，是目标位置。

步骤5：通过目标区域分支以及搜索区域分支构建孪生网络，根据相似度分数矩阵构建孪生网络的损失函数，通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络；

步骤5所述目标区域分支由卷积层、最大池化层组成，所述目标区域分支的输出为目标区域图像的特征向量；

所述搜索区域分支由卷积层、最大池化层组成，所述搜索区域分支的输出为搜索区域图像的特征向量；

搜索区域分支在网络结构上完全复制目标区域分支的网络结构。如图4所示是其中一个分支的网络结构示意图，它包含5个卷积层和2个池化层，第一个卷积层卷积核大小为11×11，步幅为2，通道数为96；第一层池化层为最大池化，卷积核大小为3×3，步幅为2。第二个卷积层卷积核大小为5×5，步幅为，通道数为256；第二层池化层为最大池化，卷积核大小为3×3，步幅为2。第三个卷积层卷积核大小为3×3，步幅为1，通道数为192；第四个卷积层卷积核大小为3×3，步幅为1，通道数为192；第五个卷积层卷积核大小为3×3，步幅为1，通道数为128；

在训练过程中，搜索区域分支网络每一层的weight值保持和目标区域分支网络相同层的weight值一样；

所述目标区域样本中第i图像序列为：{φ_i,1,φ_i,2,φ_i,3...φ_i,N}；

所述搜索区域样本中第i图像序列为：

跟踪孪生网络整个流程图如图5所示，

训练第i图像序列时，依次将φ_i,1、φ_i,2φ_i,3、...、φ_i,N作为目标区域分支的输入；

把φ_i,1作为目标区域分支的输入，得到尺寸为s1＝6，通道数为c1＝128的特征向量

再依次将

作为搜索区域分支的输入进行训练，每个样本经过搜索区域分支后，得到尺寸为s2＝22，通道数为c1＝128的特征向量

将两个特征向量进行互相关操作，得到尺寸为L1＝17的相似度分数矩阵

即将每个

作为一个输入对，其中0＜y≤N；都可以得到一个相似度分数矩阵

接着依次将{φ_i,2,φ_i,3...φ_i,N}作为目标区域分支的输入，每次更换目标区域分支输入时，重复上一步骤操作。即对于每个图像序列，可以得到N²个相似度分数矩阵。跟踪孪生网络用M个图像序列进行训练，可以得到M×N²个相似度分数矩阵

进一步通过相似度矩阵得到目标在原图像的坐标：

若有一个相似度分数矩阵Matrix1，找到矩阵中值最大的点，将Matrix1经过插值操作扩展到尺寸为L₂＝255的矩阵Matrix2，这个点在Matrix2中对应的坐标即为目标的位置。

训练过程中，损失函数使用log损失；

相似度分数矩阵上每个点单独的损失函数为：

l(v1,v2)＝log(1+exp(-v1·v2))

其中，v2是Matrix_i,x,y单个点的得分，如果计算出的这个点的v2越大，则说明这个点越可能是目标，而v1是该点位置对应的标签，且v1∈{+1,-1}，如果是正样本，v1＝+1，否则v1＝-1；

一个点如果标记为v1＝+1，则这个点为目标，若该点训练时的得分v2比较大，损失函数的值l(v1,v2)也会变大，从而反向传播调整网络的weight值；

求出矩阵单个点的损失函数后，则相似度分数矩阵Matrix₁的整体损失函数用全部点损失的均值表示：

其中，D表示整个矩阵，u表示矩阵上的每个点；

由于公共会生成M×N²个相似度分数矩阵Matrix₁，则会得到M×N²个L(y,v)，经加和后得到最终的损失函数L_All，通过梯度下降法最小化损失函数L_All来进行训练，最终得到跟踪孪生网络的weight；

步骤6：将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，得到待跟踪图像序列的目标坐标位置。

步骤6中所述将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，流程如图6所示。

所述将待跟踪图像序列为：{η₁,η₂,η₃...η_p}；

组合网络的方法流程图如图7所示，待跟踪图像序列中第1帧图像为η₁，经过训练后去模糊对抗生成网络处理后，输入至训练后跟踪孪生网络中目标区域分支的输入图像；

待跟踪图像序列中剩余图像用η_i′表示，其中i′∈[2,p]；

η_i′经过去模糊对抗生成网络处理后，进一步输入至训练后跟踪孪生网络中搜索区域分支的输入图像，η_i′通过训练后跟踪孪生网络得到η_i′的相似度分数矩阵，并搜索出η_i′的相似度分数矩阵中最大值，通过步骤5中的插值操作，得到待跟踪图像序列中目标坐标位置。

图8为本发明提出的跟踪方法在部分模糊目标或模糊场景下的跟踪效果。红色边框表示的是本发明的方法跟踪到的目标区域，可以看出本发明在实例中取得了不错的效果。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于孪生网络的针对模糊目标的跟踪方法，其特征在于，包括以下步骤：

步骤1：根据清晰图像集生成模糊图像集，分别对清晰图像集、模糊图像集进行预处理，得到预处理后清晰图像集和预处理后模糊图像集；

步骤2：构建去模糊对抗生成网络，通过对抗损失、内容损失构建去模糊对抗生成网络的总损失函数，结合预处理后清晰图像集以及预处理后模糊图像来训练去模糊对抗生成网络，得到训练后去模糊对抗生成网络；

步骤3：通过多个图像序列构建训练样本，通过人工标记法对图像序列中图像标记目标矩形框；

步骤4：训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本，训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本，将搜索区域样本中每幅图像的像素点标记出是否为目标位置；

步骤5：通过目标区域分支以及搜索区域分支构建孪生网络，根据相似度分数矩阵构建孪生网络的损失函数，通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络；

步骤6：将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，得到待跟踪图像序列的目标坐标位置；

步骤2所述去模糊对抗生成网络由生成器、判别器构成；

所述生成器包含：卷积层、归一化层、激活函数层；

所述生成器的输入为预处理后模糊图像集即P_blurry(B)，若B属于模糊图像集中的图像，即B∈P_blurry(B)，B经过生成器得到的图像记为G(B)；

所述判别器包含：卷积层、归一化层、激活函数层；

所述判别器的输入为生成器生成的图像G(B)，或者清晰的图像S，其中S∈P_sharp(S)，最后得到长宽尺寸为m的矩阵；

步骤2所述对抗损失通过Wasserstein距离来定义，具体如下；

其中，S属于清晰图像集中的图像，S～P_sharp(S)表示S穷举清晰图像集所有图像；B属于模糊图像集中的图像，B～P_blurry(B)表示B穷举模糊图像集所有图像；D(S)表示判别器对图像S的输出，D(G(B))表示判别器对所生成图像G(B)的输出，E表示期望值；

步骤2所述内容损失使用L2距离进行定义，即均方误差来定义，具体如下：

L_mse＝||S-G(B)||²

步骤2所述去模糊对抗生成网络的总损失定义为：

L＝L_adv+100L_mse

通过最小化损失函数L来对模型进行训练，根据梯度下降法得到去模糊对抗生成网络的weight，即可完成步骤2所述训练后去模糊对抗生成网络的构建。

2.根据权利要求1所述的基于孪生网络的针对模糊目标的跟踪方法，其特征在于：步骤1所述根据清晰图像集生成模糊图像集为：

清晰图像集选择高帧率图像数据集，通过运动模糊退化模型，将清晰图像集中连续M′帧的清晰图像合成为一幅模糊图像，并选取M′帧清晰图像的中间一帧作为相对应的清晰图像；光学感应器的成像信息用如下积分函数表示：

其中，T表示曝光总时间，S(t)表示曝光时刻t记录的影像信息，I表示成像信息，在成像后还需要经过成像设备响应函数将图像信息映射到合适的像素值；

伽马函数近似于成像设备响应函数，光学系统获得的图像像素值可以表示为：

L＝g(I)

其中g(·)表示伽马函数，也表示成像设备响应函数，L表示图像亮度值；

通过混合相邻M′帧的成像信息，可模拟模糊图像的成像信息，模糊图像的成像信息可用如下公式表示：

I(i)表示第i帧的成像信息；成像信息I(i)可由第i帧图像经过反伽马函数得到，即I(i)＝g^-1(S(i))，S(i)表示第i帧图像的像素值，g^-1(·)表示反伽马函数，i∈[1,M’]

最后，再对模糊图像的成像信息I_blurry经过成像设备响应函数，则可得到模糊图像；定义为：

伽马变换定义为：

g(x)＝x^1/γ

每M′帧清晰图像S(·)通过上述变换后即可得到一帧模糊图像，模糊图像放入模糊图像集中，从M′帧清晰图像中选取一帧放入清晰图像集中；

将所述清晰图像集中每幅清晰图像通过裁减处理，使得每幅清晰图像的长和宽均为k，得到步骤1所述预处理后清晰图像集，即P_sharp(S)；将所述模糊图像集中每幅模糊图像通过裁减处理，使得每幅模糊图像的长和宽均为k，得到步骤1所述预处理后模糊图像集，即P_blurry(B)。

3.根据权利要求1所述的基于孪生网络的针对模糊目标的跟踪方法，其特征在于：

步骤3所述图像序列的数量为M；

步骤3所述图像序列均包含N幅图像；

步骤3所述训练样本中图像的数量为：M×N幅；

步骤3所述对图像序列中图像标记目标矩形框为：

对第i个图像序列中第j幅图像人工标记其目标矩形框为：

(x_i,j,y_i,j,w_i,j,h_i,j)

其中，(x_i,j,y_i,j)表示第i个图像序列中第j幅图像的目标矩形框左上角的坐标，(w_i,j,h_i,j)表示第i个图像序列中第j幅图像的目标矩形框的尺寸，

表示第i个图像序列中第j幅图像的目标矩形框的中心坐标。

4.根据权利要求1所述的基于孪生网络的针对模糊目标的跟踪方法，其特征在于：步骤4所述目标区域得图像尺寸为图像的长、宽，且均为p₁；

步骤4所述根据目标区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₁的图像作为目标区域样本的图像；

所述截取长、宽均为p₁的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

图像矩形框的长、宽均为p₁；

步骤4所述目标区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₁的图像；

所述目标区域样本定义为φ，所述目标区域样本中第i个序列中第j幅图像为φ_i,j；

步骤4所述搜索区域的图像尺寸为图像的长、宽，且均为p₂，p₂＞p₁；

步骤4所述根据搜索区域的图像尺寸进行截取为：

以训练样本中每幅图像的目标矩形框为中心，截取长、宽均为p₂的图像作为搜索区域样本的图像；

所述截取长、宽均为p₂的图像的具体方法为：

训练样本中每幅图像即第i个图像序列中第j幅图像，截取出来的图像矩形框的中心坐标为：

左上角坐标位置为：

右下角坐标位置为：

图像矩形框的长、宽均为p₂；

若有以下情况之一：

则图像矩形框超出训练样本中图像的边界，超出部分用图像均值像素填充；

步骤4所述搜索区域样本：

M个图像序列，每个图像序列有N幅长、宽均为p₂的图像；

所述目标区域样本定义为

所述目标区域样本中第i个序列中第j幅图像为

对于搜索区域样本中每幅图像均有p₂ ²个像素点，将每个像素点标记出是否为目标位置，其计算公式为：

其中c表示搜索区域图像中目标的中心点，u表示每个要标记的位置；R表示以c为圆心画圆的半径；u与c的距离超过R，则标记为-1，u表示负样本，不是目标位置，否则标记为+1，u表示正样本，是目标位置。

5.根据权利要求1所述的基于孪生网络的针对模糊目标的跟踪方法，其特征在于：步骤5所述目标区域分支由卷积层、最大池化层组成，所述目标区域分支的输出为目标区域图像的特征向量；

所述搜索区域分支由卷积层、最大池化层组成，所述搜索区域分支的输出为搜索区域图像的特征向量；

搜索区域分支在网络结构上完全复制目标区域分支百度网络结构；在训练过程中，搜索区域分支网络每一层的weight值保持和目标区域分支网络相同层的weight值一样；

所述目标区域样本中第i图像序列为：{φ_i,1,φ_i,2,φ_i,3...φ_i,N}；

所述搜索区域样本中第i图像序列为：

训练第i图像序列时，依次将φ_i,1、φ_i,2φ_i,3、...、φ_i,N作为目标区域分支的输入；

把φ_i,1作为目标区域分支的输入，得到尺寸为s1，通道数为c1的卷积核

再依次将

作为搜索区域分支的输入进行训练，每个样本经过搜索区域分支后，得到尺寸为s2，通道数为c1的卷积核

将两个卷积核进行互相关操作，得到尺寸为L1的相似度分数矩阵

即将每个

作为一个输入对，其中0＜y≤N；都可以得到一个相似度分数矩阵

接着依次将{φ_i,2,φ_i,3...φ_i,N}作为目标区域分支的输入，每次更换目标区域分支输入时，重复上一步骤操作；即对于每个图像序列，可以得到N²个相似度分数矩阵；跟踪孪生网络用M个图像序列进行训练，可以得到M×N²个相似度分数矩阵

进一步通过相似度矩阵得到目标在原图像的坐标：

若有一个相似度分数矩阵Matrix1，找到矩阵中值最大的点，将Matrix1经过插值操作扩展到尺寸为L₂的矩阵Matrix2，这个点在Matrix2中对应的坐标即为目标的位置；

训练过程中，损失函数使用log损失；

相似度分数矩阵上每个点单独的损失函数为：

l(v1,v2)＝log(1+exp(-v1·v2))

其中，v2是Matrix_i,x,y单个点的得分，如果计算出的这个点的v2越大，则说明这个点越可能是目标，而v1是该点位置对应的标签，且v1∈{+1,-1}，如果是正样本，v1＝+1，否则v1＝-1；

一个点如果标记为v1＝+1，则这个点为目标，若该点训练时的得分v2比较大，损失函数的值l(v1,v2)也会变大，从而反向传播调整网络的weight值；

求出矩阵单个点的损失函数后，则相似度分数矩阵Matrix₁的整体损失函数用全部点损失的均值表示：

其中，D表示整个矩阵，u表示每个要标记的位置；

由于公共会生成M×N²个相似度分数矩阵Matrix₁，则会得到M×N²个L(y,v)，经加和后得到最终的损失函数L_All，通过梯度下降法最小化损失函数L_All来进行训练，最终得到跟踪孪生网络的weight。

6.根据权利要求1所述的基于孪生网络的针对模糊目标的跟踪方法，其特征在于：步骤6中所述将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪为：

所述将待跟踪图像序列为：{η₁,η₂,η₃...η_p}；

待跟踪图像序列中第1帧图像为η₁，经过训练后去模糊对抗生成网络处理后，输入至训练后跟踪孪生网络中目标区域分支的输入图像；

待跟踪图像序列中剩余图像用η_i′表示，其中i′∈[2,p]；

η_i′经过去模糊对抗生成网络处理后，进一步输入至训练后跟踪孪生网络中搜索区域分支的输入图像，η_i′通过训练后跟踪孪生网络得到η_i′的相似度分数矩阵，并搜索出η_i′的相似度分数矩阵中最大值，通过步骤5中的插值操作，得到待跟踪图像序列中目标坐标位置。

Images