CN113673483A - 一种基于深度神经网络的多视角多目标关联方法 - Google Patents

Abstract

本发明公开一种基于深度神经网络的多视角多目标关联方法，包括以下步骤：步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配矩阵；否则重复迭代步骤一至步骤四。本发明具有高于现有方法的匹配精度，且获得了很好的跨域性能。

Description

一种基于深度神经网络的多视角多目标关联方法

技术领域

本发明属于人工智能、计算机视觉与图像匹配技术领域，尤其涉及一种基于深度神经网络的多视角多目标关联方法。

背景技术

多台摄像机可以从不同的视角同时拍摄同一场景，从而为许多重要的视觉任务(例如视频监控)等提供补充信息。在这种情况下，一个重要的问题是多视角多目标关联，该问题旨在使用多相机系统来匹配不同视角检测到的同一个目标。

本发明涉及到的背景技术有：

(1)可穿戴相机(参考文献[1])：现有大部分工作通常使用固定相机网络，从而可以提前进行相机标定。但固定相机覆盖范围和视角受限，因此本发明基于多个可穿戴相机GoPro进行移动相机网络下的视频处理。

(2)特征提取网络(参考文献[2])：目标的外观特征作为一种非常有效的特征，已经广泛的应用在目标检测与关联任务中。目前常用的外观特征通常包括人工特征和深度学习网络提取的特征。但人工特征常常具有局限性，本发明采用一个深度学习网络来进行目标框的特征提取。通过输入大量训练数据集，提高模型的特征提取能力。

(3)相似度计算方式：机器学习中常通过度量样本的距离来评估两个目标之间的相似度。常用的相似度度量方法有欧式距离、余弦相似度、汉明距离、曼哈顿距离等。本发明使用欧式距离作为特征向量之间相似度的度量方式。从而构建相似度矩阵。

(4)深度网络(参考文献[3])：深度学习在计算机视觉中的应用越来越广泛。深度匹配网络的提出就是为了处理两个视角下目标之间的匹配问题。但该方法限制了同时处理的视角数。本发明将多个视角之间的循环一致性、对称性、行列约束作为约束加入模型的训练中，通过神经网络的学习实现将相似度矩阵到分配矩阵的转换过程。

发明内容

针对现有技术中存在技术问题，本发明提供一种基于深度神经网络的多视角多目标关联方法来识别不同视角中的相同目标在计算机视觉的许多应用中起着重要的作用。本发明研究了不同相机同时拍摄的多个视角下的图像上的目标关联问题，即多视角多目标行人关联解决现有技术中问题；即使用基于外观的深度神经网络提取每个图像上每个检测到的对象的外观特征。通过计算所有检测到的目标之间的成对相似度得分构建一个包含所有视角目标的相似度矩阵。再利用一个深度分配网络，将相似度度矩阵转换为分配矩阵，从而为多视角多目标关联提供一对一的分配结果。本发明具有高于现有方法的匹配精度，且获得了很好的跨域性能。

为了解决技术问题，本发明采用如下技术方案：

一种基于深度神经网络的多视角多目标关联方法，包括以下步骤：

步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；

步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；

步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；

步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；

步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配矩阵；否则重复迭代步骤一至步骤四。

进一步，所述步骤三中分配矩阵P生成步骤：

S301、对相似度矩阵A按行展开输入双向循环神经网络中获得第一相似度矩阵a₁；

S302、将第一相似度矩阵按列展开输入双向循环神经网络中进行特征训练获得第二相似度矩阵a₂；

S303、通过三个全连接层对第二相似度矩阵a₂进行特征提取获得综合表示矩阵a₃；

S304、利用sigmoid函数对综合表示矩阵a₃计算生成置换矩阵；

S305、将置换矩阵映射在(0，1)之间获得分配矩阵P。

进一步，所述步骤五中深度网络中对应的损失模型构建过程：

S501、通过交叉熵损失函数对相似度矩阵A与分配矩阵P之间的关系进行约束建立能量损失模型；即：

其中，γ用来强调分类错误的样本，并且α用来平衡正负样本的不平衡问题；

代表真实的匹配值，只能取0或者1；p_mn代表网络的输出结果，该值的取值范围为(0，1)；

S502、通过多个视角间的多目标匹配存在循环一致性对相似度矩阵A与分配矩阵P之间的关系进行约束建立循环一致性损失函数；即：

S503、通过矩阵的二范数对相似度矩阵A与分配矩阵P之间的关系约束建立对称性损失模型；

S504、通过每个目标在所有视角中的视角数对相似度矩阵A进行约束建立行列约束损失模型；即：

S505、深度网络中对应的损失模型即为上述四种损失模型的加和。

有益效果

1、本发明提供了一种基于深度神经网络的多视角多目标匹配方法，将任意视角数的多视角多目标匹配问题建模为一个约束优化问题，并提出一个端到端的网络框架来解决图像匹配问题，尤其在计算机视觉领域中捕获多图像中寻找目标时能实现快速、精准。本发明中深度神经网络的前半部分通过一个相似度网络来计算任意两个视角检测到的任意两个目标之间的特征相似度，构成一个相似度矩阵；网络的后半部分，将多个视角的约束条件转化为深度分配网络训练时的损失函数，从而更好的解决了匹配问题。

2、本发明在对多个视角下多目标的匹配过程中，由于考虑到了循环一致性，因此能更好的提高匹配的准确度，有效的避免了两个视角下关联上的两个目标在第三个视角中对应不同目标的问题。同时，还考虑了相似度矩阵的对称性和行列约束的性质，更好的提高了匹配的效果。本发明同其他匹配方法的对比结果图如图5所示。

3、本发明深度神经网络神采用端到端的训练模式，因此对特征提取的模块也有一定的优化作用，相比于分步实现有一定的提升作用。

4、本发明有相似度矩阵到分配矩阵的转化过程中，不直接依赖于检测框的特征向量，因此能更好的适用于其他数据集，相比于现有的方法也有很大的提升。

附图说明

图1：一种基于深度网络的多视角多目标匹配方法流程图；

图2：为多视角多目标问题案例图；

图3：为一种基于深度网络的多视角多目标匹配方法图；

图4：为相似度矩阵结构图；

图5：本说明提出方法和其他方法结果对比图。

具体实施方式

本发明提供了一种基于深度网络的多视角多目标匹配方法，将任意视角数的多视角多目标匹配问题建模为一个约束优化问题，并提出一个端到端的网络框架来解决这个问题。流程图如图1、图3所示。

步骤一，根据多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；其中，训练开始前，首先要提取每个视角下同一时刻的目标检测框对应的特征向量。具体步骤如下：

(1)分别从每个视角选择同一时刻的图片帧对应的目标检测框。

(2)将检测框输入到特征提取网络中，得到对应的特征向量b₁,b₂,...,b_n。

目标检测框的获取：本发明使用的训练数据是自己拍摄及标注的，因此每次输入网络的目标检测框的集合均为人工标注的检测框。

步骤二，采用特征提取网络对目标特征向量进行两两之间距离计算构建相似度矩阵A；特征提取网络

第1步：加载行人重识别的预训练模型。采用在Market-1501数据集(参考文献[5])上训练得到的CamStyle行人重识别模型作为预训练模型。

第2步：分别选取不同视角下同一时刻的目标检测框输入到该模型中，提取最后一层池化层的输出向量作为特征向量。

第3步：利用端到端的神经网络的损失函数来对该特征提取网络模型进行优化。

相似矩阵的计算

获得相似度矩阵的具体方法为：

(1)对于每次得到的特征向量b₁,b₂,...,b_n，两两之间计算欧式距离。

(2)将得到的特征向量之间的距离值集合转化为大小为特征向量数量的矩阵，即为相似度矩阵。

相似度矩阵的构造

该相似度矩阵可以看作由两两视角计算得到的相似度矩阵块组合而成的矩阵。以四

个视角为例，每一个小矩阵均为某两个视角对应的目标检测框之间的相似度矩阵。大的矩阵将有小矩阵构成。相似度矩阵如图4中左图所示。

步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；

获取分配矩阵

通过深度匹配网络获取匹配矩阵的具体方法为：

(1)对相似度矩阵A进行按行展开，输入双向循环神经网络中。

(2)将(1)中的输出重新变换大小后按照列展开，再输入到一个双向循环神经网络中进行特征的学习。

(3)得到的输出经过三个全连接层，将提取到的特征进行综合表示。

(4)最后利用sigmoid函数将得到的输出值得范围映射在(0,1)之间，得到分配矩阵P。该矩阵将作为真实匹配矩阵(如图4中右图所示)的近似值。

双向循环神经网络

首先，网络应处理大小变化的距离矩阵。其次，由于最优分配的决策是全局的，因此匹配矩阵的所有元素的接受域应该是整个相似度矩阵。尽管完全卷积的方法可以解决第一个问题，但是接受域是部分输入矩阵，因此，决策将是局部的，而不是全局的。所以可使用的替代方法是利用双向递归神经网络(BiRNN)来实现。在网络构建过程中，两个循环神经网络是不共享权重的。

步骤四，通过预设阀值对分配矩阵P进行转化构建深度神经网络；其中预设阀值包括：(1)根据给定的视角数限制分配矩阵每行或者每列匹配位置的上限。

(2)在不超过视角数的情况下将分配矩阵中得分大于阈值0.5的值置为1，其余位置为0。

分配矩阵P生成步骤：

S301、对相似度矩阵A按行展开输入双向循环神经网络中获得第一相似度矩阵a₁；

S302、将第一相似度矩阵按列展开输入双向循环神经网络中进行特征训练获得第二相似度矩阵a₂；

S303、通过三个全连接层对第二相似度矩阵a₂进行特征提取获得综合表示矩阵a₃；

S304、利用sigmoid函数对综合表示矩阵a₃计算生成置换矩阵；

S305、将置换矩阵映射在(0，1)之间获得分配矩阵P。

步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配目标参数；否则重复迭代步骤一至步骤四。

第1步：能量损失模型。首先定义一个交叉熵损失函数，以约束匹配矩阵与相似度矩阵。考虑到正负训练样本数量之间可能存在严重的不平衡，因此采用focalloss(参考文献[4])来解决本说明中正负样本比例严重失衡的问题。该函数可以表示为：

其中，γ用来强调分类错误的样本，并且α用来平衡正负样本的不平衡问题。

代表真实的匹配值，只能取0或者1；p_mn代表网络的输出结果，该值的取值范围为(0，1)。

第2步：循环一致性损失模型。不同视角下一致的目标应相互关联，且构成循环关系，即循环一致性约束，如图2虚线部分所示。通过数学推理，循环一致性可以用矩阵的低秩约束来表示。分配矩阵P满足循环一致性，当且仅当矩阵P可以因式分解为XX^T。在实际的问题中，场景中的人数是未知的，因此使用矩阵P的核范数来凸近似矩阵的低秩约束。对称的分配矩阵P通过奇异值分解可以表示为：P＝SΛS^T其中，S是特征向量的矩阵，Λ为对角矩阵，其元素为矩阵P的奇异值。将x表示为x＝diag(A)，则矩阵的核范数和秩可以表示为||P||_*＝||x||₁和rank(P)＝||x||₀，其中||x||₁代表矩阵奇异值的和，||x||₀代表不为0的奇异值的个数。由于矩阵P为对称矩阵，因此对应的奇异值和特征值相同。该矩阵的特征值均小于1，根据矩阵的所有奇异值均小于1时，矩阵的L1范数是L0范数最佳凸近似这一原理，可以使用核范数最小来凸近似矩阵的循环一致性约束。该损失函数可以表示为：

第3步：对称性损失模型。在本文研究的问题中，相似度矩阵和分配矩阵均满足对称性，因此，使用矩阵的二范数来反映这一约束，可以表示为：

第4步：行列约束损失模型。分析可知，一个目标在一个视角中只会出现一次，因此每个目标在所有视角中最多出现的次数为视角数，最少出现的次数为1。基于这个约束，可以简单的将该约束表示为：

该函数为一个不可微的函数，我们采用一个可微的函数

来近似它，即

其中C为视角数量。因此，行列约束的损失函数可以表示为：

第5步：总损失函数。该端到端的神经网络的总损失函数可以表示为：

其中，λ₁，λ₂，λ₃用来平衡各个损失函数。

判断模型是否训练完成

判断模型是否训练完成的具体方法为：

在神经网络的训练过程中，可以根据损失模型值来判断是否可以停止训练。当损失函数下降到一定程度基本不变时就可以停止训练。

参考文献

[1]Ruize Han，Wei Feng，Jiewen Zhao，Zicheng Niu，Yujun Zhang，Liang Wan，Song Wang：

Complementary-View Multiple Human Tracking.AAAI 2020：10917-10924

[2]Zhun Zhong，Liang Zheng，Zhedong

Shaozi Li，Yi Yang：

Camera Stvle Adaptation for Person Re-Identification.CVPR 2018：5157-5166

[3]Yihong Xu，Yutong Ban，Xavier Alameda-Pineda，Radu Horaud：

DeepMOT：A Differentiable Frameworkfor Training Multiple Object Trackers.CVPR2019

[4]Tsung-Yi Lin，Priya Goyal，Ross B.Girshick，Kaiming He，Piotr Dollár：Focal Loss for Dense Object Detection.ICCV 2017：2999-3007

[5]Liang Zheng，Liyue Shen，Lu Tian，Shengjin Wang，Jingdong

QiTian：

Scalable Person Re-identification：A Benchmark.ICCV 2015：1116-1124A.

Claims (3)

1.一种基于深度神经网络的多视角多目标关联方法，其特征在于,包括以下步骤：

步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；

步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；

步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；

步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；

步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配矩阵；否则重复迭代步骤一至步骤四。

2.根据权利要求1所述的一种基于深度神经网络的多视角多目标关联方法，其特征在于，所述步骤三中分配矩阵P生成步骤：

S301、对相似度矩阵A按行展开输入双向循环神经网络中获得第一相似度矩阵a₁；

S302、将第一相似度矩阵按列展开输入双向循环神经网络中进行特征训练获得第二相似度矩阵a₂；

S303、通过三个全连接层对第二相似度矩阵a₂进行特征提取获得综合表示矩阵a₃；

S304、利用sigmoid函数对综合表示矩阵a₃计算生成置换矩阵；

S305、将置换矩阵映射在(0,1)之间获得分配矩阵P。

3.根据权利要求1所述的一种基于深度神经网络的多视角多目标关联方法，其特征在于，所述步骤五中深度网络中对应的损失模型构建过程：

S501、通过交叉熵损失函数对相似度矩阵A与分配矩阵P之间的关系进行约束建立能量损失模型；即：

其中，γ用来强调分类错误的样本，并且α用来平衡正负样本的不平衡问题；

代表真实的匹配值，只能取0或者1；p_mn代表网络的输出结果，该值的取值范围为(0，1)；

S502、通过多个视角间的多目标匹配存在循环一致性对相似度矩阵A与分配矩阵P之间的关系进行约束建立循环一致性损失函数；即：

S503、通过矩阵的二范数对相似度矩阵A与分配矩阵P之间的关系约束建立对称性损失模型；

S504、通过每个目标在所有视角中的视角数对相似度矩阵A进行约束建立行列约束损失模型；即：

S505、深度网络中对应的损失模型即为上述四种损失模型的加和。

Images