CN109271868A - 基于密集连接卷积网络超球体嵌入的目标重识别方法 - Google Patents

Abstract

本发明提供了一种基于密集连接卷积网络超球体嵌入的目标重识别方法，首先依密级连接卷积网络DenseNet提取视频序列中水下形变目标特征，大幅度减轻梯度消失、强化特征传播、支持特征重用和参数学习过程，然后从细粒度分类角度，由局部整合到全局，以分组平均池化思想精炼提取水下形变目标各级特征，获得更为精准的水下形变目标特征表达能力，以超球体损失即角三重损失关注水下形变个体目标的类间差异，区分类内差异，避免直接度量水下形变个体目标编码特征之间的欧氏距离，构建多点布设的水下视觉系统完整的、连续的水下形变个体目标重识别模型。利用本发明最终完成水下形变目标个体在近距离多视场观测中的密切监督和过程追踪。

Description

基于密集连接卷积网络超球体嵌入的目标重识别方法

技术领域

本发明涉及基于密集连接卷积网络超球体嵌入的水下形变运动目标重识别方法，属于智能信息处理和目标检测与识别技术领域。

背景技术

我国海域面积辽阔，渔业资源丰富，故而海洋监控十分必要，不仅能够及时发现水下异样目标而采取应对措施，也能够及时改善海洋环境，以避免对海洋环境造成污染以及破坏生态环境问题。因此，对海洋环境中的主要资源，进行长期有效的多摄像头和多角度监控具有重要意义，也为养殖渔业和海洋捕捞业提供了基础。而水下形变目标行为分析为此提供数据和信息支撑。水下形变目标变化快速，而且大幅度的改变自身形态，最为常见的就是鱼类，再加上海洋光学成像条件复杂，水下成像后散射、浑浊水体、泥沙、海流、浮游植物、摆动的水草等因素都将导致光学图像质量下降或引入干扰。因此，如何能够有效的在不同摄像头下确认水下形变目标位置并辨别出是否为同一目标，进而对其实现多摄像头下的水下形变目标跟踪，是一项极具挑战性的任务。

目标重识别主要有两类思路，一类是将重识别问题看为分类问题对待，将每一个目标视为一个类别，考察每个目标之间的差异性，但这样做有一个很明显的缺点是只能在数据集内做文章，脱离数据集方法不再具有普适性；第二类是参考FaceNet的工作，将重识别问题看为编码问题，为每个目标生成独立的编码，通过设定的度量方式考察不同目标之间的度量距离，这是目前较为有效的思路。对于第二类工作，训练出好的网络也是极其不易的，在不考虑目标检测准确率的基础上，特征提取方式、编码方式以及损失方式是主要研究的课题。

目标重识别对海洋水下形变目标及其环境的全过程密切监督均具有科学与现实意义，目标之间的遮挡形变、背景的复杂性，光照变化，尺度变化等是目标重识别过程中待解决的问题。即现有技术中存在的主要问题：(1)由于海洋光学成像条件复杂，水下成像后散射、浑浊水体、泥沙、海流、浮游植物、摆动的水草等因素都将导致光学图像质量下降或干扰的引入将会使得目标重识别出现差错；(2)水下形变目标的快速游动以及大幅度的形态改变也会对水下形变目标的监测造成困难。

发明内容

针对上述问题，本发明的目的是提供一种基于密集连接卷积网络超球体嵌入的水下形变运动目标重识别方法，以弥补现有技术的不足。

本发明构建多点布设的水下视觉系统，以及完整的、连续的水下形变目标个体重识别模型，以助于水下形变目标个体在近距离多视场观测中的密切监督和过程追踪。从机器学习角度通过水下多视场(Field of View,FOV)观测技术辅助水下形变目标个体行为的细粒度识别与追踪研究，也将促进多视点及形态变化运动目标重识别技术的发展。

为达到上述目的，本发明采用如下技术方案：

一种基于密集连接卷积网络超球体嵌入的目标重识别方法，包括以下步骤：

(1)收集水下目标图像制作数据集，标注图像中所有水下形变目标的位置、编号，且同一个目标拥有相同的编号；

(2)Mask-RCNN检测识别分割网络：为进行重识别任务，使用Mask-RCNN完成目标检测的前提任务，利用Mask-RCNN网络检测出待重识别目标的精准位置，以进行下一步的重识别任务；

(3)建立密集连接卷积网络超球体嵌入的目标重识别网络，包括以下几个模块：

1)密集连接卷积模块：为使密集连接卷积网络产生优质的编码特征，使用密集连接卷积模块，利用其优秀的梯度传输机制及特征复用的效果，提高重识别任务的精度；

2)全局平均池化模块：使用分组平均池化的思想从细粒度角度提取目标的特征，由局部整合到全局，精炼密集连接卷积模块的特征至目标编码，这种编码方式相较于直接全局平均池化能获得更好的表达能力；

3)超球体嵌入模块：传统三重损失函数存在的问题是直接度量编码特征之间的欧式距离，无法区分差异是类内造成的还是类间造成的，导致训练极其困难，而使用超球体损失即角三重损失来关注类间差异，使得训练不再困难；

(4)使用(1)中标注的数据集对(3)中所述目标重识别网络使用反向传输方法进行模型训练；

(5)获取图像序列{I_i,i＝1,2,3,...,n}；

(6)将图像I_i输入到Mask-RCNN检测识别分割网络中，获得图像中目标{B_is(x₁,y₁,x₂,y₂),s＝1,2,...,S},其中，x₁,y₁,x₂,y₂为目标的左上角和右下角位置坐标，B_is为目标序号；

(7)将所有目标B_is(i＝1,2,3,...,n,s＝1,2,...,S)送入(3)中所述的目标重识别网络中，得出对应的编码特征C_is(i＝1,2,3,...,n,s＝1,2,...,S)，计算所有特征C_is两两之间的欧式距离，距离小于一定阈值的认定为相同目标。

进一步的，所述步骤(2)中的Mask-RCNN检测识别分割网络：

使用Resnet101作为Mask-RCNN的特征提取部分，并在水下形变目标数据集上进行预训练，实验证明Mask-RCNN能够检测出感兴趣目标为目标重识别做准备。

进一步的，所述步骤(3)中的密集连接卷积模块：

x_l＝H_l([x₀,x₁,...,x_l-1])

其中，x_l为模块的输出特征，H_l为特征连接操作，x₀,x₁,...,x_l-1为模块中位于x_l之前的特征。

进一步的，所述步骤(3)中的全局平均池化模块：

X＝H([X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8])

其中，X为模块输出特征图，H为特征连接操作，X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8为将特征X在0轴上平均分为8组所得的分组特征。

进一步的，所述步骤(3)中的超球体嵌入：

其中，为归一化之后的编码特征，[σ]+表示最大值(σ,0)，对于每个minibatch，我们随机选择P个身份，并且对于每个身份，我们随机选择N个样本；因此，每个minibatch包含P×N个样本；示源样本和距离其最远的正样本的角度，表示源样本和距离其最近的负样本的角度，θ_m是角边界。

本发明的优点和有益效果：

本发明针对水下形变目标的近距广角观测需求，基于已多点布设的水下视觉系统，首先依托最为先进的密级连接卷积网络DenseNet提取视频序列中水下形变目标特征，大幅度减轻梯度消失、强化特征传播、支持特征重用和参数学习过程，然后从细粒度分类角度，由局部整合到全局，以分组平均池化思想精炼提取水下形变目标各级特征，获得更为精准的水下形变目标特征表达能力，进一步以超球体损失即角三重损失关注水下形变个体目标的类间差异，区分类内差异，避免直接度量水下形变个体目标编码特征之间的欧氏距离，构建多点布设的水下视觉系统完整的、连续的水下形变个体目标重识别模型，以助于水下形变目标个体在近距离多视场观测中的密切监督和过程追踪。

本发明从机器学习角度通过水下多视场(Field of View,FOV)观测技术辅助水下形变目标个体行为的细粒度识别与追踪研究，也将促进多视点及形态变化运动目标重识别技术的发展。

附图说明

图1是本发明的整体流程图。

图2是本发明实施例1中的海洋环境待检测与重识别图像。

图3是本发明的Mask-RCNN检测识别分割网络图。

图4是本发明的目标重识别网络图。

图5是本发明的超球体损失图。

图6是实施例1中的重识别结果图。

具体实施方式

为使本发明的目的、实施方案和优点更为清晰，下面结合附图并通过具体实施例来进一步详细说明本发明。

实施例1：以海洋水下环境中鱼类的动态为重识别对象。

本实施例的具体流程图如图1所示。

本实施例中具体采用一段如图2所示，山东省海洋牧场拍摄得到的海洋环境下鱼类活动视频(1920*1080像素，每秒25帧)作为待检测和重识别视频。

以下步骤应当结合附图，以及具体结果进行详细描述，并应当只是发明内容里概况的步骤。

步骤一、将在海洋牧场拍摄到的大量鱼类图像制作数据集，标注图像中所有鱼的位置、编号(同一条鱼拥有相同的编号)；

步骤二、在建好的数据集上使用Mask-RCNN检测识别分割网络，为进行重识别任务，使用Mask-RCNN完成目标检测的前提任务，利用Mask-RCNN网络检测出待重识别目标的精准位置，以进行下一步的重识别任务，其网络图如图3所示；

步骤三、建立密集连接卷积网络超球体嵌入的目标重识别网络，网络图如图4所示，包括以下几个模块：

1.密集连接卷积模块：为使网络产生优质的编码特征，使用密集连接卷积模块，利用其优秀的梯度传输机制及特征复用的效果，提高重识别任务的精度：

x_l＝H_l([x₀,x₁,...,x_l-1])

其中，x_l为模块的输出特征，H_l为特征连接操作，x₀,x₁,...,x_l-1为模块中位于x_l之前的特征。

2.全局平均池化模块：使用分组平均池化的思想从细粒度角度提取目标的特征，由局部整合到全局，精炼密集连接卷积模块的特征至目标编码，这种编码方式相较于直接全局平均池化能获得更好的表达能力：

X＝H([X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8])

其中，X为模块输出特征图，H为特征连接操作，X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8为将特征X在0轴上平均分为8组所得的分组特征。

3.超球体嵌入：传统三重损失函数存在的问题是直接度量编码特征之间的欧式距离，无法区分差异是类内造成的还是类间造成的，导致训练及其困难。使用超球体损失即角三重损失来关注类间差异，使得训练便得不在困难。结构图如图5所示：

其中，为归一化之后的编码特征，[σ]+表示最大值(σ,0)，对于每个minibatch，我们随机选择P个身份，并且对于每个身份，我们随机选择N个样本。因此，每个minibatch包含P×N个样本。表示源样本和距离其最远的正样本的角度。表示源样本和距离其最近的负样本的角度。θ_m是角边界。

步骤四、使用标注的鱼类数据集对步骤三中的重识别网络进行训练，获得训练模型。

步骤五、获取图像序列{I_i,i＝1,2,3,...,n}；

步骤六、将图像I_i输入到Mask-RCNN检测识别分割网络中，获得图像中目标{B_is(x₁,y₁,x₂,y₂),s＝1,2,...,S},其中，x₁,y₁,x₂,y₂为目标的左上角和右下角位置坐标，Bis为目标序号；

步骤七、将所有目标B_is(i＝1,2,3,...,n,s＝1,2,...,S)送入重识别网络中,得出对应的编码特征C_is(i＝1,2,3,...,n,s＝1,2,...,S)，计算所有特征C_is两两之间的欧式距离，距离小于一定阈值的认定为相同目标。

重识别结果见图6，矩形框内为所识别的鱼类，并在矩形框上方进行了编号的标注，经验证检测，图6与图2相比，可以发现识别结果与真实结果大致相同，因此说明了本发明的可行性较高。

Claims (5)

1.一种基于密集连接卷积网络超球体嵌入的目标重识别方法，其特征在于，该方法包括以下步骤：

(1)收集水下目标图像制作数据集，并进行标注；

(2)Mask-RCNN检测识别分割网络：利用Mask-RCNN网络检测出待重识别目标的精准位置；

(3)建立密集连接卷积网络超球体嵌入的目标重识别网络，包括以下几个模块：

1)密集连接卷积模块；

2)全局平均池化模块；

3)超球体嵌入模块；

(4)使用上述(1)中标注的数据集对(3)中所述目标重识别网络使用反向传输方法进行模型训练；

(5)获取图像序列{I_i,i＝1,2,3,...,n}；

(6)将图像I_i输入到Mask-RCNN检测识别分割网络中，获得图像中目标{B_is(x₁,y₁,x₂,y₂),s＝1,2,...,S},其中，x₁,y₁,x₂,y₂为目标的左上角和右下角位置坐标，B_is为目标序号；

(7)将所有目标B_is(i＝1,2,3,...,n,s＝1,2,...,S)送入上述(3)中所述的目标重识别网络中，得出对应的编码特征C_is(i＝1,2,3,...,n,s＝1,2,...,S)，计算所有特征C_is两两之间的欧式距离，距离小于一定阈值的认定为相同目标。

2.如权利要求1所述的目标重识别方法，其特征在于，所述步骤(2)中的Mask-RCNN检测识别分割网络：使用Resnet101作为Mask-RCNN的特征提取部分，并在水下形变目标数据集上进行预训练。

3.如权利要求1所述的目标重识别方法，其特征在于，所述步骤(3)中的密集连接卷积模块：

x_l＝H_l({x₀,x₁,...,x_l-1])

其中，x_l为模块的输出特征，H_l为特征连接操作，x₀,x₁,...,x_l-1为模块中位于x_l之前的特征。

4.如权利要求1所述的目标重识别方法，其特征在于，所述步骤(3)中的全局平均池化模块：

X＝H([X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8])

其中，X为模块输出特征图，H为特征连接操作，X_0-1,X_1-2,X_2-3,X_3-4,X_4-5,X_5-6,X_6-7,X_7-8为将特征X在0轴上平均分为8组所得的分组特征。

5.如权利要求1所述的目标重识别方法，其特征在于，所述步骤(3)中的超球体嵌入：

其中，为归一化之后的编码特征，[σ]+表示最大值(σ,0)，对于每个mini batch，我们随机选择P个身份，并且对于每个身份，我们随机选择N个样本；因此，每个mini batch包含P×N个样本；表示源样本和距离其最远的正样本的角度，表示源样本和距离其最近的负样本的角度，θ_m是角边界。