CN110532886A - 一种基于孪生神经网络的目标检测算法 - Google Patents

Abstract

本发明公开了一种基于孪生神经网络的目标检测算法，包括以下步骤：采集固定视角连续拍摄的图像；利用孪生神经网络来计算的待检测图像与基准图像之间的相似度；利用待检测图像与基准图像之间的相似性分析结果，快速找到场景中变化的目标，并对目标进行分类。本发明针对连续采集图像的特征，考虑多张图像之间的信息关联性，充分发掘连续多幅图片之间的信息，在提高检测精度的同时也提高检测的速度。本发明适用于固定角度、连续拍摄的图像的目标检测。

Description

一种基于孪生神经网络的目标检测算法

技术领域

本发明涉及一种图像的目标检测方法，具体涉及一种适用于固定角度、连续拍摄的图像的基于孪生神经网络的目标检测算法。

背景技术

目标检测是指在一张图像中，识别出目标物体，然后在图像中标记出该物体的位置，目前是使用矩形框将目标物体标注出来。

传统的目标检测算法在当前的应用因为精度和速度等均赶不上基于深度学习的目标检测算法，所以，目前主流使用的目标检测算法基本上都是基于深度学习来实现的，绝大多数的算法都使用到了卷积神经网络。这些算法都是用卷积神经网络来对图像中的物体进行特征的提取，但是在这过程中，有一个很大的弊端就是在对图像进行多次卷积和池化等特征采样的操作后，图像中的小目标信息可能就会丢失，这样就造成了当前的基于深度学习的目标检测算法在小目标识别上的精度并不是很理想，特别是在实际的自然场景下，在周围的干扰因素增加的情况下，对于小目标的精度很难达到实际的需要。

同时，目前的所有目标检测算法都是针对于通用场景下的目标识别，每张图像之间基本没有什么特定的联系。对于一些固定视角、连续拍摄的图像并没有充分应用的图像之间的关联性，而这些信息对于图像中的目标识别是很有帮助的。因此，对于在一些固定视角且连续拍摄的场景中，可以通过结合多张图像之间信息提高对小目标的检测精度。

但是，仅仅是将多张连续拍摄的图像进行像素级别的对比，以此来找到各张图像中的差异区域并对差异区域进行目标检测，那么，图像中噪音的干扰将会对结果的产生巨大的影响。同时，这种像素级别的计算对于计算资源的消耗也是非常巨大的。

发明内容

针对连续拍摄的实际应用场景中，当前的目标检测算法对于所拍摄图像的信息利用不足，且识别精度不够等问题，本发明的目的是提供一种基于孪生神经网络的目标检测算法，针对连续采集图像的特征，考虑多张图像之间的信息关联性，充分发掘连续多幅图片之间的信息，在提高检测精度的同时也提高检测的速度。

本发明的目的通过以下技术方案实现：

一种基于孪生神经网络的目标检测算法，其特征在于：该算法包括基础网络和目标分类及定位网络，其中，基础网络用来提取图像特征；目标分类及定位网络负责将找到两幅图像中，目标出现的位置，以及对目标进行分类；基础网络使用卷积神经网络来提取图像的特征，同时，结合孪生神经网络的思想来计算待检测图片和基准图片之间的相似度；分类网络是一个全连接网络，将从两张图片中提取得到的特征值作为该网络的输入，输出就是目标物体的类别和位置；具体如下：

1）以固定角度连续拍摄的图像作为算法的训练集和测试集，同时，从图像中找出一组不包含待检测物体的图像；

2）使用孪生神经网络来计算图像之间的相似度；

3）使用深度神经网络来分析图像中的变化目标，并进行分类，输出检测结果。

在一些诸如监控这类的拍摄场景下，摄像头的拍摄角度基本不会改变，场景中的背景基本不会发生改变和位移，每一次采集的图像都包含了很多相同的信息。因此，综合多张图像的信息，用相邻的几张图像进行对比和相似性分析，就可以快速识别出场景是否出现了其他物体。

由于本算法的适用场景是固定场景下的目标识别，对图像有特定的需求，因此在训练的时候，直接使用目前目标识别领域的通用数据集是不行的，因为这些数据集，各张图像之间没有联系。因此，训练的数据得自己采集、标注、分析。

可以在实际的应用场景中，安装好摄像头，定时的采集图像。数据集应该是越大越好，数据集越大，算法的训练也就越准确。

在采集到数据之后，使用数据标注软件进行标注。即，把目标在图像中用矩形框标注出来，并注明类别。同时，还得注明各张图像之间的关联性（时间的前后顺序）。

标注完数据集之后还要对数据集进行分析，因为，数据集一般都包括两类图像，一种是包含目标物体的图像，一种是不包括目标物体的图像。作为训练的数据集应该保证这两种图像的比例大致为1:1。若是两种图像的比例相差太大，那么，算法的训练将会出现偏差，导致实际应用的效果达不到预期。

若是采集到的数据集中，两种图像的比例相差很大，可以通过如下两种方式进行正负样本比例的平衡：

1）、若是采集到的数据集足够大，通过把所占比例较大的那类图像，随机的剔除一些，以是数据集中的两类图像的比例达到1:1。但是，在剔除图像的时候得注意，在剔除一些图像的同时，会改变图像之间的关联性，所以，剔除的同时还得修改剔除图像前后的关联信息。

2）、若是采集到的数据集不足以使用第1）种方法，那么可以通过图像的合成来增加比例较小的那类图像的数量。这种方法是在原来的数据集中，随机挑选出一些不含有目标物体的图像，然后将目标物体的图像与该图像进行合成。用合成之后的图像替换原图像。因为这种方法，不会改变图像之间的关联性，因此，不需要对这些信息进行修改。

本算法包含两个网络：一个是基础网络，用来提取图像特征；另一个是目标分类及定位网络，该网络负责将找到两幅图像中，目标出现的位置，以及对目标进行分类。基础网络使用卷积神经网络来提取图像的特征，同时，结合孪生神经网络的思想来计算待检测图片和基准图片之间的相似度。分类网络就是一个全连接网络，将从两张图片中提取得到的特征值作为该网络的输入，输出就是目标物体的类别和位置。

算法可以从头开始训练，即所有的参数都随机初始化，然后，使用随机梯度下降的优化方法对参数进行训练。也可以使用迁移学习的方法：对于算法中的基础网络，可以使用在其他数据集上训练的参数进行初始化，然后在结合分类网络进行训练。这种方法可以较快的达到预期的训练结果。

在算法训练好之后，将拍摄到的图片输入到算法中，就可以对图像中的目标物体进行识别。

孪生神经网络是一种深度神经网络结构，通过两个相同的网络将样本的维度降低到某个较低的维度。在低纬空间中，任意两个样本，如果它们是相同的类别，空间距离尽可能的接近0，如果它们是不同类别，空间距离应该大于某个间隔。如果是将两张图像输入到孪生神经网络中，可以得到这个两幅图像在地位上的编码，计算这两个编码的距离就可以得到这两张图像的相似度。

结合孪生神经网络来计算两张图像之间的相似度，使用孪生神经网络来对连续拍摄的图像进行比较和信息采集，充分利用各张图像之间的信息，就能够在图像上找到需要检测的目标。

本发明的有益效果在于：本算法针对连续采集的图像的特征，考虑多张图像之间信息的关联性，在当前流行的检测算法之上，引入其他的算法。设计了针对于连续采集的图像的目标检测算法，并给出了该算法的训练和使用的方法。本算法相对于其他的算法，优势如下：

1）、本算法充分发掘了多幅图像之间的信息，并且以此达到了更高的检测精度。

2）、在相同的硬件设备上，本算法具有更快的运行速度。

附图说明

图1为本发明的网络结构图。

图2为本发明所述的整体流程图。

图3为本发明所述的数据集制作流程图。

图4为本发明所述的算法训练流程图。

图5为本发明所述的算法使用流程图。

具体实施方式

下面结合附图及具体实施方式对本发明所述算法进一步说明。

本发明是一种基于孪生神经网络的目标检测算法，下面将以输电线路上鸟类的检测为例，说明算法的使用过程。算法的实施步骤包括：准备与实际应场景相匹配的数据集；算法的训练；算法的使用。

图1为本发明的网络结构图。图1中，图像1，是不包含检测物体的图片，作为参照，用来与待检测的图片进行比较。图像2，这张图像为待检测的图像。3（Network1）为图像的特征提取网络，该网络将对图像进行特征提取。4（Network2）为图像的特征提取网络，功能与3一样。5为神经网络Network1和Network2的权重值。Network1和Network2共享相同的权重值。6（Network3）为目标的检测网络，该网络负责结合两张图片的特征信息在待检测图像中对目标物体进行检测。输出结果为算法的输出结果，包括目标物体的类别和位置。图1中，两张图片分别同时输入到Network1和Network2中，由于两个网络的结构和参数都是一样的，因此，将对两张图片进行相同的特征提取操作。在提取到两张图片的特征值序列之后，这两个特征值序列将作为Network3的输入。Network3会对这两个特征值序列进行相似性的分析，在图像上搜寻目标物体，并对目标物体进行分类和位置预测。

图2为本发明所述的整体流程图。图3为本发明所述的数据集制作流程图。图4为本发明所述的算法训练流程图。图5为本发明所述的算法使用流程图。

具体实施步骤如下：

步骤1 ：准备与实际应用环境相匹配的数据集。本例中将制作一个适用于输电线路上鸟类检测的数据集。

1）、采集图像。在输电线路上安装摄像头，摄像头将定时地采集图像，各个摄像头采集的图像应该标注清楚摄像头的信息和时间信息；

2）、图像标注。使用labelImage图像标注工具，将采集到的图像中的所有鸟类目标都标注出来；

3）、数据集分析。对数据集中的正负样本数据量进行统计分析。包含目标物体的图像为正样本，不包含目标物体的图像为负样本；

4）、判断正负样本的比例是否小于1.5。若是二者的比例相差超过1.5，则进行5），否则进行6）；

5）、对正负样本进行调整。本例中，因为样本数据足够多，所以采取从数据集中将所占比例较多的那部分数据进行选择性的剔除，来平衡正负样本的数量；

6）、将数据集按照7:3的比例随机的划分为训练集和测试集两部分。

步骤2：对算法进行训练。

1）、本例中没有使用迁移学习，所以，模型参数的初始化都是随机初始化的。

2）、设置训练的结束条件，可以是训练次数，也可以是其他条件。如检测精度达到0.7，或者是误差降至某个特定的值；

3）、使用训练集的数据作为算法的输入；

4）、使用随机梯度下降的方法来对算法进行训练。

5）、每次训练结束后，都要判断是否达到训练结束的条件。若是满足结束的条件则结束训练，否则继续训练。

6）、使用测试集上的数据对算法进行评估。

7）、算法在测试集上的检测精度是否到达预期，若是满足预期要求，则完成训练。否则，得继续训练。

步骤3：使用训练好的算法。

1）、将算法安装到运行的设备中。本例中使用的是python编码，最终运行环境为linux操作系统，在电脑中安装相应版本的python和依赖的库文件后，将源文件拷贝到设备中。

2）、将算法的参数文件拷贝至设备中，并使用改参数文件初始化算法。

3）、将待检测的图片作为算法的输入。

4）、输出检测结果。

Claims (4)

1.一种基于孪生神经网络的目标检测算法，其特征在于：该算法包括基础网络和目标分类及定位网络，其中，基础网络用来提取图像特征；目标分类及定位网络负责将找到两幅图像中，目标出现的位置，以及对目标进行分类；基础网络使用卷积神经网络来提取图像的特征，同时，结合孪生神经网络的思想来计算待检测图片和基准图片之间的相似度；分类网络是一个全连接网络，将从两张图片中提取得到的特征值作为该网络的输入，输出就是目标物体的类别和位置；具体如下：

1）以固定角度连续拍摄的图像作为算法的训练集和测试集，同时，从图像中找出一组不包含待检测物体的图像；

2）使用孪生神经网络来计算图像之间的相似度；

3）使用深度神经网络来分析图像中的变化目标，并进行分类，输出检测结果。

2.根据权利要求1中所述的基于孪生神经网络的目标检测算法，其特征在于：所述的步骤1）中，拍摄的每张图像都存有相对应的摄像头信息和时间信息，以保证各张图像之间的相似性；并且，在各个场景下该采集一张至若干张不含有目标物体的图像作为基准图像。

3.根据权利要求1中所述的基于孪生神经网络的目标检测算法，其特征在于：所述步骤2）中，算法中使用了孪生神经网络来对图像进行相似性分析；只对同一个摄像头不同时刻拍摄的图像进行相似性分析；不同的摄像头拍摄的图像之间基本没有相关联性，不进行相似性分析。

4.根据权利要求1中所述的基于孪生神经网络的目标检测算法，其特征在于，所述步骤3）中，利用相似性分析的结果，使用深度神经网络来检测变化的目标，并对目标进行分类；具体如下：

1）将算法安装到运行的设备中；使用python编码，最终运行环境为linux操作系统，在电脑中安装相应版本的python和依赖的库文件后，将源文件拷贝到设备中；

2）将算法的参数文件拷贝至设备中，并使用改参数文件初始化算法；

3）将待检测的图片作为算法的输入；

4）输出检测结果。