CN115760908A - 基于胶囊网络感知特征的绝缘子跟踪方法和装置 - Google Patents

Abstract

本发明实施例涉及目标跟踪技术领域，公开了一种基于胶囊网络感知特征的绝缘子跟踪方法和装置。该方法包括：接收对输电线路拍摄的视频图像；将视频图像输入预先训练的识别模型，判断视频图像中是否存在绝缘子；构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；在视频图像存在绝缘子图像时，将目标图像和视频图像分别输出特征提取器获得第一输出特征和第二输出特征；将第一输出特征和第二输出特征输入孪生网络，获取视频图像中绝缘子的位置信息。实施本发明实施例，可以充分发挥胶囊网络的特征描述优势，使得跟踪方法在特征提取过程中充分考虑跟踪目标的前景特征和背景特征之间的区分度。

Description

基于胶囊网络感知特征的绝缘子跟踪方法和装置

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于胶囊网络感知特征的绝缘子跟踪方法和装置。

背景技术

绝缘子是一种特殊的绝缘控件，在输电线路的安全稳定运行中起到重要作用。因绝缘子长期暴露在野外，加上恶劣的自然环境和沉重的机械负荷，使得绝缘子容易发生故障，所以对绝缘子定期的检测和修复是必不可少的。随着我国科技的持续迅速发展，越来越多的无人机运用于输电线路的电力巡检，但是，无人机巡检的目的是要对绝缘子进行拍照，这就要求无人机能够准确跟踪绝缘子。因此，对巡检视频中绝缘子目标的跟踪的研究具有重要的实用价值。

目标跟踪技术不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，而且成为许多实用的计算机视觉系统中必不可少的一个重要环节。基于深度学习的目标跟踪算法也成为目标跟踪领域中的一个主流方法之一。现有的经典深度网络，例如：AlexNet，VGG，GoogleNet，ResNet以及CapsNet等，这些经典的预训练模型设计的初衷是为了实现目标的识别。而在目标跟踪研究中，虽然涌现了基于经典网络深度特征的大量跟踪效果优异的跟踪方法，但是基于目标识别的深度网络作为跟踪目标的特征提取器在提取跟踪目标特征时，没有充分考虑跟踪目标的前景和背景特征之间的区分度。

发明内容

针对所述缺陷，本发明实施例公开了一种基于胶囊网络感知特征的绝缘子跟踪方法和装置，其充分发挥胶囊网络的特征描述优势，使得跟踪方法在特征提取过程中充分考虑跟踪目标的前景特征和背景特征之间的区分度，保证目标跟踪的准确性。

本发明实施例第一方面公开一种基于胶囊网络感知特征的绝缘子跟踪方法，其包括以下步骤：

接收对输电线路拍摄的视频图像；

将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子；

构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；所述目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型；

在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征；

将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

作为较佳的实施例，在本发明实施例的第一方面中，所述识别模型为卷积神经网络模型。

作为较佳的实施例，在本发明实施例的第一方面中，构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型，包括：

构建数据样本集，每个训练样本集中的样本图像只包含了跟踪目标的Padding区域、以及与Padding区域中前景和背景对应的高斯标签；

将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵；

将所述高斯标签和所述结构矩阵之间的差值作为识别误差，以所述识别误差作为反向传播参数调整的目标，对所述胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

作为较佳的实施例，在本发明实施例的第一方面中，将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵，包括：

将所述Padding区域的图像转换为统一标准尺度图像；

将所述统一标准尺度图像输入第一卷积层，得到第一卷积特征；

将所述第一卷积特征输入第二卷积层，得到第二卷积特征；

将所述第二卷积特征分别输入第三一卷积层和第三二卷积层，分别得到第三一卷积特征和第三二卷积特征；

将第三一卷积特征和第三二卷积特征进行叠加，得到第三卷积特征；

将所述第三卷积特征输入第四卷积层，得到深度特征；

将所述深度特征输入数字胶囊层，得到输出特征；

将所述输出特征分别通过第一全连接层、第二全连接层和第三全连接层，得到结果特征。

作为较佳的实施例，在本发明实施例的第一方面中，所述统一标准尺度图像的尺度为180×180×3；所述第一卷积特征的尺度为180×180×256；所述第二卷积特征的尺度为90×90×256；所述第三一卷积层、第三二卷积层以及第三卷积特征的尺度分别为45×45×256、45×45×256、45×45×512；所述深度特征的尺度为45×45×512；所述输出特征的尺度为45×45×32×32；所述结果特征的尺度为2025×1。

本发明实施例第二方面公开了基于胶囊网络感知特征的绝缘子跟踪装置，其包括：

接收单元，用于接收对输电线路拍摄的视频图像；

判断单元，用于将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子；

训练单元，用于构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；所述目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型；

提取单元，用于在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征；

跟踪单元，用于将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

作为较佳的实施例，在本发明实施例的第二方面中，所述识别模型为卷积神经网络模型。

作为较佳的实施例，在本发明实施例的第二方面中，所述训练单元，包括：

构建数据样本集，每个训练样本集中的样本图像只包含了跟踪目标的Padding区域、以及与Padding区域中前景和背景对应的高斯标签；

将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵；

将所述高斯标签和所述结构矩阵之间的差值作为识别误差，以所述识别误差作为反向传播参数调整的目标，对所述胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

作为较佳的实施例，在本发明实施例的第二方面中，将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵，包括：

将所述Padding区域的图像转换为统一标准尺度图像；

将所述统一标准尺度图像输入第一卷积层，得到第一卷积特征；

将所述第一卷积特征输入第二卷积层，得到第二卷积特征；

将所述第二卷积特征分别输入第三一卷积层和第三二卷积层，分别得到第三一卷积特征和第三二卷积特征；

将第三一卷积特征和第三二卷积特征进行叠加，得到第三卷积特征；

将所述第三卷积特征输入第四卷积层，得到深度特征；

将所述深度特征输入数字胶囊层，得到输出特征；

将所述输出特征分别通过第一全连接层、第二全连接层和第三全连接层，得到结果特征。

作为较佳的实施例，在本发明实施例的第二方面中，所述统一标准尺度图像的尺度为180×180×3；所述第一卷积特征的尺度为180×180×256；所述第二卷积特征的尺度为90×90×256；所述第三一卷积层、第三二卷积层以及第三卷积特征的尺度分别为45×45×256、45×45×256、45×45×512；所述深度特征的尺度为45×45×512；所述输出特征的尺度为45×45×32×32；所述结果特征的尺度为2025×1。

本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种基于胶囊网络感知特征的绝缘子跟踪方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于胶囊网络感知特征的绝缘子跟踪方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于胶囊网络感知特征的绝缘子跟踪方法。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于胶囊网络感知特征的绝缘子跟踪方法。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例借鉴于胶囊网络特征描述的优越性能，构建了基于胶囊网络的跟踪目标特征提取模型，模型能够有效的提取与背景区域特征区分度较大的前景特征，以此特征作为跟踪目标模型中应用的特征描述，最终实现基于胶囊网络感知特征的绝缘子跟踪方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于胶囊网络感知特征的绝缘子跟踪方法的流程示意图；

图2是本发明实施例公开的一种基于胶囊网络感知特征的绝缘子跟踪装置的结构示意图；

图3是本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于胶囊网络感知特征的绝缘子跟踪方法和装置，借鉴于胶囊网络特征描述的优越性能，构建了基于胶囊网络的跟踪目标特征提取模型，模型能够有效的提取与背景区域特征区分度较大的前景特征，以此特征作为跟踪目标模型中应用的特征描述，最终实现基于胶囊网络感知特征的绝缘子跟踪，以下结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于胶囊网络感知特征的绝缘子跟踪方法的流程示意图。如图1所示，该基于胶囊网络感知特征的绝缘子跟踪方法包括以下步骤：

S110，接收对输电线路拍摄的视频图像。

对输电线路进行拍摄视频图像的方法可以有多种，例如可以采用无人机在输电线路上进行拍照，从而得到视频图像，在本发明较佳的实施例中，记录无人机拍摄视频时的位置(通过GPS定位系统实现)，从而可以在后续跟踪绝缘子时，确定绝缘子的位置，以便在绝缘子出现故障时可以及时获取其位置。

S120，将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子。

在本发明较佳的实施例中，在对输电线路进行巡检过程中，不会每张视频图像都会出现绝缘子，为了避免目标跟踪相关模型的跟踪错误或者每张视频图像均进行目标跟踪带来的效率低下，可以先通过识别模型识别视频图像中是否存在绝缘子，如果存在，则继续下一步，如果不存在，则舍弃该视频图像。

识别模型可以通过多种方式实现，示例性地，可以通过神经网络，例如CNN、RNN以及DNN等实现，通过对识别模型的训练，实现对视频图像中是否包含绝缘子进行识别。

S130，构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型。

跟踪目标特征描述的稳定性和区分性，跟踪目标特征区别与背景区域特征的区分性，直接影响跟踪方法的跟踪性能，因此构建一种能够有效提取跟踪目标前景和背景特征的深度网络，利用此网络提取的深度特征进行目标跟踪时，跟踪目标区域的深度特征具有较高的区分性，能够有效的提高跟踪方法的跟踪性能。胶囊网络在提取特征时，提取到的特征不但包含了目标区域的局部区域信息、整体信息，同时提取到的信息也包含了局部信息之间的约束信息。因此，本发明提出了一种基于胶囊网络感知特征的绝缘子跟踪方法。该方法首先构建一个能够感知跟踪目标前景和背景的基于胶囊网络的模型。通过应用标准的跟踪视频数据集创建能够对该模型进行预训练的模型训练集。该模型训练集集中的图像只包含了跟踪目标的Padding区域，与该Padding区域中前景和背景对应的高斯标签。通过模型训练集对胶囊网络模型进行训练，训练完成的胶囊网络模型作为跟踪目标的特征提取器。跟踪过程中，将选定的跟踪目标Padding区域图像输入特征提取器提取跟踪目标的深度特征，在后续跟踪过程中，应用特征提取器提取后续帧中候选目标的多尺度Padding区域特征，将跟踪目标的胶囊网络特征与候选目标区域的胶囊网络特征在孪生网络框架下实现跟踪目标在候选区域中的位置定位和尺度确定。

目标前景背景感知模型的输入图像为目标的Padding区域图像，输出的结果经过矩阵化处理最终给出的灰度图像，理想情况下输出的灰度图像为目标中心区域为最大值1的高斯标签图像。

卷积层一共包括四层，分别记为第一卷积层、第二卷积层、第三卷积层和第四卷积层。其中第一卷积层采用的是256个3×3×3的卷积核对Padding区域图像进行三通道卷积。Padding区域图像的尺度为180×180×3(两个180是指图像长和宽的像素点数，3是指R、G、B三通道)，第一卷积层处理的结果(记为第一卷积特征)为180×180×256。将第一卷积层输出的第一卷积特征输入第二卷积层。

第二卷积层采用的是256个3×3的卷积核，步长为2。第二卷积层输出的结果(记为第二卷积特征)为为90×90×256。

第三卷积层分为两个分支的卷积操作，分别记为第三一卷积层和第三二卷积层，之所以采用这种结构，是因为Shufflenet v2算法中已经证明：卷积层的输入和输出特征通道数相等时MAC最小，此时模型的运算速度最快。将第二卷积特征分别第三一卷积层和第三二卷积层。第三一卷积层和第三二卷积层均采用256个3×3的卷积核，步长为2，因此第三一卷积层和第三二卷积层的卷积输出结果(记为第三一卷积特征和第三二卷积特征)均为45×45×256，通过叠加的方式将第三一卷积层和第三二卷积层的结果特征进行叠加，最终构架出第三卷积层的输出结果(记为第三卷积特征)为45×45×512。

对第三卷积特征通过第四卷积层的512个3×3的卷积核，步长为1的处理，获得输出为45×45×512的深度特征。

将深度特征依次输入主胶囊层和数字胶囊层进行处理，使得数字胶囊层的输出特征为45×45×32×32。

全连接层包括第一全连接层、第二全连接层和第三全连接层，数字胶囊层的输出特征经过第一全连接层处理，最终获得处理结果为32×32，将第一全连接层的输出特征通过第二全连接层处理获得4096×1的输出结果。第二全连接层的输出结果经过第三全连接层处理，最终获得的结果特征为2025×1。将第三全连接层的结果转换为矩阵形式即为45×45。

构建训练前景背景感知胶囊网络模型用于训练的模型训练集包括：

应用标准的视频序列构建模型训练集。为了避免因样本图像的大小对前景背景感知胶囊网络模型的影响，在每一个标准视频帧中的每一帧图像中都讲跟踪目标区域的大小均需规范化。

将跟踪目标的目标区域的长和宽像素数乘积开方限定在44-59之间，如果不在此范围，通过尺度变换将原始的跟踪视频进行同比例的尺度变换，变换的结果确保在44-59之间。

对所有的标准视频集图像中的每一帧图像均进行跟踪目标区域的尺度标准化处理。对处理后的标准化图像集，依据标准化处理后的跟踪目标区域的尺度提取图像帧中的样本图像，提取出的样本图像为180×180×3。

样本图像的提取分为两类，一类为在标准化的图像中依据标准化的跟踪目标区域的中心为中心提取出180×180×3的图像，如果该帧图像中不能满足提取要求则舍弃该帧图像。依据跟踪目标区域的大小和背景区域的大小创建与该提取帧图像180×180×3对应的灰度化图像的标签。创建的标签为高斯灰度标签，最大值1的位置位于180×180×3和跟踪目标的几何中心，为了降低特征提取模型的参数量，将标签设定为45×45的高斯灰度图像，最大值1的位置位于图像的中心。另一类是在第一类样本能够创建的基础上，在标准化图像帧中随机的移动图像提取矩形180×180在图像帧中的位置，用以提取图像特征，移动的前提是必须确保跟踪目标在矩形180×180所划定的区域内。最终提取随机移动确定的180×180所划定的区域内的图像，构建出图像样本图像。与该样本对应的标签的最大值做相应的移动，移动的幅度为提取图像区域移动的幅度的1/4(因为标签的尺度为原始图像尺度的1/4)，最终完成第二类样本的构建。

将模型训练集分为训练集和测试集两部分。在训练集总选择BatchSize选择为50，迭代次数选择为200次对模型进行训练。训练过程中，训练集图像的180×180×3图像直接输入特征提取模型，经过模型运算最终输出结果为2025×1的向量，因为该样本对应的高斯标签为45×45大小的灰度图像，将高斯标签进行转换，转换为2025×1的向量，此向量为样本的标签向量。

样本的高斯标签向量与模型输出结果之间的差值即为模型的识别误差，以此误差作为反向传播参数调整的目标。最终的目标为通过模型的调优使得最终输出的2025×1的向量与样本标签之间的误差最小。模型调优过程中，BatchSize的值和迭代次数对整个模型的识别精度影响较大，因此，通过调整BatchSize的值和循环迭代次数的方式确定能够实现测试集中识别精度最高的参数组合作为最优的参数组合。

S140，在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征。

确定目标图像中跟踪目标的位置和跟踪目标的长宽像素点数。计算跟踪目标的长宽像素点数的乘积，然后开方获得开方结果。开方的结果如果在44-59之间的则该视频序列不要进行尺度变换，否则采用线性插值的方式对视频序列进行强制尺寸变换，以确变换后的跟踪目标的长宽像素点数乘积的开方结果在44-59之间，应用此尺度变换对跟踪视频中的每一帧图像进行尺度变换，将原始跟踪视频处理为实际跟踪的标准化视频。

跟踪目标的尺度处理完成后，需要提取以跟踪目标为中心的Padding区域图像，Padding区域的大小为180×180个像素点的矩形区域。在提取Padding区域图像过程中，存在两种情况：原始图像的大小及跟踪目标的位置确保能够提取出足够的Padding区域图像；原始图像的大小及跟踪目标的位置不能够满足提取出Padding区域的图像。针对不能够满足Padding提取要求的，可以通过能够提取区域的Padding窗区域的外部提取大小相同的部分进行填充，以确保Padding窗提取到的区域图像为180×180×3。

当图像帧中Padding窗超出X轴时，X轴缺省的部分可以从Padding窗以外的部分填补。Y轴缺省的部分可通过相同的方式进行填充。在跟踪过程中，如果出现不能确保提取180×180×3区域图像的可以应用该办法进行补全。目标图像中提取的Padding区域经过特征提取器进行特征提取，特征提取的结果为45×45×32×32。

针对跟踪目标区域为m×n×3的跟踪目标，在Padding区域特征中提取出跟踪目标区域对应的深度特征为

，此特征即为跟踪模型中的跟踪目标的特征。

将该候选区域的图像输入特征提取器进行特征提取，最终提取出的特征为45×45×32×32，对此特征采用三级尺度处理方式进行处理，最终构建出三个尺度对应的特征组45×45×32×32×3。

S150，将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

整个跟踪模型是在孪生网络框架下实现的。鉴于预训练模型的网络输入为180×180×3，因此必然要求输入基于胶囊网络的特征提取器的图像尺寸必须为180×180×3。通过网络提取，最终特征提取器的输出为45×45×32×32。假定跟踪目标的图形大小为M×N×3。首先计算M×N的开方结果是不是在存在于44～59之间，如果不在此区间，通过同比例缩放的形式对原始视频跟踪图像进行变换，比例系数假定为T_s，变换的结果确保M×N的开方结果存在于44～59之间。为了应用特征提取器进行特征提取，必须提取跟踪目标区域的Padding窗确定的区域图像。Padding窗确定区域图像的几何中心与跟踪目标的几何中心重合。假设通过尺度变换后的跟踪m×n×3。提取到的Padding区域图像的大小为180×180×3，则经过特征提取器获得的胶囊网络特征为45×45×32×32。则跟踪目标区域的胶囊网络特征为提取的Padding区域的基于胶囊网络特征的

区域对应的特征。跟踪目标的基于胶囊网络的特征为

。

后续跟踪中，在候选目标区域提取Padding窗确定的区域图像，经过基于胶囊网络的特征提取器进行特征提取，提取到的候选区域特征为45×45×32×32。

将跟踪目标的第一输出特征和候选区域的第二输出特征输入孪生网络框架，通过全卷积网络确定候选目标区域中的最大响应值的位置。最大响应值的位置与中心点的偏移量即为当前帧中目标中心点相对于上一帧图像中的目标位置中心点的偏移值。具体如式1所示，(Xⁱ Yⁱ)表示第i帧图像中跟踪目标的几何中心点的位置坐标，(X^i-1 Y^i-1)表示第i-1帧图像中跟踪目标的几何中心点的位置坐标，(X_max Y_max)表示经过孪生网络框架获得的最终响应图像中最大值的位置坐标，

表示在Padding框确定的图像的几何中心点的位置坐标。

跟踪目标的尺度确定过程中，跟踪目标的尺度通过跟踪目标的长宽确定，假设第i-1帧图像中跟踪目标的实际尺度为(H_i-1 W_i-1)，将跟踪目标的尺度分为三级尺度，三级尺度确定过程通过特征提取器提取的胶囊网络特征45×45×32×32进行处理获得。第一级尺度特征定义为43×43×32×32，第二级尺度特征为原始图像的特征45×45×32×32，第三级尺度特征定义为47×47×32×32。第一级尺度特征和第三级尺度特征通过第二级特征通过强制尺度变换获得。将第一级特征的特征矩阵43×43×32×32通过行列补零的方式构建为45×45×32×32。第三级特征的特征矩阵47×47×32×32通过删除行列的方式构建为45×45×32×32。最终获得的三级特征矩阵为45×45×32×32×3。在三级尺度特征中确定的最大响应值所在的尺度即为实际跟踪目标的尺度，如果确定最大的响应尺度为第二级，则在当前帧中跟踪目标的尺度不发生变化，即为：(Hⁱ Wⁱ)＝(H^i-1 W^i-1)；如果为第一级的尺度，则依据特征提取器对图像尺度变化的影响，则第帧图像中确定的跟踪目标的最终尺度为(Hⁱ Wⁱ)＝(H^i-1-8 W^i-1-8)；同理，第三级尺度时跟踪目标确定的最终尺度为：(Hⁱ Wⁱ)＝(H^i-1+8 W^i-1+8)。通过最终确定的跟踪目标当前帧中的位置坐标(Xⁱ Yⁱ)和对应的尺度(H_i W_i)在当前帧中确定Padding窗的位置，以确保在i+1帧中提取Padding区域的180×180×3原始的候选目标区域的图像。此时确定的跟踪目标的位置坐标和尺度均是在原始跟踪视频图像经过尺度T_s处理之后跟踪结果，因此，在原始的视频跟踪图形中跟踪目标的位置坐标和尺度均需要进行相反的尺度变换。原始视频图像中跟踪目标的跟踪结果计算如式2所示，其中，

表示原始视频图像中跟踪目标的实际尺度，

表示原始视频图像中跟踪目标的中心点位置坐标。

在Siamese框架下，依据跟踪的

特征，通过全卷积的方式可以构建出响应图像45×45×1×1×3，确定3通道响应矩阵中的最大值位置和最大值所对应的通道。最大值的位置相对于候选区域的中心点的移动量即为候选图像中跟踪目标相对于目标图像中目标中心位置的移动量，通过线性处理获得视频图像中跟踪目标的实际位置，最大值所在的通道对应的尺度即为跟踪目标在视频图像中的尺度。如此循环，最终实现绝缘子的目标跟踪。

实施例二

请参阅图2，图2是本发明实施例公开的一种基于胶囊网络感知特征的绝缘子跟踪装置的结构示意图。如图2所示，该基于胶囊网络感知特征的绝缘子跟踪装置可以包括：

接收单元210，用于接收对输电线路拍摄的视频图像；

判断单元220，用于将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子；

训练单元230，用于构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；所述目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型；

提取单元240，用于在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征；

跟踪单元250，用于将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

优选地，所述识别模型为卷积神经网络模型。

优选地，所述训练单元，包括：

构建数据样本集，每个训练样本集中的样本图像只包含了跟踪目标的Padding区域、以及与Padding区域中前景和背景对应的高斯标签；

将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵；

将所述高斯标签和所述结构矩阵之间的差值作为识别误差，以所述识别误差作为反向传播参数调整的目标，对所述胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

优选地，将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵，包括：

将所述Padding区域的图像转换为统一标准尺度图像；

将所述统一标准尺度图像输入第一卷积层，得到第一卷积特征；

将所述第一卷积特征输入第二卷积层，得到第二卷积特征；

将所述第二卷积特征分别输入第三一卷积层和第三二卷积层，分别得到第三一卷积特征和第三二卷积特征；

将第三一卷积特征和第三二卷积特征进行叠加，得到第三卷积特征；

将所述第三卷积特征输入第四卷积层，得到深度特征；

将所述深度特征输入数字胶囊层，得到输出特征；

将所述输出特征分别通过第一全连接层、第二全连接层和第三全连接层，得到结果特征。

优选地，所述统一标准尺度图像的尺度为180×180×3；所述第一卷积特征的尺度为180×180×256；所述第二卷积特征的尺度为90×90×256；所述第三一卷积层、第三二卷积层以及第三卷积特征的尺度分别为45×45×256、45×45×256、45×45×512；所述深度特征的尺度为45×45×512；所述输出特征的尺度为45×45×32×32；所述结果特征的尺度为2025×1。

实施例三

请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

存储有可执行程序代码的存储器310；

与存储器310耦合的处理器320；

其中，处理器320调用存储器310中存储的可执行程序代码，执行实施例一中的一种基于胶囊网络感知特征的绝缘子跟踪方法中的部分或全部步骤。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的一种基于胶囊网络感知特征的绝缘子跟踪方法中的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种基于胶囊网络感知特征的绝缘子跟踪方法中的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种基于胶囊网络感知特征的绝缘子跟踪方法中的部分或全部步骤。

在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于胶囊网络感知特征的绝缘子跟踪方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于胶囊网络感知特征的绝缘子跟踪方法，其特征在于，其包括以下步骤：

接收对输电线路拍摄的视频图像；

将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子；

构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；所述目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型；

在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征；

将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

2.根据权利要求1所述的基于胶囊网络感知特征的绝缘子跟踪方法，其特征在于，所述识别模型为卷积神经网络模型。

3.根据权利要求1所述的基于胶囊网络感知特征的绝缘子跟踪方法，其特征在于，构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型，包括：

构建数据样本集，每个训练样本集中的样本图像只包含了跟踪目标的Padding区域、以及与Padding区域中前景和背景对应的高斯标签；

将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵；

将所述高斯标签和所述结构矩阵之间的差值作为识别误差，以所述识别误差作为反向传播参数调整的目标，对所述胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

4.根据权利要求3所述的基于胶囊网络感知特征的绝缘子跟踪方法，其特征在于，将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵，包括：

将所述Padding区域的图像转换为统一标准尺度图像；

将所述统一标准尺度图像输入第一卷积层，得到第一卷积特征；

将所述第一卷积特征输入第二卷积层，得到第二卷积特征；

将所述第二卷积特征分别输入第三一卷积层和第三二卷积层，分别得到第三一卷积特征和第三二卷积特征；

将第三一卷积特征和第三二卷积特征进行叠加，得到第三卷积特征；

将所述第三卷积特征输入第四卷积层，得到深度特征；

将所述深度特征输入数字胶囊层，得到输出特征；

将所述输出特征分别通过第一全连接层、第二全连接层和第三全连接层，得到结果特征。

5.根据权利要求4所述的基于胶囊网络感知特征的绝缘子跟踪方法，其特征在于，所述统一标准尺度图像的尺度为180×180×3；所述第一卷积特征的尺度为180×180×256；所述第二卷积特征的尺度为90×90×256；所述第三一卷积层、第三二卷积层以及第三卷积特征的尺度分别为45×45×256、45×45×256、45×45×512；所述深度特征的尺度为45×45×512；所述输出特征的尺度为45×45×32×32；所述结果特征的尺度为2025×1。

6.一种基于胶囊网络感知特征的绝缘子跟踪装置，其特征在于，其包括：

接收单元，用于接收对输电线路拍摄的视频图像；

判断单元，用于将所述视频图像输入预先训练的识别模型，判断所述视频图像中是否存在绝缘子；

训练单元，用于构建数据样本集对胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型；所述目标前景背景感知模型包括特征提取器和全连接层，其中，所述特征提取器包括卷积层和数字胶囊层，训练时，将标注有Padding区域的样本图像输入胶囊网络框架下的目标前景背景感知初始模型，分别经过卷积层的卷积操作以及数字胶囊层的映射操作后得到输出特征，所述输出特征经过全连接层输出结果特征，用于与样本图像对应的高斯标签进行比对，以训练所述胶囊网络框架下的目标前景背景感知初始模型，得到目标前景背景感知模型；

提取单元，用于在视频图像存在绝缘子图像时，将目标图像和所述视频图像分别输出特征提取器获得第一输出特征和第二输出特征；

跟踪单元，用于将所述第一输出特征和第二输出特征输入孪生网络，获取所述视频图像中绝缘子的位置信息。

7.根据权利要求6所述的基于胶囊网络感知特征的绝缘子跟踪装置，其特征在于，所述识别模型为卷积神经网络模型。

8.根据权利要求6所述的基于胶囊网络感知特征的绝缘子跟踪装置，其特征在于，所述训练单元，包括：

构建数据样本集，每个训练样本集中的样本图像只包含了跟踪目标的Padding区域、以及与Padding区域中前景和背景对应的高斯标签；

将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵；

将所述高斯标签和所述结构矩阵之间的差值作为识别误差，以所述识别误差作为反向传播参数调整的目标，对所述胶囊网络框架下的目标前景背景感知初始模型进行训练，得到目标前景背景感知模型。

9.根据权利要求8所述的基于胶囊网络感知特征的绝缘子跟踪装置，其特征在于，将所述样本图像输入胶囊网络框架下的目标前景背景感知初始模型，得到结果矩阵，包括：

将所述Padding区域的图像转换为统一标准尺度图像；

将所述统一标准尺度图像输入第一卷积层，得到第一卷积特征；

将所述第一卷积特征输入第二卷积层，得到第二卷积特征；

将所述第二卷积特征分别输入第三一卷积层和第三二卷积层，分别得到第三一卷积特征和第三二卷积特征；

将第三一卷积特征和第三二卷积特征进行叠加，得到第三卷积特征；

将所述第三卷积特征输入第四卷积层，得到深度特征；

将所述深度特征输入数字胶囊层，得到输出特征；

将所述输出特征分别通过第一全连接层、第二全连接层和第三全连接层，得到结果特征。

10.根据权利要求9所述的基于胶囊网络感知特征的绝缘子跟踪装置，其特征在于，所述统一标准尺度图像的尺度为180×180×3；所述第一卷积特征的尺度为180×180×256；所述第二卷积特征的尺度为90×90×256；所述第三一卷积层、第三二卷积层以及第三卷积特征的尺度分别为45×45×256、45×45×256、45×45×512；所述深度特征的尺度为45×45×512；所述输出特征的尺度为45×45×32×32；所述结果特征的尺度为2025×1。

Images