CN113505812A - 一种基于双流卷积网络的高压断路器轨迹动作识别方法 - Google Patents

Abstract

本发明一种基于双流卷积网络的高压断路器轨迹动作识别方法，本发明通过构建并训练双流卷积网络模型对高压断路器运动轨迹的图像序列进行识别，根据一段时间的时序图像数据来捕捉高压断路器动作的轨迹特性，并根据该特性判断高压断路器是否发生故障，如果发生故障给出动态故障类型相应的故障处理方法，方便检修人员及时消除故障。

Description

一种基于双流卷积网络的高压断路器轨迹动作识别方法

技术领域

本发明涉及高压断路器技术领域，尤其是一种基于双流卷积网络的高压断路器轨迹动作识别方法。

背景技术

高压断路器动态故障类型主要有拒绝合闸、拒绝跳闸、假分闸、假跳闸、三相不同期等类型故障，这类故障具有明显的动态特性，无法通过高压断路器的静态数据完成识别。因此需要根据一段时间的时序图像数据来捕捉高压断路器动作的轨迹特性，并根据该特性判断高压断路器是否发生故障，因此需要对高压断路器动作的轨迹进行视觉目标跟踪。视觉目标跟踪是计算机视觉领域中一项非常热门的研究课题，其研究内容是根据给定的一段视频片段，自动识别或手动指定视频序列中待跟踪的目标对象，从而预测后续帧中该目标的位置、外观和运动等信息。目标跟踪广泛应用于军事与民用的智能监控、人机交互、交通监控等领域，具有很强的实用价值。尽管这个研究课题已经被研究了几十年，但它仍是一项具有挑战性的课题。在现实情况下，目标对象容易受到各种因素的干扰，例如光照变化、姿态变化、目标遮挡等，使得开发持续鲁棒的目标跟踪系统成为一项非常具有挑战性的问题。过去二三十年，视觉目标跟踪技术取得了长足的进步，特别是最近几年，利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。

深度学习是近年来机器学习研究的热点，由于其强大的特征表达能力和强大的数据集和软硬件支持，深度学习已在许多方面取得了惊人的成功，例如语音识别、图像识别、目标检测、视频分类等。深度学习在目标跟踪中的硏究发展也十分迅速，但由于目标跟踪先验知识的缺乏和实时性的要求，使得需要大量训练数据和参数计算为基础的深度学习技术在这方面难以得到充分的施展，仍具有很大的探索空间。相比于传统的手动提取特征，深度学习的一个重要特点是具有更深层次的语义特征和更强大的表征能力，对于解决目标跟踪问题更准确、可靠。因此急需设计一种能够利用视觉图像追踪结合深度学习的高压断路器动态识别模型，对捕捉高压断路器动作的轨迹特性。

发明内容

本发明解决了无法通过高压断路器的静态数据完成识别动态故障的问题，提出一种基于双流卷积网络的高压断路器轨迹动作识别方法，根据一段时间的时序图像数据来捕捉高压断路器动作的轨迹特性，并根据该特性判断高压断路器是否发生故障，如果发生故障给出动态故障类型相应的故障处理方法，方便检修人员及时消除故障。

为实现上述目的，提出以下技术方案：

一种基于双流卷积网络的高压断路器轨迹动作识别方法，

包括以下步骤：

S1，构建并训练双流卷积网络模型，所述双流卷积网络模型包括双流特征提取层、候选轨迹提取层和目标定位层，所述双流特征提取层采用图卷积和轨迹卷积的结构共同提取；

S2，获取高压断路器运动轨迹的图像序列，并将所述图像序列输入到双流特征提取层，经所述图卷积和轨迹卷积的结构共同提取到N个目标候选轨迹，所述N个目标候选轨迹进入候选轨迹提取层，所述候选轨迹提取层对每个目标候选轨迹输出对应的一个置信度，所述目标定位层获取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块；

S3，设定故障图像块匹配库，所述故障图像块匹配库设有若干故障图像块，所述每个故障图像块对应一种高压断路器故障类型，当高压断路器故障类型更新时，故障图像块匹配库的故障图像块对应更新；

S4，遍历故障图像块匹配库，直至找到与目标图像块匹配度大于90％的故障图像块，输出该故障图像块对应的高压断路器故障类型；

S5，设定故障处理指令库，所述设定故障处理指令库包括若干高压断路器故障类型及每种高压断路器故障类型对应的故障处理指令，当故障处理指令库接收到故障图像块匹配库输出的高压断路器故障类型，所述故障处理指令库输出该高压断路器故障类型对应的故障处理指令。

本发明能够充分提取连续运动情况下目标的特征，包含目标的空间位置特征与目标运动轨迹特征，并且在特征提取方式上，能够针对目标更具判别部位分配更大的权重进行跟踪；同时在目标候选轨迹的生成方式上，能够根据目标运动轨迹在运动约束范围内生成相应的目标候选轨迹，从而可减小目标发生漂移甚至丢失的概率，大幅降低目标定位的计算量，进而提高目标跟踪的鲁棒性与准确性。同时本发明根据一段时间的时序图像数据来捕捉高压断路器动作的轨迹特性，并根据该特性判断高压断路器是否发生故障，如果发生故障给出动态故障类型相应的故障处理方法，方便检修人员及时消除故障。

作为优选，所述步骤S1具体包括以下步骤：

S101，从初始图像序列中选择并确定要跟踪的目标对象；选取目标对象过程是通过运动目标检测方法自动提取或者人机交互方法手动指定；

S102，建立训练数据集，选取分类识别视频数据集，将其所有图像标记对应的目标对象位置坐标，再通过已知标签制作训练数据集；所述分类识别视频包括若干类视频，从每一类视频数据中，按照两种选取规则进行数据集的制作；

S103，构建双流卷积网络模型；

S104，利用建立训练数据集对双流卷积网络模型进行训练，采用经典的随机梯度下降法，训练完成后，双流卷积网络模型输出每一个目标候选轨迹的置信度，再选取最大置信度的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧图像的目标位置为目标图像块。

作为优选，所述步骤S102具体包括以下步骤：所述分类识别视频数据集为大型分类识别视频数据集ImageNet Video，包括4500类视频，连续取16帧图像I₁,I₂,...,I₁₆作为一组训练数据集和每2帧图像取1帧I₁,I₃,..,I₃₁作为一组训练数据集，其中I表示一帧图像，采样图像帧数均为16帧，最终生成56250组训练集，图像帧尺寸均归一化为224×224像素。

作为优选，所述S103具体包括以下步骤：

所述图卷积提取过程为：将目标对象划分图节点，具体划分为M个相同大小的网格，每个图节点为同一个网格结构，同时构造一个无向权重图G＝(ν,W)，所述无向权重图G包含图节点ν和连接各图节点的边的权重W；需要对连续16帧图像的前、后帧之间的图节点的边进行权重初始化，使用{0,1}初始化权重，即W_ij∈{0,1}，其中i为第t帧的图节点，j为第t+1帧的图节点；设定每个图节点只与直接相邻的四个图节点相连，且权重为1，其余为0；所述网络结构采用在ImageNet上预训练的Alexnet网络的前五层，并将两层图卷积层增加至其后，输出特征F则计算为F＝WX，X为经过Alexnet五层网络后，每个图节点的特征，每一帧图像得到h×w×256的图卷积特征，连续的16帧图像最后输出得到T×h×w×256的图卷积特征；其中，T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，256为特征通道数；

所述轨迹卷积提取过程为：已知16帧图像中每一帧图像的目标位置，将每个目标位置均表示为x,y,w,h，其中x,y,w,h分别表示该目标位置的中心横坐标、中心纵坐标、宽度和高度，将连续16帧图像的前、后帧之间的目标位置连接，获得目标运动轨迹；所述轨迹卷积采用在ImageNet上预训练的C3D网络的前五层，给定时间t时刻的输入特征图x_t(p)，输出特征图为y_t(p)，轨迹卷积的卷积核参数{W_τ:τ∈[0,Δt]}和核参数大小Δt-1，这里Δt＝16，输出特征图y_t(p)则计算为：

将每一帧图像得到的图卷积特征输入轨迹卷积中，最后得到连续的16帧图像轨迹卷积特征，其尺寸维度为T×h×w×256；最后将图卷积与轨迹卷积联结而成T×h×w×512的维度特征，其中T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，512为特征通道数；

以上一帧图像目标位置为中心，并以4倍大小于该目标在当前输入帧构成目标关注区域，在目标关注区域里采用滑动搜索窗的方法获取目标候选块，采用的搜索窗的长宽比分别为1:1、1:2、2:1，从目标关注区域的初始坐标位置开始移动，直到搜索完目标关注区域为止，将搜索窗选取的图像块作为目标候选块，并将其尺度归一化为与目标对象相同的大小，每一个目标候选块都与其前16帧图像目标位置连接而成新的目标运动轨迹，然后将这连续的17帧图像的双流特征经过LSTM结构，得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧图像目标位置的4个位置坐标，具体为设置目标候选轨迹网络的损失函数为：

T为图像帧数，Δθ为坐标预测值与真实值的偏移，设当前输入帧的目标候选块的位置坐标表示为x₀,y₀,w₀,h₀，其中x₀,y₀,w₀,h₀分别表示该目标候选块的中心横坐标、中心纵坐标、宽度和高度，而坐标预测的偏移值为Δx₀,Δy₀,Δw₀,Δh₀，则各目标候选块坐标为x₀+Δx₀,y₀+Δy₀,w₀+Δw₀,h₀+Δh₀，将连续16帧图像的目标运动轨迹与各目标候选块连接而成目标候选轨迹，最终通过学习目标运动规律得到N个目标候选轨迹，再将N个目标候选轨迹的双流特征输入全连接层进行分类，网络分类损失函数设置为交叉熵损失；

作为优选，所述目标候选轨迹的生成过程如下：将连续的16帧图像中的目标对象按照S103中的方法，将所述的目标对象划分为M个图节点，同时将16帧图像的前、后帧之间目标对象的位置连接，获得目标运动轨迹，并输入双流特征提取层，提取得到尺寸维度为T×h×w×512的双流特征，再经过图卷积与轨迹卷积网络的候选轨迹提取层得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧目标的4个位置坐标。

作为优选，所述S2中图像序列获取步骤如下：

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为若干帧组成的图像序列，按照时间顺序，提取连续16帧图像作为输入图像序列，如果输入图像帧数不等于16，则整个流程中止。

作为优选，所述S2中目标图像块获取方法如下：

将得到的目标候选轨迹经过全连接层进行分类，网络将输出每一个目标候选轨迹的置信度，然后选取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块。

作为优选，还包括在线更新步骤：

在确定跟踪的目标图像块后，将定位得到的当前输入图像帧的目标对象及位置坐标输入初始训练集的16帧图像序列末尾，同时删除16帧图像序列的首帧，更新为新的训练集，表示为I₂,...,I₁₇；然后跳转到S2，重新得到新的连续16帧图像的训练集，实时动态调整目标运动轨迹，进行网络在线学习，实现网络的微调更新，进行新一轮的目标定位。

本发明的有益效果是：本发明能够充分提取连续运动情况下目标的特征，包含目标的空间位置特征与目标运动轨迹特征，并且在特征提取方式上，能够针对目标更具判别部位分配更大的权重进行跟踪；同时在目标候选轨迹的生成方式上，能够根据目标运动轨迹在运动约束范围内生成相应的目标候选轨迹，从而可减小目标发生漂移甚至丢失的概率，大幅降低目标定位的计算量，进而提高目标跟踪的鲁棒性与准确性。

附图说明

图1是实施例的流程图。

具体实施方式

实施例：

本实施例提出一种基于双流卷积网络的高压断路器轨迹动作识别方法，参考图1，包括以下步骤：

S1，构建并训练双流卷积网络模型，双流卷积网络模型包括双流特征提取层、候选轨迹提取层和目标定位层，双流特征提取层采用图卷积和轨迹卷积的结构共同提取；

步骤S1具体包括以下步骤：

S101，从初始图像序列中选择并确定要跟踪的目标对象；选取目标对象过程是通过运动目标检测方法自动提取或者人机交互方法手动指定；

S102，建立训练数据集，选取分类识别视频数据集，将其所有图像标记对应的目标对象位置坐标，再通过已知标签制作训练数据集；分类识别视频包括若干类视频，从每一类视频数据中，按照两种选取规则进行数据集的制作；

步骤S102具体包括以下步骤：分类识别视频数据集为大型分类识别视频数据集ImageNet Video，包括4500类视频，连续取16帧图像I₁,I₂,...,I₁₆作为一组训练数据集和每2帧图像取1帧I₁,I₃,..,I₃₁作为一组训练数据集，其中I表示一帧图像，采样图像帧数均为16帧，最终生成56250组训练集，图像帧尺寸均归一化为224×224像素。

S103，构建双流卷积网络模型；

S103具体包括以下步骤：

图卷积提取过程为：将目标对象划分图节点，具体划分为M个相同大小的网格，每个图节点为同一个网格结构，同时构造一个无向权重图G＝(ν,W)，无向权重图G包含图节点ν和连接各图节点的边的权重W；需要对连续16帧图像的前、后帧之间的图节点的边进行权重初始化，使用{0,1}初始化权重，即W_ij∈{0,1}，其中i为第t帧的图节点，j为第t+1帧的图节点；设定每个图节点只与直接相邻的四个图节点相连，且权重为1，其余为0；网络结构采用在ImageNet上预训练的Alexnet网络的前五层，并将两层图卷积层增加至其后，输出特征F则计算为F＝WX，X为经过Alexnet五层网络后，每个图节点的特征，每一帧图像得到h×w×256的图卷积特征，连续的16帧图像最后输出得到T×h×w×256的图卷积特征；其中，T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，256为特征通道数；

轨迹卷积提取过程为：已知16帧图像中每一帧图像的目标位置，将每个目标位置均表示为x,y,w,h，其中x,y,w,h分别表示该目标位置的中心横坐标、中心纵坐标、宽度和高度，将连续16帧图像的前、后帧之间的目标位置连接，获得目标运动轨迹；轨迹卷积采用在ImageNet上预训练的C3D网络的前五层，给定时间t时刻的输入特征图x_t(p)，输出特征图为y_t(p)，轨迹卷积的卷积核参数{W_τ:τ∈[0,Δt]}和核参数大小Δt-1，这里Δt＝16，输出特征图y_t(p)则计算为：

将每一帧图像得到的图卷积特征输入轨迹卷积中，最后得到连续的16帧图像轨迹卷积特征，其尺寸维度为T×h×w×256；最后将图卷积与轨迹卷积联结而成T×h×w×512的维度特征，其中T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，512为特征通道数；

以上一帧图像目标位置为中心，并以4倍大小于该目标在当前输入帧构成目标关注区域，在目标关注区域里采用滑动搜索窗的方法获取目标候选块，采用的搜索窗的长宽比分别为1:1、1:2、2:1，从目标关注区域的初始坐标位置开始移动，直到搜索完目标关注区域为止，将搜索窗选取的图像块作为目标候选块，并将其尺度归一化为与目标对象相同的大小，每一个目标候选块都与其前16帧图像目标位置连接而成新的目标运动轨迹，然后将这连续的17帧图像的双流特征经过LSTM结构，得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧图像目标位置的4个位置坐标，具体为设置目标候选轨迹网络的损失函数为：

T为图像帧数，Δθ为坐标预测值与真实值的偏移，设当前输入帧的目标候选块的位置坐标表示为x₀,y₀,w₀,h₀，其中x₀,y₀,w₀,h₀分别表示该目标候选块的中心横坐标、中心纵坐标、宽度和高度，而坐标预测的偏移值为Δx₀,Δy₀,Δw₀,Δh₀，则各目标候选块坐标为x₀+Δx₀,y₀+Δy₀,w₀+Δw₀,h₀+Δh₀，将连续16帧图像的目标运动轨迹与各目标候选块连接而成目标候选轨迹，最终通过学习目标运动规律得到N个目标候选轨迹，再将N个目标候选轨迹的双流特征输入全连接层进行分类，网络分类损失函数设置为交叉熵损失；

S104，利用建立训练数据集对双流卷积网络模型进行训练，采用经典的随机梯度下降法，训练完成后，双流卷积网络模型输出每一个目标候选轨迹的置信度，再选取最大置信度的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧图像的目标位置为目标图像块。

目标候选轨迹的生成过程如下：将连续的16帧图像中的目标对象按照S103中的方法，将的目标对象划分为M个图节点，同时将16帧图像的前、后帧之间目标对象的位置连接，获得目标运动轨迹，并输入双流特征提取层，提取得到尺寸维度为T×h×w×512的双流特征，再经过图卷积与轨迹卷积网络的候选轨迹提取层得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧目标的4个位置坐标。

将得到的目标候选轨迹经过全连接层进行分类，网络将输出每一个目标候选轨迹的置信度，然后选取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块。跟踪过程中，提取连续的16帧图像的目标的空间特征和目标运动轨迹特征，并联结成为双流特征，再经过LSTM结构获取遵循目标运动规律的目标候选轨迹，采用全连接层结构对目标候选轨迹进行分类，网络将输出每一个目标候选轨迹的置信度

S2，获取高压断路器运动轨迹的图像序列，

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为若干帧组成的图像序列，按照时间顺序，提取连续16帧图像作为输入图像序列，如果输入图像帧数不等于16，则整个流程中止，并将图像序列输入到双流特征提取层，经图卷积和轨迹卷积的结构共同提取到N个目标候选轨迹，N个目标候选轨迹进入候选轨迹提取层，候选轨迹提取层对每个目标候选轨迹输出对应的一个置信度，目标定位层获取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块；

S3，设定故障图像块匹配库，故障图像块匹配库设有若干故障图像块，每个故障图像块对应一种高压断路器故障类型，当高压断路器故障类型更新时，故障图像块匹配库的故障图像块对应更新；

S4，遍历故障图像块匹配库，直至找到与目标图像块匹配度大于90％的故障图像块，输出该故障图像块对应的高压断路器故障类型；

S5，设定故障处理指令库，设定故障处理指令库包括若干高压断路器故障类型及每种高压断路器故障类型对应的故障处理指令，当故障处理指令库接收到故障图像块匹配库输出的高压断路器故障类型，故障处理指令库输出该高压断路器故障类型对应的故障处理指令。

还包括在线更新步骤：

在确定跟踪的目标图像块后，将定位得到的当前输入图像帧的目标对象及位置坐标输入初始训练集的16帧图像序列末尾，同时删除16帧图像序列的首帧，更新为新的训练集，表示为I₂,...,I₁₇；然后跳转到S2，重新得到新的连续16帧图像的训练集，实时动态调整目标运动轨迹，进行网络在线学习，实现网络的微调更新，进行新一轮的目标定位。

本发明能够充分提取连续运动情况下目标的特征，包含目标的空间位置特征与目标运动轨迹特征，并且在特征提取方式上，能够针对目标更具判别部位分配更大的权重进行跟踪；同时在目标候选轨迹的生成方式上，能够根据目标运动轨迹在运动约束范围内生成相应的目标候选轨迹，从而可减小目标发生漂移甚至丢失的概率，大幅降低目标定位的计算量，进而提高目标跟踪的鲁棒性与准确性。同时本发明根据一段时间的时序图像数据来捕捉高压断路器动作的轨迹特性，并根据该特性判断高压断路器是否发生故障，如果发生故障给出动态故障类型相应的故障处理方法，方便检修人员及时消除故障。

Claims (8)

1.一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，包括以下步骤：

S1，构建并训练双流卷积网络模型，所述双流卷积网络模型包括双流特征提取层、候选轨迹提取层和目标定位层，所述双流特征提取层采用图卷积和轨迹卷积的结构共同提取；

S2，获取高压断路器运动轨迹的图像序列，并将所述图像序列输入到双流特征提取层，经所述图卷积和轨迹卷积的结构共同提取到N个目标候选轨迹，所述N个目标候选轨迹进入候选轨迹提取层，所述候选轨迹提取层对每个目标候选轨迹输出对应的一个置信度，所述目标定位层获取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块；

S3，设定故障图像块匹配库，所述故障图像块匹配库设有若干故障图像块，所述每个故障图像块对应一种高压断路器故障类型，当高压断路器故障类型更新时，故障图像块匹配库的故障图像块对应更新；

S4，遍历故障图像块匹配库，直至找到与目标图像块匹配度大于90％的故障图像块，输出该故障图像块对应的高压断路器故障类型；

S5，设定故障处理指令库，所述设定故障处理指令库包括若干高压断路器故障类型及每种高压断路器故障类型对应的故障处理指令，当故障处理指令库接收到故障图像块匹配库输出的高压断路器故障类型，所述故障处理指令库输出该高压断路器故障类型对应的故障处理指令。

2.根据权利要求1所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述步骤S1具体包括以下步骤：

S101，从初始图像序列中选择并确定要跟踪的目标对象；选取目标对象过程是通过运动目标检测方法自动提取或者人机交互方法手动指定；

S102，建立训练数据集，选取分类识别视频数据集，将其所有图像标记对应的目标对象位置坐标，再通过已知标签制作训练数据集；所述分类识别视频包括若干类视频，从每一类视频数据中，按照两种选取规则进行数据集的制作；

S103，构建双流卷积网络模型；

S104，利用建立训练数据集对双流卷积网络模型进行训练，采用经典的随机梯度下降法，训练完成后，双流卷积网络模型输出每一个目标候选轨迹的置信度，再选取最大置信度的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧图像的目标位置为目标图像块。

3.根据权利要求2所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述步骤S102具体包括以下步骤：所述分类识别视频数据集为大型分类识别视频数据集ImageNet Video，包括4500类视频，连续取16帧图像I₁,I₂,...,I₁₆作为一组训练数据集和每2帧图像取1帧I₁,I₃,..,I₃₁作为一组训练数据集，其中I表示一帧图像，采样图像帧数均为16帧，最终生成56250组训练集，图像帧尺寸均归一化为224×224像素。

4.根据权利要求3所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述S103具体包括以下步骤：

所述图卷积提取过程为：将目标对象划分图节点，具体划分为M个相同大小的网格，每个图节点为同一个网格结构，同时构造一个无向权重图G＝(ν,W)，所述无向权重图G包含图节点ν和连接各图节点的边的权重W；需要对连续16帧图像的前、后帧之间的图节点的边进行权重初始化，使用{0,1}初始化权重，即W_ij∈{0,1}，其中i为第t帧的图节点，j为第t+1帧的图节点；设定每个图节点只与直接相邻的四个图节点相连，且权重为1，其余为0；所述网络结构采用在ImageNet上预训练的Alexnet网络的前五层，并将两层图卷积层增加至其后，输出特征F则计算为F＝WX，X为经过Alexnet五层网络后，每个图节点的特征，每一帧图像得到h×w×256的图卷积特征，连续的16帧图像最后输出得到T×h×w×256的图卷积特征；其中，T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，256为特征通道数；

所述轨迹卷积提取过程为：已知16帧图像中每一帧图像的目标位置，将每个目标位置均表示为x,y,w,h，其中x,y,w,h分别表示该目标位置的中心横坐标、中心纵坐标、宽度和高度，将连续16帧图像的前、后帧之间的目标位置连接，获得目标运动轨迹；所述轨迹卷积采用在ImageNet上预训练的C3D网络的前五层，给定时间t时刻的输入特征图x_t(p)，输出特征图为y_t(p)，轨迹卷积的卷积核参数{W_τ:τ∈[0,Δt]}和核参数大小Δt-1，这里Δt＝16，输出特征图y_t(p)则计算为：

将每一帧图像得到的图卷积特征输入轨迹卷积中，最后得到连续的16帧图像轨迹卷积特征，其尺寸维度为T×h×w×256；最后将图卷积与轨迹卷积联结而成T×h×w×512的维度特征，其中T为视频图像序列的帧数，这里T＝16，h为特征高度，w为特征宽度，512为特征通道数；

以上一帧图像目标位置为中心，并以4倍大小于该目标在当前输入帧构成目标关注区域，在目标关注区域里采用滑动搜索窗的方法获取目标候选块，采用的搜索窗的长宽比分别为1:1、1:2、2:1，从目标关注区域的初始坐标位置开始移动，直到搜索完目标关注区域为止，将搜索窗选取的图像块作为目标候选块，并将其尺度归一化为与目标对象相同的大小，每一个目标候选块都与其前16帧图像目标位置连接而成新的目标运动轨迹，然后将这连续的17帧图像的双流特征经过LSTM结构，得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧图像目标位置的4个位置坐标，具体为设置目标候选轨迹网络的损失函数为：

T为图像帧数，Δθ为坐标预测值与真实值的偏移，设当前输入帧的目标候选块的位置坐标表示为x₀,y₀,w₀,h₀，其中x₀,y₀,w₀,h₀分别表示该目标候选块的中心横坐标、中心纵坐标、宽度和高度，而坐标预测的偏移值为Δx₀,Δy₀,Δw₀,Δh₀，则各目标候选块坐标为x₀+Δx₀,y₀+Δy₀,w₀+Δw₀,h₀+Δh₀，将连续16帧图像的目标运动轨迹与各目标候选块连接而成目标候选轨迹，最终通过学习目标运动规律得到N个目标候选轨迹，再将N个目标候选轨迹的双流特征输入全连接层进行分类，网络分类损失函数设置为交叉熵损失。

5.根据权利要求4所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述目标候选轨迹的生成过程如下：将连续的16帧图像中的目标对象按照S103中的方法，将所述的目标对象划分为M个图节点，同时将16帧图像的前、后帧之间目标对象的位置连接，获得目标运动轨迹，并输入双流特征提取层，提取得到尺寸维度为T×h×w×512的双流特征，再经过图卷积与轨迹卷积网络的候选轨迹提取层得到N个目标候选轨迹，维度为N×4，其中N为目标候选轨迹数量，4代表每一帧目标的4个位置坐标。

6.根据权利要求5所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述S2中图像序列获取步骤如下：

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为若干帧组成的图像序列，按照时间顺序，提取连续16帧图像作为输入图像序列，如果输入图像帧数不等于16，则整个流程中止。

7.根据权利要求5所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，所述S2中目标图像块获取方法如下：

将得到的目标候选轨迹经过全连接层进行分类，网络将输出每一个目标候选轨迹的置信度，然后选取置信度最大的目标候选轨迹作为目标运动轨迹，再取目标运动轨迹的最后一帧的目标位置为目标图像块。

8.根据权利要求7所述的一种基于双流卷积网络的高压断路器轨迹动作识别方法，其特征是，还包括在线更新步骤：

在确定跟踪的目标图像块后，将定位得到的当前输入图像帧的目标对象及位置坐标输入初始训练集的16帧图像序列末尾，同时删除16帧图像序列的首帧，更新为新的训练集，表示为I₂,...,I₁₇；然后跳转到S2，重新得到新的连续16帧图像的训练集，实时动态调整目标运动轨迹，进行网络在线学习，实现网络的微调更新，进行新一轮的目标定位。

Images